miten Netflix käyttää Big Dataa
ottaen huomioon kuinka kauan Netflix on ollut suoratoistobisneksessä, se on kasannut kasoittain tietoja katsojistaan, kuten heidän iästään, sukupuolestaan, paikastaan, mediamaustaan, muutamia mainitaksemme.
keräämällä tietoa jokaisesta asiakkaan vuorovaikutuksesta Netflix voi sukeltaa suoraan katsojiensa mieliin ja saada käsityksen siitä, mitä he haluaisivat katsoa seuraavaksi jo ennen kuin he päättävät ohjelman tai elokuvan.
meillä on tietoja, joiden mukaan katselukäyttäytyminen vaihtelee viikonpäivästä, vuorokaudenajasta, laitteesta ja joskus jopa sijainnista riippuen.
– Reed Hastings
Netflixillä on massiivinen käyttäjäkunta, yli 140 miljoonaa tilaajaa. Tässä muutamia mittareita, joita Netflix seuraa antaakseen jokaiselle yksilöllisen maun—
- minä päivänä katsot sisältöä
- mihin aikaan katsot sisältöä
- Laite, jolla sisältöä katseltiin
- miten sisällön luonne
- etsii alustalta
- osia sisällöstä, joita katseltiin uudelleen
- onko sisältö keskeytetty, kelattu tai pikakelattu
- käyttäjän sijaintitiedot
- kun poistut sisällöstä
- käyttäjien antamat arviot
- selailu-ja vierityskäyttäytyminen
yli time, Netflix on ottanut käyttöön useita algoritmeja ja mekanismeja, jotka hyödyntävät tätä dataa ja tuottavat kriittisiä oivalluksia, jotka auttavat ohjaamaan yritystä oikeaan suuntaan. Jotkut näistä työkaluista ja ominaisuuksista ovat:
● lähes reaaliaikainen suositusmoottori
käyttäjämeren kanssa jokainen käyttäjä tuottaa satoja luokituksia päivässä sen perusteella, mitä he katsovat, hakevat ja lisäävät kellolistaansa, tästä datasta tulee lopulta osa Big Dataa. Netflix tallentaa kaiken tämän tiedon ja se rakentaa keskeisten koneoppimisalgoritmien avulla kuvion, joka ilmaisee katsojan maun. Tämä kuvio ei välttämättä koskaan sovi yhteen toisen katsojan kanssa, koska jokaisen maku on ainutlaatuinen.
katsojalukujen perusteella Netflix luokittelee mediansa ja ehdottaa katsojalle, mitä suositusjärjestelmä arvelee heidän haluavan seuraavaksi katsoa.
Netflix tietää kaiken. Netflix tietää, milloin ihminen lopettaa sen katsomisen. Heillä on kaikki algoritmit ja he tietävät, että tämä henkilö katsoi viisi minuuttia esitystä ja sitten pysähtyi. He voivat kertoa käytöksestä ja vuorokaudenajasta, että he palaavat siihen historiansa perusteella.
– Mitchell Hurwitz
● kuvitus & kuvavalinta
Oletko koskaan miettinyt, miksi Netflix näyttää useita taideteoksia yhteen TV-ohjelmaan tai elokuvaan?
tämän takana oleva työkalu on nimeltään AVA, joka on pohjimmiltaan algoritmi, joka valitsee, mitä taideteoksia ja kuvia kenelle näytetään. Lyhenne esteettisestä visuaalisesta analyysistä, AVA käy läpi kaikki saatavilla olevat videot ja tunnistaa kehykset, jotka soveltuvat parhaiten käytettäväksi taideteoksina.
AVA ottaa paljon mittareita huomioon ennen kuvien viimeistelyä, kuten näyttelijöiden ilmeet, kohtausvalaistuksen, kiinnostuksen kohteet, kohteiden sijoittelun ruudulla. Se jopa luokittelee ja lajittelee taideteoksia näyttääkseen käyttäjille, jotka on luokiteltu useisiin makuryhmiin.
Netflix on jotain, mitä katson.
– Famke Janssen
● tuotannon suunnittelu
Datalla on olennainen osa, kun tekijät keksivät idean uudesta esityksestä tai elokuvasta. Paljon aivoriihiä tapahtuu ennen kuin mitään pääsee paperille, ja siinä data tulee kuvaan.
koska Big Datalla on aiempaa kokemusta uuden ja alkuperäisen sisällön luomisesta ja runsaasti tietoa siitä, miten katsojat kokivat edellisen sisällön, se auttaa tuomaan esiin mahdollisia ratkaisuja moniin suunnitteluvaiheessa kohtaamiinsa haasteisiin.
näitä haasteita voivat olla kuvauspaikkojen tunnistaminen, kuvausaika ja-päivä ja paljon muuta. Jopa yksinkertaisilla ennustemalleilla Netflix voi säästää huomattavasti suunnitteluun panostettua vaivaa, mikä vähentää kuluja entisestään.
Netflix teettää alkuperäistä sisältöä, koska se tietää etukäteen, mitä ihmiset haluavat.
– The New York Times
● Metaflow
Netflixillä on avoimen lähdekoodin Metaflow, niiden pilvikeskeinen, ihmiskeskeinen viitekehys, jonka tarkoituksena on lisätä datatieteilijän tuottavuutta.
Metaflow ’ n ideana oli siirtää datatutkijoiden painopistettä mallien infrastruktuurista huolehtimisesta ongelmien ratkaisemiseen. Metaflow antoi heille vapauden kokeilla ideoitaan tarjoamalla joukon hienosäädettyjä ominaisuuksia, jotka melkein tekevät Metaflow tuntuu plug-and-play puitteet. Metaflow ’ n muutamia huomionarvoisia piirteitä ovat:
● kyky työskennellä hajautetulla tietokonealustalla
● mahdollisuus tilannekuvauskoodin ja datan tallentamiseen versiointia ja kokeilua varten
● nopea ja suorituskykyinen S3-asiakas
● tuki useimmille koneoppimisen kehyksille
● Polynote
Netflixin kehittämä ja avoimen lähdekoodin Polynote on polyglotti muistikirja, jossa on tuki Scalalle ja muille ominaisuuksille. Polynote mahdollistaa JVM-pohjaisen koneoppimisalustan sujuvan integroinnin Pythoniin datatutkijoille ja koneoppimisen tutkijoille. Muutamia tämän muistikirjan kohokohtia ovat:
● tarjoaa oivalluksia ytimen tilasta ja suoritustehtävistä
● tarjoaa yksinkertaistetun riippuvuuden ja konfiguraationhallinnan
● tarjoaa IDE-kaltaisia ominaisuuksia, kuten automaattisen täydennyksen, virhepisteet, toistettavuuden, muokkauksen, parannukset, näkyvyyden, tietojen visualisoinnin ja paljon muuta.
● Metacat
Netflixin laaja tietopotti on levinnyt useille alustoille, kuten Amazon S3, Druid, Redshift ja MySQL, muutamia mainitaksemme. Jotta näiden tietovarastojen saumaton yhteentoimivuus säilyisi, Netflix tarvitsi palvelua.
tämä yksinkertaisuuden tarve synnytti Metacatin, jonka ainoana tarkoituksena oli tarjota keskitetty metatietojen käyttöoikeus kaikkiin tietovarastoihin. Netflix loi Metaflowin tarkoituksenaan palvella seuraavia keskeisiä tavoitteita:
● yhtenäistää ja tarjota keskitettyjä näkymiä metatietojärjestelmistä
● tarjota yksiköllinen API dataset metatietoja varten alustoille
● tarjota ratkaisu yritysten ja käyttäjien metatietojen tallennukseen tietojoukoista
● Druidi
”Apache Druid on korkean suorituskyvyn reaaliaikainen analytiikkatietokanta. Se on suunniteltu työnkulkuihin, joissa nopeat kyselyt ja nieleminen ovat todella tärkeitä. Druid on erinomainen instant tietojen näkyvyys, ad-hoc kyselyt, operatiivinen analytiikka, ja käsittely korkea samanaikaisuus.”
– druidi.io
Netflix käyttää Apache-druidia varmistaakseen, että sen käyttäjät saavat joka kerta laadukkaan käyttökokemuksen. Huippuluokan käyttökokemuksen tarjoaminen joka kerta ei ole yksinkertainen saavutus. Se vaatii useiden tapahtumien jatkuvaa analysointia, tarvittavien tietojen keräämistä ja analysointia. Nämä tiedot voivat olla mitä tahansa toistotiedoista laitteen tietoihin, Alustan suorituskyvyn mittaamiseen ja useisiin muihin. Kaikki nämä tapahtumamittarit tekevät raa ’ asta datasta monimutkaista, ja siinä Druidi astuu kuvaan.
Druidin tehtävänä on tarjota reaaliaikaista Analytiikkaa tietokannoissa, joissa kyselyt suoritetaan säännöllisesti ja epävarmoina ajanjaksoina. Se on erittäin skaalautuva ja tarjoaa erinomaisen suorituskyvyn mihin tahansa työmäärään.
● Pythonin käyttö
Netflix rakastaa Pythonia, koska se on tehokas ja erinomainen, kun se yhdistetään kirjastoihin, puhumattakaan siitä, kuinka sujuvasti se integroituu muihin alustoihin. Netflix käyttää Pythonia ohjatakseen useita tehtäväkriittisiä osa-alueita, kuten:
● CDN-infrastruktuurin hallintasovellukset
● operatiivisten tietojen analysointi, liikenteen jakelu ja käyttötehokkuus
● prototyyppien visualisointityökalut
● tilastollisten työkalujen, tiedonetsinnän ja puhdistuksen avulla
● tietoturvan ylläpitäminen
● useiden ydintehtävien hallinta Jupyter-muistikirjojen avulla
● a/b-testeissä