Como Netflix Usa Big Data
Considerando o tempo que a Netflix tem sido o streaming de negócios, tem empilhados pilhas de dados sobre seus visitantes, tais como sua idade, sexo, localização, seu gosto em meios de comunicação, para citar alguns.Ao coletar informações em todas as interações com os clientes, a Netflix pode mergulhar diretamente na mente de seus telespectadores e ter uma idéia do que eles gostariam de ver a seguir, mesmo antes de terminar um show ou filme.
temos dados que sugerem que há um comportamento de visualização diferente dependendo do dia da semana, a hora do dia, o dispositivo, e às vezes até mesmo a localização.
– Reed Hastings
a Netflix tem uma enorme base de usuários de mais de 140 milhões de assinantes. Aqui estão algumas métricas que a Netflix faixas para dar um gosto individual para todos—
- O dia em que você ver o conteúdo
- a Que horas você assistir conteúdo
- O dispositivo no qual o conteúdo foi assistido
- Como a natureza do conteúdo
- Pesquisas na plataforma
- Partes do conteúdo que foi re-assisti
- Se o conteúdo foi feita a pausa, retroceder, ou fast forward
- dados de localização do Utilizador
- Quando você deixar de conteúdo
- As notas dadas pelos usuários
- Navegação e comportamento de deslocamento
Sobre time, O Netflix implantou vários algoritmos e mecanismos que fazem uso desses dados e geram insights críticos que ajudam a orientar a empresa na direção certa. Algumas destas ferramentas e funcionalidades são:
● quase em Tempo Real Mecanismo de Recomendação
Com um mar de usuários, cada usuário gera centenas de classificações por dia, com base no que eles assistem, pesquisar e adicionar ao seu relógio-lista de dados, em última análise, se torna uma parte Grande de Dados. O Netflix armazena toda essa informação e usando algoritmos de aprendizado de máquina chave, ele constrói um padrão que indica o gosto do espectador. Este padrão pode nunca coincidir com outro visualizador por causa de como o gosto de todos é único.
com base nas classificações, o Netflix categoriza a sua mídia e sugere ao espectador o que o sistema de recomendações pensa que eles podem gostar de ver a seguir.
a Netflix saberá tudo. A Netflix saberá quando uma pessoa deixar de o ver. Eles têm todos os seus algoritmos e saberão que esta pessoa assistiu cinco minutos de um programa e depois parou. Eles podem dizer pelo comportamento e pela hora do dia que eles vão voltar para ele, com base em sua história.
– Mitchell Hurwitz
● Obras de arte & Imagens de Seleção
Já se perguntou por que a Netflix mostra várias obras de arte para um único filme ou programa de TV?
a ferramenta por trás disso é chamada AVA, que é essencialmente um algoritmo que seleciona o que obras de arte e imagens para mostrar a quem. Abreviatura de análise visual Estética, AVA sifts através de cada vídeo disponível e identifica os quadros que são mais adequados para serem usados como obras de arte.AVA leva um monte de métricas em consideração antes de finalizar imagens, tais como expressões faciais de atores, a iluminação da cena, áreas de interesse, Posicionamento de sujeitos na tela. Ele até categoriza e ordena obras de arte para mostrar aos usuários categorizados em vários grupos de gosto.
Netflix é algo que vejo.Famke Janssen
● planejamento de produção
Data desempenha uma parte integrante quando os criadores vêm com uma ideia sobre um novo show ou filme. Muita reflexão ocorre antes de qualquer coisa aparecer no papel, e é aí que os dados entram.Com experiência prévia na criação de novos e originais conteúdos e cargas de dados sobre como os telespectadores percebiam o conteúdo anterior, Big Data ajuda a trazer as possíveis soluções para muitos dos desafios enfrentados durante a fase de planejamento.
estes desafios podem incluir a identificação de locais de filmagem, hora e Dia da filmagem, e muito mais. Mesmo com modelos de previsão simples, o Netflix pode economizar uma quantidade significativa de esforço colocado no planejamento, reduzindo ainda mais as despesas.
Netflix está encomendando o conteúdo original porque ele sabe o que as pessoas querem antes de fazer.
– New York Times
● Metaflow
Netflix tem o código fonte aberto Metaflow, a sua nuvem nativo, centrada no ser humano framework que visam aumentar o cientista de dados de produtividade.
a ideia por trás de Metaflow foi mudar o foco dos cientistas de dados de se preocupar com a infra-estrutura de modelos para resolver problemas. Metaflow permitiu-lhes a liberdade de experimentar com suas ideias, oferecendo um conjunto de características afinadas que quase faz Metaflow se sentir como um plug-and-play framework. Algumas características notáveis de Metaflow são::
● Capacidade de trabalho em uma plataforma de computação distribuída
● Opção de instantâneo de código e de dados para controle de versão e experimentando
● de Alta velocidade e de alto desempenho S3 cliente
● Suporte para a maioria de aprendizagem de máquina quadros
● Polynote
Desenvolvido e aberto pelo Netflix, Polynote é um poliglota notebook com suporte para Scala e vários outros recursos. Polinote permite a integração suave da plataforma de aprendizagem de máquinas baseada em JVM com Python para cientistas de dados e pesquisadores de aprendizagem de máquinas. Alguns destaques do notebook são:
● Fornece insights de kernel o status e as tarefas em execução
● Oferece simplista de dependência e de gerenciamento de configuração de
● Fornece IDE-como características, tais como auto-completar, erro destaques, reprodução, edição, melhoramentos, visibilidade, visualização de dados e muitos mais.
● Metacat
o vasto conjunto de dados em que o Netflix Opera está espalhado por várias plataformas como Amazon S3, Druid, Redshift e MySql, para citar algumas. Para manter a interoperabilidade sem descontinuidades entre essas lojas de dados, a Netflix precisava de um serviço.
esta necessidade de simplicidade deu origem a Metacat, cujo único objetivo era fornecer acesso centralizado de metadados para todas as lojas de dados. O Netflix criou o Metaflow com a intenção de servir os seguintes objetivos principais::
● Para unificar e fornecer centralizado vistas de metadados de sistemas
● Para oferecer uma única API para o conjunto de metadados para plataformas
● Para fornecer uma solução para o negócio e usuário o armazenamento de metadados de conjuntos de dados
● Druida
“Apache Druida é um alto desempenho em tempo real do google analytics banco de dados. É projetado para fluxos de trabalho onde consultas rápidas e ingest realmente importam. Druid se destaca em visibilidade instantânea de dados, consultas ad-hoc, análise operacional, e manuseio de alta concorrência.”
— Druida.io
Netflix usa o Apache Druid para garantir que os seus utilizadores tenham sempre uma experiência de utilizador de alta qualidade. Entregar uma experiência de usuário de alto nível cada vez não é um feito simples. Requer uma análise constante de vários eventos, recolhendo os dados necessários e analisando-os. Estes dados podem ser qualquer coisa a partir da informação de reprodução, a informação do dispositivo, para medir o desempenho da plataforma e vários outros. Todas estas métricas de eventos tornam os dados brutos complicados, e é aí que o Druida entra em jogo.
Druid’s task is to provide real-time analytics on databases where queries execute regular and at uncertain time-periods. É altamente escalável e oferece um excelente desempenho para qualquer carga de trabalho.
● utilização de Python
o Netflix ama o Python por ser poderoso e excelente quando emparelhado com bibliotecas, para não mencionar como ele se integra suavemente com outras plataformas. O Netflix usa o Python para gerir uma série de aspectos críticos da sua missão, tais como::
● Aplicações de gestão do CDN infra-estrutura
● Análise de dados operacionais, a distribuição do tráfego e da eficiência operacional
● Prototipação de ferramentas de visualização
● obter os conhecimentos através de ferramentas estatísticas, exploração de dados e de limpeza
● Para manter a segurança da informação
● Gerenciar várias tarefas essenciais usando Jupyter cadernos
● Para a experimentação de testes A/B