Introdução a Ciência de Dados Com Linguagem R

Transcrição

1 Introdução a Ciência de Dados Com Linguagem R Luis Paulo da Silva Carvalho luispscarvalho@gmail.com Adaptado de Material disponibilizado no SlideShare por Diego Cardoso Alves diegocardalves@gmail.com

2 Agenda O que é Ciência de Dados? Histórico de Ciência de Dados Aplicações de Ciência de Dados: Linguagem R e RStudio Ciclo de vida de projetos de Ciência de Dados

3 Ciência de Dados É um campo interdisciplinar de investigação de dados que resolve problemas de negócio, com o uso de método científico e técnicas avançadas de análise de dados, aprendizado de máquina e inteligência artificial. A ciência de dados pode resolver problemas simples e complexos, não apenas complexos. Existem problemas simples que geram grandes impactos nas operações e até nas estratégias de longo prazo Joni Hoppen Aquarela Advanced Analytics

4 Cientista de Dados é um profissional híbrido, um cientista da computação com habilidades de programação, extração e gerenciamento de dados juntamente com um estatístico que sabe como dar sentido a informações supostamente não relacionadas. Cientista de Dados

5 Volume de dados Total de dados A Google sozinha A cada minuto Youtube recebe A cada minuto Se você gravasse sendo capturados processa em são enviados horas de são gerados 1.8 todo conteúdo e gravados pelas média 40 mil milhões de vídeo a cada milhões de likes criado em 1 dia indústrias dobra a cada 1.2 anos. queries por segundo. s. minuto. no Facebook e em DVD s, você enviados 278 mil poderia empilhálos tweets. e alcançar a lua. Obs: 2 vezes.

6 Desafios Dados não estruturados Processamento necessário Visualização da informação Privacidade de dados

7 Importância Maior eficiência operacional Maior precisão Decisões com mais confiança Redução de custos Redução de riscos

8 Mudança de mercado Tendências de negócios no local Prevenção de doenças Novas correlações Detecção de fraudes Combate à criminalidade Recomendações personalizadas

9 Ciclo de vida de projetos de Ciência de Dados Encontrar Problema Buscar Dados Limpar e Explorar Dados Hipótese Incorreta Comunicar Resultados Validar Hipótese Estabelecer Hipótese

10 Starbucks vs Consumidor vs Local Análise de localidade Análise de preferências do consumidor Estudo de tráfego das ruas Possibilidade de abrir nova Starbucks próxima à uma existente.

11 Philips HealthCare 25% dos americanos possuem múltiplas doenças crônicas. Pessoas com múltiplas doenças crônicas tem risco maior de mortalidade e de má-qualidade de vida. Philips tem investido cada vez mais na coleta de dados sobre as pessoas e do ambiente. Dados detalhados obtidos em tempo real (paciente e ambiente) dão uma visão completa sobre o estado do paciente e permite ao médico dar um melhor diagnóstico.

12 Rede de hotéis utiliza Data Science para aumentar reservas Informações de clima Informações de cancelamentos de vôos Hora do dia Localização de hotéis e aeroportos Condições de tráfego

13 Seguradoras Análise de fraude de clientes em tempo real Mais informações sobre as pessoas e conexões do que antigamente Diversas fontes de informações Perda financeira para a seguradora muito menor

14 Spotify Milhões de usuários Análise de preferências do consumidor Recomendação de playlists e lançamentos Predição dos ganhadores do Grammy Awards. 4 de 6 ganhadores

15 Netflix Existem 33 milhões de diferentes versões do Netflix. Comportamento de uso para cada usuário. Recomendação de filmes e séries baseado no histórico e correlação entre usuários. Predição das atividades futuras dos usuários.

16 Netflix Quando você pausa e retorna. Quais dias você assiste. Quais horários você assiste. Onde você assiste. Quando você para de assistir a uma série. Tempo que leva para procura de um filme e qual o comportamento nesta procura. Melhores categorias que você gosta de assistir.

17 Habilidades: Programação

18 R Linguagens Linguagem feita para estatísticos. Amplamente usada no meio acadêmico. Forte no mercado, recebe grandes investimentos. Diversas bibliotecas estatísticas prontas, facilita parte da análise

19 Python Linguagens Versátil e fácil de aprender. Comunidade muito forte de bibliotecas gerais. Fácil para análise e produção.

20 Algoritmos Eficiência faz diferença! Saber implementar algoritmos paralelizáveis. Algoritmos parte I e II (Princeton) Algoritmos I e II (Stanford) Especialização (UC San Diego)

21 Habilidades: Estatística & Matemática

22 Distribuição e Otimização Saber qual distribuição representa melhor o problema. Fatoração matricial. Autovalores e autovetores. Métodos para minimizar uma função específica. MIT - Linear Algebra Convex Otimization Intro to Statistics

23 Visualização de Dados Comunicação de resultados. Representação mais que duas dimensões. Representação de diversas variavéis. Udacity - Data Visualization and D3.js Flowing Data

24 Visualização de Saúde Dados Esportes Mercado Financeiro Marketing Conhecimento de Domínio Biologia Logística Política Psicologia Ecologia

25 Obrigado!