Python, ciência dos dados e redes sociais: uma combinação poderosa

Transcrição

1 Python, ciência dos dados e redes sociais: uma combinação poderosa Alice Adativa F. Menezes [email protected]! PyCon Amazônia

2 Quem sou eu? Doutoranda em informática na UFAM (icomp) 5 anos de experiência no mercado atuando na FUCAPI e FPF Tech Integrante do DNS Lab

3 Entrando no contexto A quantidade de dados vem crescendo mais rápido do que nunca 1,7 MB criados por segundo para cada pessoa

4 Entrando no contexto Redes Sociais Governo Infraestrutura das cidades Dispositivos pessoais

5 Ciência dos dados O que é, afinal? Ciência dos Dados é a arte de transformar dados em ações.

6 Ciência dos dados O que é, afinal? Ciência dos Dados é sobre transformar dados em valor de negócio usando matemática e algoritmos.

7 Ciência dos dados O que é, afinal?

8 Ciência dos dados O que é, afinal? Comunicações Estatística Programação Negócios

9 Ciência dos dados O processo Coleta de dados Preparação Descoberta Visualização APIs Crawlers Remoção de ruídos Cruzamento de Informações Manipulação dos Dados Aprendizagem de Máquina Mineração de Dados É preciso "vender o peixe"

10 Python Um mundo de opções

11 Redes sociais Sensoriamento Social

12 Redes Sociais Sensoriamento Social: exemplo Eleições nos Estados Unidos em 2016 (Jornais X Cientistas dos Dados)

13 Redes Sociais Sensoriamento Social: exemplo Eleições nos Estados Unidos em 2016 (Jornais X Cientistas dos Dados)

14 Redes Sociais Redes Sociais Baseadas em Localização Relacionam dados sociais e de localização; Possibilitam o monitoramento das cidades em tempo real e com baixo custo; Exemplos: Foursquare, Instagram e Waze.

15 Redes Sociais Redes Sociais Baseadas em Localização: exemplo Detectando Pontos de Interesse com o Foursquare

16 Detecção de Regiões Funcionais Python, ciência dos dados e redes sociais

17 Detecção de regiões funcionais Regiões funcionais? Regiões funcionais determinam as características de uma área. Tipos de função: Aspectos econômicos; Mobilidade; Trânsito.

18 Detecção de regiões funcionais Método proposto

19 Detecção de regiões funcionais Variáveis Áreas formadas por uma lista de polígonos P; quadrados com lados de 1 quilômetro; Funções predominantes formadas por dados sociais geolocalizados F; Categorias do Foursquare; Intervalos de tempo T. 6 períodos de tempo, sendo eles: 00:00 a 03:59, 04:00 a 07:59, 08:00 a 11:59, 12:00 a 15:59, 16:00 a 19:59 e 20:00 a 23:59;

20 Detecção de regiões funcionais Exemplos de locais existentes nas categorias do Foursquare

21 Detecção de regiões funcionais Base de dados Rede social: Foursquare Período: Abril/2014 a Agosto/2014 Local: Nova Iorque, Estados Unidos Quantidade de dados: check-ins Query: swarmapp.com

22 Detecção de regiões funcionais Base de dados: como é feita a coleta?

23 Detecção de regiões funcionais Resultados

24 Detecção de regiões funcionais Resultados

25 Detecção de regiões funcionais Realmente funciona? Validação: Base de dados do departamento de Planejamento Urbano da cidade de Nova Iorque; City Owned and Leased Properties; Aplicação Zoning and Land Use Application; Mapeamento de categorias e criação de regiões funcionais; Acurácia de 86%.

26 Detecção de regiões funcionais Aplicação: Análise de Acidentes de Trânsito acidentes de trânsito; Período: Abril/2014 e Agosto/2014; Data, hora e coordenadas do acidente; Envolvidos no acidente; Danos materiais / fatalidades; Fatores: direção imprópria, motorista não condicionado, externo e veículo não condicionado

27 Detecção de regiões funcionais Aplicação: Análise de Acidentes de Trânsito

28 Detecção de regiões funcionais Aplicação: Análise de Acidentes de Trânsito

29 Detecção de regiões funcionais Aplicação: Análise de Acidentes de Trânsito

30 Detecção de regiões funcionais Aplicação: Monitoramento dinâmico da cidade

31 Detecção de regiões funcionais Aplicação: Monitoramento dinâmico da cidade

32 Detecção de regiões funcionais Aplicação: Monitoramento dinâmico da cidade

33 Detecção de regiões funcionais Aplicação: Monitoramento dinâmico da cidade

34 Python, ciência dos dados e redes sociais Conclusões Redes sociais refletem a rotina dos habitantes de uma região; Dados oficiais do governo em conjunto com dados sociais geram bons resultados para a análise; Dados sociais podem auxiliar em decisões (planejamento urbando); Baixo custo de monitoramento e a possibilidade de observar o comportamento dinâmico das cidades.

35 Python, ciência dos dados e redes sociais Conclusões Python them all!!!

36 Obrigada! Alice Adativa F.