TECNOLOGIAS PARA ANÁLISE E INVESTIGAÇÃO DE DADOS PÚBLICOS DA INTERNET

Transcrição

1 TECNOLOGIAS PARA ANÁLISE E INVESTIGAÇÃO DE DADOS PÚBLICOS DA INTERNET Rodrigo Pasti rodrigo.pasti@gmail.com Mackenzie

2 Crimes em Big Data O que temos hoje: (1) A Internet é fonte de uma quantidade incontável de dados. (2) Este meio é utilizado para a execução e disseminação de crimes. Grande questão: Como buscar e encontrar informações relevantes que apresente indícios ou evidências de crimes neste enorme contexto de Big Data? 2

3 Objetivo da Apresentação Apresentar exemplos de tecnologias de Inteligência Computacional que busquem auxiliar a investigação de dados públicos da Internet. 3

4 1. Desenvolvendo Tecnologias para Análise de Big Data na Internet 2. Análises em Textos 3. Análises em Redes Sociais 4. Análises em Séries Temporais 5. Reconhecimento de Padrões em Imagens 6. Conclusões e Perspectivas

5 1. Desenvolvendo Tecnologias para Análise de Big Data na Internet 2. Análises em Textos 3. Análises em Redes Sociais 4. Análises em Séries Temporais 5. Reconhecimento de Padrões em Imagens 6. Conclusões e Perspectivas

6 Big Data e a Internet Big Data. Big quanto? Em geral: Grande quantidade de dados Grande diversidade de tipos de dados Grande diversidade de fontes de dados. Em nosso caso podemos dizer que as análises estão em contexto de Big Data. 6

7 Fontes e Tipos de Dados Fontes: todas as públicas e acessíveis Análises em: Textos Redes Imagens Sons Vídeos 7

8 Papel do CTI e LCoN Competências e especialidades do CTI e LCoN: Análise e mineração de dados (analytics) em Big Data. Aprendizado de máquina e reconhecimento de padrões. Objetivos: Pesquisa e desenvolvimento de projetos inovadores por meio de parcerias públicas e privadas. Consultorias científicas voltadas ao desenvolvimento de novas tecnologias. 8

9 Tecnologias Desenvolvidas Duas frentes: Ferramentas para auxiliar o investigador de dados. Ferramentas pró-ativas que monitoram e analisam dados em tempo real sem a intervenção humana. 9

10 Tecnologias Desenvolvidas Coletor de Dados BD Dados de Interesse (alvo) Informações e Conhecimentos de Interesse Tempo real X Tempo não real 10

11 1. Desenvolvendo Tecnologias para Análise de Big Data na Internet 2. Análises em Textos 3. Análises em Redes Sociais 4. Análises em Séries Temporais 5. Reconhecimento de Padrões em Imagens 6. Conclusões e Perspectivas

12 Análises em Textos Analises Semânticas: Significados, entidades, pessoas, fatos, perfis psicológicos. Análises de Autoria 12

13 Análises Semânticas 13

14 Textos e Perfis Se um texto corresponder a todas as mensagens escritas por perfis, então temos análises em perfis. 14

15 Tópicos em Redes Sociais 15

16 Preditores Semânticos Subjetividade. Fato Opinião Sentimento. Qualquer semântica desejada. 16

17 Predição de Perfil Psicológico Modelo psicológico Big Five de análise linguística: Neuroticismo ou instabilidade emocional Extroversão Amabilidade Escrupulosidade (meticulosidade) Abertura para a experiência 17

18 Checando Fatos Verificar a autenticidade e veracidade de uma informação ou fato. 18

19 Relações entre Entidades 19

20 Relações entre Entidades 20

21 Análises de Autorias 21

22 Extração de Características Textuais Estilometria computacional com mais de 400 atributos textuais e linguísticos. 22

23 Predizendo Diferentes Tipos de Autorias Gênero Categorias Demográficas: Região Idade Escolaridade 23

24 Identificação de Autoria Comparação de Autoria 24

25 Identificação de Autoria Dupla identidade 25

26 Identificação de Autoria Mudança de Perfis no Tempo Tempo 26

27 1. Desenvolvendo Tecnologias para Análise de Big Data na Internet 2. Análises em Textos 3. Análises em Redes Sociais 4. Análises em Séries Temporais 5. Reconhecimento de Padrões em Imagens 6. Conclusões e Perspectivas

28 Análise em Redes Sociais Redes de perfis de até mesmo diferentes redes sociais. 28

29 Análise de Rede Sociais Exemplos de relações diretas entre dois perfis do Twitter: Segue Menção Resposta Compartilhamento Redes com milhares de perfis e relações 29

30 Análise em Redes Sociais 30

31 Grupos de Perfis 31

32 Perfis Líderes de Opinião 32

33 Perfis Intermediadores SP SP SP #Protesto #Protesto RJ RJ SP MG MG RJ RJ 33

34 Perfis Influenciadores #Protesto 34

35 1. Desenvolvendo Tecnologias para Análise de Big Data na Internet 2. Análises em Textos 3. Análises em Redes Sociais 4. Análises em Séries Temporais 5. Reconhecimento de Padrões em Imagens 6. Conclusões e Perspectivas

36 Análise Séries Temporais Permitem obter uma análise de progressão de informações ao longo do tempo. Tempo 36

37 Análise de Séries Temporais Predição em séries temporais: Sugerir um padrão temporal baseado em histórico passado. Nr. de NovosTweets com #Protesto? tempo 37

38 Predição com Séries Temporais Predizer repetição de fatos e trending topics #ENEM #Greve #Greve #Protesto #NovelaDasOito...? Tempo Predizer a ocorrência e sucesso de eventos 38

39 1. Desenvolvendo Tecnologias para Análise de Big Data na Internet 2. Análises em Textos 3. Análises em Redes Sociais 4. Análises em Séries Temporais 5. Reconhecimento de Padrões em Imagens 6. Conclusões e Perspectivas

40 Identificação de Objetos? 40

41 Identificação de Objetos Objetos e pessoas que estejam vinculados a um padrão 41

42 Reconhecimento Facial Descrição por texto OU Klun, S.; Han, H.; Jain, A.K. (2013). Sketch Based Face Recognition: Forensic vs. Composite Sketches, International Conference on Biometrics. 42

43 1. Desenvolvendo Tecnologias para Análise de Big Data na Internet 2. Análises em Textos 3. Análises em Redes Sociais 4. Análises em Séries Temporais 5. Reconhecimento de Padrões em Imagens 6. Conclusões e Perspectivas

44 Conclusões e Perspectivas O exemplos apresentados são apenas uma pequena amostra das potenciais aplicações de análises de dados públicos da Internet. Existem incontáveis aplicações na ciência, indústria, segurança, forças policiais e militares, dentre outros. Pesquisas e desenvolvimento de soluções estão em pleno andamento no CTI e LCoN. 44

45 OBRIGADO! Rodrigo Pasti Mackenzie