Big Data. Como utilizar melhor e mais rápido seus dados e informações utilizando metodologias e tecnologias GED/ECM

Transcrição

1 Big Data Como utilizar melhor e mais rápido seus dados e informações utilizando metodologias e tecnologias GED/ECM

2 Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member

3 Big Data

4 A Representativdade do Big Data?

5 O que é o Big Data? Big data se trata de um conceito, no qual o foco é o grande armazenamento de dados oriundo de todos os meios, aliados a maior velocidade de crescimento destas informações. Começou a ser sentido e consolidado na última década com o aumento relevante na utilização de computadores, notebook e todos os tipos de device, principais geradores e replicadores de dados. Estamos na era onde todas as ações realizadas pela humanidade geram dados registrados

6 Porque chamam de Big Data e não Big Information? Por conceito: Um dado só passa ser informação quando processado ou colocado dentro de um contexto. Dados analisados e interpretados sob determinada ótica, e a partir de análise, se torna possível qualificar, classificar, medir, quantificar, etc Cliente A Cliente B Cliente C Cliente D Cliente E

7 O que motiva o conceito Big Data no Mundo? É a oportunidade de usar os dados coletivos Big com a possibilidade de prever e reconhecer padrões e comportamentos para aumentar a receita e otimizar resultados a seus processos de negócios.

8 Volumes do Big Data através do mundo

9 Variedade nos meios de geração de Big Data através do mundo

10 Velocidade na geração de Big Data através do mundo

11 Desafios mundiais na utilização do conceito de Big Data? Os desafios decorrem as exigências para ediscovery, governança, conformidade de privacidade e armazenamento, aumento contínuo de regulamentos, legislações, ISO, SOX, etc... Quanto mais dados, mais controles serão necessários Crescente de dados exponencial que já preocupam os especialistas pela falta de espaço: Segundo a IBM em 2008 foram produzidos cerca de 2,5 quintilhões de bytes todos os dias; 90% dos dados no mundo foram criados nos últimos dois anos; Crescentes formatos de dados, mídia rica, línguas diferentes, nuvens e arquivos locais são desafios para serem tratados

12 Saiba o que está procurando e como ivestigar Encontrar sem saber exatamente o que procurar, mas sempre com padrão: Análise de conteúdo, tais como mineração de texto, difere da busca tradicional. Análise de texto por relevância pode ser o início. A análise de texto faz toda a diferença, pois é particularmente interessante em áreas onde os usuários devem descobrir idéias novas e desconhecidas, pois desconhecem o seu próprio contexto do Big Data. Antes de iniciar é necessário saber que padrões ou percepções estamos querendo com o contexto de Big Data. Se é níveis hierárquicos, documentos correlacionais, padrões geográficos, etc.. É necessário compreender quais resultados poderão ser obtidos com o Big Data existente em termos de possibilidades.

13 Técnicas de extração de informações geralmente são agrupados da seguinte forma Extração de arquivos do sistema: extração de propriedades do arquivo, como nome do arquivo, tamanho, data de modificação, data de criação, atributos, tipo mime, etc extração de propriedades Documento: extração de propriedades de documentos específicos, dependendo do formato do documento, como título, autor, editora, versão, etc Extração de propriedades extração de propriedades comuns, tais como do remetente, destinatário, Enviado Data, Assunto, tópico de conversação e outras propriedades, como cabeçalhos de Internet, o remetente original, etc ECM Plataformas: extrações de todas as propriedades de documento no ECM como estes são armazenados com o documento, incluindo as configurações de segurança. Cálculo Hash: cálculo de valores de hash para efeitos de identificação, suporte a vários tipos de hash como MD5 e SHA1. Detecção duplicado: calcular os valores de hash com base no conteúdo de mensagens de ou binários para outros tipos de arquivo para encontrar e detectar documentos duplicados. Detecção de idioma: a detecção de idioma do documento, o suporte para mais de 400 idiomas. Extração Conceito: extração de pré-definido (texto completo) consultas que identificam documento e conteúdo de informação com combinações específicas de palavras-chave ou (fuzzy e curinga) padrões palavra dentro Extração Entidade: extração de entidades de base que podem ser encontrados em um texto, tais como: pessoas, empresas, locais, produtos, países e cidades.

14 Técnicas de extração de informações geralmente são agrupados da seguinte forma Extração Fato: essas são as relações entre as entidades, por exemplo, uma relação contratual entre uma empresa e uma pessoa. Extração de Atributos: extração das propriedades das entidades encontradas, como o título da função, a idade de uma pessoa e número de segurança social, endereços de locais, quantidade de produtos, números de matrícula do carro, e do tipo de organização. Extração de Eventos: são eventos interessantes ou atividades que envolvam entidades, tais como: "uma pessoa fala para outra pessoa", "uma pessoa viaja para um local", e "uma empresa transfere o dinheiro para outra empresa. Detecção Sentimento: encontrar documentos que expressam um sentimento e determinar a polarização e a importância do sentimento expresso. Processamento de linguagem estendida natural: Part-de-Speech (POS) para a marcação de pronome, co-referência e anáfora resolução, a normalização semântica, agrupamento limite entidade, e coocorrência de resolução.

15 Como fazer extração de informações e enriquecê-las Um dos métodos para identificar entidades nomeadas é com a ajuda de expressões regulares, que permitem que os dados, números de telefone, endereços de Internet, números de contas bancárias e números de segurança social a ser bastante precisão identificados. Um bom exemplo de uma expressão regular para encontrar um endereço de é: \ b [A-Z0-9._% + -] [A-Z0-9 -.]. + \ [A-Z] {2,4} \ b

16 Coleta de Dados Automatizada a partir de múltiplas origens

17 Estruturação da Informação

18 Como fazer extração de informações e enriquecê-las

19 Como fazer extração de informações e enriquecê-las

20 Relacionamento entre dados e informações Podemos coletar facilmente ótimas informações extraídas que permite a visualização de dados avançados, tais como a árvore de estrela ou um mapeamento geográfica. Lembre-se: Todos ligados a Big Data da companhia, oriundo de diversos legados e conteúdos externos da Internet vinculados a períodos e datas, se necessário.

21 Mineração dos dados transformando em informação:

22 Coleta e estruturação dos dados:

23 Análise Cronológica da Informação:

24 Georeferenciamento da informação:

25 Análise de relacionamento da Informação:

26 Perguntas? Irineu Granato, AIIM ECMp, ECMs,AIIM IOAp, AIIM ERMs, BPMp, CBPP, CDIA+