TCE Informática Dados Estruturados e Não-Estruturados Prof. Marcelo Ribeiro

Transcrição

1 TCE Informática Dados Estruturados e Não-Estruturados Prof. Marcelo Ribeiro

2

3 Informática DADOS ESTRUTURADOS E NÃO-ESTRUTURADOS Esses termos referem-se à forma como um conjunto de dados está armazenado, influenciando diretamente na complexidade de extração de informações. DADOS ESTRUTURADOS Têm uma organização lógica (muitas vezes em linhas e colunas) e favorecem bastante o trabalho de inteligência. Constituem pequena parcela dos dados disponíveis em Big Data, mas tornam essa tarefa muito mais simples. Estes tipos de dados são organizados, facilitando a recuperação. Exemplos são as tabelas manipuladas em bancos de dados ou planilhas e arquivos separados por delimitadores (*.CSV) como vírgulas e tabulação. Dados estruturados possuem um formato específico e viabilizam a manipulação e extração de informações. São utilizados há muitos anos, porém, atualmente, estima-se que não chegam a 10% dos dados encontrados na Internet. 3

4 DADOS NÃO-ESTRUTURADOS Referem-se a informações sem nenhuma estruturação lógica (data lake 1 ), como postagens e comentários em redes sociais, vídeos e s. A interpretação desses dados é um grande desafio, pois trata-se de um volume gigantesco de informações. Porém, justamente pelo alto volume, o potencial para extração de insights comercialmente relevantes é muito alto. Estes tipos de dados não demostram características e regras predefinidas em relação a sua estrutura organizacional. É a composição de vários tipos de dados que, por diferentes motivos, dificultam a fácil compreensão e obtenção de informações que por ventura possam ser utilizadas em tomadas de decisões. Imagine a grande massa de informações que inundam a Internet diariamente, composta de imagens, documentos, vídeos, sons, s, postagens em redes sociais, periódicos eletrônicas. Como traçar estratégias baseadas nesta diversidade de dados? Estes são dados não-estruturados, que não seguem um layout comum, que estão sendo disponibilizados, mas constituem um desafio para aqueles que pretendem analisá-los. A informação armazenada nos bancos de dados é conhecida como dados estruturados, porque é representada em um formato estrito. Por exemplo, cada registro em uma tabela de banco de dados relacional. (ELMASRI, Ramez, 2011) Quando se lida com um enorme volume de dados (Big Data), eles vêm de diferentes fontes e maneiras (documentos, arquivos, gráficos, imagens, textos, relatórios, formulários, áudio, vídeo, postagens em redes sociais) e a maioria são dados não- -estruturados. Constitui um grande desafio minerar, limpar, organizar, correlacionar, vincular e transformar esses dados em informações relevantes. Para que isso seja possível, é necessária a criação de um banco de dados onde todas essas informações são capturadas por meio de aplicativos, criados com a finalidade de orientar estes dados, armazenando-os de maneira organizada e clara, facilitando assim a busca e manipulação desses dados. DATA SCRAPING Data scraping ou raspagem de dados, é a técnica de extrair dados de sites e transportá-los para um formato mais simples e maleável, a fim de serem analisados e cruzados com mais facilidade. Em vários casos, os dados necessários para um trabalho de análise estão disponíveis, porém em sites de navegabilidade ruim ou em bancos de dados difíceis de manipular. Para coletar automaticamente e visualizar essas informações, recorre-se a softwares conhecidos como scrapers (raspadores). 1 Data lake: são os dados em grandes volumes e em seu estado natural, vindos de todos os tipos de fontes. Armazenar esse tipo de dado é mais difícil, já que possuem formatos e origens diversos. Essa diversidade toda, no entanto, pode ser bastante positiva, já que ela amplia as possibilidades de utilização. 4

5 Dados Estruturados e Não-Estruturados Prof. Marcelo Ribeiro Normalmente, a transferência de dados entre programas é realizada usando estruturas de dados adequadas para processamento automatizado por computadores, não por pessoas. Esses formatos e protocolos de intercâmbio normalmente são rigidamente estruturados, bem documentados, facilmente analisados e mantêm a ambigüidade ao mínimo. Muitas vezes, essas transmissões não são legíveis para seres humanos. Assim, o elemento chave que distingue a raspagem de dados da análise regular é que a saída que está sendo raspada foi planejada para exibição a um usuário final, e não como entrada para outro programa e, portanto, normalmente não é documentada nem estruturada para análise conveniente. A coleta de dados geralmente envolve ignorar dados binários (geralmente imagens ou dados multimídia), exibir formatações, rótulos redundantes, comentários supérfluos e outras informações irrelevantes ou que dificultam o processamento automatizado. Geralmente, a extração de dados é feita para fazer a interface com um sistema legado que não possui outro mecanismo que seja compatível com o hardware atual ou para fazer interface com um sistema de terceiros que não forneça uma API mais conveniente. No segundo caso, o operador do sistema de terceiros frequentemente considerará a captura de tela indesejada, devido a motivos como aumento da carga do sistema, perda de receita de publicidade ou perda de controle do conteúdo da informação. A coleta de dados é geralmente considerada uma técnica ad hoc e deselegante, geralmente usada apenas como "último recurso" quando nenhum outro mecanismo de intercâmbio de dados está disponível. Além da maior sobrecarga de programação e processamento, as exibições de saída destinadas ao consumo humano geralmente alteram a estrutura com frequência. Os seres humanos podem lidar com isso facilmente, mas um programa de computador pode relatar um absurdo, ter sido instruído a ler dados em um formato particular ou de um lugar específico e sem saber como verificar seus resultados quanto à validade. (en.wikipedia.org/wiki/ Data_scraping) RASPAGEM DE TELA A captura de tela é normalmente associada à coleta programática de dados visuais de uma fonte, em vez de analisar dados como na captura da Web. Originalmente, captura de tela se refere à prática de leitura de dados de texto a partir de um monitor. Isto é feito geralmente lendo a memória do terminal através de sua porta auxiliar ou conectando a porta de saída do terminal de um sistema de computador a uma porta de entrada em outro. O termo screen scraping também é comumente usado para se referir à troca bidirecional de dados. RASPAR NA WEB As páginas da Web são criadas usando linguagens de marcação baseadas em texto (HTML e XHTML) e frequentemente contêm uma grande quantidade de dados úteis em forma de texto. No entanto, a maioria das páginas da Web é projetada para usuários finais humanos e não para facilitar o uso automatizado. Por causa disso, foram criados kits de ferramentas que coletam conteúdo da web. Um web scraper é uma API ou ferramenta para extrair dados de um site. Empresas como a Amazon AWS e o Google fornecem ferramentas de raspagem da Web, serviços e dados públicos disponíveis gratuitamente para os usuários finais. Formas mais recentes de web scraping envolvem a escuta de feeds de dados de servidores web. 5

6 DATA MINING Data mining ou mineração de dados, é o processo de descobrir informações relevantes em grandes quantidades de dados armazenados, estruturados ou disponíveis em qualquer outro tipo de depósito. É um passo essencial para se adquirir conhecimento sobre a concorrência ou o seu próprio produto. Dentre as muitas informações se são diariamente criadas na rede Internet, estima-se que menos de 10% consegue ser minerada e organizada, fazendo com que todos os dias enormes quantidades de informações se tornem lixo eletrônico, dificultando assim suas buscas e muitas vezes se tornando inútil. Da pequena parte que se concentra em bancos de dados, a maioria destas informações pertencem a empresas que precisam de um pouco mais de segurança e organização. Atualmente algumas instituições bancárias brasileiras utilizam o Big Data como uma solução, com a finalidade de organizar todos os dados que transitam diariamente em seus canais eletrônicos. O Big Data ajuda as empresas a ser mais eficientes. 6