SEFAZ INFORMÁTICA Data Mining Prof. Márcio Hunecke

Transcrição

1 SEFAZ INFORMÁTICA Data Mining Prof. Márcio Hunecke

2

3 Informática DATA MINING Data mining (ou mineração de dados) é o processo de extrair informação válida, previamente desconhecida e de máxima abrangência a partir de grandes bases de dados, usando-as para apoiar nas tomadas de decisões. Data mining vai muito além da simples consulta a um banco de dados, no sentido de que permite aos usuários explorar e inferir informação útil a partir dos dados, descobrindo relacionamentos escondidos no banco de dados. Pode ser considerada uma forma de descobrimento de conhecimento em bancos de dados (KDD Knowledge Discovery in Databases). Um ambiente de apoio à tomada de decisões, integrando técnicas de data mining sobre um ambiente de data warehousing, possibilita um grande número de aplicações, que já vêm sendo implementadas em diversos segmentos de negócios, como manufatura, automação de pedido de remessas, varejo, gerenciamento de inventários, financeiro, análise de risco, transporte, gerenciamento de frotas, telecomunicação, análise de chamadas, saúde, analise de resultados, marketing, estabelecimento do perfil dos consumidores, seguros, detecção de fraude, dentre outros. Basicamente, são usados três métodos para identificar padrões em dados: Modelos simples (consultas baseadas em SQL, raciocínio humano) Modelos intermediários (regressão, árvores de decisão, agrupamento) Modelos complexos (redes neurais, algoritmos de aprendizagem (machine learning), indução de regras) A mineração de dados é formada por um conjunto de ferramentas e técnicas que através do uso de algoritmos de aprendizagem ou classificação baseados em redes neurais e estatística, são capazes de explorar um conjunto de dados, extraindo ou ajudando a evidenciar padrões nestes dados e auxiliando na descoberta de conhecimento. Esse conhecimento pode ser apresentado por essas ferramentas de diversas formas: agrupamentos, hipóteses, regras, árvores de decisão, grafos ou dendrogramas. O ser humano sempre aprendeu observando padrões, formulando hipóteses e testando-as para descobrir regras. A novidade da era do computador é o volume enorme de dados que não pode mais ser examinado à procura de padrões em um prazo razoável. A solução é instrumentalizar o próprio computador para detectar relações que sejam novas e úteis. A mineração de dados (MD) surge para essa finalidade e pode ser aplicada tanto para a pesquisa científica como para impulsionar a lucratividade da empresa madura, inovadora e competitiva. Também a multidis- 3

4 ciplinaridade da mineração de dados pode ser considerada inevitável devido à integração de diversas áreas de conhecimento no processo de análise, abordando áreas de pesquisas que envolvem estatística, matemática e a computação, as quais são disciplinas fundamentais para realização do processo de mineração de dados. Diariamente as empresas acumulam grande volume de dados em seus aplicativos operacionais. São dados brutos que dizem quem comprou o quê, onde, quando e em que quantidade. É a informação vital para o dia-a-dia da empresa. Se fizermos estatística ao final do dia para repor estoques e detectar tendências de compra, estaremos praticando business intelligence (BI). Se analisarmos os dados com estatística de modo mais refinado, à procura de padrões de vinculações entre as variáveis registradas, então estaremos fazendo mineração de dados. Buscamos com a MD conhecer melhor os clientes, seus padrões de consumo e motivações. A MD resgata em organizações grandes o papel do dono atendendo no balcão e conhecendo sua clientela. Através da MD, esses dados agora podem agregar valor às decisões da empresa, sugerir tendências, desvendar particularidades dela e de seu meio ambiente e permitir ações melhor informadas aos seus gestores. Pode-se então diferenciar o business intelligence (BI) da mineração de dados (MD) como dois patamares distintos de atuação. O primeiro busca subsidiar a empresa com conhecimento novo e útil acerca do seu meio ambiente e funciona no plano estratégico. O Segundo visa obter a partir dos dados operativos brutos, informação útil para subsidiar a tomada de decisão nos escalões médios e altos da empresa e funciona no plano tático. Dentre as etapas mais importantes do Data Mining, podemos elencar as seguintes: Análise do problema O processo de análise inicia a partir de um objetivo de busca, seguindo um determinado conhecimento; o principal objetivo é a possibilidade de selecionar os dados e definir as técnicas utilizadas na análise. De acordo com o CRISP-DM (Cross-Industry Standard Process for Data Mining) essa fase pode ser dividida em Entendimento do Negócio e Entendimento dos Dados. Preparação dos Dados A preparação consiste em fases internas de coletânea de dados, avaliação, consolidação e limpeza, seleção dos dados e transformação. Coletânea de dados: Dados provindos de diversas fontes internas ou externas, como por exemplo de cartão de crédito; Avaliação: Exame sobre os dados colhidos com o objetivo de identificar características do modelo da cada informação. Consolidação e limpeza: Construção de base de dados a partir de correções de erros, remoção de registros e inserção de valores comuns em campos vazios. Seleção de dados: É a seleção de dados específicos para cada modelo de dado, como a seleção de variáveis em colunas ou dependentes. Transformação: Ferramenta escolhida para redirecionar a apresentação dos dados. Modelagem Definição de tarefas e técnicas utilizadas sobre a ação de cada algoritmo, etapa que gera um modelo a ser analisado posteriormente. Análise e validação de resultados Considerando que um modelo válido nem sempre é um modelo correto, visa detectar o que há de implícito num modelo, e o que nele é mais peculiar na precisão de uma informação. 4

5 Questões Questões 1. (2018 CESPE Polícia Federal Agente de Polícia Federal) Julgue o item que segue, relativo a noções de mineração de dados, big data e aprendizado de máquina. Pode-se definir mineração de dados como o processo de identificar, em dados, padrões válidos, novos, potencialmente úteis e, ao final, compreensíveis. 2. (2018 CESPE Polícia Federal Perito Criminal Federal Conhecimentos Básicos Todas as Áreas) Acerca de banco de dados, julgue o seguinte item. Descobrir conexões escondidas e prever tendências futuras é um dos objetivos da mineração de dados, que utiliza a estatística, a inteligência artificial e os algoritmos de aprendizagem de máquina. 3. (2018 CESPE EBSERH Analista de Tecnologia da Informação) Julgue o item que se segue, a respeito de arquitetura e tecnologias de sistemas de informação. A descoberta de novas regras e padrões em conjuntos de dados fornecidos, ou aquisição de conhecimento indutivo, é um dos objetivos de data mining. 4. (2018 CESPE STJ Técnico Judiciário Desenvolvimento de Sistemas) Julgue o item que se segue, acerca de data mining e data warehouse. O processo de mineração de dados está intrinsecamente ligado às dimensões e a fato, tendo em vista que, para a obtenção de padrões úteis e relevantes, é necessário que esse processo seja executado dentro dos data warehouses. 5. (2018 CESPE STJ Analista Judiciário Psicologia) Considerando que, com a iminente aposentadoria de grande parcela dos servidores de determinado órgão público e a consequente perda de conhecimentos organizacionais estrategicamente imprescindíveis, o setor competente tenha decidido pela implantação de uma política de gestão do conhecimento, julgue o item a seguir. A fim de promover a captura, o compartilhamento e a aquisição do conhecimento, a política de gestão do conhecimento do órgão poderá dispor, respectivamente, das práticas de data mining, wikis e treinamentos baseados em tecnologia web. 6. (2016 CESPE FUNPRESP-JUD Analista Tecnologia da Informação) Julgue o item subsecutivo, referente às tecnologias de bancos de dados. Em Data- Mining, as árvores de decisão podem ser usadas com sistemas de classificação para atribuir informação de tipo. 5

6 7. (2016 CESPE TCE-PA Auditor de Controle Externo Área Informática Analista de Sistema) Julgue o item a seguir, em relação a data warehouse e data mining. No contexto de data mining, o processo de descoberta de conhecimento em base de dados consiste na extração não trivial de conhecimento previamente desconhecido e potencialmente útil. 8. (2016 CESPE TCE-SC Auditor Fiscal de Controle Externo Informática) Julgue o item subsecutivo, acerca de mineração de dados. Para a realização de prognósticos por meio de técnicas de mineração de dados, parte-se de uma série de valores existentes obtidos de dados históricos bem como de suposições controladas a respeito das condições futuras, para prever outros valores e situações que ocorrerão e, assim, planejar e preparar as ações organizacionais. 9. (2016 CESPE TCE-SC Auditor Fiscal de Controle Externo Informática) Julgue o item subsecutivo, acerca de mineração de dados. As aglomerações, tipos de informação obtidos por meio da mineração de dados, caracterizam-se por se ligarem a um único e específico evento, em torno do qual ocorrem várias ações, com produção sistêmica de informações gerenciais que apoiarão uma nova ocorrência do mesmo tipo de evento. 10. (2016 CESPE TRT 8ª Região (PA e AP) Analista Judiciário Tecnologia da Informação) Acerca de data mining, assinale a opção correta. a) A fase de preparação para implementação de um projeto de data mining consiste, entre outras tarefas, em coletar os dados que serão garimpados, que devem estar exclusivamente em um data warehouse interno da empresa. b) As redes neurais são um recurso matemático/computacional usado na aplicação de técnicas estatísticas nos processos de data mining e consistem em utilizar uma massa de dados para criar e organizar regras de classificação e decisão em formato de diagrama de árvore, que vão classificar seu comportamento ou estimar resultados futuros. c) As aplicações de data mining utilizam diversas técnicas de natureza estatística, como a análise de conglomerados (cluster analysis), que tem como objetivo agrupar, em diferentes conjuntos de dados, os elementos identificados como semelhantes entre si, com base nas características analisadas. d) As séries temporais correspondem a técnicas estatísticas utilizadas no cálculo de previsão de um conjunto de informações, analisando-se seus valores ao longo de determinado período. Nesse caso, para se obter uma previsão mais precisa, devem ser descartadas eventuais sazonalidades no conjunto de informações. e) Os processos de data mining e OLAP têm os mesmos objetivos: trabalhar os dados existentes no data warehouse e realizar inferências, buscando reconhecer correlações não explícitas nos dados do data warehouse. 6

7 Data Mining Prof. Márcio Hunecke Explicação: a) A fase de preparação para implementação de um projeto de data mining consiste, entre outras tarefas, em coletar os dados que serão garimpados, que podem não estar exclusivamente em um data warehouse interno da empresa. b) As árvores de decisão são um recurso matemático/computacional usado na aplicação de técnicas estatísticas nos processos de data mining e consistem em utilizar uma massa de dados para criar e organizar regras de classificação e decisão em formato de diagrama de árvore, que vão classificar seu comportamento ou estimar resultados futuros. d)... devem ser considerados eventuais sazonalidades. e) essa definição vale somente para data mining. 12. (2015 CESPE MEC Administrador de Dados) Acerca de data warehouse (DW), Business Intelligence (BI) e data mining, julgue o item que se segue. Situação hipotética: Após o período de inscrição para o vestibular de determinada universidade pública, foram reunidas informações acerca do perfil dos candidatos, cursos inscritos e concorrências. Ademais, que, por meio das soluções de BI e DW que integram outros sistemas, foram realizadas análises para a detecção de relacionamentos sistemáticos entre as informações registradas. Assertiva: Nessa situação, tais análises podem ser consideradas como data mining, pois agregam valor às decisões do MEC e sugerem tendências, como, por exemplo, o aumento no número de escolas privadas e a escolha de determinado curso superior. 11. (2016 CESPE FUNPRESP-EXE Especialista Tecnologia da Informação) Com relação à forma como os dados são armazenados e manipulados no desenvolvimento de aplicações, julgue o item a seguir. Na implementação de mineração de dados (data mining), a utilização da técnica de padrões sequenciais pode ser útil para a identificação de tendências. Gabarito: 1. C 2. C 3. E 4. C 5. C 6. C 7. C 8. E 9. C 10. E 11. C 7