Análise de Informações em Teoria e Exercícios p/ Cargos de Auditor do TCU - Turma: 10 Foco: CESPE e Similares

Transcrição

1 Aula 00 Análise de Informações TCU (Turma: 10) Aula Demonstrativa Noções de Modelagem Dimensional (Parte I) Professora: Patrícia Lima Quintão Prof a. Patrícia Lima Quintão 1

2 Aula 00 Aula Demonstrativa Olá, querido(a) amigo(a)! É com muita satisfação que inicio no Ponto dos Concursos a 10ª edição deste curso de Análise de Informações (em Teoria e Exercícios Comentados), totalmente direcionada ao certame do TCU. O curso é composto por 07 aulas (além desta aula demonstrativa), em que teremos resumos teóricos contemplando os pontos que podem ser explorados no edital e os comentários de questões atualizadas (provenientes dos concursos realizados prioritariamente pelo Cespe/UnB e bancas similares), para que você possa se antecipar ao estilo de cobrança dessa banca e gabaritar a sua prova! Antes de continuar, lembre-se de que a CONFIANÇA é um dos grandes segredos do SUCESSO. Acredite! Prof a. Patrícia Lima Quintão 2

3 Vamos à luta, com FOCO no grande objetivo e dedicação ao concurso do TCU, para que em seguida possam ter a bonificação. Tenho certeza de que até o final do curso vocês tirarão de letra as questões de informática vindouras! Que Deus os abençoe e sucesso nos estudos! Vamos juntos gabaritar novamente a prova de Análise de Informações do TCU! Aula Conteúdo Programático do Curso Apresentação da professora e do curso. Aula Inaugural Proposta do curso e questões de demonstração sobre noções de modelagem dimensional: conceito e aplicações (Parte I). Dado, informação, conhecimento e inteligência. Dados estruturados e não estruturados. Dados abertos. Coleta, tratamento, armazenamento, integração e recuperação de dados. 02 Banco de dados relacionais: conceitos básicos e características. Metadados. Tabelas, visões (views) e índices. Chaves e relacionamentos. 03 Noções de modelagem dimensional: conceito e aplicações (Parte 2). 04 Noções de Big Data: conceito, premissas e aplicação. Visualização e análise exploratória de dados. 05 Noções de sistemas de informação da Administração Pública Federal: SIAFI, SIASG e SICONV. Finalidade. Principais informações. 06 Lei de Acesso a Informação (Lei nº /2011): conceitos e aplicação. 07 Noções de mineração de dados: conceituação e características. Modelo de referência CRISP-DM. Técnicas para pré-processamento de dados. Técnicas e tarefas de mineração de dados. Classificação. Regras de associação. Análise de agrupamentos (clusterização). Detecção de anomalias. Modelagem preditiva. Aprendizado de máquina. Mineração de texto. Prof a. Patrícia Lima Quintão 3

4 Quanto ao conteúdo desse curso, temos algumas informações complementares: a) em nossas aulas pretendemos apresentar o maior número de questões possíveis a fim de familiarizar você com o estilo de questões normalmente utilizado pelo Cespe. No entanto, tendo-se em vista a quantidade limitada de questões dessa banca, também lançaremos no curso questões de outras bancas para complementar ou mesmo para introduzir um determinado conteúdo. Sempre que fizermos isso será levando em conta o formato e a profundidade das questões de informática que costumamos encontrar nas provas do Cespe/UnB. b) O curso está sendo criado com todo o capricho e profissionalismo de sempre! Então, espero que aproveitem! A satisfação e motivação estão cada vez maiores, e será um enorme prazer trabalhar com cada um de vocês neste curso rumo ao tão sonhado cargo público! Antes de partir para o desenvolvimento da teoria e dos exercícios, gostaria de me apresentar. Vamos lá! Sou a Prof a Patrícia Lima Quintão, moro em Belo Horizonte e tenho ministrado aulas de informática no Ponto dos Concursos desde 2009 (visando certames como Senado Federal, Banco do Brasil, DEPEN, Câmara dos Deputados, STF, Polícia Federal, Polícia Rodoviária Federal, Polícia Civil do Distrito Federal, Polícia Civil- PA, PC-GO, MPU, INSS, MTE, TCU, TCE, Ministério da Fazenda, Petrobrás, MPOG, ABIN, TRE, TRT, TSE, ANEEL, SEFAZ-DF, SEFAZ-RJ, SEFAZ-SC, SEFAZ- SP, ISS-RJ, ISS-BH, ISS-SP, SUSEP, TJ-DFT, TJ-CE, ANVISA, CGU, TRE, dentre outros). Prof a. Patrícia Lima Quintão 4

5 Também atuo no processo de Coaching para Concursos do Ponto, assessorando os candidatos para que consigam atingir seu objetivo: a aprovação em concurso público, de forma mais rápida e eficiente. Auxilio também os candidatos na elaboração dos recursos (Ponto Recursos) e sou coordenadora de todos os cursos de TI e informática básica do Ponto. Cabe ressaltar que ministrei, desde 2009, TODOS os cursos da área fiscal no Ponto dos Concursos, e é grande a satisfação que tenho de poder participar dessa trajetória de sucesso com todos vocês! Como exemplo, mapeamos 95% da última prova da SEFAZ-RJ e 100% da última prova direcionada à SEFAZ-RS/SEFAZ-PI/SEFAZ-PE, dentre outras, então, não será diferente dessa vez. A experiência nas diversas turmas já ministradas, bem como o entendimento dos anseios da banca (rs!) são fundamentais para esse resultado! Também tenho lecionado disciplinas técnicas do curso de bacharelado em Sistemas de Informação e do MBA em Segurança da Informação do IGTI, e atuo como Gerente de Segurança da Informação na PRODABEL. Sou instrutora autorizada CISCO e autora dos seguintes livros: 1) 1001 questões comentadas de informática (Cespe/UnB) pela Editora Gen/Método. 2ª. Edição. NOVO! O livro já está disponível em Prof a. Patrícia Lima Quintão 5

6 2) Informática FCC - Questões comentadas e organizadas por assunto, pela Editora GEN/Método, sob a coordenação dos grandes mestres Vicente Paulo e Marcelo Alexandrino. Aliás, vale destacar aqui que a terceira edição desse livro pode ser obtida também pelo site o=2303. Quanto à formação, tenho mestrado em Engenharia de Sistemas e Computação pela COPPE/UFRJ, sou pós-graduada em Gerência de Informática e bacharel em Informática pela Universidade Federal de Viçosa (UFV). Atuo como membro: da Sociedade Brasileira de Computação, da Sociedade Brasileira de Coaching, do PMI - Project Management Institute (e do Brazil Chapter do PMI, com sede em BH), Prof a. Patrícia Lima Quintão 6

7 da ISACA (associada também ao Capítulo Belo Horizonte), da Comissão de Estudo de Técnicas de Segurança (CE-21:027.00) da ABNT (Associação Brasileira de Normas Técnicas), responsável pela elaboração das normas brasileiras sobre gestão da Segurança da Informação. Ainda, sou editora da revista InfraMagazine; tenho certificações técnicas na área de segurança, redes e perícia forense; além de artigos publicados a nível nacional e internacional com temas da área de informática. E como não poderia deixar de ser, nas horas vagas, também concurseira, tendo sido aprovada em vários concursos, como: Professora titular do Departamento de Ciência da Computação do Instituto Federal de Educação, Ciência e Tecnologia; Professora substituta do Departamento de Ciência da Computação da Universidade Federal de Juiz de Fora; Analista de Tecnologia da Informação/Suporte, Prodabel; Analista do Ministério Público MG; Analista de Sistemas, Dataprev, Segurança da Informação; Analista de Sistemas, Infraero; Analista - TIC, Prodemge; Analista de Sistemas, Prefeitura de Juiz de Fora; Analista de Sistemas, SERPRO; Analista Judiciário (Informática), TRF 2ª Região RJ/ES, etc. Prof a. Patrícia Lima Quintão 7

8 Bem, passada a apresentação inicial, espero que este curso seja de grande valia para o seu estudo, fazendo-o superar os desafios vindouros na prova! Planejamento das Aulas Esta é a nossa Aula Demonstrativa. As demais aulas estão estruturadas, preferencialmente, conforme tabela aqui destacada, dando ênfase aos conteúdos de maior relevância a este certame. Alterações na ordem das aulas poderão ocorrer se necessárias por questões didáticas, e, caso isso ocorra, serão devidamente alteradas no calendário do curso. No decorrer do curso disponibilizarei os pontos teóricos de relevância, e, em seguida, trabalharemos as questões comentadas em sua íntegra. Também estarei destacando, ao final de cada aula, no MEMOREX, o que devo tomar nota como mais importante da matéria, permitindo melhor fixação dos assuntos apresentados por aula. Por fim, desejo-lhes muito sucesso nos estudos! Tenham a certeza e a convicção de que qualquer esforço feito nessa fase será devidamente compensado. Em outras palavras, esforce-se, mantenha-se focado e determinado, pois, certamente, valerá à pena! Vamos começar então? Força, garra e determinação, e fiquem com Deus sempre! Prof a Patrícia Lima Quintão patricia@pontodosconcursos.com.br Twitter: Prof a. Patrícia Lima Quintão 8

9 Facebook: Livro FCC (-Impresso ou digital => A1tica+fcc). Livro Cespe/2016 (2ª. Edição) Novo! Lançamento! Iniciamos o curso com um assunto bastante cobrado nas provas do Cespe/UnB Datarehouse e Data Mart. Totalizamos, nesta aula inaugural, 12 questões, para mapeamento do estilo de prova que você irá encontrar. Sucesso nos estudos! Prof a. Patrícia Lima Quintão 9

10 Tópicos da Aula Planejamento das Aulas... 8 Data Warehouse Data Mart Data Mining (Mineração de Dados) Abordagens para o Projeto de Data Warehouse ETL (Extract Transform Load Extração, Transformação e Carga de Dados) em Data Warehouse Memorex Lista das Questões Comentadas na Aula Considerações Finais Bibliografia Lista das Questões Apresentadas na Aula Gabarito Acompanhe a Evolução do seu Aproveitamento Prof a. Patrícia Lima Quintão 10

11 Aula 00 Noções de Modelagem Dimensional: Conceito e Aplicações (Parte I) Para iniciar a parte teórica do curso, optei por destacar a diferença entre o Data Mart e o Data Warehouse, de grande importância para a prova. Espero que aproveitem! Data Warehouse Um Data Warehouse (armazém de dados, ou ainda depósito de dados), é um repositório de informações colhidas de várias origens, armazenadas sob um esquema unificado, em um único local, que propõe sustentar a tomada de decisão com dados. Para que serve? Para criar uma visão única e centralizada dos dados que estavam dispersos em diversos Bancos de Dados. Permite que usuários finais executem consultas, gerem relatórios e façam análises. Prof a. Patrícia Lima Quintão 11

12 Características: Análise de Informações em Teoria e Exercícios Trata-se de uma coleção de dados orientada por assunto, integrada, não-volátil, variante no tempo, que dá apoio às decisões da administração. Figura. Características do Data Warehouse o Orientado a assunto: refere-se ao fato do Data Warehouse (DW) ser organizado conforme diferentes visões de negócio, ou seja, armazena informações sobre temas específicos importantes para o negócio da empresa. Exemplo: Vendas, Compras, etc. Figura. Visões de negócio Prof a. Patrícia Lima Quintão 12

13 o Integrado a partir de fontes de dados heterogêneas: refere-se à consistência de nomes, das unidades, das variáveis, etc., no sentido de que os dados foram transformados até um estado uniforme. Por exemplo, considere sexo como um elemento de dado. Uma aplicação pode codificar sexo como M/F, outra como 1/0 e uma terceira como H/M. Assim, conforme os dados são inseridos no Data Warehouse, eles são convertidos para um mesmo padrão. Sexo é codificado apenas de uma forma. Da mesma maneira, se um elemento de dado é medido em centímetros em uma aplicação, em polegadas em outra, ele será convertido para uma representação única ao ser colocado no Data Warehouse. Figura. Exemplo integração dados de fontes heterogêneas o Não volátil: os dados são sempre inseridos, nunca excluídos. Isso significa que em um DW não existem alterações de dados, somente a carga inicial e as consultas posteriores. No ambiente operacional, ao contrário, os dados são, em geral, atualizados registro a registro, em múltiplas transações. Prof a. Patrícia Lima Quintão 13

14 Por definição, os dados em um Data Warehouse não são voláteis, ou seja, eles não mudam, salvo quando é necessário fazer correções de dados previamente carregados. Os dados estão disponíveis somente para leitura e não podem ser alterados. Figura. Carregamento e acesso a dados no DW o Variante no tempo: posições históricas das atividades no tempo. Refere-se ao fato do dado em um Data Warehouse referir-se a algum momento específico, significando que ele NÃO É ATUALIZÁVEL. Enquanto que o dado de produção é atualizado de acordo com mudanças de estado do objeto em questão, refletindo, em geral, o estado do objeto no momento do acesso. Em um Data Warehouse, a cada ocorrência de uma mudança, uma nova entrada é criada, para marcar esta mudança. Prof a. Patrícia Lima Quintão 14

15 Figura. Variação de preços no tempo o Granularidade de dados: refere-se ao nível de sumarização dos elementos e de detalhes disponíveis nos dados, considerado o mais importante aspecto do projeto de um Data Warehouse. Prof a. Patrícia Lima Quintão 15

16 Quanto menor a granularidade, mais detalhada é a informação disponível. Definir a granularidade adequada é vital para que o DW atenda seus objetivos. Mais detalhes Mais dados Análise mais longa Informação mais detalhada. Menos detalhes Menos dados Análise mais curta Informação menos detalhada. Para evitar que se perca informação são criados vários níveis de granularidade. Em um nível de granularidade muito alto: o o espaço em disco e o número de índices necessários se tornam bem menores; o há, porém, uma diminuição da possibilidade de utilização dos dados para atender a consultas detalhadas. Prof a. Patrícia Lima Quintão 16

17 O Data Warehouse é um armazém centralizado de dados, ou seja, um banco de dados ou um agrupamento de bases de dados que contêm dados sobre os negócios organizados por assunto. Por exemplo, uma indústria automotiva poderia ter um Data Warehouse com uma base de dados destinada a armazenar registros inerentes ao setor de Vendas. Poderia haver também uma outra base de dados que contivesse dados inerentes ao departamento de Produção de Automóveis. A cada uma dessas bases de dados dá-se o nome de Data Mart, e ao agrupamento de todos esses Data Marts damos o nome de Data Warehouse. Conforme visto, Data Warehouse é o processo de integração dos d ados c orpo rativo s de uma empresa em um único rep o s itório. É u m ambie n te d e suporte à decisão que alavanca dados armazenados em diferentes fontes e os organiza e entrega aos tomadores de decisões. Resumindo, é uma tecnologia de gestão e análise de dados. (CESPE/2015/DEPEN/AGENTE PENITENCIÁRIO FEDERAL - TECNOLOGIA DA INFORMAÇÃO) Acerca de datawarehouse e datamining, julgue o item subsequente: [O datawarehouse possibilita a análise de grandes volumes de dados, que, por sua vez, permitem a realização de uma melhor análise de eventos futuros]. Prof a. Patrícia Lima Quintão 17

18 Comentários Um Data Warehouse é um repositório de informações colhidas de várias origens, armazenadas sob um esquema unificado, em um único local. Quando reunidos, os dados são armazenados por muito tempo, permitindo o acesso a dados históricos. Ainda, o desenho da base de dados favorece os relatórios, a análise de grandes volumes de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão. O Data Warehouse possibilita a análise de grandes volumes de dados, coletados dos sistemas transacionais (OLTP). São as chamadas séries históricas que possibilitam uma melhor análise de eventos passados, oferecendo suporte às tomadas de decisões presentes e a previsão de eventos futuros. Gabarito: item errado. Data Mart O Data Mart (DM) nada mais é que um subconjunto de dados de um Data Warehouse, em que tipicamente desempenham o papel de um DW departamental, regional ou funcional. Prof a. Patrícia Lima Quintão 18

19 Figura. Data Warehouse e Data Marts Alguns autores e especialistas dizem que o DW é uma evolução do DM que começou localizado e cresceu para atender um escopo maior. D ata Mart: são armazéns de d ado s com informações d e i nt eresse p artic u lar p ara um d et erminado setor d a empr esa. D ata Wareh ouse: é o conjunto d e armazéns de dado s p artic ulares (D ata Mart) com info rmação d e interesse para a em pr esa em g eral. Prof a. Patrícia Lima Quintão 19

20 Data Mining (Mineração de Dados) É o processo de análise de conjuntos de dados que tem por objetivo a descoberta de padrões interessantes e que possam representar informações úteis. A M i neração de Da do s sur giu com a m otiva ção de garim par informações r elev a nt es d a s Ba ses de Da do s, de f orma automática. A mineração de dados é um processo de negócio utilizado para explorar grandes quantidades de dados em busca de padrões e regras significativas. Um exemplo clássico de utilização do Data Mining na área de marketing, é o das fraldas próximas das cervejas. Uma das maiores redes de varejo dos Estados Unidos detectou, em seu gigantesco armazém de dados, que a venda de fraldas descartáveis estava associada à de cerveja. De uma maneira geral, os compradores eram homens, que saíam à noite para comprar fraldas e aproveitavam para levar algumas latinhas para casa. Os produtos foram postos lado a lado. Resultado: a venda de fraldas e cervejas disparou. Veja mais: O uso prático de data mining envolve o emprego de processos, ferramentas, técnicas e métodos oriundos da matemática, da estatística e da computação, inclusive de inteligência artificial. A mineração de dados é um campo interdisciplinar que reúne técnicas de aprendizado de máquina, reconhecimento de padrões, estatísticas, banco de dados e visualização para abordar a questão da extração de informações a partir de grandes bases de dados (Evangelos Simoudis, citado em Prof a. Patrícia Lima Quintão 20

21 Daniel T. Larose, Discovering Knowledge in Data An Introduction to Data Mining). Os processos de Data Mining são muito facilitados quando a empresa já possui seu Data Warehouse bem estruturado, por isso esses dois termos Data Warehouse e Data Mining caminham tão juntos. As empresas comumente irão primeiramente amadurecer seus processos de organização dos dados sobre o negócio e agrupá-los por assunto, formando seus Data Marts. Em seguida, irão compor seu Data Warehouse, para após, iniciar os processos de Data Mining com a finalidade de encontrar algum conhecimento de valor em meio aos dados sobre o negócio. Abordagens para o Projeto de Data Warehouse No que se refere aos métodos de construção de Data Warehouse, existem formalmente dois: Top-down, no qual é realizada a modelagem integral do DW, seguida pelas extrações de dados. Considera que deve-se desenvolver um DW completo e centralizado antes que partes dele, sumarizadas, possam ser derivadas na forma de Data Marts. A principal vantagem é a criação de um modelo único. O revés fica por conta do maior tempo de projeto; Bottom-up, em que o foco é em uma área por vez, com o crescimento gradual do DW. Considera que um DW possa ser composto a partir de Data Marts previamente desenvolvidos. A vantagem é a Prof a. Patrícia Lima Quintão 21

22 obtenção de resultados a intervalos mais curtos, garantindo m u i tas vezes suste n t ação ao p roje to. A de svantagem é a m a io r d i f i culdade de se consolidar informações entre as diversas áreas. Podem-se visualizar pela imagem seguinte as duas formas de construção, uma na qual o DW gera os DM (Data Mart) e outra em que os DM geram o DW. Figura. Exemplos das duas formas de construção de um Data Warehouse Para os p rocessos d e const rução d e u m D ata W arehouse ( DW ) é altamente importante a compreensão do negócio que envolve a empresa ou instituição em que se está desenvolvendo o trabalho. Prof a. Patrícia Lima Quintão 22

23 Operational Data Storage (ODS) ou Staging Area (SA), no âmbito dos DWs, representa um armazenamento intermediário dos dados, que facilita a integração dos dados do ambiente operacional antes de sua atualização no DW. Atualmente, alguns autores passaram a denominá-lo Dynamic Data Storage (DDS). ETL (Extract Transform Load Extração, Transformação e Carga de Dados) em Data Warehouse O processo inicial é a extração de dados das bases de dados transacionais, dados de sistemas ERP, dados locais, externos ou web. Fonte : Microso f t (2011) Prof a. Patrícia Lima Quintão 23

24 Após a extração, os dados devem ser transformados para que seja possível a carga dos dados em um Data Warehouse ou Data Mart, dependendo do método de construção adotado. Fonte : Microso f t (2011) Algumas das ferramentas conhecidas de ETL (Extract Transform Load) são: IBM InfoSphere DataStage, Informática Power Center, Business Objects Data Integrator, Data Transformation Services, Pentaho Data Integration, Oracle Data Integrator, entre outras. Interrompemos aqui a nossa aula demonstrativa do curso. Na aula 3 daremos continuidade à temática desta aula. A partir deste momento vamos revisar alguns pontos IMPORTANTES da aula por intermédio de quadros sinóticos, mapas mentais ou colocação de tópicos e palavras-chave, o que teremos em todas as aulas desse curso. Prof a. Patrícia Lima Quintão 24

25 Memorex D ata Mart: são armazéns de d ado s com informações d e i nt eresse p artic u lar p ara um d et erminado setor d a empr esa. D ata W areh ouse : é o conjunto d e armazéns de dado s p artic ulares (D ata Mart) com info rmação d e interesse para a em pr esa em g eral. Data Warehouse (DW) é o processo de integração dos d ados c orpo rativo s de u ma empr esa em u m único r epo sit ório. É u m a mbiente de suporte à decisão que alavanca dados armazenados em diferentes fontes e os organiza e entrega aos tomadores de decisões. Resumindo, é uma tecnologia de gestão e análise de dados. Requisitos básicos para um Data Warehouse: DW: organizados em assuntos; DW: capacidade de integração; DW: deve ser flexível o suficiente para atender às exigências de mudança rapidamente; Dados: considerados NÃO voláteis e devem ser carregados em massa; Dados: existem em vários níveis de granularidade. Prof a. Patrícia Lima Quintão 25

26 Data Mining (Mineração de Dados) Análise de Informações em Teoria e Exercícios É o processo de análise de conjuntos de dados que tem por objetivo a descoberta de padrões interessantes e que possam representar informações úteis. A M i neração de Da do s sur giu com a m otiva ção de garim par informações r elev a nt es d a s Ba ses de Da do s, de f orma automática. A mineração de dados é um processo de negócio utilizado para explorar grandes quantidades de dados em busca de padrões e regras significativas. No contexto de data mining, o processo de descoberta de conhecimento em base de dados consiste na extração não trivial de conhecimento previamente desconhecido e potencialmente útil. O uso prático de data mining envolve o emprego de processos, ferramentas, técnicas e métodos oriundos da matemática, da estatística e da computação, inclusive de inteligência artificial. As ferramentas de software ETL (extract transform load) têm como função a extração de dados de diversos sistemas, a transformação desses dados de acordo com as regras de negócio e a carga dos dados em um data mart ou um DW. Rumo às questões! Prof a. Patrícia Lima Quintão 26

27 Lista das Questões Comentadas na Aula 1. (CESPE/2016/TCE-PA/Auditor de Controle Externo - Área Informática - Analista de Sistema) Julgue o item a seguir, em relação a data warehouse e data mining. No contexto de data mining, o processo de descoberta de conhecimento em base de dados consiste na extração não trivial de conhecimento previamente desconhecido e potencialmente útil. Comentários O Data Mining é considerado uma parte de um processo maior conhecido como KDD (Knowledge Discovery in Databases) em português, Descoberta de Conhecimento em Bases de Dados, que, segundo Eduardo Gimenes, busca extrair informação válida, previamente desconhecida e de máxima abrangência a partir de grandes bases de dados, usando-as para efetuar de decisões cruciais. Addrians & Zantinge (1996) cita que o Data Mining, ou Mineração de Dados, permite a extração não trivial de conhecimento previamente desconhecido e potencialmente útil de um banco de dados. Outra definição clássica para esse termo é a de FAYYAD et al. (1996): processo, não trivial, de extração de informações implícitas, previamente desconhecidas e potencialmente úteis, a partir dos dados armazenados em um banco de dados, ou seja, buscar por informações em uma base de dados com os mais variados atributos e assuntos. Já Laudon&Laudon destaca que Data Mining é a análise de grandes quantidades de dados a fim de encontrar padrões e regras que possam ser usadas para orientar a tomada de decisões e prever o comportamento futuro. Prof a. Patrícia Lima Quintão 27

28 Mineração de dados, ou data mining, é o processo de análise de conjuntos de dados que tem por objetivo a descoberta de padrões interessantes e que possam representar informações úteis. Gabarito: item correto. 2. (Q104752/CESPE/2016/TCE-PA/Auditor de Controle Externo - Área Informática - Analista de Sistema) Julgue o item a seguir, em relação a data warehouse e data mining. [Data warehouse é um repositório de dados dinâmico, que sofre alterações frequentes, de modo a permitir que sejam feitas consultas em base de dados constantemente atualizada]. Comentários A questão tornou-se inadequada ao destacar que o Data Warehouse sofre alterações frequentes. Os dados em um Data Warehouse não são voláteis, ou seja, eles não mudam, salvo quando é necessário fazer correções de dados previamente carregados. No ambiente operacional, ao contrário, os dados sofrem alterações frequentes, pois são, em geral, atualizados registro a registro, em múltiplas transações. Figura. Carregamento e acesso a dados no DW Gabarito: item errado. Prof a. Patrícia Lima Quintão 28

29 3. (CESPE/2015/TCU/Auditor Federal de Controle Externo) O uso prático de data mining envolve o emprego de processos, ferramentas, técnicas e métodos oriundos da matemática, da estatística e da computação, inclusive de inteligência artificial. Comentários Data Mining é a etapa do KDD (Knowledge Discovery in Databases - Descoberta de Conhecimento em Bases de Dados) em que os dados preparados são processados, ou seja, é onde se faz a mineração dos dados propriamente dita. Nesse contexto, são aplicadas técnicas para identificação de padrões sobre os dados disponíveis. Esse processo tem o intuito de trabalhar os dados registrados ao longo do tempo de vida de um negócio a fim de se identificar padrões que representam alguma informação sobre o comportamento do negócio. A figura a seguir apresenta um esquema que descreve o KDD. O processo de KDD envolve os seguintes passos: 1. entendimento do domínio da aplicação e identificação do objetivo do processo de KDD; Prof a. Patrícia Lima Quintão 29

30 2. seleção: criação de um conjunto-alvo de dados; 3. pré-processamento: limpeza de dados e operações básicas como remoção de ruído, tratamento para a falta de dados, etc.; 4. transformação: encontrar características úteis para representar os dados, conforme o objetivo definido e realizar a redução ou transformação da dimensionalidade; 5. mineração de dados: casar os objetivos do processo de KDD com um método particular de mineração de dados e realizar a análise exploratória e seleção de modelo e hipótese, buscando padrões de interesse; 6. interpretação: interpretar e avaliar os padrões minerados, podendo retornar a passos anteriores caso seja necessário; 7. agir a partir do conhecimento descoberto. No Data Mining são aplicadas técnicas e ferramentas matemáticas, estatísticas e computacionais visando a extração de informações implícitas, previamente desconhecidas, e potencialmente úteis, a partir de dados. Para isso é necessário um programa de computador para detectar padrões e regularidades nos dados. Os termos destacados na questão estão de acordo com essa teoria, e a assertiva é correta. Gabarito: item correto. 4. (CESPE/2015/TCU/Auditor Federal de Controle Externo) No ambiente organizacional, devido à grande quantidade de dados, não é recomendado o emprego de data mining para atividades ligadas a marketing. Comentários Não existe restrição de setor para o emprego das técnicas de Data mining. Em relação à quantidade de dados também não há restrição desde que a empresa possua capacidade de tratamento (armazenagem e processamento) dos dados. Gabarito: item errado. Prof a. Patrícia Lima Quintão 30

31 5. (CESPE/2015/TCU/Auditor Federal de Controle Externo) A finalidade do uso do data mining em uma organização é subsidiar a produção de afirmações conclusivas acerca do padrão de comportamento exibido por agentes de interesse dessa organização. Comentários A mineração de dados (Data Mining) pode ser utilizada para encontrar novos padrões, visando: predição: o sistema encontra padrões para predizer (prever) o comportamento futuro de algumas entidades; descrição: o sistema encontra padrões relevantes sobre os dados, em uma forma compreensível para o usuário. A mineração de dados envolve o ajuste de modelos aos dados observados ou a determinação de padrões a partir destes dados. Os modelos ajustados fazem o papel do conhecimento inferido, sobre o qual o julgamento humano subjetivo é exigido na verificação se os modelos refletem conhecimento útil ou interessante. Gabarito: item correto. 6. (CESPE/2015/DEPEN/AGENTE PENITENCIÁRIO FEDERAL - TECNOLOGIA DA INFORMAÇÃO) Acerca de datawarehouse e datamining, julgue o item subsequente: [O datawarehouse possibilita a análise de grandes volumes de dados, que, por sua vez, permitem a realização de uma melhor análise de eventos futuros]. Prof a. Patrícia Lima Quintão 31

32 Comentários Um Data Warehouse é um repositório de informações colhidas de várias origens, armazenadas sob um esquema unificado, em um único local. Quando reunidos, os dados são armazenados por muito tempo, permitindo o acesso a dados históricos. Ainda, o desenho da base de dados favorece os relatórios, a análise de grandes volumes de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão. O Data Warehouse possibilita a análise de grandes volumes de dados, coletados dos sistemas transacionais (OLTP). São as chamadas séries históricas que possibilitam uma melhor análise de eventos passados, oferecendo suporte às tomadas de decisões presentes e a previsão de eventos futuros. Gabarito: item errado. 7. (Q104754/CESPE/2014/TJ-SE/Analista Judiciário/Análise de Sistemas) Com relação a sistemas de suporte à decisão, julgue os seguintes itens. Assim como o Data Mining, os Data Marts são voltados para a obtenção de informações estratégicas de maneira automática, ou seja, com o mínimo de intervenção humana a partir da análise de dados oriundos de Data Warehouses. Prof a. Patrícia Lima Quintão 32

33 Comentários O Data Warehouse é um conjunto de dados orientado por assuntos, não volátil, variável com o tempo e integrado, criado para dar suporte à decisão. Data Marts são subconjuntos de dados de um Data Warehouse. E, por fim, é o Data Mining (Mineração de Dados) o processo de identificar informações relevantes, tais como padrões, associações, mudanças, anomalias e estruturas, em grandes conglomerados de dados que estejam em banco de dados ou outros repositórios de informações. Gabarito: item errado. 8. (CESPE/2014/TJ-SE/Programação de Sistemas) Os dados armazenados em um DataWarehouse devem estar integrados, temporalmente identificados, orientados ao assunto e devem ser protegidos, de modo a se evitar o acesso do usuário. Comentários Segundo Bill Inmon (1997), um data warehouse é uma coleção de dados orientada a assuntos, integrada, não-volátil e variante ao longo do tempo, para suporte à tomada de decisão. É orientado a assuntos o o DW é criado de forma orientada em torno dos principais assuntos da organização (clientes, vendas, produtos, estoques, etc.). Prof a. Patrícia Lima Quintão 33

34 É integrado o Na convenção consistente de nomes; o Na estrutura consistente da codificação; etc. É não volátil o Somente existem cargas e acessos (atualizações existe, mas devido às manutenções). É variante no tempo o Qualquer unidade de dado deve ter precisão em um ponto bem definido do tempo. Por fim, deve-se definir o nível de segurança a ser implementado no DW, de modo a que se permita o acesso devido aos usuários autorizados. A questão afirma que o acesso do usuário deve ser evitado, o que está errado! Gabarito: item errado. 9. (FCC/2013/TRT9R/Téc.Jud./Tec.Informação) A revista ClubeDelphi publicou o seguinte artigo: Com o crescente aumento do volume de dados, surge a necessidade de ferramentas e mecanismos que permitam que eles possam ser analisados de forma otimizada, uma vez que armazenam toda a trajetória da empresa. Uma solução é a utilização de I que, em síntese, é utilizado para armazenar conjuntos de dados organizados por assuntos, mantendo todo um histórico corporativo. Prof a. Patrícia Lima Quintão 34

35 Outro recurso muito utilizado e dos mais importantes quando o objetivo é a busca de conhecimento, é o II, que é um processo que consiste na identificação de informações relevantes que estão presentes em grandes bancos de dados ou repositórios, geralmente realizado em três etapas: a exploração, a definição dos padrões e a validação dos dados. Estas ferramentas e técnicas fazem parte do III, definido como um conjunto de métodos e conceitos que podem ser implementados através de softwares com o intuito de utilizar os dados importantes da organização para auxiliar no processo de tomada de decisões, proporcionando melhorias para a alta administração. Outra tecnologia que pode prover uma melhor e mais flexível análise das informações, é o IV que permite uma visão conceitual de forma multidimensional das informações da organização, de maneira que as informações possam ser visualizadas e analisadas de diferentes perspectivas pelo usuário. ( As lacunas que completam corretamente o texto estão expressas em: Prof a. Patrícia Lima Quintão 35

36 Comentários Lacuna Conceito Descrição I Data Warehouse Utilizado para armazenar conjuntos de dados organizados por assuntos, mantendo todo um histórico corporativo. Trata-se de uma coleção de dados orientada por assunto, integrada, nãovolátil, variante no tempo, que dá apoio às decisões da administração. II Data Mining (Mineração de Dados) Processo que consiste na identificação de informações relevantes que estão presentes em grandes bancos de dados ou repositórios, geralmente realizado em três etapas: a exploração, a definição dos padrões e a validação dos dados. Em outras palavras, é o processo de identificar informações relevantes, tais como padrões, associações, mudanças, anomalias e estruturas, em grandes conglomerados de dados que estejam em banco de dados ou outros repositórios de informações. III Business Intelligence Um conjunto de métodos e conceitos que podem ser implementados através de softwares com o intuito de utilizar os dados importantes da organização para auxiliar no processo de tomada de decisões, proporcionando melhorias para a alta administração. Prof a. Patrícia Lima Quintão 36

37 IV OLAP (Online Analytical Processing) Permite uma visão conceitual de forma multidimensional das informações da organização, de maneira que as informações possam ser visualizadas e analisadas de diferentes perspectivas pelo usuário. Gabarito: letra D. 10. (FCC/2014/ICMS-RJ/Auditor Fiscal da Receita Estadual) Com o advento da tecnologia de Data Warehousing, os ambientes de apoio à decisão passaram a ser denominados ambientes de Data Warehouse (DW). Em relação à tecnologia DW, é correto afirmar: a) Um DW tem duas operações básicas: a carga dos dados (inicial e incremental) e o acesso a estes dados em modo leitura. Depois de carregado, um DW não necessita de operações de bloqueio por concorrência de usuários no acesso aos seus dados. b) Em um DW as convenções de nomes, valores de variáveis e outros atributos físicos de dados como data types são bastante flexíveis. Para facilitar a tomada de decisões, as informações são apresentadas de diferentes formas, da mesma maneira que foram carregadas dos sistemas legados. c) Um projetista de DW deve ter seu foco na modelagem dos dados e no projeto de banco de dados. Um sistema transacional armazena as informações agrupadas por assuntos de interesse da empresa que são mais importantes, enquanto um DW é orientado a processos e deve ser desenvolvido para manter disponíveis as transações realizadas diariamente. Prof a. Patrícia Lima Quintão 37

38 d) Os dados de um DW são um conjunto dinâmico de registros de uma ou mais tabelas, capturados em um momento de tempo predeterminado, por isso têm que ser sempre atualizados. e) Um sistema multidimensional, como o DW, deve atualizar o valor corrente das informações e sua exatidão é válida por um tempo curto, por exemplo, o valor total das notas fiscais processadas pela Receita às 12:00 de um dia pode ser diferente às 18:00 do mesmo dia. Comentários Bill Inmon destaca que o Data Warehouse (DW) é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão. Essas características podem ser descritas da seguinte forma: Orientado a assunto: refere-se ao fato do Data Warehouse (DW) ser organizado conforme diferentes visões de negócio, ou seja, armazena informações sobre temas específicos importantes para o negócio da empresa. Ex.: Vendas, Compras, etc. Integrado a partir de fontes de dados heterogêneas. Não volátil: os dados são sempre inseridos, nunca excluídos. Em um DW não existem alterações de dados, somente a carga inicial e as consultas posteriores. Variável com tempo: posições históricas das atividades no tempo. Conforme visto, a restrição de não volatilidade permite basicamente duas operações em um DW, que são: a carga (inicial ou incremental) e consulta dos dados. Via de regra não há operações de atualizações de registros, nem necessidade de operações de bloqueio por concorrência de usuários no acesso Prof a. Patrícia Lima Quintão 38

39 aos seus dados (o que acontece tipicamente em operações de escrita de dados), pois os dados em um DW são apenas para leitura. Assim, a letra A é a resposta da questão. Gabarito: A. Acerca de soluções de suporte a decisão, julgue os dois itens seguintes. 11. (CESPE/Correios/Analista de Correios/Analista de Sistemas/Desenvolvimento de Sistemas/2011) As ferramentas de software ETL (extract transform load) têm como função a extração de dados de diversos sistemas, a transformação desses dados de acordo com as regras de negócio e a carga dos dados em um data mart ou um DW. Comentários As ferramentas de software ETL (Extract Transform Load - E x t r a ç ã o T r a n s f o r m a ç ã o C a r g a ), conforme visto na figura seguinte, têm como função a extração de dados a partir dos sistemas de origem e, geralmente, gravação em disco no ambiente de ETL antes de qualquer reestruturação dos dados. Em seguida, é realizada a transformação desses dados de acordo com as regras de negócio e, por fim, a carga dos dados em um Data Mart ou em um Data Warehouse (DW). Prof a. Patrícia Lima Quintão 39

40 Gabarito: item correto. 12. (CESPE/Correios/Analista de Correios/Analista de Sistemas/Desenvolvimento de Sistemas/2011) Em um ambiente data warehouse (DW), é possível a análise de grandes volumes de dados, os quais ficam disponíveis para serem alterados e manipulados pelo usuário. Comentários Segundo Laudon & Laudon, um Data Warehouse (DW) é um banco de dados, com ferramentas de consulta e relatório, que armazena dados atuais e históricos extraídos de vários sistemas operacionais e consolidados para fins de análises e relatórios administrativos. Prof a. Patrícia Lima Quintão 40

41 Em um ambiente DW, é possível a análise de grandes volumes de dados. No entanto, diferentemente do ambiente operacional em que os dados são, em geral, atualizados registro a registro, em múltiplas transações, o DW permite apenas a carga inicial dos dados e consultas a estes dados. Após serem integrados e transformados, os dados são carregados em bloco para o Data Warehouse, para que estejam disponíveis aos usuários para acesso. Gabarito: item errado. Prof a. Patrícia Lima Quintão 41

42 Considerações Finais Bom, pessoal, acho que já foi suficiente para que se tenha a ideia do que o espera e também de como será o nosso curso. A partir de agora, as aulas serão agrupadas por assuntos específicos, preferencialmente com a distribuição listada no planejamento das aulas. Finalizando, espero que continue conosco pegando os macetes e atalhos da caminhada que serão importantes para a sua prova, de forma a tentar encurtar essa longa trajetória e ajudá-lo(a) a chegar ao objetivo almejado. Fique com Deus, e até a nossa próxima aula aqui no Ponto dos Concursos! Prof a Patrícia Lima Quintão patricia@pontodosconcursos.com.br Outubro/ Prof a. Patrícia Lima Quintão 42

43 Bibliografia QUINTÃO, PATRÍCIA LIMA. Informática para Concursos, QUINTÃO, PATRÍCIA LIMA. Tecnologia da Informação para Concursos, QUINTÃO, PATRÍCIA LIMA. Informática-FCC-Questões Comentadas e Organizadas por Assunto, 4ª. Edição. Ed. Gen/Método, 2016 (Em breve nas livrarias). QUINTÃO, PATRÍCIA LIMA Questões Comentadas de Informática - Cespe, 2ª. Edição. Ed. Gen/Método, 2016 (Novo!). Prof a. Patrícia Lima Quintão 43

44 Lista das Questões Apresentadas na Aula 1. (CESPE/2016/TCE-PA/Auditor de Controle Externo - Área Informática - Analista de Sistema) Julgue o item a seguir, em relação a data warehouse e data mining. No contexto de data mining, o processo de descoberta de conhecimento em base de dados consiste na extração não trivial de conhecimento previamente desconhecido e potencialmente útil. 2. (Q104752/CESPE/2016/TCE-PA/Auditor de Controle Externo - Área Informática - Analista de Sistema) Julgue o item a seguir, em relação a data warehouse e data mining. [Data warehouse é um repositório de dados dinâmico, que sofre alterações frequentes, de modo a permitir que sejam feitas consultas em base de dados constantemente atualizada]. 3. (CESPE/2015/TCU/Auditor Federal de Controle Externo) O uso prático de data mining envolve o emprego de processos, ferramentas, técnicas e métodos oriundos da matemática, da estatística e da computação, inclusive de inteligência artificial. 4. (CESPE/2015/TCU/Auditor Federal de Controle Externo) No ambiente organizacional, devido à grande quantidade de dados, não é recomendado o emprego de data mining para atividades ligadas a marketing. 5. (CESPE/2015/TCU/Auditor Federal de Controle Externo) A finalidade do uso do data mining em uma organização é subsidiar a produção de afirmações conclusivas acerca do padrão de comportamento exibido por agentes de interesse dessa organização. Prof a. Patrícia Lima Quintão 44

45 6. (CESPE/2015/DEPEN/AGENTE PENITENCIÁRIO FEDERAL - TECNOLOGIA DA INFORMAÇÃO) Acerca de datawarehouse e datamining, julgue o item subsequente: [O datawarehouse possibilita a análise de grandes volumes de dados, que, por sua vez, permitem a realização de uma melhor análise de eventos futuros]. 7. (Q104754/CESPE/2014/TJ-SE/Analista Judiciário/Análise de Sistemas) Com relação a sistemas de suporte à decisão, julgue os seguintes itens. Assim como o Data Mining, os Data Marts são voltados para a obtenção de informações estratégicas de maneira automática, ou seja, com o mínimo de intervenção humana a partir da análise de dados oriundos de Data Warehouses. 8. (CESPE/2014/TJ-SE/Programação de Sistemas) Os dados armazenados em um DataWarehouse devem estar integrados, temporalmente identificados, orientados ao assunto e devem ser protegidos, de modo a se evitar o acesso do usuário. 9. (FCC/2013/TRT9R/Téc.Jud./Tec.Informação) A revista ClubeDelphi publicou o seguinte artigo: Com o crescente aumento do volume de dados, surge a necessidade de ferramentas e mecanismos que permitam que eles possam ser analisados de forma otimizada, uma vez que armazenam toda a trajetória da empresa. Prof a. Patrícia Lima Quintão 45

46 Uma solução é a utilização de I que, em síntese, é utilizado para armazenar conjuntos de dados organizados por assuntos, mantendo todo um histórico corporativo. Outro recurso muito utilizado e dos mais importantes quando o objetivo é a busca de conhecimento, é o II, que é um processo que consiste na identificação de informações relevantes que estão presentes em grandes bancos de dados ou repositórios, geralmente realizado em três etapas: a exploração, a definição dos padrões e a validação dos dados. Estas ferramentas e técnicas fazem parte do III, definido como um conjunto de métodos e conceitos que podem ser implementados através de softwares com o intuito de utilizar os dados importantes da organização para auxiliar no processo de tomada de decisões, proporcionando melhorias para a alta administração. Outra tecnologia que pode prover uma melhor e mais flexível análise das informações, é o IV que permite uma visão conceitual de forma multidimensional das informações da organização, de maneira que as informações possam ser visualizadas e analisadas de diferentes perspectivas pelo usuário. ( As lacunas que completam corretamente o texto estão expressas em: Prof a. Patrícia Lima Quintão 46

47 10. (FCC/2014/ICMS-RJ/Auditor Fiscal da Receita Estadual) Com o advento da tecnologia de Data Warehousing, os ambientes de apoio à decisão passaram a ser denominados ambientes de Data Warehouse (DW). Em relação à tecnologia DW, é correto afirmar: a) Um DW tem duas operações básicas: a carga dos dados (inicial e incremental) e o acesso a estes dados em modo leitura. Depois de carregado, um DW não necessita de operações de bloqueio por concorrência de usuários no acesso aos seus dados. b) Em um DW as convenções de nomes, valores de variáveis e outros atributos físicos de dados como data types são bastante flexíveis. Para facilitar a tomada de decisões, as informações são apresentadas de diferentes formas, da mesma maneira que foram carregadas dos sistemas legados. c) Um projetista de DW deve ter seu foco na modelagem dos dados e no projeto de banco de dados. Um sistema transacional armazena as informações agrupadas por assuntos de interesse da empresa que são mais importantes, enquanto um DW é orientado a processos e deve ser desenvolvido para manter disponíveis as transações realizadas diariamente. d) Os dados de um DW são um conjunto dinâmico de registros de uma ou mais tabelas, capturados em um momento de tempo predeterminado, por isso têm que ser sempre atualizados. e) Um sistema multidimensional, como o DW, deve atualizar o valor corrente das informações e sua exatidão é válida por um tempo curto, por exemplo, o valor total das notas fiscais processadas pela Receita às 12:00 de um dia pode ser diferente às 18:00 do mesmo dia. Prof a. Patrícia Lima Quintão 47

48 Acerca de soluções de suporte a decisão, julgue os dois itens seguintes. 11. (CESPE/Correios/Analista de Correios/Analista de Sistemas/Desenvolvimento de Sistemas/2011) As ferramentas de software ETL (extract transform load) têm como função a extração de dados de diversos sistemas, a transformação desses dados de acordo com as regras de negócio e a carga dos dados em um data mart ou um DW. 12. (CESPE/Correios/Analista de Correios/Analista de Sistemas/Desenvolvimento de Sistemas/2011) Em um ambiente data warehouse (DW), é possível a análise de grandes volumes de dados, os quais ficam disponíveis para serem alterados e manipulados pelo usuário. Gabarito 1. Item correto. 10. Letra A. 2. Item errado. 11. Item correto. 3. Item correto. 12. Item errado. 4. Item errado. 5. Item correto. 6. Item errado. 7. Item errado. 8. Item errado. 9. Letra D. Prof a. Patrícia Lima Quintão 48

49 Acompanhe a Evolução do seu Aproveitamento Data Nº Acertos % Data Nº Acertos % questões acerto questões acerto Data Nº Acertos % Data Nº Acertos % questões acerto questões acerto Prof a. Patrícia Lima Quintão 49