TI Aplicada à Auditoria Tributária - Auditoria e Fiscalização SEFAZ-SC

Transcrição

1 AULA 00 TI Aplicada à Auditoria Tributária - Auditoria e Fiscalização SEFAZ-SC Data Warehouse e Data Mining Professora Patrícia Quintão Prof a. Patrícia Lima Quintão 1

2 Aula 00 Aula Demonstrativa Conceitos de Data Warehousing e Business Intelligence (Parte I) Olá, querido(a) amigo(a)! É com muita satisfação que inicio no Ponto dos Concursos a 21ª edição deste curso de Tecnologia da Informação Aplicada à Auditoria Tributária (em Teoria e Exercícios Comentados), totalmente direcionada ao certame da SEFAZ-SC. O curso é composto por 11 aulas (além desta aula demonstrativa), em que teremos resumos teóricos contemplando os pontos que podem ser explorados no edital e os comentários de questões atualizadas (provenientes dos concursos realizados prioritariamente pela FCC e bancas similares), para que você possa se antecipar ao estilo de cobrança dessa banca e gabaritar a sua prova! Antes de continuar, lembre-se de que a CONFIANÇA é um dos grandes segredos do SUCESSO. Acredite! Não espere o tempo passar! Disciplina e trabalho duro levam o(a) concurseiro(a) rumo ao sucesso e ter sorte só depende de você! Prof a. Patrícia Lima Quintão 2

3 Vamos à luta, então, com FOCO no grande objetivo e dedicação ao concurso da SEFAZ-SC, para que em seguida possa ter a bonificação. Tenho certeza de que até o final do curso você tirará de letra as questões da disciplina Análise de Informações vindouras! O Curso que Proponho Abordará TODO o conteúdo necessário para a realização de uma excelente prova de Análise de Informações e estará distribuído em 11 (onze) aulas, que serão agrupadas por assuntos, com a disposição listada a seguir. Aula Aula demonstrativa. Conteúdo Programático do Curso Conceito de Sistemas Gerenciadores de Banco de Dados (SGBD). 02 Modelagem de Dados: Entidades, Atributos, Relacionamentos e Cardinalidade. 03 Modelo relacional de dados. Conceitos de tabelas, views, chaves primárias e estrangeiras. 04 Conceitos de Data Warehousing.e Business Intelligence.(Parte 2). 05 Conceitos de DataMining 06 Noções básicas de linguagem SQL: Consulta, Cláusula WHERE, Operadores Condicionais: Lógicos, LIKE e NOT LIKE, IN e NOT IN. Ordenação; Agrupamento; Junções (JOINS). 07 Conhecimento básico da estrutura da EFD ICMS/IPI (Guia Prático EFD ICMS IPI v ) e do arquivo XML da NF-e (Manual de Orientação do Contribuinte NFe Versão 6.0). Noções de relacionamento entre registros da EFD ICMS/IPI e da NFe: EFD REGISTROs 0000, 0150, 0200, 0220, C100, C170, C176, C195, C197, C400, C405, C420, C425 e Prof a. Patrícia Lima Quintão 3

4 registros dos Blocos E e H e Grupos de informações da NF-e: B, C, D, H, I, M, N e W. 08 Simulado I. 09 Simulado II. 10 Aula ao Vivo com dicas para a prova. 11 Simulado III. Quanto ao conteúdo desse curso, temos algumas informações complementares: a) em nossas aulas pretendemos apresentar o maior número de questões possíveis a fim de familiarizar você com o estilo de questões normalmente utilizado pela FCC. No entanto, tendo-se em vista a quantidade limitada de questões dessa banca, também lançaremos no curso questões de outras bancas para complementar ou mesmo para introduzir um determinado conteúdo. Sempre que fizermos isso será levando em conta o formato e a profundidade das questões de informática que costumamos encontrar nas provas da FCC. b) O curso está sendo criado com todo o capricho e profissionalismo de sempre! Então, espero que aproveitem! A satisfação e motivação estão cada vez maiores, e será um enorme prazer trabalhar com cada um de vocês neste curso rumo ao tão sonhado cargo público! Prof a. Patrícia Lima Quintão 4

5 Antes de partir para o desenvolvimento da teoria e dos exercícios, gostaria de me apresentar. Vamos lá! Sou a Prof a Patrícia Lima Quintão, moro em Belo Horizonte e tenho ministrado aulas de informática e tecnologia da informação no Ponto dos Concursos desde 2009 (visando certames como Senado Federal, Banco do Brasil, DEPEN, Câmara dos Deputados, STF, Polícia Federal, Polícia Rodoviária Federal, Polícia Civil do Distrito Federal, Polícia Civil- PA, PC-GO, MPU, INSS, MTE, TCU, TCE, TCM, Ministério da Fazenda, Petrobrás, MPOG, ABIN, TRE, TRT, TSE, ANEEL, SEFAZ-DF, SEFAZ-RJ, SEFAZ-SC, SEFAZ-SP, ISS-RJ, ISS-BH, ISS-SP, SUSEP, TJ-DFT, TJ-CE, ANVISA, CGU, TRE, dentre outros). Também atuo no processo de Coaching para Concursos do Ponto, assessorando os candidatos para que consigam atingir seu objetivo: a aprovação em concurso público, de forma mais rápida e eficiente. Auxilio também os candidatos na elaboração dos recursos (Ponto Recursos) e sou coordenadora de todos os cursos de TI e informática básica do Ponto. Cabe ressaltar que ministrei, desde 2009, TODOS os cursos da área fiscal, do TCU, do TCE, da SEFAZ-SC, etc. em que essa disciplina é cobrada no Ponto dos Concursos, e é grande a satisfação que tenho de poder participar dessa trajetória de sucesso com todos vocês! A experiência nas diversas turmas já ministradas, bem como o entendimento dos anseios da banca (rs!) são fundamentais para esse resultado! Prof a. Patrícia Lima Quintão 5

6 Também tenho lecionado disciplinas técnicas do curso de bacharelado em Sistemas de Informação e do MBA em Segurança da Informação do IGTI, e atuo como Coordenadora de Segurança da Informação na PRODABEL. Sou instrutora autorizada CISCO e autora dos seguintes livros: 1) 1001 questões comentadas de informática (Cespe/UnB) pela Editora Gen/Método. 2ª. Edição. O livro já está disponível em 2) Informática FCC - Questões comentadas e organizadas por assunto, pela Editora GEN/Método, sob a coordenação dos grandes mestres Vicente Paulo e Marcelo Alexandrino. Aliás, vale destacar aqui que a terceira edição desse livro pode ser obtida também pelo site Quanto à formação, tenho mestrado em Engenharia de Sistemas e Computação pela COPPE/UFRJ, sou pós-graduada em Gerência de Informática e bacharel em Informática pela Universidade Federal de Viçosa (UFV). Prof a. Patrícia Lima Quintão 6

7 Atuo como membro: da Sociedade Brasileira de Computação, da Sociedade Brasileira de Coaching, do PMI - Project Management Institute (e do Brazil Chapter do PMI, com sede em BH), da ISACA (associada também ao Capítulo Belo Horizonte), da Comissão de Estudo de Técnicas de Segurança (CE-21:027.00) da ABNT (Associação Brasileira de Normas Técnicas), responsável pela elaboração das normas brasileiras sobre gestão da Segurança da Informação. Ainda, sou editora da revista InfraMagazine; tenho certificações técnicas na área de segurança, redes e perícia forense; além de artigos publicados a nível nacional e internacional com temas da área de tecnologia da informação. E como não poderia deixar de ser, nas horas vagas, também concurseira, tendo sido aprovada em vários concursos, como: Analista Legislativo, na especialidade de Análise de Sistemas, Área II Administração de Rede, na Assembleia Legislativa do Estado de Minas Gerais; Professora titular do Departamento de Ciência da Computação do Instituto Federal de Educação, Ciência e Tecnologia; Professora substituta do Departamento de Ciência da Computação da Universidade Federal de Juiz de Fora; Analista de Tecnologia da Informação/Suporte, PRODABEL; Analista do Ministério Público MG; Analista de Sistemas, DATAPREV, Segurança da Informação; Prof a. Patrícia Lima Quintão 7

8 Analista de Sistemas, Infraero; Analista - TIC, PRODEMGE; Analista de Sistemas, Prefeitura de Juiz de Fora; Analista de Sistemas, SERPRO; Analista Judiciário (Informática), TRF 2ª Região RJ/ES, etc. Bem, passada a apresentação inicial, espero que este curso seja de grande valia para o seu estudo, fazendo-o superar os desafios vindouros na prova! Planejamento das Aulas Esta é a nossa Aula Demonstrativa. As demais aulas estão estruturadas, preferencialmente, conforme tabela aqui destacada, dando ênfase aos conteúdos de maior relevância a este certame. Alterações na ordem das aulas poderão ocorrer se necessárias por questões didáticas, e, caso isso ocorra, serão devidamente alteradas no calendário do curso. No decorrer do curso disponibilizarei os pontos teóricos de relevância, e, em seguida, trabalharemos as questões comentadas em sua íntegra. Também estarei destacando, ao final de cada aula, no MEMOREX, o que devo tomar nota como mais importante da matéria, permitindo melhor fixação dos assuntos apresentados por aula. Prof a. Patrícia Lima Quintão 8

9 Por fim, desejo-lhes muito sucesso nos estudos! Tenham a certeza e a convicção de que qualquer esforço feito nessa fase será devidamente compensado. Em outras palavras, esforce-se, mantenha-se focado e determinado, pois, certamente, valerá à pena! Vamos começar então? Força, garra e determinação, e fiquem com Deus sempre! Iniciamos o curso com um assunto bastante cobrado nas provas da FCC Data Warehousing. Totalizamos, nesta aula inaugural, 22 questões, para mapeamento do estilo de prova que você irá encontrar. Sucesso nos estudos! Prof a. Patrícia Lima Quintão 9

10 Tópicos da Aula O Curso que Proponho... 3 Planejamento das Aulas... 8 Data Warehouse Data Mart Data Mining (Mineração de Dados) Abordagens para o Projeto de Data Warehouse ETL (Extract Transform Load Extração, Transformação e Carga de Dados) em Data Warehouse Memorex Lista das Questões Comentadas na Aula Considerações Finais Bibliografia Lista das Questões Apresentadas na Aula Gabarito Acompanhe a Evolução do seu Aproveitamento Prof a. Patrícia Lima Quintão 10

11 Aula 00 Data Warehousing Para iniciar a parte teórica do curso, optei por destacar a diferença entre o Data Mart e o Data Warehouse, de grande importância para a prova. Espero que aproveitem! Data Warehouse Um Data Warehouse (armazém de dados, ou ainda depósito de dados), é um repositório de informações colhidas de várias origens, armazenadas sob um esquema unificado, em um único local, que propõe sustentar a tomada de decisão com dados. Assim, uma das características fundamentais de um ambiente de data warehouse está em proporcionar um ambiente que permita realizar análise dos negócios de uma empresa com base nos dados por ela armazenados. Para que serve? Prof a. Patrícia Lima Quintão 11

12 Para criar uma visão única e centralizada dos dados que estavam dispersos em diversos Bancos de Dados. Permite que usuários finais executem consultas, gerem relatórios e façam análises. Características: Data Warehouse pode ser considerado como uma coleção de dados orientada por assunto, integrada, não volátil, variante no tempo, que dá apoio às decisões da administração. Figura. Características do Data Warehouse o Orientado a assunto: refere-se ao fato do Data Warehouse (DW) ser organizado conforme diferentes visões de negócio, ou seja, armazena informações sobre temas específicos importantes para o negócio da empresa. Exemplo: Vendas, Compras, etc. Prof a. Patrícia Lima Quintão 12

13 Figura. Visões de negócio o Integrado a partir de fontes de dados heterogêneas: refere-se à consistência de nomes, das unidades, das variáveis, etc., no sentido de que os dados foram transformados até um estado uniforme. Por exemplo, considere sexo como um elemento de dado. Uma aplicação pode codificar sexo como M/F, outra como 1/0 e uma terceira como H/M. Assim, conforme os dados são inseridos no Data Warehouse, eles são convertidos para um mesmo padrão. Sexo é codificado apenas de uma forma. Da mesma maneira, se um elemento de dado é medido em centímetros em uma aplicação, em polegadas em outra, ele será convertido para uma representação única ao ser colocado no Data Warehouse. Prof a. Patrícia Lima Quintão 13

14 Figura. Exemplo integração dados de fontes heterogêneas o Não volátil: os dados são sempre inseridos, nunca excluídos. Isso significa que em um DW não existem alterações de dados, somente a carga inicial e as consultas posteriores. No ambiente operacional, ao contrário, os dados são, em geral, atualizados registro a registro, em múltiplas transações. Por definição, os dados em um Data Warehouse não são voláteis, ou seja, eles não mudam, salvo quando é necessário fazer correções de dados previamente carregados. Os dados estão disponíveis somente para leitura e não podem ser alterados. Prof a. Patrícia Lima Quintão 14

15 Figura. Carregamento e acesso a dados no DW o Variante no tempo: posições históricas das atividades no tempo. Refere-se ao fato de o dado em um Data Warehouse referir-se a algum momento específico, significando que ele NÃO É ATUALIZÁVEL. Enquanto que o dado de produção é atualizado de acordo com mudanças de estado do objeto em questão, refletindo, em geral, o estado do objeto no momento do acesso. Em um Data Warehouse, a cada ocorrência de uma mudança, uma nova entrada é criada, para marcar esta mudança. Prof a. Patrícia Lima Quintão 15

16 Figura. Variação de preços no tempo o Granularidade de dados: refere-se ao nível de sumarização dos elementos e de detalhes disponíveis nos dados, considerado o mais importante aspecto do projeto de um Data Warehouse. Prof a. Patrícia Lima Quintão 16

17 Quanto menor a granularidade, mais detalhada é a informação disponível. Definir a granularidade adequada é vital para que o DW atenda seus objetivos. Mais detalhes Mais dados Análise mais longa Informação mais detalhada. Menos detalhes Menos dados Análise mais curta Informação menos detalhada. Prof a. Patrícia Lima Quintão 17

18 Para evitar que se perca informação são criados vários níveis de granularidade. Em um nível de granularidade muito alto: o o espaço em disco e o número de índices necessários se tornam bem menores; o há, porém, uma diminuição da possibilidade de utilização dos dados para atender a consultas detalhadas. O Data Warehouse é um armazém centralizado de dados, ou seja, um banco de dados ou um agrupamento de bases de dados que contêm dados sobre os negócios organizados por assunto. Por exemplo, uma indústria automotiva poderia ter um Data Warehouse com uma base de dados destinada a armazenar registros inerentes ao setor de Vendas. Poderia haver também uma outra base de dados que contivesse dados inerentes ao departamento de Produção de Automóveis. A cada uma dessas bases de dados dá-se o nome de Data Mart, e ao agrupamento de todos esses Data Marts damos o nome de Data Warehouse. Prof a. Patrícia Lima Quintão 18

19 Conforme visto, Data Warehouse é o processo de integração dos dados cor por ativ os de uma em pres a em um únic o r ep os itór io. É u m ambi ente de suporte à decisão que alavanca dados armazenados em diferentes fontes e os organiza e entrega aos tomadores de decisões. Resumindo, é uma tecnologia de gestão e análise de dados. (DEPEN/AGENTE PENITENCIÁRIO FEDERAL - TECNOLOGIA DA INFORMAÇÃO) Acerca de datawarehouse e datamining, julgue o item subsequente: [O datawarehouse possibilita a análise de grandes volumes de dados, que, por sua vez, permitem a realização de uma melhor análise de eventos futuros]. Comentários Um Data Warehouse é um repositório de informações colhidas de várias origens, armazenadas sob um esquema unificado, em um único local. Quando reunidos, os dados são armazenados por muito tempo, permitindo o acesso a dados históricos. Ainda, o desenho da base de dados favorece os relatórios, a análise de grandes volumes de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão. O Data Warehouse possibilita a análise de grandes volumes de dados, coletados dos sistemas transacionais (OLTP). São as chamadas séries históricas que possibilitam uma melhor análise de eventos passados, oferecendo suporte às tomadas de decisões presentes e a previsão de eventos futuros. Gabarito: item errado. Prof a. Patrícia Lima Quintão 19

20 Data Mart O Data Mart (DM) nada mais é que um subconjunto de dados de um Data Warehouse, em que tipicamente desempenham o papel de um DW departamental, regional ou funcional. Figura. Data Warehouse e Data Marts Alguns autores e especialistas dizem que o DW é uma evolução do DM que começou localizado e cresceu para atender um escopo maior. D ata M art: s ã o armazén s d e d ados c om informações de interesse p arti cu l ar p ar a um determ inad o s etor d a empres a. D ata W areh ou s e : é o c on junt o d e armazén s d e d ad os parti cu l ares (D at a M art) c om inform a çã o d e interess e p ar a a e mpres a em g er al. Prof a. Patrícia Lima Quintão 20

21 Data Mining (Mineração de Dados) É o processo de análise de conjuntos de dados que tem por objetivo a descoberta de padrões interessantes e que possam representar informações úteis. A Min eração de D ad os surgiu com a mot iv a çã o de garimp ar in form a çõ es re lev an tes d as Bas es d e D ad os, de form a au tom áti c a. A mineração de dados é um processo de negócio utilizado para explorar grandes quantidades de dados em busca de padrões e regras significativas. O Data Mining apoia o conhecimento indutivo, que descobre novas regras e padrões nos dados fornecidos. (ELMASRI, NAVATHE, 2005). Um exemplo clássico de utilização do Data Mining na área de marketing é o das fraldas próximas das cervejas. Uma das maiores redes de varejo dos Estados Unidos detectou, em seu gigantesco armazém de dados, que a venda de fraldas descartáveis estava associada à de cerveja. De uma maneira geral, os compradores eram homens, que saíam à noite para comprar fraldas e aproveitavam para levar algumas latinhas para casa. Os produtos foram postos lado a lado. Resultado: a venda de fraldas e cervejas disparou. Veja mais: Outro exemplo de Data Mining: imagine o histórico de vendas de uma empresa que está no mercado há muitos anos. Suponhamos que essa empresa desejasse saber qual a tendência de vendas de um produto X para os próximos 10 anos. O Data Mining possui uma série de etapas e técnicas apropriadas para responder essa questão. Prof a. Patrícia Lima Quintão 21

22 O uso prático de Data Mining envolve o emprego de processos, ferramentas, técnicas e métodos oriundos da matemática, da estatística e da computação, inclusive de inteligência artificial. A mineração de dados é um campo interdisciplinar que reúne técnicas de aprendizado de máquina, reconhecimento de padrões, estatísticas, banco de dados e visualização para abordar a questão da extração de informações a partir de grandes bases de dados (Evangelos Simoudis, citado em Daniel T. Larose, Discovering Knowledge in Data An Introduction to Data Mining). Os processos de Data Mining são muito facilitados quando a empresa já possui seu Data Warehouse bem estruturado, por isso esses dois termos Data Warehouse e Data Mining caminham tão juntos. As empresas comumente irão primeiramente amadurecer seus processos de organização dos dados sobre o negócio e agrupá-los por assunto, formando seus Data Marts. Em seguida, irão compor seu Data Warehouse, para após, iniciar os processos de Data Mining com a finalidade de encontrar algum conhecimento de valor em meio aos dados sobre o negócio. Abordagens para o Projeto de Data Warehouse No que se refere aos métodos de construção de Data Warehouse, existem formalmente dois: Prof a. Patrícia Lima Quintão 22

23 Top-down, no qual é realizada a modelagem integral do DW, seguida pelas extrações de dados. Considera que se deve desenvolver um DW completo e centralizado antes que partes dele, sumarizadas, possam ser derivadas na forma de Data Marts. A principal vantagem é a criação de um modelo único. O revés fica por conta do maior tempo de projeto. Bottom-up, em que o foco é em uma área por vez, com o crescimento gradual do DW. Considera que um DW possa ser composto a partir de Data Marts previamente desenvolvidos. A vantagem é a obtenção de resultados a intervalos mais curtos, garantindo m ui tas vezes sustenta ção a o p ro jeto. A desvan t agem é a m ai or di fi cul dade de se consolidar informações entre as diversas áreas. Podem-se visualizar pela imagem seguinte as duas formas de construção, uma na qual o DW gera os DM (Data Mart) e outra em que os DM geram o DW. Prof a. Patrícia Lima Quintão 23

24 Figura. Exemplos das duas formas de construção de um Data Warehouse Para os processos de con s tru çã o de u m D ata W areh ou s e (D W ) é altamente importante a compreensão do negócio que envolve a empresa ou instituição em que se está desenvolvendo o trabalho. Operational Data Storage (ODS) ou Staging Area (SA), no âmbito dos DWs, representa um armazenamento intermediário dos dados, que facilita a integração dos dados do ambiente operacional antes de sua atualização no DW. Atualmente, alguns autores passaram a denominá-lo Dynamic Data Storage (DDS). Prof a. Patrícia Lima Quintão 24

25 ETL (Extract Transform Load Extração, Transformação e Carga de Dados) em Data Warehouse O processo de ETL (do inglês Extract Transform and Load) é usado na criação do DW (Data Warehouse). O processo inicial é a extração de dados das bases de dados transacionais, dados de sistemas ERP, dados locais, externos ou web. Prof a. Patrícia Lima Quintão 25

26 Após a extração, os dados devem ser transformados para que seja possível a carga dos dados em um Data Warehouse ou Data Mart, dependendo do método de construção adotado. Na etapa de extração, os dados relevantes ou de interesse são capturados de uma base de dados estruturada ou fontes diversas (exemplo redes sociais). Em seguida, na etapa de transformação os dados são processados ou moldados para compor a informação na base do DW. Este processamento inclui atividades como normalização e geração de chave que identifica o registro na base. Por fim, a etapa de carga consiste na inserção dos dados na base do DW. Algumas das ferramentas conhecidas de ETL (Extract Transform Load) são: o IBM InfoSphere DataStage, o Informática Power Center, Prof a. Patrícia Lima Quintão 26

27 o Business Objects Data Integrator, o Data Transformation Services, o Pentaho Data Integration, o Oracle Data Integrator, entre outras. Interrompemos aqui a nossa aula demonstrativa do curso. A partir deste momento vamos revisar alguns pontos IMPORTANTES da aula por intermédio de quadros sinóticos, mapas mentais ou colocação de tópicos e palavras-chave, o que teremos em todas as aulas desse curso. Prof a. Patrícia Lima Quintão 27

28 Memorex Prof a. Patrícia Lima Quintão 28

29 Prof a. Patrícia Lima Quintão 29

30 No contexto de data mining, o processo de descoberta de conhecimento em base de dados consiste na extração não trivial de conhecimento previamente desconhecido e potencialmente útil. As ferramentas de software ETL (extract transform load) têm como função a extração de dados de diversos sistemas, a transformação desses dados de acordo com as regras de negócio e a carga dos dados em um data mart ou um DW. Granularidade e detalhamento são grandezas inversamente proporcionais: Quanto mais detalhe, menor é a granularidade (Baixa granularidade = mais detalhado). Quanto menos detalhe, maior é a granularidade (Alta granularidade = menos detalhado). Granularidade e sumarização são grandezas diretamente proporcionais: Quanto maior a sumarização, maior a granularidade. Quanto menor a sumarização, menor a granularidade. Granularidade refere-se ao nível de sumarização (resumo) dos elementos e de detalhes disponíveis. É considerado o aspecto mais importante de um DW. Prof a. Patrícia Lima Quintão 30

31 Lista das Questões Comentadas na Aula 1. (Elaboração Própria/Profa Patrícia Quintão/2018) O Data Mining é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e voláteis, para dar suporte ao processo de tomada de decisão. Comentários (Prof a Patrícia) Bill Inmon destaca que o Data Warehouse é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão. Figura. Características do Data Warehouse Prof a. Patrícia Lima Quintão 31

32 É orientado a assuntos o O DW é criado de forma orientada em torno dos principais assuntos da organização (clientes, vendas, produtos, estoques, etc.). É integrado o Na convenção consistente de nomes; o Na estrutura consistente da codificação; etc. É não volátil o Somente existem cargas e acessos (atualizações existem, mas devido às manutenções). É variante no tempo o Qualquer unidade de dado deve ter precisão em um ponto bem definido do tempo. A principal ideia do Data Warehouse é construir um depósito no qual será mantida a memória histórica dos dados, possibilitando a utilização dos mesmos para consulta e análise estratégica para a tomada de decisão! Data Mining é o processo de descoberta de novas correlações, padrões e tendências entre as informações de uma empresa, por meio da análise de grandes quantidades de dados armazenados em bancos de dados usando técnicas de reconhecimento de padrões, estatísticas e matemáticas. Gabarito: item errado. Prof a. Patrícia Lima Quintão 32

33 2. (FCC/2018/DPE-AM/Analista em Gestão Especializado de Defensoria - Analista de Banco de Dados) Uma das características fundamentais de um ambiente de data warehouse está em a)servir como substituto aos bancos de dados operacionais de uma empresa, na eventualidade da ocorrência de problemas com tais bancos de dados. b) ser de utilização exclusiva da área de aplicações financeiras das empresas. c)proporcionar um ambiente que permita realizar análise dos negócios de uma empresa com base nos dados por ela armazenados. d)ser de uso prioritário de funcionários responsáveis pela área de telemarketing das empresas. e)armazenar apenas os dados mais atuais (máximo de 3 meses de criação), independentemente da área de atuação de cada empresa. Comentários (Prof a Patrícia) Bill Inmon destaca que o Data Warehouse (DW) é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão com dados. Gabarito: C. 3. (FCC/2017/TRE-SP/ANALISTA JUDICIÁRIO - ANÁLISE DE SISTEMAS) No processo ETL de um data warehouse: (I) a tradução de valores codificados conhecida como limpeza de dados (por exemplo, supondo que o sistema de origem armazena 1 para sexo masculino e 2 para feminino, mas o data warehouse armazena M para masculino e F para feminino) e (II) a geração de valores de chaves substitutas (surrogate keys) são Prof a. Patrícia Lima Quintão 33

34 A) integrantes da etapa de transformação B) integrantes das etapas de transformação e carga, respectivamente C) manipulações de dados, aplicáveis no processo pivoting D) elementos que possibilitam a conversão de drill-down para roll up E) integrantes da etapa de carga Comentários (Prof a Patrícia) ETL, vem do inglês Extract Transform Load, ou seja, Extração Transformação Carga. O ETL visa trabalhar com toda a parte de extração de dados de fontes externas, transformação para atender às necessidades de negócios e carga dos dados dentro do Data Warehouse. Os projetos de Data Warehouse consolidam dados de diferentes fontes. A maioria dessas fontes tendem a ser bancos de dados relacionais ou flat files, mas podem existir outros tipos de fontes também. Um sistema ETL precisa ser capaz de se comunicar com bases de dados e ler diversos formatos de arquivos utilizados por toda a organização. E para que seja possível entender as etapas do processo de ETL faz-se necessário a compressão de seus componentes que serão descritos a seguir. Prof a. Patrícia Lima Quintão 34

35 Componentes do ETL Extração: é a coleta de dados dos sistemas de origem (também chamados Data Sources ou sistemas operacionais), extraindo-os e transferindo-os para o ambiente de DW, onde o sistema de ETL pode operar independente dos sistemas operacionais. Limpeza, Ajustes e Consolidação (ou também chamada transformação): é nesta etapa que realizamos os devidos ajustes, podendo assim melhorar a qualidade dos dados e consolidar dados de duas ou mais fontes. O estágio de transformação aplica uma série de regras ou funções aos dados extraídos para ajustar os dados a serem carregados. Algumas fontes de dados necessitarão de muito pouca manipulação de dados. Em outros casos, pode ser necessário trabalhar algumas transformações, como por exemplo, junção de dados provenientes de diversas fontes, seleção de apenas determinadas colunas e tradução de valores codificados (se o sistema de origem armazena 1 para sexo masculino e 2 para feminino, mas o Data Warehouse armazena M para masculino e F para feminino, por exemplo). Entrega ou Carga dos dados: consiste em fisicamente estruturar e carregar os dados para dentro da camada de apresentação seguindo o modelo dimensional. Dependendo das necessidades da organização, este processo varia amplamente. Alguns data warehouses podem substituir as informações existentes semanalmente, com dados cumulativos e atualizados, ao passo que outro DW (ou até mesmo outras partes do mesmo DW) podem adicionar dados a cada hora. A latência e o alcance de reposição ou acréscimo constituem opções de projeto estratégicas que dependem do tempo disponível e das necessidades de negócios. A parte de Gerenciamento é composta por serviços para auxiliar no gerenciamento do DataWarehouse. Aqui nós temos tasks específicas para Prof a. Patrícia Lima Quintão 35

36 gerenciamento de jobs, planos de backup, verificação de itens de segurança e compliance. Fonte: Novais, Ramon Ramos de Castro. MODELAGEM DIMENSIONAL. Último acesso 01/08/2017. Gabarito: A. 4. (FCC/2017/DPE-RS/Analista - Banco de Dados) Uma das técnicas bastante utilizadas em sistemas de apoio à decisão é o Data Mining, que se constitui em uma técnica a)para a exploração e análise de dados, visando descobrir padrões e regras, a princípio ocultos, importantes à aplicação. b)para se realizar a criptografia inteligente de dados, objetivando a proteção da informação. c)que visa sua distribuição e replicação em um cluster de servidores, visando aprimorar a disponibilidade de dados. d)de compactação de dados, normalmente bastante eficiente, permitindo grande desempenho no armazenamento de dados. e)de transmissão e recepção de dados que permite a comunicação entre servidores, em tempo real. Comentários (Prof a Patrícia) A Mineração de dados (ou Data Mining) é o nome dado ao processo de descoberta de novas correlações, padrões e tendências entre as informações de uma empresa, por meio da análise de grandes quantidades de dados Prof a. Patrícia Lima Quintão 36

37 armazenados em bancos de dados usando técnicas de reconhecimento de padrões, estatísticas e matemáticas. Gabarito: A. 5. (FCC/2013/TRT9R/Téc.Jud./Tec.Informação) A revista ClubeDelphi publicou o seguinte artigo: Com o crescente aumento do volume de dados, surge a necessidade de ferramentas e mecanismos que permitam que eles possam ser analisados de forma otimizada, uma vez que armazenam toda a trajetória da empresa. Uma solução é a utilização de I que, em síntese, é utilizado para armazenar conjuntos de dados organizados por assuntos, mantendo todo um histórico corporativo. Outro recurso muito utilizado e dos mais importantes quando o objetivo é a busca de conhecimento, é o II, que é um processo que consiste na identificação de informações relevantes que estão presentes em grandes bancos de dados ou repositórios, geralmente realizado em três etapas: a exploração, a definição dos padrões e a validação dos dados. Estas ferramentas e técnicas fazem parte do III, definido como um conjunto de métodos e conceitos que podem ser implementados através de softwares com o intuito de utilizar os dados importantes da organização para auxiliar no processo de tomada de decisões, proporcionando melhorias para a alta administração. Outra tecnologia que pode prover uma melhor e mais flexível análise das informações, é o IV que permite uma visão conceitual de forma multidimensional das informações da organização, de maneira que as informações possam ser visualizadas e analisadas de diferentes perspectivas pelo usuário. ( Prof a. Patrícia Lima Quintão 37

38 As lacunas que completam corretamente o texto estão expressas em: Comentários (Prof a Patrícia) Lacuna Conceito Descrição I Data Warehouse Utilizado para armazenar conjuntos de dados organizados por assuntos, mantendo todo um histórico corporativo. Trata-se de uma coleção de dados orientada por assunto, integrada, nãovolátil, variante no tempo, que dá apoio às decisões da administração. II Data Mining (Mineração de Dados) Processo que consiste na identificação de informações relevantes que estão presentes em grandes bancos de dados ou repositórios, geralmente realizado em três etapas: a exploração, a definição dos padrões e a validação dos dados. Em outras palavras, é o processo de identificar informações relevantes, tais como padrões, associações, mudanças, anomalias e estruturas, em grandes conglomerados de dados que estejam em banco de dados ou outros repositórios de informações. Prof a. Patrícia Lima Quintão 38

39 Lacuna Conceito Descrição III Business Intelligence Um conjunto de métodos e conceitos que podem ser implementados através de softwares com o intuito de utilizar os dados importantes da organização para auxiliar no processo de tomada de decisões, proporcionando melhorias para a alta administração. IV OLAP (Online Analytical Processing) Permite uma visão conceitual de forma multidimensional das informações da organização, de maneira que as informações possam ser visualizadas e analisadas de diferentes perspectivas pelo usuário. Gabarito: D. 6. (FCC/2014/ICMS-RJ/Auditor Fiscal da Receita Estadual) Com o advento da tecnologia de Data Warehousing, os ambientes de apoio à decisão passaram a ser denominados ambientes de Data Warehouse (DW). Em relação à tecnologia DW, é correto afirmar: a) Um DW tem duas operações básicas: a carga dos dados (inicial e incremental) e o acesso a estes dados em modo leitura. Depois de carregado, um DW não necessita de operações de bloqueio por concorrência de usuários no acesso aos seus dados. b) Em um DW as convenções de nomes, valores de variáveis e outros atributos físicos de dados como data types são bastante flexíveis. Para facilitar a tomada de decisões, as informações são apresentadas de diferentes formas, da mesma maneira que foram carregadas dos sistemas legados. Prof a. Patrícia Lima Quintão 39

40 c) Um projetista de DW deve ter seu foco na modelagem dos dados e no projeto de banco de dados. Um sistema transacional armazena as informações agrupadas por assuntos de interesse da empresa que são mais importantes, enquanto um DW é orientado a processos e deve ser desenvolvido para manter disponíveis as transações realizadas diariamente. d) Os dados de um DW são um conjunto dinâmico de registros de uma ou mais tabelas, capturados em um momento de tempo predeterminado, por isso têm que ser sempre atualizados. e) Um sistema multidimensional, como o DW, deve atualizar o valor corrente das informações e sua exatidão é válida por um tempo curto, por exemplo, o valor total das notas fiscais processadas pela Receita às 12:00 de um dia pode ser diferente às 18:00 do mesmo dia. Comentários (Prof a Patrícia) Bill Inmon destaca que o Data Warehouse (DW) é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão. Essas características podem ser descritas da seguinte forma: Orientado a assunto: refere-se ao fato do Data Warehouse (DW) ser organizado conforme diferentes visões de negócio, ou seja, armazena informações sobre temas específicos importantes para o negócio da empresa. Ex.: Vendas, Compras, etc. Integrado a partir de fontes de dados heterogêneas. Não volátil: os dados são sempre inseridos, nunca excluídos. Em um DW não existem alterações de dados, somente a carga inicial e as consultas posteriores. Variável com tempo: posições históricas das atividades no tempo. Prof a. Patrícia Lima Quintão 40

41 Conforme visto, a restrição de não volatilidade permite basicamente duas operações em um DW, que são: a carga (inicial ou incremental) e consulta dos dados. Via de regra não há operações de atualizações de registros, nem necessidade de operações de bloqueio por concorrência de usuários no acesso aos seus dados (o que acontece tipicamente em operações de escrita de dados), pois os dados em um DW são apenas para leitura. Assim, a letra A é a resposta da questão. Gabarito: A. 7. (ESAF/STN/DESENV SISTEMAS/2008) Um depósito de dados organizado por assunto, não-volátil, integrado e variável em função do tempo, utilizado para apoiar decisões de gerenciamento, é denominado a) datawarehouse. b) gestão do conhecimento. c) business Intelligence. d) mineração de dados. e) OLAP (OnLine Analytical Processing). Comentários (Prof a Patrícia) Item A. Item correto. Um Data Warehouse (Armazém ou Depósito de Dados) é um sistema utilizado para armazenar informações consolidadas de um banco de dados, possibilitando a análise de grandes volumes de dados, coletados a partir de sistemas transacionais (OLTP). Prof a. Patrícia Lima Quintão 41

42 Item B. Item errado. Define-se Gestão do Conhecimento como a busca da melhoria de desempenho das instituições por meio de processos de procura, extração, compartilhamento e criação de conhecimento, aplicando diferentes ferramentas e tecnologias de informação e de comunicação. Item C. Item errado. Define-se Business Intelligence (Inteligência de negócios BI) como o processo de coleta, estruturação, avaliação, disponibilização e monitoramento de informações para suporte ao gerenciamento de negócios. Item D. Item errado. Etapa do processo de Descoberta de Conhecimento em Bases de Dados (KDD Knowledge Discovery in Databases) que corresponde à execução de um algoritmo particular que, sob algumas limitações aceitáveis de eficiência computacional, encontra padrões ou modelos nos dados. Prof a. Patrícia Lima Quintão 42

43 Item E. Item errado. OLAP (On-line Analytical Processing) é o processo de manipulação e avaliação de um grande volume de dados sob múltiplas aspectos. Para a prova é importante diferenciar OLTP (On-line Transaction Processing) de OLAP. A URL apresenta um quadro muito interessante para o seu aprendizado. Veja: Gabarito: A. A seguir mais algumas observações que merecem destaque neste momento. Prof a. Patrícia Lima Quintão 43

44 No contexto das tecnologias relacionadas ao Business Intelligence, duas aplicações são identificadas e muito cobradas em provas: a primeira, que sustenta o negócio por meio de ferramentas OLTP (On Line Transaction Processing); e a segunda, que analisa o negócio por meio de ferramentas OLAP (On Line Analytical Processing). Vamos ao detalhamento dessas aplicações! Sistema Transacional (OLTP) Os sistemas OLTP (On-Line Transaction Processing) são os sistemas que capturam as transações de um negócio e as mantêm em estruturas relacionais chamadas Banco de Dados. As principais características dos sistemas OLTP são: Realizar transações em tempo real do processo de um negócio, motivo pelo qual os dados armazenados mudam continuamente. Os sistemas OLTP, nas suas transações, controlam processos essenciais do negócio. Os sistemas OLTP são os responsáveis pela manutenção dos dados, acrescentando dados, realizando atualizações ou eliminando-os. Para a tomada de decisões, os sistemas OLTP possuem capacidades limitadas, pois não é seu objetivo e, portanto, não é uma prioridade no seu desenvolvimento. Se desejasse obter uma determinada informação histórica relativa ao negócio consultando um sistema OLTP, seria produzido um impacto negativo no funcionamento do sistema. Sistemas OLAP Os sistemas OLAP (On-Line Analytical Processing, ou Processamento Analítico On-line) oferecem uma alternativa aos sistemas transacionais, proporcionando uma visão dos dados orientada à análise, além de uma navegação rápida e flexível. A tecnologia OLAP apresenta as seguintes características: Prof a. Patrícia Lima Quintão 44

45 Os bancos de dados OLAP apresentam um esquema otimizado para que as perguntas realizadas pelos usuários sejam respondidas rapidamente. As perguntas realizadas a um OLAP devem permitir a utilização interativa com os usuários. Finalizando, cabe destacar que os sistemas OLTP registram as transações, enquanto que os sistemas OLAP realizam uma análise minuciosa dos dados brutos, extraindo informações variadas para a tomada de decisões. 8. (Q104753/CESPE/2016/TCE-PA/Auditor de Controle Externo - Área Informática - Analista de Sistema) Julgue o item a seguir, em relação a data warehouse e data mining. No contexto de data mining, o processo de descoberta de conhecimento em base de dados consiste na extração não trivial de conhecimento previamente desconhecido e potencialmente útil. Comentários (Prof a Patrícia) O Data Mining é considerado uma parte de um processo maior conhecido como KDD (Knowledge Discovery in Databases) em português, Descoberta de Conhecimento em Bases de Dados, que, segundo Eduardo Gimenes, busca extrair informação válida, previamente desconhecida e de máxima abrangência a partir de grandes bases de dados, usando-as para efetuar de decisões cruciais. Addrians & Zantinge (1996) cita que o Data Mining, ou Mineração de Dados, permite a extração não trivial de conhecimento previamente desconhecido e potencialmente útil de um banco de dados. Outra definição clássica para esse termo é a de FAYYAD et al. (1996): processo, não trivial, de extração de informações implícitas, previamente desconhecidas e potencialmente úteis, a partir dos dados armazenados em um banco de dados, Prof a. Patrícia Lima Quintão 45

46 ou seja, buscar por informações em uma base de dados com os mais variados atributos e assuntos. Já Laudon&Laudon destaca que Data Mining é a análise de grandes quantidades de dados a fim de encontrar padrões e regras que possam ser usadas para orientar a tomada de decisões e prever o comportamento futuro. Mineração de dados, ou data mining, é o processo de análise de conjuntos de dados que tem por objetivo a descoberta de padrões interessantes e que possam representar informações úteis. Gabarito: item correto. 9. (Q104752/CESPE/2016/TCE-PA/Auditor de Controle Externo - Área Informática - Analista de Sistema) Julgue o item a seguir, em relação a data warehouse e data mining. [Data warehouse é um repositório de dados dinâmico, que sofre alterações frequentes, de modo a permitir que sejam feitas consultas em base de dados constantemente atualizada]. Comentários (Prof a Patrícia) A questão tornou-se inadequada ao destacar que o Data Warehouse sofre alterações frequentes. Os dados em um Data Warehouse não são voláteis, ou seja, eles não mudam, salvo quando é necessário fazer correções de dados previamente carregados. No ambiente operacional, ao contrário, os dados sofrem alterações frequentes, pois são, em geral, atualizados registro a registro, em múltiplas transações. Prof a. Patrícia Lima Quintão 46

47 Figura. Carregamento e acesso a dados no DW Gabarito: item errado. 10. (CESPE/2015/TCU/Auditor Federal de Controle Externo) O uso prático de data mining envolve o emprego de processos, ferramentas, técnicas e métodos oriundos da matemática, da estatística e da computação, inclusive de inteligência artificial. Comentários (Prof a Patrícia) Data Mining é a etapa do KDD (Knowledge Discovery in Databases - Descoberta de Conhecimento em Bases de Dados) em que os dados preparados são processados, ou seja, é onde se faz a mineração dos dados propriamente dita. Nesse contexto, são aplicadas técnicas para identificação de padrões sobre os dados disponíveis. Esse processo tem o intuito de trabalhar os dados registrados ao longo do tempo de vida de um negócio a fim de se identificar padrões que representam alguma informação sobre o comportamento do negócio. Prof a. Patrícia Lima Quintão 47

48 A figura a seguir apresenta um esquema que descreve o KDD. O processo de KDD envolve os seguintes passos: 1. entendimento do domínio da aplicação e identificação do objetivo do processo de KDD; 2. seleção: criação de um conjunto-alvo de dados; 3. pré-processamento: limpeza de dados e operações básicas como remoção de ruído, tratamento para a falta de dados, etc.; 4. transformação: encontrar características úteis para representar os dados, conforme o objetivo definido e realizar a redução ou transformação da dimensionalidade; 5. mineração de dados: casar os objetivos do processo de KDD com um método particular de mineração de dados e realizar a análise exploratória e seleção de modelo e hipótese, buscando padrões de interesse; 6. interpretação: interpretar e avaliar os padrões minerados, podendo retornar a passos anteriores caso seja necessário; 7. agir a partir do conhecimento descoberto. Prof a. Patrícia Lima Quintão 48

49 No Data Mining são aplicadas técnicas e ferramentas matemáticas, estatísticas e computacionais visando a extração de informações implícitas, previamente desconhecidas, e potencialmente úteis, a partir de dados. Para isso é necessário um programa de computador para detectar padrões e regularidades nos dados. Os termos destacados na questão estão de acordo com essa teoria, e a assertiva é correta. Gabarito: item correto. 11. (CESPE/2015/TCU/Auditor Federal de Controle Externo) No ambiente organizacional, devido à grande quantidade de dados, não é recomendado o emprego de data mining para atividades ligadas a marketing. Comentários (Prof a Patrícia) Não existe restrição de setor para o emprego das técnicas de Data mining. Em relação à quantidade de dados também não há restrição desde que a empresa possua capacidade de tratamento (armazenagem e processamento) dos dados. Gabarito: item errado. 12. (CESPE/2015/TCU/Auditor Federal de Controle Externo) A finalidade do uso do data mining em uma organização é subsidiar a produção de afirmações conclusivas acerca do padrão de comportamento exibido por agentes de interesse dessa organização. Comentários (Prof a Patrícia) A mineração de dados (Data Mining) pode ser utilizada para encontrar novos padrões, visando: Prof a. Patrícia Lima Quintão 49

50 predição: o sistema encontra padrões para predizer (prever) o comportamento futuro de algumas entidades; descrição: o sistema encontra padrões relevantes sobre os dados, em uma forma compreensível para o usuário. A mineração de dados envolve o ajuste de modelos aos dados observados ou a determinação de padrões a partir destes dados. Os modelos ajustados fazem o papel do conhecimento inferido, sobre o qual o julgamento humano subjetivo é exigido na verificação se os modelos refletem conhecimento útil ou interessante. Gabarito: item correto. 13. (CESPE/2015/DEPEN/AGENTE PENITENCIÁRIO FEDERAL - TECNOLOGIA DA INFORMAÇÃO) Acerca de datawarehouse e datamining, julgue o item subsequente: [O datawarehouse possibilita a análise de grandes volumes de dados, que, por sua vez, permitem a realização de uma melhor análise de eventos futuros]. Comentários (Prof a Patrícia) Um Data Warehouse é um repositório de informações colhidas de várias origens, armazenadas sob um esquema unificado, em um único local. Quando reunidos, os dados são armazenados por muito tempo, permitindo o acesso a dados históricos. Ainda, o desenho da base de dados favorece os relatórios, a análise de grandes volumes de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão. Prof a. Patrícia Lima Quintão 50

51 O Data Warehouse possibilita a análise de grandes volumes de dados, coletados dos sistemas transacionais (OLTP). São as chamadas séries históricas que possibilitam uma melhor análise de eventos passados, oferecendo suporte às tomadas de decisões presentes e a previsão de eventos futuros. Gabarito: item errado. 14. (Q104754/CESPE/2014/TJ-SE/Analista Judiciário/Análise de Sistemas) Com relação a sistemas de suporte à decisão, julgue os seguintes itens. Assim como o Data Mining, os Data Marts são voltados para a obtenção de informações estratégicas de maneira automática, ou seja, com o mínimo de intervenção humana a partir da análise de dados oriundos de Data Warehouses. Comentários (Prof a Patrícia) O Data Warehouse é um conjunto de dados orientado por assuntos, não volátil, variável com o tempo e integrado, criado para dar suporte à decisão. Data Marts são subconjuntos de dados de um Data Warehouse. E, por fim, é o Data Mining (Mineração de Dados) o processo de identificar informações relevantes, tais como padrões, associações, mudanças, anomalias e estruturas, em grandes conglomerados de dados que estejam em banco de dados ou outros repositórios de informações. Gabarito: item errado. Prof a. Patrícia Lima Quintão 51

52 15. (CESPE/2014/TJ-SE/Programação de Sistemas) Os dados armazenados em um DataWarehouse devem estar integrados, temporalmente identificados, orientados ao assunto e devem ser protegidos, de modo a se evitar o acesso do usuário. Comentários (Prof a Patrícia) Segundo Bill Inmon (1997), um data warehouse é uma coleção de dados orientada a assuntos, integrada, não-volátil e variante ao longo do tempo, para suporte à tomada de decisão. É orientado a assuntos o o DW é criado de forma orientada em torno dos principais assuntos da organização (clientes, vendas, produtos, estoques, etc.). É integrado o Na convenção consistente de nomes; o Na estrutura consistente da codificação; etc. É não volátil o Somente existem cargas e acessos (atualizações existe, mas devido às manutenções). É variante no tempo o Qualquer unidade de dado deve ter precisão em um ponto bem definido do tempo. Prof a. Patrícia Lima Quintão 52

53 Por fim, deve-se definir o nível de segurança a ser implementado no DW, de modo a que se permita o acesso devido aos usuários autorizados. A questão afirma que o acesso do usuário deve ser evitado, o que está errado! Gabarito: item errado. Acerca de soluções de suporte a decisão, julgue os dois itens seguintes. 16. (CESPE/Correios/Analista de Correios/Analista de Sistemas/Desenvolvimento de Sistemas/2011) As ferramentas de software ETL (extract transform load) têm como função a extração de dados de diversos sistemas, a transformação desses dados de acordo com as regras de negócio e a carga dos dados em um data mart ou um DW. Comentários (Prof a Patrícia) As ferramentas de software ETL (Extract Transform Load - E x t r a ç ã o T r a n s f o r m a ç ã o C a r g a ), conforme visto na figura seguinte, têm como função a extração de dados a partir dos sistemas de origem e, geralmente, gravação em disco no ambiente de ETL antes de qualquer reestruturação dos dados. Em seguida, é realizada a transformação desses dados de acordo com as regras de negócio e, por fim, a carga dos dados em um Data Mart ou em um Data Warehouse (DW). Prof a. Patrícia Lima Quintão 53

54 Gabarito: item correto. 17. (CESPE/Correios/Analista de Correios/Analista de Sistemas/Desenvolvimento de Sistemas/2011) Em um ambiente data warehouse (DW), é possível a análise de grandes volumes de dados, os quais ficam disponíveis para serem alterados e manipulados pelo usuário. Comentários (Prof a Patrícia) Segundo Laudon & Laudon, um Data Warehouse (DW) é um banco de dados, com ferramentas de consulta e relatório, que armazena dados atuais e históricos extraídos de vários sistemas operacionais e consolidados para fins de análises e relatórios administrativos. Prof a. Patrícia Lima Quintão 54

55 Em um ambiente DW, é possível a análise de grandes volumes de dados. No entanto, diferentemente do ambiente operacional em que os dados são, em geral, atualizados registro a registro, em múltiplas transações, o DW permite apenas a carga inicial dos dados e consultas a estes dados. Após serem integrados e transformados, os dados são carregados em bloco para o Data Warehouse, para que estejam disponíveis aos usuários para acesso. Gabarito: item errado. 18. (Elaboração Própria/Profa Patrícia Quintão/2018) Julgue o item seguinte: A granularidade diz respeito ao nível de detalhe ou de resumo contido nas unidades de dados existentes no data warehouse. Quanto menos detalhe, mais baixo o nível de granularidade. Quanto mais detalhe, mais alto o nível de granularidade. Prof a. Patrícia Lima Quintão 55

56 Comentários (Prof a Patrícia) A granularidade diz respeito ao nível de detalhe ou de resumo contido nas unidades de dados existentes no data warehouse. Quanto mais detalhe, mais baixo o nível de granularidade. Quanto menos detalhe, mais alto o nível de granularidade. (INMON, 1997, p. 45). Veja a figura seguinte, extraída de (Machado,2000, p. 45) bem interessante para visualização desse contexto. Figura. Granularidade de Dados INMON (1997) destaca que existe a possibilidade de utilizar um nível duplo de granularidade (níveis duais de granularidade). Esta técnica se enquadra nos requisitos da maioria das empresas. São criadas duas camadas: uma camada para os dados levemente resumidos e outra para os dados históricos. Prof a. Patrícia Lima Quintão 56

57 Com a criação de dois níveis de granularidade, é possível atender a todos os tipos de consultas, com um melhor desempenho, visto que a maior parte do processamento analítico se dirige aos dados levemente resumidos que são compactos e de fácil acesso e para as ocasiões em que um maior nível de detalhe deve ser analisado, existe o nível de dados históricos, o qual é complexo e de alto custo (INMON, 1997). Gabarito: item errado. 19. (Elaboração Própria/Profa Patrícia Quintão/2018) D ata Mi ni n g é u m ambi ente de suporte à decisão que alavanca dados armazenados em diferentes fontes e os organiza e entrega aos tomadores de decisões. Resumindo, é uma tecnologia de gestão e análise de dados. ( ) Certo ( ) Errado Comentários (Prof a Patrícia) Data Warehouse é um am bi ente de suporte à decisão que alavanca dados armazenados em diferentes fontes e os organiza e entrega aos tomadores de decisões. Resumindo, é uma tecnologia de gestão e análise de dados. Gabarito: item errado. 20. (Elaboração Própria/Profa Patrícia Quintão/2018) Data Warehouse (DW) propõe sustentar a tomada de decisão com dados. Trata-se de uma coleção de dados orientada por assunto, integrada, volátil, variante no tempo, que dá apoio às decisões da administração. ( ) Certo ( ) Errado Prof a. Patrícia Lima Quintão 57

58 Comentários (Prof a Patrícia) Data Warehouse (DW) propõe sustentar a tomada de decisão com dados. Tratase de uma coleção de dados orientada por assunto, integrada, não volátil, variante no tempo, que dá apoio às decisões da administração. Gabarito: item errado. 21. (Elaboração Própria/Profa Patrícia Quintão/2018) Mineração de Dados é o processo de análise de conjuntos de dados que tem por objetivo a descoberta de padrões interessantes e que possam representar informações úteis. ( ) Certo ( ) Errado Comentários (Prof a Patrícia) A mineração de dados é um processo de negócio para explorar grandes quantidades de dados para descobrir padrões e regras significativas (2011). Gabarito: item correto. 22. (CESPE/2018/EBSERH/Analista de Tecnologia da Informação) Julgue o item que se segue, a respeito de arquitetura e tecnologias de sistemas de informação. A descoberta de novas regras e padrões em conjuntos de dados fornecidos, ou aquisição de conhecimento indutivo, é um dos objetivos de data mining. ( ) Certo ( ) Errado Prof a. Patrícia Lima Quintão 58

59 Comentários (Prof a Patrícia) O conhecimento é classificado em indutivo e dedutivo. O conhecimento dedutivo deduz novas informações baseadas na aplicação de regras lógicas predefinidas de dedução sobre dados existentes. O Data Mining apoia o conhecimento indutivo, que descobre novas regras e padrões nos dados fornecidos. (ELMASRI, NAVATHE, 2005). Gabarito: item correto. Prof a. Patrícia Lima Quintão 59

60 Considerações Finais Bom, pessoal, acho que já foi suficiente para que se tenha a ideia do que o espera e também de como será o nosso curso. A partir de agora, as aulas serão agrupadas por assuntos específicos, preferencialmente com a distribuição listada no planejamento das aulas. Finalizando, espero que continue conosco pegando os macetes e atalhos da caminhada que serão importantes para a sua prova, de forma a tentar encurtar essa longa trajetória e ajudá-lo(a) a chegar ao objetivo almejado. Fique com Deus, e até a nossa próxima aula aqui no Ponto dos Concursos! Prof a Patrícia Lima Quintão patricia@pontodosconcursos.com.br Livro FCC (-Impresso ou digital => Livro Cespe/2017 (2ª. Edição) Prof a. Patrícia Lima Quintão 60

61 Bibliografia QUINTÃO, PATRÍCIA LIMA. Informática para Concursos, QUINTÃO, PATRÍCIA LIMA. Tecnologia da Informação para Concursos, QUINTÃO, PATRÍCIA LIMA. Informática-FCC-Questões Comentadas e Organizadas por Assunto, 3ª. Edição. Ed. Gen/Método, QUINTÃO, PATRÍCIA LIMA Questões Comentadas de Informática - Cespe, 2ª. Edição. Ed. Gen/Método, Prof a. Patrícia Lima Quintão 61

62 Lista das Questões Apresentadas na Aula 1. (Elaboração Própria/Profa Patrícia Quintão/2018) O Data Mining é uma coleção de dados orientados por assuntos, integrados, variáveis com o tempo e voláteis, para dar suporte ao processo de tomada de decisão. 2. (FCC/2018/DPE-AM/Analista em Gestão Especializado de Defensoria - Analista de Banco de Dados) Uma das características fundamentais de um ambiente de data warehouse está em a)servir como substituto aos bancos de dados operacionais de uma empresa, na eventualidade da ocorrência de problemas com tais bancos de dados. b) ser de utilização exclusiva da área de aplicações financeiras das empresas. c)proporcionar um ambiente que permita realizar análise dos negócios de uma empresa com base nos dados por ela armazenados. d)ser de uso prioritário de funcionários responsáveis pela área de telemarketing das empresas. e)armazenar apenas os dados mais atuais (máximo de 3 meses de criação), independentemente da área de atuação de cada empresa. 3. (FCC/2017/TRE-SP/ANALISTA JUDICIÁRIO - ANÁLISE DE SISTEMAS) No processo ETL de um data warehouse: (I) a tradução de valores codificados conhecida como limpeza de dados (por exemplo, supondo que o sistema de origem armazena 1 para sexo masculino e 2 para feminino, mas o data warehouse armazena M para masculino e F para feminino) e (II) a geração de valores de chaves substitutas (surrogate keys) são Prof a. Patrícia Lima Quintão 62

63 A) integrantes da etapa de transformação B) integrantes das etapas de transformação e carga, respectivamente C) manipulações de dados, aplicáveis no processo pivoting D) elementos que possibilitam a conversão de drill-down para roll up E) integrantes da etapa de carga 4. (FCC/2017/DPE-RS/Analista - Banco de Dados) Uma das técnicas bastante utilizadas em sistemas de apoio à decisão é o Data Mining, que se constitui em uma técnica a)para a exploração e análise de dados, visando descobrir padrões e regras, a princípio ocultos, importantes à aplicação. b)para se realizar a criptografia inteligente de dados, objetivando a proteção da informação. c)que visa sua distribuição e replicação em um cluster de servidores, visando aprimorar a disponibilidade de dados. d)de compactação de dados, normalmente bastante eficiente, permitindo grande desempenho no armazenamento de dados. e)de transmissão e recepção de dados que permite a comunicação entre servidores, em tempo real. 5. (FCC/2013/TRT9R/Téc.Jud./Tec.Informação) A revista ClubeDelphi publicou o seguinte artigo: Prof a. Patrícia Lima Quintão 63

64 Com o crescente aumento do volume de dados, surge a necessidade de ferramentas e mecanismos que permitam que eles possam ser analisados de forma otimizada, uma vez que armazenam toda a trajetória da empresa. Uma solução é a utilização de I que, em síntese, é utilizado para armazenar conjuntos de dados organizados por assuntos, mantendo todo um histórico corporativo. Outro recurso muito utilizado e dos mais importantes quando o objetivo é a busca de conhecimento, é o II, que é um processo que consiste na identificação de informações relevantes que estão presentes em grandes bancos de dados ou repositórios, geralmente realizado em três etapas: a exploração, a definição dos padrões e a validação dos dados. Estas ferramentas e técnicas fazem parte do III, definido como um conjunto de métodos e conceitos que podem ser implementados através de softwares com o intuito de utilizar os dados importantes da organização para auxiliar no processo de tomada de decisões, proporcionando melhorias para a alta administração. Outra tecnologia que pode prover uma melhor e mais flexível análise das informações, é o IV que permite uma visão conceitual de forma multidimensional das informações da organização, de maneira que as informações possam ser visualizadas e analisadas de diferentes perspectivas pelo usuário. ( As lacunas que completam corretamente o texto estão expressas em: Prof a. Patrícia Lima Quintão 64

65 6. (FCC/2014/ICMS-RJ/Auditor Fiscal da Receita Estadual) Com o advento da tecnologia de Data Warehousing, os ambientes de apoio à decisão passaram a ser denominados ambientes de Data Warehouse (DW). Em relação à tecnologia DW, é correto afirmar: a) Um DW tem duas operações básicas: a carga dos dados (inicial e incremental) e o acesso a estes dados em modo leitura. Depois de carregado, um DW não necessita de operações de bloqueio por concorrência de usuários no acesso aos seus dados. b) Em um DW as convenções de nomes, valores de variáveis e outros atributos físicos de dados como data types são bastante flexíveis. Para facilitar a tomada de decisões, as informações são apresentadas de diferentes formas, da mesma maneira que foram carregadas dos sistemas legados. c) Um projetista de DW deve ter seu foco na modelagem dos dados e no projeto de banco de dados. Um sistema transacional armazena as informações agrupadas por assuntos de interesse da empresa que são mais importantes, enquanto um DW é orientado a processos e deve ser desenvolvido para manter disponíveis as transações realizadas diariamente. d) Os dados de um DW são um conjunto dinâmico de registros de uma ou mais tabelas, capturados em um momento de tempo predeterminado, por isso têm que ser sempre atualizados. Prof a. Patrícia Lima Quintão 65

66 e) Um sistema multidimensional, como o DW, deve atualizar o valor corrente das informações e sua exatidão é válida por um tempo curto, por exemplo, o valor total das notas fiscais processadas pela Receita às 12:00 de um dia pode ser diferente às 18:00 do mesmo dia. 7. (ESAF/STN/DESENV SISTEMAS/2008) Um depósito de dados organizado por assunto, não-volátil, integrado e variável em função do tempo, utilizado para apoiar decisões de gerenciamento, é denominado a) datawarehouse. b) gestão do conhecimento. c) business Intelligence. d) mineração de dados. e) OLAP (OnLine Analytical Processing). 8. (Q104753/CESPE/2016/TCE-PA/Auditor de Controle Externo - Área Informática - Analista de Sistema) Julgue o item a seguir, em relação a data warehouse e data mining. No contexto de data mining, o processo de descoberta de conhecimento em base de dados consiste na extração não trivial de conhecimento previamente desconhecido e potencialmente útil. 9. (Q104752/CESPE/2016/TCE-PA/Auditor de Controle Externo - Área Informática - Analista de Sistema) Julgue o item a seguir, em relação a data warehouse e data mining. [Data warehouse é um repositório de dados dinâmico, que sofre alterações frequentes, de modo a permitir que sejam feitas consultas em base de dados constantemente atualizada]. Prof a. Patrícia Lima Quintão 66

67 10. (CESPE/2015/TCU/Auditor Federal de Controle Externo) O uso prático de data mining envolve o emprego de processos, ferramentas, técnicas e métodos oriundos da matemática, da estatística e da computação, inclusive de inteligência artificial. 11. (CESPE/2015/TCU/Auditor Federal de Controle Externo) No ambiente organizacional, devido à grande quantidade de dados, não é recomendado o emprego de data mining para atividades ligadas a marketing. 12. (CESPE/2015/TCU/Auditor Federal de Controle Externo) A finalidade do uso do data mining em uma organização é subsidiar a produção de afirmações conclusivas acerca do padrão de comportamento exibido por agentes de interesse dessa organização. 13. (CESPE/2015/DEPEN/AGENTE PENITENCIÁRIO FEDERAL - TECNOLOGIA DA INFORMAÇÃO) Acerca de datawarehouse e datamining, julgue o item subsequente: [O datawarehouse possibilita a análise de grandes volumes de dados, que, por sua vez, permitem a realização de uma melhor análise de eventos futuros]. 14. (Q104754/CESPE/2014/TJ-SE/Analista Judiciário/Análise de Sistemas) Com relação a sistemas de suporte à decisão, julgue os seguintes itens. Assim como o Data Mining, os Data Marts são voltados para a obtenção de informações estratégicas de maneira automática, ou seja, com o mínimo de intervenção humana a partir da análise de dados oriundos de Data Warehouses. Prof a. Patrícia Lima Quintão 67

68 15. (CESPE/2014/TJ-SE/Programação de Sistemas) Os dados armazenados em um DataWarehouse devem estar integrados, temporalmente identificados, orientados ao assunto e devem ser protegidos, de modo a se evitar o acesso do usuário. Acerca de soluções de suporte a decisão, julgue os dois itens seguintes. 16. (CESPE/Correios/Analista de Correios/Analista de Sistemas/Desenvolvimento de Sistemas/2011) As ferramentas de software ETL (extract transform load) têm como função a extração de dados de diversos sistemas, a transformação desses dados de acordo com as regras de negócio e a carga dos dados em um data mart ou um DW. 17. (CESPE/Correios/Analista de Correios/Analista de Sistemas/Desenvolvimento de Sistemas/2011) Em um ambiente data warehouse (DW), é possível a análise de grandes volumes de dados, os quais ficam disponíveis para serem alterados e manipulados pelo usuário. 18. (Elaboração Própria/Profa Patrícia Quintão/2018) Julgue o item seguinte: A granularidade diz respeito ao nível de detalhe ou de resumo contido nas unidades de dados existentes no data warehouse. Quanto menos detalhe, mais baixo o nível de granularidade. Quanto mais detalhe, mais alto o nível de granularidade. 19. (Elaboração Própria/Profa Patrícia Quintão/2018) D ata Mi ni n g é u m ambi ente de suporte à decisão que alavanca dados armazenados em Prof a. Patrícia Lima Quintão 68

69 diferentes fontes e os organiza e entrega aos tomadores de decisões. Resumindo, é uma tecnologia de gestão e análise de dados. 20. (Elaboração Própria/Profa Patrícia Quintão/2018) Data Warehouse (DW) propõe sustentar a tomada de decisão com dados. Trata-se de uma coleção de dados orientada por assunto, integrada, volátil, variante no tempo, que dá apoio às decisões da administração. 21. (Elaboração Própria/Profa Patrícia Quintão/2018) Mineração de Dados é o processo de análise de conjuntos de dados que tem por objetivo a descoberta de padrões interessantes e que possam representar informações úteis. 22. (CESPE/2018/EBSERH/Analista de Tecnologia da Informação) Julgue o item que se segue, a respeito de arquitetura e tecnologias de sistemas de informação. A descoberta de novas regras e padrões em conjuntos de dados fornecidos, ou aquisição de conhecimento indutivo, é um dos objetivos de data mining. Prof a. Patrícia Lima Quintão 69

70 Gabarito 1. Item errado. 2. Letra C. 3. Letra A. 4. Letra A. 5. Letra D. 6. Letra A. 7. Letra A. 8. Item correto. 9. Item errado. 10. Item correto. 13. Item errado. 14. Item errado. 15. Item errado. 16. Item correto. 17. Item errado. 18. Item errado. 19. Item errado. 20. Item errado. 21. Item correto. 22. Item correto. 11. Item errado. 12. Item correto. Prof a. Patrícia Lima Quintão 70

71 Acompanhe a Evolução do seu Aproveitamento Data Nº Acertos % Data Nº Acertos % questões acerto questões acerto Data Nº Acertos % Data Nº Acertos % questões acerto questões acerto Link: Prof a. Patrícia Lima Quintão 71