Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan

Tamanho: px

Começar a partir da página:

Download "Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan"

Carlos Brás Azambuja
8 Há anos
Visualizações:

1 Faculdade INED Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan 1 Unidade

2 BI BUSINESS INTELLIGENCE BI CARLOS BARBIERI - Slides confeccionados pelo autor. 3 DATA MINING C.BARBIERI 4 2

3 INTELIGÊNCIA NOS NEGÓCIOS TOMADA DE DECISÃO TRANFORMANDO DADO EM INFORMAÇÃO DUAS VERTENTES: ANALÍTICAS=>INTERPRETAÇÃO GARIMPAGEM=>DESCOBRIMENTO DE TENDÊNCIAS-PADRÕES-CRIANDO MODELOS TOMADA DE DECISÃO BUSINESS INTELLIGENCE INFERÊNCIA-PADRÕES MODELOS INFORMAÇÕES ANALÍTICAS 5 DATA MINING DESCOBERTA DE PADRÕES E TENDÊNCIAS EM GRANDES VOLUMES DE DADOS VIABILIZADO POR: < CUSTO ARMAZENAMENTO < CUSTO DE PROCESSADORES > COMPETITIVIDADE NEGOCIAL DIFERE DE OLAP-ANÁLISE ONDE CERTAS INFLUÊNCIAS SÃO COLOCADAS NA PESQUISA OLAP MINING-ANÁLISE DE TODAS AS INTERRELAÇÕES DE INFLUÊNCIA CHAMADA DE KD(KNOWLEDGE DISCOVERY) USA MODELOS-CRIADO A PARTIR DOS PADRÕES DOS DADOS PADRÕES: COMPORTAMENTOS REPETITIVOS QUE PERMITAM PREVISÃO: EX: ? ALGORÍTMOS ESTATÍSTICOS: MECANISMOS PARA CRIAÇÃO DE MODELOS ÁRVORE DE DECISÃO ASSOCIAÇÃO ANÁLISE DE REGRESSÃO ALGORITMOS GENÉTICOS REDES NEURAIS ARTIFICIAIS 6 3

PROCESSADORES > COMPETITIVIDADE NEGOCIAL DIFERE DE OLAP-ANÁLISE ONDE CERTAS INFLUÊNCIAS SÃO COLOCADAS NA PESQUISA OLAP MINING-ANÁLISE DE TODAS AS INTERRELAÇÕES DE INFLUÊNCIA CHAMADA DE KD(KNOWLEDGE

4 ANALISAR O PROBLEMA BUSCAR OBJETIVO BEM DEFINIDO DADOS DADOS CLUSTERING ANALYSYS RETREINAR MODELO 5 APLICAR MODELOS 1 DATA MINING LEVANTAR FONTES DE DADOS 2 4 REALIZAR ETC- DADOS 3 DEFINIR E TREINAR O MODELO ETC TRATAMENTO DADOS SELECIONA DOS EXTRAÇÃO TRANSFORMAÇÃO CARGA MODELO ARVORE DE DECISÃO BOM-MÉDIO-RUIM AGREGAÇÃO CLASSIFICAÇÃO ASSOCIAÇÃO 7 FATORES CRÍTICOS DE PROJETOS DE DATA MINING SABE COM DETALHES QUAL É O SEU PROBLEMA? VOCÊ SABE EXATAMENTE O QUE NECESSITA? ANÁLISES COMPLEXAS, TENDÊNCIAS ESCONDIDAS, INFERÊNCIAS? VOCÊ TEM OS DADOS NECESSÁRIOS, NA GRANULARIDADE NECESSÁRIA, NO DETALHE NECESSÁRIO? PREPARAÇÃO É FUNDAMENTAL DADOS INTERNOS E EXTERNOS DATA MINING É SOLUÇÃO? ACERTO DE EXPECTATIVA TEM USUÁRIO PATROCINADOR? VOCÊ SABE QUE DM É UM PROJETO DE ASPECTO CONTÍNUO E DE NEGÓCIOS(NÀO SÓ UM PROJETO ISOLADO) VOCÊ TEM, OU ESTÁ DISPOSTO A TER: BOA ARQUITETURA TECNOLÓGICA? CUSTO, COERENTE COM AS NECESSIDADES GRANDES VOLUMES DE DADOS E PROCESSAMENTO EQUIPE COM TÉCNICAS E TÉCNICOS COM SKILL EM DM E ANALISTAS EM BUSINESS INTELLIGENCE? CONHECIMENTOS EM PACOTES CLÁSSICOS COMO SAS, SPSS, ORACLE 8 4

COM DETALHES QUAL É O SEU PROBLEMA? VOCÊ SABE EXATAMENTE O QUE NECESSITA? ANÁLISES COMPLEXAS, TENDÊNCIAS ESCONDIDAS, INFERÊNCIAS?

5 MINING DIRETO OS ATRIBUTOS CONHECIDOS(INPUTS) SÃO FORNECIDOS AO ENGINE DE DM PARA PRODUZIR(BASEADO NO MODELO E PADRÕES DEFINIDOS), OS VALORES PREVISTOS(PREDICTED/ TARGETS) DATA MINING ESTRATÉGIAS MINING INDIRETO OS ATRIBUTOS CONHECIDOS SÃO FORNECIDOS AO ENGINE DE DM PARA PRODUZIR CONJUNTOS DE COMPORTAMENTO SEMELHANTES. NÃO PRODUZEM VALORES. SERVEM PARA FORMAR NUVENS OU COLONIAS DE OBJETOS COM CARACTERÍSTICAS SEMELHANTES TARGETS) NORMALMENTE SERÃO USADAS COMO PREPARAÇÃO PARA OUTRAS TÉCNICAS. POR EXEMPLO AGRUPA-SE DADOS PARA TRATAMENTO VIA ARVORE DE DECISÃO 9 Técnicas Árvores de decisão- 1 o Exemplo Representações simples do conhecimento Utilização de regras condicionais A partir de um conjunto de valores decide SIM ou NÃO Mais rápida e mais compreensível que redes neurais Exemplo: Sair ou não de acordo com o tempo Tempo Nublado Ensolarado Chuvoso Predicado objetivo: Sair ou Não Sair Alta Umidade Normal Sair Muito vento Sim Não Ñ Sair Sair Ñ Sair Sair 10 5

SERVEM PARA FORMAR NUVENS OU COLONIAS DE OBJETOS COM CARACTERÍSTICAS SEMELHANTES TARGETS) NORMALMENTE SERÃO USADAS COMO PREPARAÇÃO PARA OUTRAS TÉCNICAS.

6 Técnicas Árvores de decisão: 2 o Exemplo Classificação de um indivíduo com risco de ter ou não crédito Renda > R$ 4.000,00 SIM NÃO Predicado objetivo: Crédito ou Não Dívida < 10% da renda? Dívida = 0% SIM NÃO NÃO SIM Risco de ter crédito Risco de não ter crédito Risco de ter crédito 11 Técnicas Redes Neurais: É uma abordagem computacional que envolve desenvolvimento de estruturas matemáticas com a habilidade de aprender. (modelo do sistema nervoso para aprender) Estruturalmente, uma rede neural consiste em um número de elementos interconectados (chamados neurônios/nós), que possuem entrada, saída e processamento. São organizados em camadas que aprendem pela modificação da conexão. Arquitetura: 12 6

Dívida = 0% SIM NÃO NÃO SIM Risco de ter crédito Risco de não ter crédito Risco de ter crédito 11 Técnicas Redes Neurais: É uma abordagem computacional que envolve

7 Técnicas Redes Neurais: Para construir um modelo neural, nós primeiramente "adestramos" a rede em um dataset de treinamento e então usamos a rede já treinada para fazer predições. Problemas: Não retorna informação a priori Complicação para treinar em uma grande base de dados Entrada não pode ser dados alfa-numéricos (mapear para numérico) Nenhuma explanação dos dados é fornecida (caixa preta) 13 Técnicas Redes Neurais: Exemplo prático: risco de câncer Data mining - Clementine User Guide 14 7

Problemas: Não retorna informação a priori Complicação para treinar em uma grande base de dados Entrada não pode ser dados

8 Técnicas Redes Neurais: -2 o Exemplo RENDA DÉBITO IDADE FORMA DE PAGAMENTO Nível de entrada Nível intermediário Risco de ter crédito Risco de não ter crédito As redes neurais usam seus dados de entrada. Atribui pesos nas conecções entre os atributos (neurônios). E obtém um resultado (risco de ter ou não crédito) no nível de saída. Nível de saída 15 DATA MINING E ESTATÍSTICA CONCEITOS COMUNS POPULAÇÃO : GRUPO DE CASOS INCLUIDOS NO MODELO. AS CARACTERÍSTICAS DEVEM SER BEM DEFINIDAS. AMOSTRA: SE O CONJUNTO DE CASOS INCLUÍDOS NÃO É GERENCIÁVEL, CRIA-SE UMA AMOSTRA REPRESENTATIVA DAQUELA POPULAÇÃO. HÁ QUE SE REPRESENTAR O TODO. VALORES ESTATÍSTICOS: MÉDIA-SOMA DE VALORES / N MODA-VARIÁVEL DE > FREQUÊNCIA MEDIANA-VALOR CENTRAL DE UMA DISTRIBUIÇÃO VARIÂNCIA: SOMA DAS DIFERENÇAS QUADRADAS ENTRE OS VALORES E A MÉDIA DESVIO PADRÃO: RAIZ QUADRADA DA VARIÂNCIA 16 8

Nível de saída 15 DATA MINING E ESTATÍSTICA CONCEITOS COMUNS POPULAÇÃO : GRUPO DE CASOS INCLUIDOS NO MODELO. AS CARACTERÍSTICAS DEVEM SER BEM DEFINIDAS.

9 DATA MINING E ESTATÍSTICA CONCEITOS COMUNS CORRELAÇÃO: QUANDO UMA VARIÁVEL MUDA EM FUNÇÃO DA MUDANÇA DE OUTRA REGRESSÃO: MEDE NUMERICAMENTE O VALOR DESTA INFLUÊNCIA/RELAÇÃO. O QUANTO UMA MUDA, MUDANDO X NA OUTRA 17 DATA MINING E ESTATÍSTICA CONCEITOS COMUNS AVALIAÇÃO DO PASSADO MINING REALIZA: APRENDIZADO A PARTIR DOS DADOS HISTÓRICOS ANALISANDO RELAÇÕES DE CAUSA-EFEITO. HÁ 6 ALGORÍTMOS PARA SE AVALIAR O PASSADO: ANALISE DE INFLUÊNCIA-COMO FATORES E VARIÁVEIS IMPACTAM MEDIDAS ANÁLISE DE VARIAÇÃO(VARIATION ANALYSIS)-ANALISA A VARIAÇÃO DE UM CONJUNTO DE DADOS E BUSCA-SE FATORES QUE POSSAM ESTAR ASSOCIADOS A ELA ANÁLISE DE COMPARAÇÃO-COMPARA-SE DOIS CONJUNTOS DE DADOS E SUAS INFLUÊNCIAS, EX: 2 CALL CENTERS- UM DEVE SER EXPANDIDO-QUAL? COMPARA-SE VIA OLAP AS MÉTRICAS DAS DUAS UNIDADES ANÁLISE DE CAUSA E EFEITO ANÁLISE DE TENDÊNCIAS (TREND ANALYSIS) ANÁLISE DE DESVIO (DEVIATION ANALYSIS) 18 9

HÁ 6 ALGORÍTMOS PARA SE AVALIAR O PASSADO: ANALISE DE INFLUÊNCIA-COMO FATORES E VARIÁVEIS IMPACTAM MEDIDAS ANÁLISE DE VARIAÇÃO(VARIATION ANALYSIS)-ANALISA A VARIAÇÃO DE UM CONJUNTO DE DADOS E

10 DATA MINING E ESTATÍSTICA CONCEITOS COMUNS PREVENDO O FUTURO MINING REALIZA: COMPARAÇÃO DE VARIÁVEIS DE INPUT COM OS PADRÕES EXISTENTES E DEFINIDOS: MODELOS PREDITIVOS: USA ALGORÍTMOS PARA PREVER VALORES FALTANTES BASEADOS NOS PADRÕES DEFINIDOS E ARMAZENADOS NOS MODELOS NORMALMENTE EXPRESSA EM PROBABILIDADES EXISTEM SISTEMAS MAIS ELABORADOS: POR EX: NUM SISTEMA DE ANÁLISE DE RISCO DE EMPRÉSTIMO QUAL A MELHOR ESCOLHA? CLIENTE A TEM 65% DE CHANCE DE PAGAR UM ALTO E MAIS RENTÁVEL EMPRÉSTIMO E CLIENTE B TEM 86% DE CHANCE DE PAGAR UM EMPRÉSTIMO DE MENOR RENTABILIDADE. COMO UM ANALISTA SELECIONARIA? TRADUÇÃO DAS PROBABILIDADES EM SIM E NÃO MODELOS IF-SE 19 DATA MINING TREINAMENTO DO MODELO TREINAR O MODELO SIGNIFICA ANALISAR AS VARIÁVEIS DE INPUT E OBTER OS PADRÕES OS PADRÕES SÃO COLOCADOS EM MODELOS CONSTRUÍDOS O MODELO TREINADO FAZ PARTE DO LEARNING MACHINE, ONDE OS ALGORÍTMOS SÃO AUTOMATICAMENTE ADAPTADOS PARA MELHORAR BASEADO NA EXPERIÊNCIA DE ANÁLISE DE DADOS HISTÓRICOS,CRIAÇÃO CRIAÇÃO DE PADRÕES E SUA VALIDAÇÃO CONTRA NOVOS DADOS 20 10

EMPRÉSTIMO QUAL A MELHOR ESCOLHA? CLIENTE A TEM 65% DE CHANCE DE PAGAR UM ALTO E MAIS RENTÁVEL EMPRÉSTIMO E CLIENTE B TEM 86% DE CHANCE DE PAGAR UM EMPRÉSTIMO DE MENOR RENTABILIDADE.

11 DATA MINING CUIDADOS NA OBTENÇÃO SIGNIFICÂNCIA DOS MODELOS MINING OBJETIVA DESCOBRIR PADRÕES ESCONDIDOS POIS BEM: ALGUMAS ANÁLISES PODEM LEVAR A INFERÊNCIAS INCONSISTENTES. POR EX: UM BANCO FRANCÊS DEFINIU QUE DONOS DE CARROS VERMELHOS ERAM MELHORES PAGADORES DE EMPRÉSTIMOS. ISSO É CHAMADO OVERFITTING TÉCNICAS ESTATÍSTICAS EXISTEM PARA ABALISAR A RELEVÂNCIA DE CERTAS VARIÁVEIS NUM MODELO ESTATÍSTICO: ANÁLISE DE CHI-QUADRADO PRUNNING(PODA-CASO DE ÁRVORES DE DECISÃO) CROSS VALIDATION 21 DATA MINING RESUMO ANÁLISE DESCRITIVA : NÃO PRODUZ MODELOS QUE PERMITEM DERIVAR CONHECIMENTOS PREDITIVOS ANÁLISE PREDITIVA: SIM, CRIA MODELOS QUE PERMITEM INFERIR DUAS ESTRATÉGIAS: MINING DIRETO:USO DE ATRIBUTOS CONHECIDOS PARA DIRECIONAR MODELOS QUE PRODUZAM SAIDAS PREDITIVAS MINING INDIRETO: USA OS ATRIBUTOS SOMENTE PARA DESCOBRIR PADRÕES E TENDÊNCIAS QUE NÃO DIRETAMENTE SE ASSOCIAM COM AÇÕES PREDITIVAS MODELOS DEVEM SER TESTADOS OS DADOS QUE FORAM USADOS NA SUA CONSTRUÇÃO DEVEM SER ANALISADOS COM RELAÇÃO A SUA RELEVÂNCIA NA EXPRESSÃO DAQUELA VERDADE 22 11

ISSO É CHAMADO OVERFITTING TÉCNICAS ESTATÍSTICAS EXISTEM PARA ABALISAR A RELEVÂNCIA DE CERTAS VARIÁVEIS NUM MODELO ESTATÍSTICO: ANÁLISE DE CHI-QUADRADO PRUNNING(PODA-CASO DE ÁRVORES DE DECISÃO) CROSS

12 Exemplo (1) - Fraldas X cervejas O que as cervejas tem a ver com as fraldas? homens casados, entre 25 e 30 anos; compravam fraldas e/ou cervejas às sextasfeiras à tarde no caminho do trabalho para casa; Wal-Mart otimizou às gôndolas nos pontos de vendas, colocando as fraldas ao lado das cervejas; Resultado: o consumo cresceu 30%. 23 Exemplo (2) - Lojas de Departamento Aplicou 1 milhão de dólares em técnicas de data mining Reduziu de produtos para produtos oferecidos em suas lojas. Exemplo de anomalias detectadas: Roupas de inverno e guarda chuvas encalhadas no nordeste Batedeiras 110v a venda em SC onde a corrente é 220v 24 12

pontos de vendas, colocando as fraldas ao lado das cervejas; Resultado: o consumo cresceu 30%.

13 Exemplos Exemplo (3) - Banco Selecionou entre seus 36 milhões de clientes Aqueles com menor risco de dar calotes Tinham filhos com idades entre 18 e 21 anos Resultado em três anos o banco lucrou 30 milhões de dólares com a carteira de empréstimos. 25 Obrigado e Bons Estudos! Zaidan A persistência é o caminho do êxito. Charles Chaplin 26 13

três anos o banco lucrou 30 milhões de dólares com a carteira de empréstimos.

Documentos relacionados

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse Definição escopo do projeto (departamental, empresarial) Grau de redundância dos dados(ods, data staging) Tipo de usuário alvo (executivos, unidades) Definição do ambiente (relatórios e consultas préestruturadas