VÁ ALÉM DO BI TRADICIONAL ADICIONANDO PODER ANALÍTICO... MARIANA FONTANEZI ESTATÍSTICA

Transcrição

1 Business Inteligence & Analytics VÁ ALÉM DO BI TRADICIONAL ADICIONANDO PODER ANALÍTICO... MARIANA FONTANEZI ESTATÍSTICA

2 Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas

3 Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas

4 Formação: Mariana Fontanezi Graduada em estatística pela ENCE Pós graduada em Engenharia de Produção pela UFF Cerfificada em SAS Predictive Modeller Using SAS Enterprise Miner 13 pelo SAS Experiências: Modelagem preditiva utilizando ferramentas de mercado como SAS e R. Técnicas de Data mining, modelagem preditiva e manipulação de grande massa de dados Atualmente: Pré-Sales Consultant - SAS

5 Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas

6 O Big Data O que é? Grande volume de dados armazenados Informações que traduzem a realidade Variedade Informações dos mais diversos tipos Informações que conseguem auxiliar na tomada de decisão Big Data Informações chegando a todo momento Velocidade Volume Muitas Informações que chegam a todo momento

7 Big Data O que fazer? O que fazer com essa enorme massa de dados que temos? Capturar Coletar as informações necessárias Analisar Analisar os dados, entender o que os números estão dizendo Apresentar Apresentar as informações analisadas Tomada de decisão

8 Big Data Curiosidades... 29% da população do mundo usou um site de rede social em % da população de usuários de internet do Brasil usaram rede social em Twitter registra 100 milhões de tweets por dia. Facebook conta 350 milhões de visitantes únicos por dia. 80% das empresas usam as mídias sociais para o recrutamento 60 horas de vídeo são transferidos para o YouTube a cada 60 segundos.

9 O BI Tradicional BA & BI Quais seriam nossas melhores opções? O que irá acontecer daqui para frente? E se esta tendência continuar? Por que isso está acontecendo? Onde aconteceu? O que aconteceu? O que fazer quando acontecer novamente? Porque aconteceu? Best Case: O que de melhor podemos obter Insight : Adquirindo conhecimento Monitoramento: Disseminando informações que nós conhecemos F U T U R O P A S S A D O Estratégia e decisão Fundamentada Ciência

10 Analytics BA & BI Quais seriam nossas melhores opções? O que irá acontecer daqui para frente? E se esta tendência continuar? Por que isso está acontecendo? Onde aconteceu? O que aconteceu? O que fazer quando acontecer novamente? Porque aconteceu? Best Case O que de melhor podemos obter Insight - Adquirindo conhecimento Monitoramento: Disseminando informações que nós conhecemos F U T U R O P A S S A D O

11 Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas

12 O ciclo analítico BUSINESS MANAGER Especialista Toma decisões Monitorar resultados Identificar / Formular o problema Preparar os dados BUSINESS ANALYST Exploração dos dados Visualização dos dados Criação de relatórios Implementar modelos Explorar os dadoos IT SYSTEMS / MANAGEMENT Preparação dos dados Validação do modelo Implementação do modelo Monitoramento do modelo V alidar Modelos Construir Modelos Transformar os dados DATA MINER Análise exploratória Análise de segmentação Modelos Preditivos

13 Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas

14 Relembrando ciclo analítico... Monitorar resultados Identificar / Formular o problema Preparar os dados Implementar modelos Explorar os dadoos V alidar Modelos Construir Modelos Transformar os dados

15 Mineração de dados Monitorar resultados Identificar / Formular o problema Preparar os dados Implementar modelos Explorar os dadoos A mineração de dados foca nos seguintes aspectos do processo analítico. V alidar Modelos Construir Modelos Transformar os dados DATA MINER Análise exploratória Análise de segmentação Modelos Preditivos

16 O que é Descobrir informações, padrões, tendências e relações existentes em grandes quantidades de dados; Desenvolver modelos para entender e descrever as características e atividades com base nesses padrões; Ajudar a avaliar as opções e tomar decisões baseadas em fatos e dados.. Past Future. time. Observed Events Predicted Events

17 Tipos de análises Risco de Inadimplência Identificar os clientes que possuem maior probabilidade de se tornarem inadimplentes; Prevenção à fraude Mineração de dados do comportamento da fraude, de forma a estabelecer o padrão dos fenômenos e mitigar riscos, identificando casos fraudulentos;

18 Tipos de análises Segmentação de clientes Classificação dos clientes em função da sua capacidade e comportamento de consumo; Prevenção Manutenção à preditiva fraude Análise do comportamento histórico dos ativos para predizer probabilidades de falhas/ocorrências, indo além da manutenção reativa e preventiva..

19 Tipos de análises Análise de Churn Entendimento do comportamento de clientes insatisfeitos que migraram de serviço; Análise Prevenção da imagem à da fraude marca Mineração textual sobre o que as pessoas estão dizendo a respeito de sua marca.

20 Técnicas Modelagem descritiva: Revela semelhanças ou agrupamentos em dados históricos para determinar as razões por trás do sucesso ou até mesmo do fracasso. Algumas destas técnicas são: Clustering: Realiza agrupamentos automáticos dos dados conforme algum grau de semelhança entre eles Técnica utilizada também com algorítmos de texto Agrupa textos que falem sobre um mesmo assunto e separa textos diferentes.

21 Técnicas Detecção de anomalias: Identificação de valores discrepantes e comportamentos suspeitos em uma grande massa de dados Box Plot Volume superior ao esperado. Suspeita de fraude?? Número de transações recebidas

22 Técnicas Modelagem Preditiva: A Modelagem preditiva vai mais além para classificar eventos no futuro ou até mesmo estimar resultados desconhecidos Modelo de regressão: Modelos matemáticos que medem relação entre uma variável dependente e uma série de variáveis independentes. Relação entre a idade e o peso

23 Técnicas Redes neurais: Técnicas computacionais que detectam padrões, fazem previsões e adquirem conhecimento através da experiência. Árvores de decisão: Diagramas que permitem representar e avaliar problemas que envolvem decisões sequenciais. É um dos modelos mais práticos e mais utilizados em inferência indutiva.

24 Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas

25 Relembrando ciclo analítico... Monitorar resultados Identificar / Formular o problema Preparar os dados Implementar modelos Explorar os dadoos V alidar Modelos Construir Modelos Transformar os dados

26 Modelagem preditiva Monitorar resultados Identificar / Formular o problema Preparar os dados Implementar modelos Explorar os dadoos A modelagem preditiva também foca nos seguintes aspectos do processo analítico. V alidar Modelos Construir Modelos Transformar os dados DATA MINER Análise exploratória Análise de segmentação Modelos Preditivos

27 O que é? Previsão é um elemento chave na tomada de decisão Controle de Processo Planejamento de Produção Sistema de Previsão Planejamento de Oportunidades Planejamento Financeiro Gerenciamento de Estoque Escalonamento de Pessoal

28 Previsão estatística Previsão é um elemento chave na tomada de decisão Decisão = Previsão + Erro

29 Tipos de análises Planejamento da produção Prever o qual será a demanda de cada um dos seus produtos do próximo dia/mês/ano de forma otimizar a capacidade do seu estoque Planejamento financeiro Prever e acompanhar a receita da empresa a partir de limites de controle e alertas

30 Tipos de análises Previsão de audiência Prever o qual será a audiência esperada da sua empresa Escalonamento de pessoal Previsão do volume de chamados de call center otimizando o número de PA s

31 Previsão estatística Histórico Forecasts Métodos de séries temporais que utilizam dados históricos como base para estimar os resultados futuros Prática de prever ao longo do tempo baseando-se em: Informações passadas (Histórico dos dados) Informações externas (dados do negócio e que possam causar impacto aos dados analisados)

32 Técnicas Modelo de regressão: Assim como na técnica de mineração de dados, os modelos de regressão também são utilizados para realizar previsões no tempo. Modelo de Demanda Intermitente: Muito utilizado para previsão de estoque de peças de reposição. Característica: demanda muito baixa, chegando a não existir a requisição das mesmas por meses. A série de dados possui diversas quebras e um baixo volume.

33 Técnicas Modelo SARIMA / ARIMAX: Proposto por Box e Jenkis Modelo muito utilizado para previsão de demanda devido à sua capacidade de considerar fatores importantes nas séries temporais como: tendência, sazonalidade e variáveis externas. Modelo Auto-regressivo (AR) integrado (I) com médias móveis (MA) e variáveis externas (X) Analisa informações nos instantes anteriores a t (t-s) Avalia e considera a existência de tendência e sazonalidade dos dados Considera a soma algébrica ponderada das médias que se movem no tempo Avalia e considera a existência de variáveis externas que podem impactar o modelo

34 Técnicas Modelo Componentes não Observáveis Modelo que Decompõe a série temporal em: Tendência + Ciclo + Sazonalidade + erro Característica: Analisa o comportamento dinâmico de cada componente da variável. Muito difundido antes da metodologia proposta por Box e Jenkis. Modelo Alisamento Exponencial Grande popularidade devido à simplicidade, eficiência computacional e razoável previsão Característica: Considera que dados do passado contém informações sobre o padrão da série. Objetivo: distinguir o padrão da série de dados do ruído que possa estar contido nas observações.

35 Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas

36 Ferramentas Existem algumas ferramentas free que dão suporte às técnicas estatísticas mais avançadas... Free SAS software

37 Obrigada Mariana Fontanezi