Business Inteligence & Analytics VÁ ALÉM DO BI TRADICIONAL ADICIONANDO PODER ANALÍTICO... MARIANA FONTANEZI ESTATÍSTICA
Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas
Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas
Formação: Mariana Fontanezi Graduada em estatística pela ENCE Pós graduada em Engenharia de Produção pela UFF Cerfificada em SAS Predictive Modeller Using SAS Enterprise Miner 13 pelo SAS Experiências: Modelagem preditiva utilizando ferramentas de mercado como SAS e R. Técnicas de Data mining, modelagem preditiva e manipulação de grande massa de dados Atualmente: Pré-Sales Consultant - SAS
Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas
O Big Data O que é? Grande volume de dados armazenados Informações que traduzem a realidade Variedade Informações dos mais diversos tipos Informações que conseguem auxiliar na tomada de decisão Big Data Informações chegando a todo momento Velocidade Volume Muitas Informações que chegam a todo momento
Big Data O que fazer? O que fazer com essa enorme massa de dados que temos? Capturar Coletar as informações necessárias Analisar Analisar os dados, entender o que os números estão dizendo Apresentar Apresentar as informações analisadas Tomada de decisão
Big Data Curiosidades... 29% da população do mundo usou um site de rede social em 2015. 47% da população de usuários de internet do Brasil usaram rede social em 2015. Twitter registra 100 milhões de tweets por dia. Facebook conta 350 milhões de visitantes únicos por dia. 80% das empresas usam as mídias sociais para o recrutamento 60 horas de vídeo são transferidos para o YouTube a cada 60 segundos.
O BI Tradicional BA & BI Quais seriam nossas melhores opções? O que irá acontecer daqui para frente? E se esta tendência continuar? Por que isso está acontecendo? Onde aconteceu? O que aconteceu? O que fazer quando acontecer novamente? Porque aconteceu? Best Case: O que de melhor podemos obter Insight : Adquirindo conhecimento Monitoramento: Disseminando informações que nós conhecemos F U T U R O P A S S A D O Estratégia e decisão Fundamentada Ciência
Analytics BA & BI Quais seriam nossas melhores opções? O que irá acontecer daqui para frente? E se esta tendência continuar? Por que isso está acontecendo? Onde aconteceu? O que aconteceu? O que fazer quando acontecer novamente? Porque aconteceu? Best Case O que de melhor podemos obter Insight - Adquirindo conhecimento Monitoramento: Disseminando informações que nós conhecemos F U T U R O P A S S A D O
Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas
O ciclo analítico BUSINESS MANAGER Especialista Toma decisões Monitorar resultados Identificar / Formular o problema Preparar os dados BUSINESS ANALYST Exploração dos dados Visualização dos dados Criação de relatórios Implementar modelos Explorar os dadoos IT SYSTEMS / MANAGEMENT Preparação dos dados Validação do modelo Implementação do modelo Monitoramento do modelo V alidar Modelos Construir Modelos Transformar os dados DATA MINER Análise exploratória Análise de segmentação Modelos Preditivos
Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas
Relembrando ciclo analítico... Monitorar resultados Identificar / Formular o problema Preparar os dados Implementar modelos Explorar os dadoos V alidar Modelos Construir Modelos Transformar os dados
Mineração de dados Monitorar resultados Identificar / Formular o problema Preparar os dados Implementar modelos Explorar os dadoos A mineração de dados foca nos seguintes aspectos do processo analítico. V alidar Modelos Construir Modelos Transformar os dados DATA MINER Análise exploratória Análise de segmentação Modelos Preditivos
O que é Descobrir informações, padrões, tendências e relações existentes em grandes quantidades de dados; Desenvolver modelos para entender e descrever as características e atividades com base nesses padrões; Ajudar a avaliar as opções e tomar decisões baseadas em fatos e dados.. Past Future. time. Observed Events Predicted Events
Tipos de análises Risco de Inadimplência Identificar os clientes que possuem maior probabilidade de se tornarem inadimplentes; Prevenção à fraude Mineração de dados do comportamento da fraude, de forma a estabelecer o padrão dos fenômenos e mitigar riscos, identificando casos fraudulentos;
Tipos de análises Segmentação de clientes Classificação dos clientes em função da sua capacidade e comportamento de consumo; Prevenção Manutenção à preditiva fraude Análise do comportamento histórico dos ativos para predizer probabilidades de falhas/ocorrências, indo além da manutenção reativa e preventiva..
Tipos de análises Análise de Churn Entendimento do comportamento de clientes insatisfeitos que migraram de serviço; Análise Prevenção da imagem à da fraude marca Mineração textual sobre o que as pessoas estão dizendo a respeito de sua marca.
Técnicas Modelagem descritiva: Revela semelhanças ou agrupamentos em dados históricos para determinar as razões por trás do sucesso ou até mesmo do fracasso. Algumas destas técnicas são: Clustering: Realiza agrupamentos automáticos dos dados conforme algum grau de semelhança entre eles Técnica utilizada também com algorítmos de texto Agrupa textos que falem sobre um mesmo assunto e separa textos diferentes.
Técnicas Detecção de anomalias: Identificação de valores discrepantes e comportamentos suspeitos em uma grande massa de dados Box Plot Volume superior ao esperado. Suspeita de fraude?? Número de transações recebidas
Técnicas Modelagem Preditiva: A Modelagem preditiva vai mais além para classificar eventos no futuro ou até mesmo estimar resultados desconhecidos Modelo de regressão: Modelos matemáticos que medem relação entre uma variável dependente e uma série de variáveis independentes. Relação entre a idade e o peso
Técnicas Redes neurais: Técnicas computacionais que detectam padrões, fazem previsões e adquirem conhecimento através da experiência. Árvores de decisão: Diagramas que permitem representar e avaliar problemas que envolvem decisões sequenciais. É um dos modelos mais práticos e mais utilizados em inferência indutiva.
Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas
Relembrando ciclo analítico... Monitorar resultados Identificar / Formular o problema Preparar os dados Implementar modelos Explorar os dadoos V alidar Modelos Construir Modelos Transformar os dados
Modelagem preditiva Monitorar resultados Identificar / Formular o problema Preparar os dados Implementar modelos Explorar os dadoos A modelagem preditiva também foca nos seguintes aspectos do processo analítico. V alidar Modelos Construir Modelos Transformar os dados DATA MINER Análise exploratória Análise de segmentação Modelos Preditivos
O que é? Previsão é um elemento chave na tomada de decisão Controle de Processo Planejamento de Produção Sistema de Previsão Planejamento de Oportunidades Planejamento Financeiro Gerenciamento de Estoque Escalonamento de Pessoal
Previsão estatística Previsão é um elemento chave na tomada de decisão Decisão = Previsão + Erro
Tipos de análises Planejamento da produção Prever o qual será a demanda de cada um dos seus produtos do próximo dia/mês/ano de forma otimizar a capacidade do seu estoque Planejamento financeiro Prever e acompanhar a receita da empresa a partir de limites de controle e alertas
Tipos de análises Previsão de audiência Prever o qual será a audiência esperada da sua empresa Escalonamento de pessoal Previsão do volume de chamados de call center otimizando o número de PA s
Previsão estatística Histórico Forecasts Métodos de séries temporais que utilizam dados históricos como base para estimar os resultados futuros Prática de prever ao longo do tempo baseando-se em: Informações passadas (Histórico dos dados) Informações externas (dados do negócio e que possam causar impacto aos dados analisados)
Técnicas Modelo de regressão: Assim como na técnica de mineração de dados, os modelos de regressão também são utilizados para realizar previsões no tempo. Modelo de Demanda Intermitente: Muito utilizado para previsão de estoque de peças de reposição. Característica: demanda muito baixa, chegando a não existir a requisição das mesmas por meses. A série de dados possui diversas quebras e um baixo volume.
Técnicas Modelo SARIMA / ARIMAX: Proposto por Box e Jenkis Modelo muito utilizado para previsão de demanda devido à sua capacidade de considerar fatores importantes nas séries temporais como: tendência, sazonalidade e variáveis externas. Modelo Auto-regressivo (AR) integrado (I) com médias móveis (MA) e variáveis externas (X) Analisa informações nos instantes anteriores a t (t-s) Avalia e considera a existência de tendência e sazonalidade dos dados Considera a soma algébrica ponderada das médias que se movem no tempo Avalia e considera a existência de variáveis externas que podem impactar o modelo
Técnicas Modelo Componentes não Observáveis Modelo que Decompõe a série temporal em: Tendência + Ciclo + Sazonalidade + erro Característica: Analisa o comportamento dinâmico de cada componente da variável. Muito difundido antes da metodologia proposta por Box e Jenkis. Modelo Alisamento Exponencial Grande popularidade devido à simplicidade, eficiência computacional e razoável previsão Característica: Considera que dados do passado contém informações sobre o padrão da série. Objetivo: distinguir o padrão da série de dados do ruído que possa estar contido nas observações.
Apresentação Agenda O Big Data O ciclo analítico Técnicas de Data Mining Técnicas de modelagem preditiva Ferramentas
Ferramentas Existem algumas ferramentas free que dão suporte às técnicas estatísticas mais avançadas... Free SAS software http://www.sas.com/en_us/software/university-edition.html https://cran.r-project.org/
Obrigada Mariana Fontanezi marianafontanezi@gmail.com