MB 756 PESQUISA OPERACIONAL APLICADA À PRODUÇÃO. Professor: Rodrigo A. Scarpel

Transcrição

1 MB 756 PESQUISA OPERACIONAL APLICADA À PRODUÇÃO Professor: Rodrigo A. Scarpel

2 Programa do curso: Semana 1 2 Conteúdo Princípios de POAP : 1. O processo decisório no âmbito da produção e da pesquisa operacional; 2. Abordagens de pesquisa operacional para suportar o processo decisório: 2.1. Criação de Modelos de Previsão 2.2. Extração de Conhecimento de Bases de Dados 2.3. Otimização 2.4. Simulação Métodos de Previsão em POAP : 1. Propósitos da Previsão 2. Processo de Criação de Modelos de previsão 2.1. Previsão por séries temporais 2.2. Previsão por modelos causais 2.3. Previsão para variáveis categóricas 3 4 Extração de Conhecimento de Bases de Dados em POAP : 1. Aplicações do Processo ECBD em problemas de Produção 2. O Processo de Extração de Conhecimento de Bases de Dados (ECBD): 2.1. Redução de dimensão e visualização 2.2. Segmentação 2.3. Classificação Otimização em POAP : 1. Aplicação de métodos de Otimização em problemas da Cadeia de Suprimentos: 1.1. Planejamento logístico: transporte e distribuição, localização e cobertura, caminho mais curto Planejamento da Produção: planejamento agregado, otimização em múltiplos períodos, dimensionamento de estoques Avaliação de eficiência: análise de envoltória de dados 1.4. Gerenciamento de projetos: seleção de projetos, problema do caminho crítico. 5 Prova: 04/12/14

3 Aplicação do processo de ECBD em Produção:

4 Abordagens em modelos para ECBD: 1. Processo de ECBD: 2. CRISP-DM (Cross Industry Standard Process for Data Mining): 3. SEMMA:

5 Abordagem em modelos para extração de conhecimento de bases de dados: Observações: É um processo sequêncial com possibilidade de retorno As etapas de seleção, pré-processamento e transformação dos dados consomem cerca de 80% do tempo.

6 Etapa 1: Seleção dos dados Objetivos da seleção: Criar um sub-conjunto dos dados em função dos objetivos da análise Colocar dados no formato analítico : Observações (linhas): uma linha por instância Atributos ou variáveis (colunas) Operações necessárias: Transposição, Sumarização,

7 Etapa 2: Pré-processamento dos dados Objetivos do pré-processamento: Colocar dados no formato analítico : observações (linhas) e atributos (colunas) Verificar a qualidade dos dados Fatores que degradam a qualidade dos dados: Dados com erro: respostas falsas, erros na tabulação das respostas, Outliers: observações que aparentemente são inconsistentes quando comparadas às outras observações. Dados faltantes (missing values)

8 Etapa 2: Pré-processamento dos dados DETECÇÃO DE OUTLIERS: Origem: dados com erro ou observação pertencente a outra população. Critério: O critério para a definição de outliers varia muito conforme os autores. De maneira geral, considera-se outlier uma medida acima ou abaixo de 2,5 desvios-padrão da média. Forma de detecção: estatísticas de sumarização, histogramas, boxplot. Tratamento: eliminação dos outliers ou transformação dos dados

9 Etapa 2: Pré-processamento dos dados DADOS FALTANTES (MISSING VALUES) Missing values é zero (não ocorreu) ou é falta de informação (não sei se ocorreu)? Deve-se tomar cuidado no tratamento dos missing values. Tratar? Eliminar a variável? Eliminar a observação? observações variáveis???? Apenas 8 dos 144 valores são missing (5,55%), porém apenas 6 observações seriam utilizadas.????

10 Etapa 2: Pré-processamento dos dados DADOS FALTANTES (MISSING VALUES) Tratamento: depende de quantos dados estão faltando (percentual de missing values) e de sua distribuição. Alternativas: Omitir observações: é aceitável quando os dados faltantes estão concentrados em algumas observações. Omitir variáveis: é aceitável quando os dados faltantes estão concentrado em algumas variáveis. Atribuir valores: Substituir pela média Método analítico.

11 Etapa 3: Transformação dos dados Objetivos da transformação dos dados: Criação de índices e taxas: são amplamente utilizados em gerenciamento. Padronização e normalização dos dados: para eliminar efeitos de escala ou adequar os dados às hipóteses do modelo. Eliminar outliers: Log (ou Ln), Raiz, Categorização

12 Etapa 4: Mineração dos dados Objetivos da mineração dos dados: 1. Análise de associação (link analysis) 2. Análise de sequência 3. Sumarização (por Visualização) 4. Modelagem de dependência 5. Formação de agrupamentos (clustering) 6. Classificação 7. Previsão: Criar um mapeamento dos dados a uma variável contínua

13 Mineração dos dados: Sumarização Objetivo: Descrever um conjunto de dados considerando Conjunto de variáveis existentes e suas relações Instâncias ou observações Alternativa: Usar técnicas multivariadas de visualização: Análise de correspondência Wordclouds Análise de Homogeneidade

14 Mineração dos dados: Sumarização Uso de técnicas multivariadas de visualização:

15 Mineração dos dados: Sumarização Exemplo 1: Análise de Correspondência (código.1)

16 Mineração dos dados: Sumarização Análise de correspondência: Baseada na decomposição em valores singulares (SVD) da matriz de dados. Exemplo: Posicionamento de cinco airlines AA UA US Con SW Convenience Punctuality Overall_service Comfort

17 Mineração dos dados: Sumarização Exemplo 2: Wordcloud (código.2)

18 MD: Modelagem de Dependência Objetivo: Descrever as relações de um conjunto de variáveis Alternativas: Usar técnicas multivariadas de visualização: Análise de correspondência múltipla (MJCA) BIPLOT Estabelecer uma função que relacione as variáveis: Análise Fatorial Exploratória

19 MD: Modelagem de Dependência Exemplo 1: Pesquisa de mercado Cervejas (código.3) 162 respondentes Atributos: Marca: Brahma, Antárctica Faixa de Renda: AB, C, DE Sexo: Masculino, Feminino Faixa de idade: 18-29, 30-39, 40-49, 50+ Tipo: Regular (Pilsen), Chopp, Outras

20 X2 X2 Mineração dos dados: Sumarização Análise de componentes principais / Biplot: X1 X1 CP 1 w1,1 X1 w2,1 X 2 Formulação Max V S. A. w w 1,1 2 1,1 w 2 1 2,1 w , w 2 w 2 1,1 2,1 1,1 2,1 2w w 1 2 w 2 2 1,1 w2,1 1

21 Mineração dos dados: Sumarização Princípios de Análise Fatorial: Objetivo: mensurar fatores não observáveis (também chamados de constructos) Experimento de Spearman (1904): FATOR () M F Q I H L MATEMÁTICA (M) FÍSICA (F) QUÍMICA (Q) INGLÊS (I) HISTÓRIA (H) L. PORTUGUESA (L) e M e F e Q e I e H e L Desta forma, esperavasse que o desempenho dos alunos, em cada disciplina, dependesse de um fator comum e de um fator específico.

22 Mineração dos dados: Sumarização Princípios de Análise Fatorial: Formulação do problema da análise fatorial: No exemplo: F. O. Max S. A. i j p p 2 i ou Min i1 i1 x, x, i j i j 2 i 1 FATOR () M L F Q H I =0,8 =0,5 =0,7 0,9= =0,6 MATEMÁTICA FÍSICA QUÍMICA INGLÊS HISTÓRIA L. PORTUGUESA (M) (F) (Q) (I) (H) (L) =0,65 0,36 0,51 0,19 0,64 0,75 0,58 e M e M e F e Q e I e H e L e F e Q e I e H e L Variância explicada (comum) = 2,973 (49,5%)

23 MD: Modelagem de Dependência Exemplo 3: Análise Financeira de empresas (código.4) 172 Empresas de capital aberto (com ações na Bovespa) Índices financeiros: Margem de lucro líquido (MLL) Retorno sobre o ativo total (ROA) Giro do ativo total (GA) Endividamento Geral (EG) Endividamento Financeiro (EG) Liquidez corrente (LC)

24 MD: Formação de Agrupamentos Objetivo: Agrupar observações e/ou atributos, de acordo com algum critério de similaridade. Alternativas: Utilização de métodos hierárquicos: Método do vizinho mais próximo Método do centróide Método de Ward Utilização de métodos não-hierárquicos: K-médias Utilização de métodos baseados em inteligência artificial: SOM

25 MD: Formação de Agrupamentos Como o STP cria valor: Segmentation Identificar segmentos Targeting Selecionar alvo Positioning Criar vantagem competitiva Recursos são focados para melhor atender as necessidades dos clientes e entregar mais valor Clientes desenvolvem preferências por marcas que atendem melhor suas necessidades e entregam mais valor Clientes se tornam leais a marcas / fornecedores, repetem compras, comunicam experiências favoráveis Lealdade a Marcas / fornecedores geram aumento na fatia de mercado e criam barreiras a entrada de novos competidores Menos recursos são necessários, ao longo do tempo, para manter a fatia de mercado devido a lealdade às marcas / fornecedores Lucratividade (valor da empresa) aumentam

26 MD: Formação de Agrupamentos Níveis de segmentação: Mercado de Massa Macro Segmentos A B C Micro Segmentos Segmentos de Um

27 Educação (anos) MD: Formação de Agrupamentos Método da ligação simples (vizinho mais próximo) : Cluster K D KL D KL min i C K min j C L d ( x i, x j ) Cluster L CLUSTER Observ Renda Educação 1 S S S S S S Renda (R$ mil) S1 S2 S3 S4 S5 S6 S S S S S S S1&S2 S3&S4 S5 S6 S1&S S3&S S S

28 Educação (anos) MD: Formação de Agrupamentos Método da ligação simples (vizinho mais próximo) : S1&S2 S3&S4 S5 S6 S1&S S3&S S S S1&S2 S3&S4 S5&S6 S1&S S3&S S5&S S1&S2 S3&S4&S5&S6 S1&S S3&S4&S5&S Distance 15, Renda (R$ mil) DENDOGRAMA 10,51 5,25 0, Observations

29 MD: Formação de Agrupamentos NÚMERO IDEAL DE AGRUPAMENTOS: Há diversas abordagens para determinar o número ideal de agrupamentos: 1. Arbitrar o número (valor conhecido, razões práticas). 2. Escolher o número que resulte nos agrupamentos de mais fácil interpretação. 3. Distância entre os agrupamentos: Distance 15,76 10,51 5,25 0,00 DENDOGRAMA 145 1/ / Observations Média = (2 1/ /2 ) / 5 = 6,05 Diferenças: 26 1/2-2 1/2 = 3, /2-26 1/2 = 5,19 2 1/2 2 1/2 26 1/ / /2 = 1,75

30 Educação (anos) MD: Formação de Agrupamentos Método do centróide: Cluster K X D KL D KL x K x L Cluster L X Renda (R$ mil) S1 S2 S3 S4 S5 S6 S S S S S S S1&S2 S3&S4 S5 S6 S1&S ,5 782,5 S3&S ,5 230,5 S5 590,5 120, S6 782,5 230, CLUSTER Observ Renda Educação 1 S S S S S S CLUSTER Observ Renda Educação 1 S1&S2 5,5 5,5 2 S3&S4 15,5 14,5 3 S S

31 Educação (anos) Educação (anos) MD: Formação de Agrupamentos Método do centróide: S1&S2 S3&S4 S5 S6 S1&S ,5 782,5 S3&S ,5 230,5 S5 590,5 120, S6 782,5 230, CLUSTER Observ Renda Educação 1 S1&S2 5,5 5,5 2 S3&S4 15,5 14,5 3 S5&S6 27,5 19, Renda (R$ mil) S1&S2 S3&S4 S5&S6 S1&S S3&S S5&S CLUSTER Observ Renda Educação 1 S1&S2 5,5 5,5 2 S3&S4&S5&S6 21, Renda (R$ mil)

32 Educação (anos) MD: Formação de Agrupamentos Método do centróide: S1&S2 S3&S4 S5&S6 S1&S S3&S S5&S CLUSTER Observ Renda Educação 1 S1&S2 5,5 5,5 2 S3&S4&S5&S6 21, Renda (R$ mil) S1&S2 S3&S4&S5&S6 S1&S ,25 S3&S4&S5&S6 388,25 0 Distance 15,76 10,51 DENDOGRAMA 5,25 0, Observations

33 MD: Formação de Agrupamentos Método de Ward: Por esse método os agrupamentos são formados pela maximização da homogeneidade dentros dos grupos. Para o cálculo da homogeneidade utiliza-se a média de quadrados: ANOVA ANOVA D KL xk xl 1 1 nk n L 2 CLUSTERS MEMBROS DOS CLUSTERS POSSÍVEIS QM 1 S1, S2 S3 S4 S5 S6 0,5 2 S1, S3 S2 S4 S5 S6 45,25 3 S1, S4 S2 S3 S5 S6 55,25 4 S1, S5 S2 S3 S4 S6 156,25 5 S1, S6 S2 S3 S4 S5 205,25 6 S2, S3 S1 S4 S5 S6 36,25 7 S2, S4 S1 S3 S5 S6 45,25 8 S2, S5 S1 S3 S4 S6 139,25 9 S2, S6 S1 S3 S4 S5 186,25 10 S3, S4 S1 S2 S5 S6 0,5 11 S3, S5 S1 S2 S4 S6 34,0 12 S3, S6 S1 S2 S4 S5 62,5 13 S4, S5 S1 S2 S3 S6 26,5 14 S4, S6 S1 S2 S3 S5 53,0 15 S5, S6 S1 S2 S3 S4 6,5 ((5-5,5) 2 +(6-5,5) 2 + (5-5,5) 2 +(6-5,5) 2 )/2 CLUSTER Observ Renda Educação 1 S S S S S S

34 ... MD: Formação de Agrupamentos Método do centróide: CLUSTERS MEMBROS DOS CLUSTERS POSSÍVEIS QM 1 S1, S2,S3 S4 S5 S6 54,7 2 S1, S2,S4 S3 S5 S6 67,335 3 S1, S2,S5 S3 S4 S6 197,335 4 S1, S2,S6 S3 S4 S5 261,335 5 S1, S2 S3,S4 S5 S6 1,0 6 S1, S2 S3,S5 S4 S6 34,5 7 S1, S2 S3,S6 S4 S5 63,0 8 S1, S2 S4,S5 S3 S6 27,0 9 S1, S2 S4,S6 S3 S5 53,5 10 S1, S2 S5,S6 S3 S4 7,0 CLUSTERS MEMBROS DOS CLUSTERS POSSÍVEIS 1 QM 1 S1, S2,S3,S4,S5,S6 58,5

35 MD: Formação de Agrupamentos Método do centróide: número ideal de agrupamentos Para o método Ward, além das abordagens anteriores, utiliza-se: 1. R 2 = 1 (SQW / SQT), em que SQW é a soma de quadrados within-cluster, SQT é a soma de quadrados total SQT = n T * Height T SQW = n 1 *Height 1 + n 2 *Height 2 + n 3 *Height 3

36 MD: Formação de Agrupamentos Exemplo 1: Análise de Correspondência (código.5)

37 MD: Formação de Agrupamentos Exemplo 2: Pesquisa de mercado Cervejas (código.6) 162 respondentes Atributos: Marca: Brahma, Antárctica Faixa de Renda: AB, C, DE Sexo: Masculino, Feminino Faixa de idade: 18-29, 30-39, 40-49, 50+ Tipo: Regular (Pilsen), Chopp, Outras

38 MD: Formação de Agrupamentos Exemplo 3: Análise Financeira de empresas (código.7) 172 Empresas de capital aberto (com ações na Bovespa) Índices financeiros: Margem de lucro líquido (MLL) Retorno sobre o ativo total (ROA) Giro do ativo total (GA) Endividamento Geral (EG) Endividamento Financeiro (EG) Liquidez corrente (LC)

39 MD: Modelos de classificação Objetivo: Associar as instâncias (observações) a categorias prédefinidas. Alternativas: Árvores de regressão e classificação (CART) Análise discriminante Regressão logística Redes neurais artificiais Modelos de programação matemática Support vector machine

40 MD: Modelos de classificação Boas práticas na criação de modelos de classificação: Dividir os dados em bases de treinamento e validação (pode ter uma terceira que é a base de teste). Training Set Test Set Overfitting: Training Set Test Set Better Fitting:

41 MD: Modelos de classificação AUTOMATIC INTERACTION DETECTION Sistema de classificação que particiona o espaço de atributos de forma a criar regras para definir as classes Resultado: um conjunto de regras e uma árvore (diagrama) Algoritmo: CART (Classification And Regression Trees) Elementos da árvore de decisão Nó raiz (primeira questão) Ligações ou ramos (possíveis respostas) Outros nós (outras questões) Nó terminal (decisão final) A classificação de uma observação inicia no nó raiz e segue as ligações correspondentes às respostas corretas até chegar no nó terminal.

42 Renda anual (R$) MD: Modelos de classificação AUTOMATIC INTERACTION DETECTION Ilustração: classificação em risco IDADE > 35 NÃO SIM Alto risco Renda anual maior que R$ ,00 NÃO SIM Médio risco Baixo risco Idade (anos) Acurácia = % Esse modelo é construído a partir de um conjunto de treinamento seguindo algumas regras: Partição: escolha da melhor partição Parada: quando parar de particionar A acurácia é obtida a partir de um conjunto de teste.

43 MD: Modelos de classificação AUTOMATIC INTERACTION DETECTION Critério de partição: Índice de Gini= 1 C 2 p j j1 Entropia= Exemplo: C j1 p j log( p j ) Entropia : C j1 p j log( p j ) 2(3/8)log(3/8) 2(1/8)log(1/8) 0,5452 C j1 p j log( p j ) (1/ 7) log(1/ 7) (6 / 7)log(6/ 7) 0,1781

44 MD: Modelos de classificação AUTOMATIC INTERACTION DETECTION Exemplo 1: Detecção de falhas (código.8) Variável dependente: Falha (Sim ou Não) Variáveis independentes: Viscosidade da tinta Temperatura da tinta Umidade do papel Velocidade da impressora Percentual de tinta Percentual de solvente

45 MD: Modelos de classificação ANÁLISE DISCRIMINANTE Sistema de classificação que se baseia nas médias das variáveis independentes por classe Resultado: Equação de partição e ponto de corte Algoritmo: Análise de Regressão

46 Etapa 5: Avaliação Acerto global = (n 11 +n n NN )/N DE TREINO PARA ,9 7,7-7,1 92,3 VALIDAÇÃO PARA ,4% 7,8% DE - 7,6% 92,2% ACERTO GLOBAL = 92,6% ACERTO GLOBAL = 92,3%

47 MD: Modelos de classificação ANÁLISE DISCRIMINANTE Exemplo 1: Detecção de falhas Variável dependente: Falha (Sim ou Não) Variáveis independentes: Viscosidade da tinta Temperatura da tinta Umidade do papel Velocidade da impressora Percentual de tinta Percentual de solvente

48 MD: Modelos de classificação ANÁLISE DISCRIMINANTE Exemplo 2: Previsão de Insolvência de Empresas TOTAL DE EMPRESAS: 99 (60 SOLVENTES e 39 INSOLVENTES) Distribuição das empresas insolventes () e solventes () nos conjuntos de treino e de validação em função das 3 variáveis utilizadas (ROA, LC e GA) TREINO: 50 EMPRESAS (32 SOLVENTES E 18 INSOLVENTES) VALIDAÇÃO: 49 EMPRESAS (32 SOLVENTES E 17 INSOLVENTES)

49 OBSERVAÇÃO Este material refere-se às notas de aula do curso MB-756 (Pesquisa Operacional Aplicada à Produção) do Instituto Tecnológico de Aeronáutica (ITA). Não substitui o livro texto, as referências recomendadas e nem as aulas expositivas. Este material não pode ser reproduzido sem autorização prévia do autor. Quando autorizado, seu uso é exclusivo para atividades de ensino e pesquisa em instituições sem fins lucrativos.