MÉTODOS MULTIVARIADOS. Rodrigo A. Scarpel

Transcrição

1 MÉTODOS MULTIVARIADOS Rodrigo A. Scarpel

2 APRESENTAÇÃO Métodos Multivariados: São métodos (ferramentas analíticas) utilizados na transformação de dados (várias medidas / variáveis de cada observação) em informações. KDD Data Mining Machine Learning AI Pattern Recognition Multivariate Statistics

3 APRESENTAÇÃO Métodos Multivariados: Processo de DM / KDD /... : Problem specification Data Prospecting Methodology identification Data preprocessing Building the model Knowledge postprocessing

4 APRESENTAÇÃO Métodos Multivariados: Data preprocessing Building the model Métodos comumente utilizados: Redução de dimensão (seleção de atributos, escalonamento, visualização de dados) Geração de agrupamentos homogêneos (clusters) Attribute-oriented induction approach Modelos de classificação e de previsão

5 APRESENTAÇÃO Métodos Multivariados: Etapas de análise: Criação de agrupamentos homogêneos (clusters):... DADOS REDUÇÃO DE DIMENSÃO GERAÇÃO DE AGRUPAMENTOS MODELO DE CLASSIFICAÇÃO Criação de classificadores:... DADOS REDUÇÃO DE DIMENSÃO MODELO DE CLASSIFICAÇÃO

6 Métodos de redução de dimensão: APRESENTAÇÃO São métodos utilizados na redução do número de atributos (variáveis) usados na visualização dos dados, na geração de agrupamentos homogêneos e na classificação. Esses métodos geram novas variáveis compondo as variáveis originais. Exemplos: Um analista financeiro está interessado em estudar a saúde financeira de empresas. Para isso, identificou 8 indicadores (liquidez corrente, giro do ativo, receita operacional líquida, lucro líquido, endividamento geral, endividamento corrente,...). Entretanto, a tarefa do analista seria simplificada se os 8 indicadores pudessem ser reduzidos para poucos índices, independentes (fatores que impactam na saúde financeira). O diretor de marketing de uma organização quer determinar quais são os fatores que impactam nas atitudes e hábitos dos consumidores de seus produtos.

7 APRESENTAÇÃO Métodos redução de dimensão: Um fabricante de bens de consumo gostaria de analisar a estrutura de mercado mapeando os produtos ofertados (seus e da concorrência) para determinar quem são seus maiores concorrentes e quais são os produtos percebidos como similares aos seus, segundo os consumidores.

8 APRESENTAÇÃO Métodos de geração de agrupamentos homogêneos: São métodos utilizados no agrupamento de observações (produtos, consumidores,...) maximizando a similaridade dentro do agrupamento e a dissimilaridade entre agrupamentos. Exemplos: O analista financeiro gostaria de segmentar as empresas analisadas de acordo com os fatores (que impactam na saúde financeira) identificados. O fabricante de bens de consumo, após mapear a estrutura de mercado e determinar os fatores que diferenciam os produtos / marcas, gostaria de segmentar os produtos / marcas.

9 Attribute-oriented induction approach: INTRODUÇÃO APRESENTAÇÃO All Rows Count ,043 G^ Level band noband Prob 0,3965 0,6035 PRESSPED>=89 PRESSPED<89 Count 90 33,4964 G^ Level band noband Prob 0, 0,8778 Count 47 94,9033 G^ Level band noband Prob 0,4543 0,5457 HUMIDITY<70 HUMIDITY>=70 Count 38 4, G^ Level band noband Prob 0,36 0,8684 Count ,4787 G^ Level band noband Prob 0,4859 0,54 VISCOSIT<63 VISCOSIT>=63 Count ,380 G^ Level band noband Prob 0,456 0,5439 Count 36 9,06943 G^ Level band noband Prob 0,7778 0, Detecção das causas de falhas no processo (early fault detection) Melhoria no conhecimento do processo (fatores de risco)

10 INTRODUÇÃO APRESENTAÇÃO Métodos de classificação: CLASS-CONDITIONAL DENSITIES CONHECIDA DESCONHECIDA TEORIA BAYESIANA DE DECISÃO APRENDIZAGEM SUPERVISIONADA PARAMÉTRICOS ANÁLISE DISCRIMINANTE: -LINEAR -QUADRÁTICA NÃO PARAMÉTRICOS ESTIM. DENSIDADE: KERNELS, KNN CONSTR. FRONTEIRA DECISÃO: RNEURAIS, SVM, AID,

11 APRESENTAÇÃO Métodos de classificação e de previsão: São métodos utilizados para classificar novas observações (produtos, consumidores,...) em categorias ou agrupamentos, pré-estabelecidos. Exemplos: O analista financeiro criou 3 agrupamentos de empresas: alto risco, risco moderado e baixo risco. Ele precisa monitorar e reclassificar, mês a mês, cada uma das empresas avaliadas. Um fabricante de bens de consumo gostaria de prever a aceitação de um produto (combinação de atributos) que lançará (seria ou não o produto escolhido). Um pesquisador, da área de saúde, está interessado em saber se é possível determinar a probabilidade de um paciente ter ataque cardíaco dado sua pressão sanguínea, seu nível de colesterol, seu consumo diário de calorias, seu sexo e seu estilo de vida.

12 APRESENTAÇÃO Ementa: Self-study (pré-requisitos): modelos probabilísticos e métodos estatísticos, álgebra linear, regressão linear (simples e múltipla) e métodos de otimização (programação matemática). Métodos de interdependência: Análise de componentes principais, Análise Fatorial, Escalonamento Multidimensional, Análise de agrupamentos (hierárquica, não-hierárquica e baseada em densidade). Métodos avançados em análise de agrupamentos. Métodos de dependência: Métodos de detecção de interações (AID, ID3). Classificadores lineares. Análise Discriminante paramétrica e não-paramétrica. Regressão Logística. Support Vector Machine.

13 APRESENTAÇÃO Avaliação: Provas ( por bimestre) Listas de exercícios Exame final: trabalho individual

14 APRESENTAÇÃO Bibliografia: SHARMA,S. Applied Multivariate Techniques. John Wiley & Sons, 996. MYERS, J. H. e MULLET G. M. Managerial Applications of Multivariate Analysis in Marketing. Thomson, 003. DUDA, R. O., HART, P. E. e STORK, D. G. Pattern classification, nd. Edition, John Wiley & Sons, 00. WEBB, A. Statistical Pattern Recognition, nd edition. John Wiley & Sons, 00.

15 APRESENTAÇÃO Software: R O que é o R? É um ambiente desenvolvido para o desenvolvimento de análises. Quais as vantagens em utilizar o R? É um software gratuito e com código aberto (open source). Quem distribui o R? O R é distribuído por CRAN ( Comprehensive R Archive Network ). Onde consigo o R? Ele está disponível para download em Observação: é necessário carregar pacotes para análise multivariada.

16 APRESENTAÇÃO Para casa: Site: (Plano do curso,...) Seleção de algum software (Matlab, R, SAS,...) Leitura do artigo: Data Mining in Manufacturing: A Review (J. A. Harding, M. Shahbaz, S. Srinivas, A. Kusiak)

17 ANÁLISE DE COMPONENTES PRINCIPAIS (ACP) Rodrigo A. Scarpel

18 ANÁLISE DE COMPONENTES PRINCIPAIS É um método de escalonamento e de redução de dimensão (métodos utilizados na redução do número de variáveis por meio da geração de novas variáveis compondo as variáveis originais). Exemplos: i) Um analista financeiro interessado em estudar a saúde financeira de empresas identificou 8 indicadores financeiros. Entretanto, sua tarefa seria simplificada se os 8 indicadores pudessem ser reduzidos para poucos índices, independentes. ii) O departamento de controle de qualidade está interessado em desenvolver alguns poucos indicadores chave a partir de informações coletadas no processo de manufatura para determinar se este está ou não sob controle.

19 ANÁLISE DE COMPONENTES PRINCIPAIS Princípios: CP = w + w wp, p =,, Os pesos são determinados de forma que: i) A primeira componente principal (CP) deve capturar a máxima variância dos dados, ou seja: VAR CP ( ) = E[ ( ' x)( ' x) '] E[ ( ' x) ] E[ ( ' x) '] = E[ ' x x' ] E[ ' x] E[ x' ] VAR CP ( ) = '( E[ x x' ] E[ x] E[ x] ) = ' Max VAR ( CP ) = [ w w L w ],, p, σσ σ σ M σ pσ σ σ σ σ p σ M σ L L O L σσ p w σ σ p w M M σ pσ p wp,,, ii) = p w, + w, w, =, para fixar a escala das novas variáveis

20 ANÁLISE DE COMPONENTES PRINCIPAIS Princípios: no caso bi-dimensional CP + = w, w, Formulação: Max V = [ w w ] = w,, σ, + w σσ σ σ, σ σσ w σ σ w,,,, + w w σ σ S. A. w, + w, = CP w, = w w,, w w + w,,, = () 0

21 ANÁLISE DE COMPONENTES PRINCIPAIS Generalização do procedimento (ACP) para o caso p-dimensional: CP CP M CP p = w, = w = w,, p + w + w, + w,, p w w p, w p, M M M p, p p p p Os pesos são determinados seqüencialmente de forma que: i) A primeira componente principal (CP) deve capturar a máxima variância dos dados, a segunda componente (CP) capture a máxima variância dos dados desconsiderando o que já foi capturado por CP, e assim por diante.,, w j + w j w p j = ii), para fixar a escala das novas variáveis iii) Os novos eixos sejam ortogonais, ou seja,, w, t w [ w w w ], t L = 0, j t, j, j p, j M wp, t

22 ANÁLISE DE COMPONENTES PRINCIPAIS Formulação Geral: '.. '.. = Σ A S Max F O ) ' ( ' λ + Σ L = ( ) = Σ = Σ = = = ' 0 λ λ λ I L L = 0 Σ I λ (que é polinomial em λ de ordem p tendo, portanto, p raízes)

23 ANÁLISE DE COMPONENTES PRINCIPAIS Obtenção da autoestrutura de Σ: Para resolver a formulação geral, utilizando multiplicadores de Lagrange, é necessário obter as raízes de Σ-λI = 0. Como Σ é simétrica, as raízes são reais e correspondem aos autovetores de Σ e i corresponde ao autovetor associado ao autovalor λ i. Portanto, o procedimento (ACP) pode ser simplificado se considerarmos que estamos obtendo a autoestrutura de Σ, ou seja, estamos decompondo Σ em Λ Λ em que Λ é uma matriz diagonal com os autovalores λ λ... λ p 0 e é uma matriz ortogonal pxp em que as colunas são os p autovetores de Σ.

24 ANÁLISE DE COMPONENTES PRINCIPAIS Propriedades das componentes principais: i) As componentes são não correlacionadas: ( Λ ) Σ = Λ Var( ) = Var( ) = Σ = ii) A variância total é dada por Variância Total p = s= λ = λ + λ + L+ λ s p de forma que a proporção da variância explicada pela k-ésima CP é λk, k =, L, λ + λ + L+ λ p p

25 ANÁLISE DE COMPONENTES PRINCIPAIS Questões relacionadas à utilização da análise de componentes principais: i) Quantas componentes principais? ii) Como interpretar as componentes principais (novas variáveis)? iii) Linearmente independentes x estatisticamente independentes. iv) Padronizar ou não os dados (utilizar a matriz de variâncias covariâncias ou a matriz de correlação)