Susana Margarida Ferreira de Sá Faria. Modelos de Mistura:

Transcrição

1 Susana Margarida Ferreira de Sá Faria Modelos de Mistura: Aplicações em Análise de Regressão Dissertação apresentada à Faculdade de Engenharia da Universidade do Porto para a obtenção do grau de Doutor em Ciências de Engenharia Orientação: Prof. Doutor Francisco José Lage Campelo Calheiros Co-orientação: Prof. Doutora Gilda Maria De Carvalho Fernandes Soromenho Pereira Faculdade de Engenharia da Universidade do Porto 006

2 O trabalho de investigação apresentado nesta dissertação foi parcialmente financiado pelo PRODEP III - Acção Formação Avançada no Ensino Superior - Concurso n o /5.3/PRODEPIII/001 e pelo FCT e FSE no âmbito do III Quadro Comunitário de Apoio.

3 Resumo Nesta dissertação são estudados os Modelos de Mistura no domínio da Análise de Regressão, em particular, os modelos de regressão em misturas de distribuições e os modelos de mistura de regressões lineares. Relativamente aos modelos de regressão em misturas de distribuições, pretende-se analisar qual o modelo de regressão adequado em misturas de distribuições de componentes normais bidimensionais. Com esse objectivo, estudam-se os valores esperados condicionais e as variâncias condicionais no par aleatório mistura de componentes normais bidimensionais e conclui-se que a linearidade do modelo de regressão nem sempre é verificada. Propõese ainda a aplicação de um método para estimar o modelo de regressão nestas misturas. Os estudos numéricos efectuados mostram-nos resultados encorajadores na aplicação deste método na estimação da curva de regressão nestas misturas, comparando com outro método existente para estimar uma curva de regressão. No entanto, estes estudos evidenciam claramente que quando se ajusta um modelo linear a cada componente da mistura se obtém um melhor ajustamento aos dados. Relativamente aos modelos de mistura de regressões lineares abordamos o problema da sua estimação e da detecção de observações inconsistentes nestes modelos. Embora o método da máxima verosimilhança recorrendo ao algoritmo Expectation Maximization (EM) tenha sido o método mais aplicado na estimação dos parâmetros de misturas de regressões lineares, neste trabalho é proposto um novo procedimento que utiliza o algoritmo Classification Expectation Maximization (CEM) para determinar as estimativas de máxima verosimilhança dos parâmetros dessas misturas. O estudo efectuado leva-nos a considerar a aplicação do algoritmo CEM como uma alternativa de interesse para a estimação dos parâmetros destas misturas, em especial nas situações em que as verdadeiras rectas de regressão componentes da mistura são paralelas entre si. Uma vez que a detecção de observações que parecem inconsistentes com o modelo de regressão estimado tem desempenhado um papel primordial em análise de regressão, desenvolve-se um novo teste para identificar observações outliers em misturas de regressões

4 lineares. Este teste tem como objectivo identificar se novas observações entretando obtidas podem ser consideradas outliers ao modelo estimado a partir do conjunto de observações iniciais. A sua aplicação permite concluir que é um teste adequado para identificar se novas observações constituem outliers ao modelo estimado de misturas de regressões lineares.

5 Abstract In this thesis we study Mixture Models in a Regression Analysis Context. In particular, regression models in mixture distributions and the mixture of linear regression models. Concerning regression models in mixture distributions, we study the regression model in bivariate Gaussian mixture models. For doing so, we find the expected value and the variance of bivariate Gaussian mixture in conditional distributions. At the end we conclude that the linearity of this regression model is not always verified. The application of a method for fitting a curve of regression in these mixtures is also proposed. When comparing the results obtained by this method with those obtained by another method for fitting a regression curve, when both are applied to a set of case studies, the results obtained are particularly encouraging for further developments in the area. However, these studies clearly evidence that the best-fit regression model is obtained when a linear model is fitted to each component of the mixture. Concerning the models of mixture of linear regressions this work concentrates on the fitting of these models and on the detection of outliers. In most applications the parameters of a mixture of linear regression models are estimated by maximizing the likelihood, the EM algorithm being the most popular tool to estimate the maximum likelihood in mixtures of regression models. In this work, we develop a new procedure for fitting these models using a Classification EM algorithm and compare it to the EM approach. The results of the simulation suggest that the CEM algorithm performs well, especially when the true regression lines are parallel. The detention of observations that seem inconsistent with the fitted regression model has played a primordial role in regression analysis. In this work we develop a new test for outlier detection from a mixture of linear regressions, when the CEM algorithm is used to estimate the maximum likelihood of the mixture of parameters. The objective of this test is to identify if a new observation is as an outlier from the fitted regression model. The good performance of the test shows that it is suitable for detecting if new observations are outliers of the estimated model of mixtures of linear regressions.

6

7 Agradecimentos Em primeiro lugar quero expressar os mais profundos agradecimentos aos meus orientadores científicos, o Professor Doutor Francisco Calheiros e a Professora Doutora Gilda Soromenho, pela orientação, ajuda e amizade prestada durante a elaboração desta dissertação. Agradeço ao Professor Francisco Calheiros com quem tive o privilégio de trabalhar desde que iniciei os meus estudos em Estatística e que me motivou para o desenvolvimento do tema deste trabalho. Agradeço igualmente à Professora Gilda Soromenho pela sua disponibilidade e confiança demonstrada, a quem ficarei eternamente agradecida. Não posso deixar de agradecer, Aos meus colegas do Departamento de Matemática para a Ciência e Tecnologia da Universidade do Minho, em especial, à Professora Doutora Estelita Vaz, pelo apoio sempre demonstrado e pelos bons momentos de convívio e descontracção. Ao Sérgio Reis Cunha, pela sua disponibilidade e apoio sempre manifestados às minhas solicitações. À Conceição, pelo constante encorajamento, apoio e amizade sempre presentes ao longo do tempo. À Teresa, pela energia, o ânimo e a disponibilidade que sempre me ofereceu, em especial, nos momentos mais difíceis ocorridos durante a elaboração desta dissertação. À Ana, pela ajuda? É pouco! Pela disponibilidade? É insuficiente! Pelo apoio? Não chega! Então?... Agradeço a nossa Enorme Amizade. Ao Paulo, pelo optimismo, pela confiança e pela compreensão sempre demonstradas.

8 ii Aos meus pais e irmã que estiveram sempre presentes, me apoiaram nos momentos mais difíceis, pela paciência que sempre tiveram, pelo incentivo que sempre manifestaram e pelo bom ambiente que proporcionaram. Finalmente, a duas pessoas que infelizmente já não se encontram entre nós, os meus avós Maria da Piedade e Normando, pelo carinho dedicado e pelos princípios transmitidos que me ajudam a ser o que hoje sou. A todos os amigos mencionados e a todos que não o foram, mas que de algum modo contribuíram para que eu pudesse realizar este trabalho, os meus sinceros e profundos agradecimentos.

9 Índice 1 Introdução Tema e objectivos Estrutura da dissertação Modelos de Mistura de Distribuições 7.1 Noções preliminares Métodos de estimação de misturas de distribuições Método dos momentos Método da máxima verosimilhança Métodos gráficos Método da distância mínima Métodos bayesianos Algoritmo EM Algoritmo Desvantagem do algoritmo Estratégias para obtenção de soluções iniciais Métodos para identificar o número de componentes da mistura Comentários finais MCLUST Análise de clusters Construção dos clusters Métodos hierárquicos Métodos de partição Módulo informático Mclust Função EMclust Comentários finais iii

10 iv ÍNDICE 4 Momentos de Misturas de Distribuições Introdução Coeficiente de assimetria e coeficiente de achatamento Distribuições puras Mistura binária de distribuições Valor esperado e variância Coeficiente de assimetria e coeficiente de achatamento Generalização a misturas não binárias Estudo de dados simulados Aplicação a dados reais Comentários finais Análise de Regressão em Misturas de Normais Bidimensionais Introdução à Análise de Regressão Modelo de regressão Métodos de estimação Curva de regressão Regressão em normais bidimensionais Regressão em misturas de normais bidimensionais Estimação do modelo de regressão em misturas de normais bidimensionais Regressão linear em misturas de normais bidimensionais Estudo de simulação Descrição do estudo Misturas de duas componentes normais bidimensionais: resultados Misturas de três componentes normais bidimensionais: resultados Aplicação de misturas de normais bidimensionais à estimação de uma curva de regressão Descrição do método Descrição do estudo de simulação Comentários finais Modelos de Mistura de Regressões Lineares Introdução Modelo de mistura de regressões Estimação de misturas de regressões lineares

11 ÍNDICE v Estimação de misturas de regressões via o algoritmo EM Estimação de misturas de regressões via o algoritmo CEM Estudo de simulação Descrição do estudo Misturas de duas regressões lineares simples: resultados Misturas de três regressões lineares simples: resultados Dados reais: descrição e resultados Comentários finais Novo Teste de Alteração da Estrutura Introdução Novo teste Descrição do novo teste Aplicação do novo teste Descrição da aplicação Resultados da aplicação Comentários finais Conclusões Contribuições do trabalho Trabalho futuro A Gráficos dos Momentos de Misturas de Distribuições 153 B Dados 159 C Algumas Demonstrações 163 D Simulação em Misturas de Regressões Lineares: resultados 165 E Aplicação do Novo Teste de Alteração da Estrutura: resultados 59 Bibliografia 8

12 vi ÍNDICE

13 Índice de Figuras.1 Histograma do comprimento dos peixes Função de log-verosimilhança em função dos valores médios das duas componentes Clusters no modelo EII Clusters no modelo VEI Clusters no modelo VVV Desvio padrão amostral vs média amostral em amostras de φ (1, 1), (n = 10) Desvio padrão amostral vs média amostral em amostras de φ (1, 1), (n = 100) Desvio padrão amostral vs média amostral em amostras de U (1, ), (n = 10) Desvio padrão amostral vs média amostral em amostras de U (1, ), (n = 100) Desvio padrão amostral vs média amostral em amostras de G (1, ), (n = 10) Desvio padrão amostral vs média amostral em amostras de G (1, ), (n = 100) Coef. de achatamento vs coef. de assimetria em amostras de φ (1, 1), (n = 10) Coef. de achatamento vs coef. de assimetria em amostras de φ (1, 1), (n = 100) Coef. de achatamento vs coef. de assimetria em amostras de U (1, 1), (n = 10) Coef. de achatamento vs coef. de assimetria em amostras de U (1, 1), (n = 100) Coef. de achatamento vs coef. de assimetria em amostras de G (1, 1), (n = 10) Coef. de achatamento vs coef. de assimetria em amostras de G (1, 1), (n = 100) Desvio padrão amostral vs média amostral em amostras de (1 π) φ (0, 1) + π φ (4, 4) (n=100) Desvio padrão amostral vs média amostral em amostras de (1 π) φ (0, 1) + π φ (, 1) (n=100) Desvio padrão amostral vs média amostral em amostras de (1 π) U (0, ) + π U (1, 4)(n=100) Desvio padrão amostral vs média amostral em amostras de (1 π) U (0, ) + π U (, 4)(n=100) vii

14 viii ÍNDICE DE FIGURAS 4.17 Desvio padrão amostral vs média amostral em amostras de (1 π) G (1, ) + π G (, ) (n = 100) Desvio padrão amostral vs média amostral em amostras de (1 π) G (1, ) + π G (4, 4)(n=100) Desvio padrão amostral vs média amostral em amostras de 0.5 φ (0, 1)+ 0.5 φ (4, 4) (n=100) Desvio padrão amostral vs média amostral em amostras de 0.5 φ (0, 1)+ 0.5 φ (, 1) (n=100) Coef. de achatamento vs coef. de assimetria em amostras de (1 π) φ (0, 1) + π φ (4, 4) (n=100) Coef. de achatamento vs coef. de assimetria em amostras de (1 π) φ (0, 1) + π φ (, 1) (n=100) Coef. de achatamento vs coef. de assimetria em amostras de (1 π) U (0, ) + π U (1, 4)(n=100) Coef. de achatamento vs coef. de assimetria em amostras de (1 π) U (0, ) + π U (, 4)(n=100) Coef. de achatamento vs coef. de assimetria em amostras de (1 π) G (1, ) + π G (, ) (n = 100) Coef. de achatamento vs coef. de assimetria em amostras de (1 π) G (1, ) + π G (4, 4)(n=100) Coef. de achatamento vs coef. de assimetria em amostras de 0.5 φ (1, 1) φ (4, 4) (n = 100) Coef. de achatamento vs coef. de assimetria em amostras de 0.5 φ (1, 1) φ (, 1) (n = 100) Desvio padrão amostral vs média amostral em amostras de (1 π 1 π )φ (, 1)+ π 1 φ (0, 1) + π φ (4, 4)(n=100) Coef. de achatamento vs coef. de assimetria em amostras de (1 π 1 π )φ (, 1)+ π 1 φ (0, 1) + π φ (4, )(n=100) Desvio padrão amostral vs média amostral em amostras de (1 π 1 π )U (0, )+ π 1 U (1, 4) + π U (4, 6)(n=100) Coef. de achatamento vs coef. de assimetria em amostras de (1 π 1 π )U (0, )+ π 1 U (1, 4) + π U (4, 6)(n=100) Desvio padrão amostral vs média amostral em amostras de (1 π 1 π )G (1, )+ π 1 G (, ) + π G (4, 4)(n=100)

15 ÍNDICE DE FIGURAS ix 4.34 Coef. de achatamento vs coef. de assimetria em amostras de (1 π 1 π )G (1, )+ π 1 G (, ) + π G (4, 4)(n=100) Desvio padrão amostral vs média amostral em amostras da velocidade média Coef. de achatamento vs coef. de assimetria em amostras da velocidade média Desvio padrão amostral vs média amostral em amostras da carga de tráfego Coef. de achatamento vs coef. de assimetria em amostras da carga de tráfego Curvas de regressão da distribuição conjunta de X 1 e X Funções densidade condicionais Curvas de regressão relativas a uma mistura de três componentes normais (Dados simulados) Curva de regressão da concentração de ozono na quantidade de radiação (Dados reais) Curvas de regressão numa mistura de duas componentes binormais: a regressão de X em X 1 é linear. (Situação I) Curvas de regressão numa mistura de duas componentes binormais: a regressão de X em X 1 é linear (Situação II) Curvas de regressão numa mistura de duas componentes binormais: a regressão de X em X 1 e a regressão de X 1 em X são lineares (Situação I) Curvas de regressão numa mistura de duas componentes binormais: a regressão de X em X 1 e a regressão de X 1 em X são lineares (Situação II) Curvas de regressão numa mistura de duas componentes binormais: a regressão de X em X 1 e a regressão de X 1 em X são lineares (Situação III) Mistura de duas componentes normais bidimensionais Mistura de três componentes normais bidimensionais Diagrama de dispersão de uma amostra gerada no caso I Curva de regressão estimada e curva de regressão verdadeira Diagrama de dispersão de uma amostra gerada no caso II Curva de regressão estimada e curva de regressão verdadeira Diagrama de dispersão do som compreendido pelo músico versus o som emitido Diagramas de dispersão de amostras de misturas de duas regressões lineares simples quando as verdadeiras rectas de regressão são paralelas entre si (n = 100 e π 1 = 0.5)

16 x ÍNDICE DE FIGURAS 6.3 Diagramas de dispersão de amostras de misturas de duas regressões lineares simples quando as verdadeiras rectas de regressão são perpendiculares entre si (n = 100 e π 1 = 0.5) Diagramas de dispersão de amostras de misturas de duas regressões lineares simples quando as verdadeiras rectas de regressão são concorrentes entre si (n = 100 e π 1 = 0.5) Diagramas de dispersão de amostras de misturas de três regressões lineares simples (n = 100, π 1 = 0.4; π = 0.3 e π 3 = 0.3) Diagrama de dispersão do número de plantas infectadas versus o número de insectos Diagramas de dispersão de amostras de dimensão n = 100 com L = novas observações (Situação I) Diagramas de dispersão de amostras de dimensão n = 100 com L = novas observações (Situação III) A.1 Desvio padrão amostral vs média amostral em amostras de (1 π) φ (0, 1) + π φ (4, 4) (n=10) A. Desvio padrão amostral vs média amostral em amostras de (1 π) φ (0, 1) + π φ (, 1) (n=10) A.3 Desvio padrão amostral vs média amostral em amostras de (1 π) φ (0, 1) + π φ (4, 4) (n=500) A.4 Desvio padrão amostral vs média amostral em amostras de (1 π) φ (0, 1) + π φ (, 1) (n=500) A.5 Desvio padrão amostral vs média amostral em amostras de (1 π) U (0, ) + π U (1, 4)(n=10) A.6 Desvio padrão amostral vs média amostral em amostras de (1 π) U (0, ) + π U (, 4)(n=10) A.7 Desvio padrão amostral vs média amostral em amostras de (1 π) U (0, ) + π U (1, 4)(n=500) A.8 Desvio padrão amostral vs média amostral em amostras de de (1 π) U (0, ) + π U (, 4)(n=500) A.9 Desvio padrão amostral vs média amostral em amostras de (1 π) G (1, ) + π G (, ) (n = 10) A.10 Desvio padrão amostral vs média amostral em amostras de (1 π) G (1, ) + π G (4, 4)(n=10)

17 ÍNDICE DE FIGURAS xi A.11 Desvio padrão amostral vs média amostral em amostras de (1 π) G (1, ) + π G (, ) (n = 500) A.1 Desvio padrão amostral vs média amostral em amostras de (1 π) G (1, ) + π G (4, 4)(n=500) A.13 Desvio padrão amostral vs média amostral em amostras de 0.5 U (0, )+ 0.5 U (1, 4) (n = 100) A.14 Desvio padrão amostral vs média amostral em amostras de 0.5 U (0, )+ 0.5 U (, 4) (n = 100) A.15 Desvio padrão amostral vs média amostral em amostras de 0.5 G (1, )+ 0.5 G (, ) (n = 100) A.16 Desvio padrão amostral vs média amostral em amostras de 0.5 G (1, )+ 0.5 G (4, 4) (n = 100) A.17 Coef. de achatamento vs coef. de assimetria em amostras de (1 π) φ (0, 1) + π φ (4, 4) (n=10) A.18 Coef. de achatamento vs coef. de assimetria em amostras de (1 π) φ (0, 1) + π φ (, 1) (n=10) A.19 Coef. de achatamento vs coef. de assimetria em amostras de (1 π) φ (0, 1) + π φ (4, 4) (n=500) A.0 Coef. de achatamento vs coef. de assimetria em amostras de (1 π) φ (0, 1) + π φ (, 1) (n=500) A.1 Coef. de achatamento vs coef. de assimetria em amostras de (1 π) U (0, ) + π U (1, 4)(n=10) A. Coef. de achatamento vs coef. de assimetria em amostras de (1 π) U (0, ) + π U (, 4)(n=10) A.3 Coef. de achatamento vs coef. de assimetria em amostras de (1 π) U (0, ) + π U (1, 4)(n=500) A.4 Coef. de achatamento vs coef. de assimetria em amostras de (1 π) U (0, ) + π U (, 4)(n=500) A.5 Coef. de achatamento vs coef. de assimetria em amostras de (1 π) G (1, ) + π G (, ) (n = 10) A.6 Coef. de achatamento vs coef. de assimetria em amostras de (1 π) G (1, ) + π G (4, 4)(n=10) A.7 Coef. de achatamento vs coef. de assimetria em amostras de (1 π) G (1, ) + π G (, ) (n = 500)

18 xii ÍNDICE DE FIGURAS A.8 Coef. de achatamento vs coef. de assimetria em amostras de (1 π) G (1, ) + π G (4, 4)(n=500) A.9 Coef. de achatamento vs coef. de assimetria em amostras de 0.5 U (0, ) U (1, 4)(n=100) A.30 Coef. de achatamento vs coef. de assimetria em amostras de 0.5 U (0, ) U (, 4)(n=100) A.31 Coef. de achatamento vs coef. de assimetria em amostras de 0.5 G (1, ) G (, ) (n = 100) A.3 Coef. de achatamento vs coef. de assimetria em amostras de 0.5 G (1, ) G (4, 4)(n=100)

19 Índice de Tabelas 3.1 Critérios para diferentes características geométricas dos clusters Parametrizações da matriz de covariância disponíveis no MCLUST Frequências absolutas de X 1 e X e valores médios condicionais Número de classes construídas para cada dimensão da amostra Parâmetros da função densidade da segunda componente da mistura Percentagem de vezes que a SQR da curva de regressão estimada usando o método proposto na secção é superior em misturas de componentes binormais (n = 100) Percentagem de vezes que a SQR da curva de regressão estimada usando o método proposto na secção é superior em misturas de componentes binormais (n = 500) Parâmetros da função densidade da segunda e da terceira componentes da mistura Percentagem de vezes que a SQR da curva de regressão estimada usando o método proposto na secção é superior, em misturas de 3 componentes binormais (n = 100) Percentagem de vezes que a SQR da curva de regressão estimada usando o método proposto na secção é superior, em misturas de 3 componentes binormais (n = 100) Percentagem de vezes que a SQR da curva de regressão estimada usando o método proposto na secção é superior, em misturas de 3 componentes binormais (n = 500) Percentagem de vezes que a SQR da curva de regressão estimada usando o método proposto na secção é superior, em misturas de 3 componentes binormais (n = 500) xiii

20 xiv ÍNDICE DE TABELAS 6.1 Verdadeiros valores dos parâmetros β j (j = 1, ) e σ j (j = 1, ) em misturas de duas regressões lineares simples Percentagem de vezes que o coeficiente R do modelo estimado usando o algoritmo CEM é superior (igual) ao mesmo coeficiente do modelo estimado quando se aplica o algoritmo EM, em misturas de duas regressões simples quando as verdadeiras rectas de regressão são paralelas entre si Percentagem de vezes que o coeficiente R do modelo estimado usando o algoritmo CEM é superior (igual) ao mesmo coeficiente do modelo estimado quando se aplica o algoritmo EM, em misturas de duas regressões simples quando as verdadeiras rectas de regressão são perpendiculares entre si Percentagem de vezes que o coeficiente R do modelo estimado usando o algoritmo CEM é superior (igual) ao mesmo coeficiente do modelo estimado quando se aplica o algoritmo EM, em misturas de duas regressões simples quando as verdadeiras rectas de regressão são concorrentes entre si Verdadeiros valores dos parâmetros β j (j = 1,, 3) e σj (j = 1,, 3) em misturas de três regressões lineares simples Percentagem de vezes que o coeficiente R do modelo estimado usando o algoritmo CEM é superior (igual) ao mesmo coeficiente do modelo estimado quando se aplica o algoritmo EM em misturas de três regressões simples Coeficiente R quando se aplica o algoritmo EM e o algoritmo CEM na estimação dos parâmetros das misturas de regressões B.1 Dados relativos às características ambientais na área metropolitana de Nova Iorque B. Dados dos músicos: som emitido e som compreendido por um músico B.3 Dados dos insectos: número de insectos e número de plantas infectadas. 16 D.1 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso PI D. Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso PII D.3 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso PIII D.4 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso PIV

21 ÍNDICE DE TABELAS xv D.5 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso PV D.6 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso PVI D.7 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso PVII D.8 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso PVIII D.9 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso PIX D.10 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso PX D.11 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso PI D.1 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso PII D.13 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso PIII D.14 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso PIV D.15 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso PV D.16 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso PVI D.17 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso PVII D.18 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso PVIII D.19 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso PIX D.0 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso PX D.1 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso PI

22 xvi ÍNDICE DE TABELAS D. Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso PII D.3 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso PIII D.4 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso PIV D.5 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso PV D.6 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso PVI D.7 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso PVII D.8 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso PVIII D.9 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso PIX D.30 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso PX D.31 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso EI D.3 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso EII D.33 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso EIII D.34 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso EIV D.35 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso EV D.36 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso EVI D.37 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso EVII D.38 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso EVIII

23 ÍNDICE DE TABELAS xvii D.39 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso EIX D.40 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso EX D.41 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso EI D.4 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso EII D.43 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso EIII D.44 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso EIV D.45 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso EV D.46 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso EVI D.47 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso EVII D.48 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso EVIII D.49 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso EIX D.50 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso EX D.51 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso EI D.5 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso EII D.53 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso EIII D.54 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso EIV D.55 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso EV

24 xviii ÍNDICE DE TABELAS D.56 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso EVI D.57 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso EVII D.58 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso EVIII D.59 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso EIX D.60 Estimativas do erro quadratico médio dos parâmetros da mistura de duas regressões lineares no caso EX D.61 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso CI D.6 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso CII D.63 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso CIII D.64 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso CIV D.65 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso CV D.66 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de duas regressões lineares no caso CVI D.67 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso CI D.68 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso CII D.69 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso CIII D.70 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso CIV D.71 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso CV D.7 Estimativas do desvio padrão dos parâmetros da mistura de duas regressões lineares no caso CVI

25 ÍNDICE DE TABELAS xix D.73 Estimativas do erro quadrático médio dos parâmetros da mistura de duas regressões lineares no caso CI D.74 Estimativas do erro quadrático médio dos parâmetros da mistura de duas regressões lineares no caso CII D.75 Estimativas do erro quadrático médio dos parâmetros da mistura de duas regressões lineares no caso CIII D.76 Estimativas do erro quadrático médio dos parâmetros da mistura de duas regressões lineares no caso CIV D.77 Estimativas do erro quadrático médio dos parâmetros da mistura de duas regressões lineares no caso CV D.78 Estimativas do erro quadrático médio dos parâmetros da mistura de duas regressões lineares no caso CVI D.79 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de três regressões lineares no caso I D.80 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de três regressões lineares no caso II D.81 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de três regressões lineares no caso III D.8 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de três regressões lineares no caso IV D.83 Estimativas do valor absoluto do enviesamento médio dos parâmetros da mistura de três regressões lineares no caso V D.84 Estimativas do desvio padrão dos parâmetros da mistura de três regressões lineares no caso I D.85 Estimativas do desvio padrão dos parâmetros da mistura de três regressões lineares no caso II D.86 Estimativas do desvio padrão dos parâmetros da mistura de três regressões lineares no caso III D.87 Estimativas do desvio padrão dos parâmetros da mistura de três regressões lineares no caso IV D.88 Estimativas do desvio padrão dos parâmetros da mistura de três regressões lineares no caso V D.89 Estimativas do erro quadrático médio dos parâmetros da mistura de três regressões lineares no caso I

26 xx ÍNDICE DE TABELAS D.90 Estimativas do erro quadrático médio dos parâmetros da mistura de três regressões lineares no caso II D.91 Estimativas do erro quadrático médio dos parâmetros da mistura de três regressões lineares no caso III D.9 Estimativas do erro quadrático médio dos parâmetros da mistura de três regressões lineares no caso IV D.93 Estimativas do erro quadrático médio dos parâmetros da mistura de três regressões lineares no caso V E.1 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso PIII, em que x [ 1; 3] E. Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso PIII, em que x [0, ] E.3 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso PV, em que x [ 1; 3] E.4 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso PV, em que x [0; ] E.5 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso PVIII, em que x [ 1; 3] E.6 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso PVIII, em que x [0; ] E.7 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso EI, em que x [ 1; 3] E.8 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso EI, em que x [0; ] E.9 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso EVI, em que x [ 1; 3] E.10 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso EVI, em que x [0; ] E.11 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso EIV, em que x [ 1; 3] E.1 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso EIV, em que x [0; ] E.13 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso CII, em que x [ 1; 3]

27 ÍNDICE DE TABELAS xxi E.14 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso CII, em que x [0; ] E.15 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso CIV, em que x [ 1; 3] E.16 Valores-p do teste de alteração da estrutura na mistura de duas regressões lineares no caso CIV, em que x [0; ] E.17 Valores-p do teste de alteração da estrutura na mistura de três regressões lineares no caso II, em que x [ 1; 3] E.18 Valores-p do teste de alteração da estrutura na mistura de três regressões lineares no caso II, em que x [0; ] E.19 Valores-p do teste de alteração da estrutura na mistura de três regressões lineares no caso III, em que x [ 1; 3] E.0 Valores-p do teste de alteração da estrutura na mistura de três regressões lineares no caso III, em que x [0; ] E.1 Valores-p do teste de alteração da estrutura mistura de três regressões lineares no caso IV, em que x [ 1; 3] E. Valores-p do teste de alteração da estrutura na mistura de três regressões lineares no caso IV, em que x [0; ]

28 xxii ÍNDICE DE TABELAS

29 Nomenclatura e Abreviaturas g número de componentes da mistura n dimensão da amostra f(x) função densidade de probabilidade da variável aleatória X f(y x) função densidade de probabilidade de Y condicional a X = x F (x) função distribuição da variável aleatória X E(X) valor esperado da variável aleatória X V (X) variância da variável aleatória X γ 1 γ coeficiente de assimetria de Pearson da variável aleatória X coeficiente de achatamento ou kurtosis da variável aleatória X µ valor médio da variável aleatória X σ ρ cov(x, Y ) x S Ψ θ j w ij π j β j ɛ j L(Ψ) logl(ψ) logcl(ψ) variância da variável aleatória X coeficiente de correlação de Pearson covariância entre as variáveis aleatórias X e Y média amostral matriz de covariância amostral vector dos parâmetros desconhecidos da mistura vector dos parâmetros desconhecidos da j ésima função densidade componente da mistura probabilidade condicional que a observação i pertence à j ésima componente de mistura proporções ou pesos de mistura coeficientes de regressão erros aleatórios função de verosimilhança função de log-verosimilhança função de log-verosimilhança classificatória

30 xxiv NOMENCLATURA E ABREVAITURAS exp(x) P (x) I n φ(x; µ, σ ) φ(x; µ, Σ) U(x; a, b) G(x; a, b) Ex(x; λ) χ k F (a, b) SQR SQT M SE V IÉS R EM CEM LRT S BIC exponencial de x probabilidade de ocorrer x matriz identidade de ordem n função densidade de probabilidade da variável aleatória normal univariada de valor médio µ e variância σ função densidade de probabilidade da variável aleatória normal univariada de valor médio µ e matriz de covariância Σ função densidade de probabilidade da variável aleatória uniforme no intervalo de (a, b) função densidade de probabilidade da variável aleatória gama de parâmetros a e b função densidade de probabilidade da variável aleatória exponencial de parâmetro λ função densidade de probabilidade da variável aleatória qui-quadrado com k graus de liberdade função densidade de probabilidade da variável aleatória F-Snedcor com a e b graus de liberdade soma dos quadrados dos resíduos soma dos quadrados totais erro quadrático médio enviesamento coeficiente de determinação Expectation-Maximization Classification Expectation Maximization Teste de razão de verosimilhança Bayesian Information Criterion

31 Capítulo 1 Introdução Em muitos estudos estatísticos somos confrontados com problemas que pretendem estudar um determinado fenómeno, com o objectivo de o descrever, de o explicar e/ou de prever o seu comportamento. No entanto, na resolução destes problemas deparamo-nos com situações de incerteza, o que tem como consequência a impossibilidade de conhecer o fenómeno de forma completamente rigorosa. Nestas circunstâncias começa-se, normalmente, por recolher ou compilar os dados que pareçam importantes, ou seja, as observações das variáveis que se consideram mais relevantes para o fenómeno em estudo. De seguida, estabelece-se um modelo que constitui uma representação simplificada desse fenómeno e que pretende dar resposta aos objectivos fixados. Em muitos dos estudos estatísticos referidos, os problemas reduzem-se ao estudo da relação entre as variáveis mais relevantes do fenómeno em análise ou, mais especificamente, à análise da influência que uma ou mais variáveis têm sobre uma variável de interesse. À técnica estatística que tem como objectivo principal estudar um modelo que relacione essa variável de interesse com as outras variáveis designa-se por Análise de Regressão. Em Análise de Regressão, a formulação de um modelo adequado ao tipo de dados é um dos principais aspectos a ter em consideração. Por essa razão, há necessidade de examinar cuidadosamente os dados, que podem ser provenientes de populações formadas por grupos distintos, cuja existência pode ou não ser conhecida à priori, desconhecendo-se quais os dados que pertencem a cada grupo. Nestas situações, estamos na presença de Modelos de Mistura, o tema principal do trabalho desenvolvido. Os Modelos de Mistura têm vindo a merecer um interesse crescente quer do ponto de vista teórico quer prático, por parte dos estatísticos e da comunidade científica em geral, devido à flexibilidade e facilidade de modelar populações heterogéneas de um modo simples. O elevado número de trabalhos publicados sobre estes modelos em diversas áreas 1

32 Introdução de investigação é uma prova evidente desse interesse. 1.1 Tema e objectivos Nesta dissertação são estudados os Modelos de Mistura no domínio da Análise de Regressão. Em particular, estudam-se os modelos de regressão em misturas de distribuições e os modelos de mistura de regressões lineares. Modelos de Regressão em Misturas de Distribuições Na modelação de dados provenientes de populações heterogéneas multivariadas, recorre- -se frequentemente a misturas de distribuições de componentes normais multivariadas, devido à facilidade computacional verificada na estimação dos parâmetros desconhecidos destas misturas. Um problema que surge nestes casos e que funciona como primeiro estímulo para o desenvolvimento deste trabalho, é o de saber qual será o modelo de regressão adequado nestas misturas de distribuições no caso bidimensional (ou seja, no caso do par aleatório mistura de componentes normais bidimensionais). O estudo da linearidade do modelo de regressão nestas misturas é outro dos assuntos abordados. Nesta dissertação, propomos ainda a aplicação de um método simples para estimar o modelo de regressão em misturas de distribuições de componentes normais bidimensionais. Comparamos também diferentes métodos de estimação desse modelo de regressão, com o objectivo de analisar a qualidade de ajustamento do modelo aos dados. Com base no estudo do modelo de regressão nestas misturas é ainda sugerido um método para se estimar uma curva de regressão a partir de um conjunto de observações. Modelos de Mistura de Regressões Lineares Uma das principais dificuldades encontradas na estimação de modelos de mistura (quer em misturas de distribuições, quer em misturas de regressões) deve-se ao facto de os estimadores dos parâmetros desconhecidos não apresentarem, em geral, uma forma explícita. Nesses casos é necessário recorrer a métodos iterativos para obter esses parâmetros. Na estimação dos parâmetros dos modelos de mistura de regressões lineares, o método da máxima verosimilhança, recorrendo ao algoritmo Expectation-Maximization (EM), tem sido o mais aplicado. Nesta dissertação, abordamos o problema da estimação destes modelos de mistura e propomos um novo procedimento iterativo de estimação com o objectivo de melhorar a eficiência dos estimadores e a qualidade de ajustamento do modelo aos dados. Uma vez que a detecção de observações que parecem inconsistentes com o modelo de