Estimação Bayesiana em Modelo de Regressão Logística Dicotômica

Transcrição

1 Estimação Bayesiana em Modelo de Regressão Logística Dicotômica Pedro Silvestre da Silva Campos, Maria Regina Madruga, Programa de Pós-Graduação em Matemática e Estátística, CCEN, UFPA , Campus Guamá, Belém, PA madruga@ufpa.br, psscam@yahoo.com.br, ntrodução Modelos de Regressão Logística são úteis em situações em que se deseja estimar a proporção de uma determinada característica ou resultado baseado em valores de um conjunto de variáveis preditoras. É semelhante ao modelo de Regressão Linear, mas a variável dependente é qualitativa dicotômicas ou policotômicas nominais ou ordinais, ou seja, estes modelos servem para modelar respostas categorizadas Chen et al.[999]. A resposta da função Logística, assim como outras funções de resposta, é usada para descrever a natureza da relação entre a resposta média e um ou mais variáveis preditoras Neter et al.[996]. Neste trabalho os parâmetros dos modelos de Regressão Logística Dicotômica serão estimados a partir do algoritmo proposto por Groenewald e Mokgatlhe [2005] que ajustam modelos de Regressão Logística fazendo uso de metodologia Bayesiana. A proposta de Groenewald e Mokgatlhe [2005] está baseada no trabalho de Albert e Chib [993] que utiliza variáveis latentes com distribção normal no processo de estimação dos parâmetros de um modelo probit no modelo de Regressão Probit a função de ligação é a função acumulada da distribção normal. Sendo que Groenewald e Mokgatlhe [2005] utilizaram variáveis latentes com distribção uniforme e a função de ligação é a Logística. A seleção do modelo será feita com o uso do Fator de Bayes Kass e Raftery[995], o BC Bayesian nformation Criterion, Critério de nformação Bayesiano Paulino et al.[2003] e com o procedimento apresentado por Pereira e Stern [999]. O Fator de Bayes seleciona o melhor modelo comparando as probabilidades a posteriori Kasse e Raftery[995], Berger e Pericchi[997], Paulino et al.[2003], o BC faz a comparação entre as verossimilhanças a posteriori levando em consideração a complexidade do modelo no critério de seleção e a proposta de Pereira e Stern[999] é um procedimento para testar hipóteses paramétricas, que se baseia no cálculo da probabilidade da Região HPD Highest Posteriori Density tangente ao conjunto que define a hipótese nula. A Evidência Bayesiana em favor da hipótese nula é o complementar da probabilidade da Região HPDPereira e Stern[999], Madruga[200]. 2 Estimação Bayesiana Albert e Chib[993] introduziram uma simulação baseada na aproximação do cálculo da distribção à posteriori exata do vetor de parâmetros β do modelo de Regressão Logística, a função de ligação usada neste trabalho é a probit. Esta aproximação é baseada no data augumentationtanner e Wong[987] usando variável latente normalmente distribda. A proposta de Albert e Chib[993] utiliza um modelo probit binário, tal que a variável observada Y é associada à uma variável latente z como sendo z i = { zi < 0,se y i = 0 z i > 0,se y i = e eles mostram que z i β, σ 2 tem distribçao normal truncada.a técnica de Groenewald e Mokgatlhe[2005] está baseada na proposta de aproximação da distribção à posteriori de Albert e Chib [993] para o data augumentation usando como função de ligação a

2 logit e variável latente uniforme para implementação do Amostrador de Gibbs Geman e Geman[984]; Gelfand e Smith[990]. O Amostrador de Gibbs é um método de amostragem iterativo de uma cadeia de Markov, cuja transição de um estado a outro é feita a partir das distribções condicionais completas a partir de um vetor de parâmetros θ à posteriori, define-se a condicional completa de um sub-vetor paramétrico genérico θ como a distribção deste, dado todos os outros parâmetros e os dados, que será denotado por p θ i θ θi, Y. A atualização feita pelo amostrador de Gibbs Geman e Geman, [984]; Gelfand e Smith [990] é um caso particular do algoritmo de Metropolis-Hastings Paulino et al.[2003]. A implentação do Amostrador de Gibbs deve obedecer aos segntes passos: Passo : θ k p θ θ k 2, θ k Passo 2: θ k 2 p 2 θ 2 θ k, θk Passo 3: θ k 3 p 3 θ 3 θ k, θk 2, Y 3,..., θ n k 3,..., θ n k, Y,..., θk n, Y..... Passo n: θ n k p n θ n θ k, θk 2,..., θk n., Y Repita os passos, 2, 3,..., n para k =, 2, 3,... A estimação para os modelos logísticos com variáveis dependentes dicotômicas, utilizando a proposta de Groenewald e Mokgatlhe[2005], é feita a segr para o modelo de Regressão Logística Dicotômica. As variáveis dicotômicas podem ser ajustadas ao modelo logístico para estimar a proporção de sucesso dado um conjunto de covariadas, pelo modelo expβx + expβx. Sendo que π i é a distribção acumulada de uma variável aleatória com distribção logística: βx expz + expz 2 dz. A partir desta característica, Groenewald e Mokgatlhe[2005] usaram uma variável aleatória U com distribção Uniforme0, como variável latente, e usando o fato que P U x = x 0 du = x tem-se que βx expz + expz 2 dz = P U < expβx. + expβx Sendo assim, tem-se que a probabilidade de sucesso π i estará relacionada à variável latente U, ao vetor de parâmetros β e às covariáveis X. A distribção conjunta a posteriori de β e u, dado Y, dada por π β, u Y πβlβ,u Y tal que πβ é densidade da distribção a priori de β e Lβ,u y é a função de verossimilhança conjunta de β e u, dado Y. Segundo Groenewald e Mokgatlhe[2005] e Albert e Chib[993] a função de verossimilhança conjunta é dada por Lβ,u Y = n i= + [ u i 0 u i expβx + expβx expβx + expβx y i = y i = 0 tal que X A é a função indicadora, que assume o valor se X A e 0 caso contrário. Escrevendo a função de verossimilhança desta forma nota-se duas condições, descritas a segr: Se y i =, segue que u i expβx 0 < u i < + expβx e tendo 0 < u i < implica que u i terá 0 como expβx limite inferior e como limite inferior, ou + expβx seja, expβx u i β,y Uniforme 0, + expβx que é a distribção da variável latente caso y i =. Fazendo uso do fato que, u i expβx βx > log + exp βx onde βx = p k=0 β kx ik tem-se, β j p log β k X ik. x ij k j ]

3 A desigualdade é garantida quando para todo i tem-se y i = e x ij > 0 ou y i = 0 e x ij < 0. 2 Se Y i = 0 expβx 0 < u i < + expβx e tendo 0 < u i < implica que u i terá expβx como limite inferior e como limite superior, ou + expβx seja, expβx u i β,y Uniforme + expβx ; que é a distribção da variável latente caso y i = 0. Fazendo uso do fato que, expβx βx < log + exp βx onde βx = p k=0 β kx ik tem-se, β j < p log β k X ik. x ij k j A desigualdade é garantida, quando para todo i tem-se y i = 0 e x ij > 0 ou y i = e x ij < 0. Com isso, são gerados dois conjuntos, definidos a segr: e A k = {i : Y i = x ik > 0 Y i = 0 x ik < 0} B k = {i : Y i = 0 x ik > 0 Y i = x ik < 0}. Assumindo a priori πβ, para β, tem-se que para um determinado β k : β k β k, u, y Uniforme a k, b k tal que, a k = max i A k x ik e b k = min i A k x ik log log p β j x ij j k p β j x ij. j k 3 Seleção do Modelo A comparação de modelos serve para a escolha do modelo que melhor descreve o fenômeno em estudo. Assim deve-se considerar todos os possíveis modelos e adotar o mais adequado, levando em consideração os aspectos computacionais, o principio da parcimônia, os resíduos gerados por este modelo e a previsão. Para isso, devemos adotar testes estatísticos e verificar quais parâmetros e variáveis são realmente significativos para o modelo. 3. Fator de Bayes F B ij Definição Sejam duas hipóteses H 0 e H, correspondentes aos modelos, M 0 e M, respectivamente. Dado os dados Y, o Fator de Bayes a favor de H 0 é dado como a razão de chances da posteriori para a priori. F B 0 Y = py M 0 py M onde, py M k = fy θ k, M k hθ k, M k dθ k, k = 0, Θ k é a verossimilhança marginal do modelo M k. 3.2 BC O BC Bayesian nformation Criterion, Critério de nformação Bayesiano, faz a comparação entre as verossimilhanças a posteriori levando em consideração a complexidade do modelo no critério de seleção Paulino et al.[2003]. Definição 2 Sejam duas hipóteses H 0 e H, correspondentes aos modelos, M 0 e M, respectivamente. Dado os dados Y, o BC a favor de M é dado por [ ] supm0 Lθ 0 ; Y, M 0 BC = 2 log sup M Lθ ; Y, M p 0 p log n onde n é o tamanho da amostra e p i, i = 0, é o número de parâmetros de cada modelo. 3.3 FBST Definição 3 Seja πθ x uma densidade posterior de θ, dada a amostra X, e considere o conjunto T X definido no espaço paramétrico Θ, com T x = {θ Θ : πθ x >

4 sup Θ0 πθ x}. A medida de evidência Bayesiana de Pereira-Stern é definida como EV Θ 0 ; x = P θ T x x e um teste procedimento de Pereira-Stern é aceitar H 0 sempre que a EV Θ 0 ; x for grande Logística 4 Resultados 4. Besouros Um conjunto de dados clássico de modelos de dose-resposta encontra-se em Bliss[935] apud Paulino et al.[2003], e baseia-se no comportamento de besouros adultos face a exposição à dissulfereto de carbono CS 2 durante 5 horas. A curva de dose-resposta da mortalidade dos besouros foi formada a partir de 8 dosagens, e os respectivos dados encontram-se na Tabela, onde as três colunas correspondem, respectivamente, ao número de besouros observados n i, ao número de besouros mortos r i e ao log de cada dosagem de CS 2, i =, 2,..., 8. Tabela : Dose-resposta n i r i logdose i 59 6, , , , , , , ,8839 Nesta aplicação não houve a necessidade de ser aplicado o log da dose utilizado em Paulino et al.[2003], sendo utilizado os valores reais das doses, através de uma transformação exponencial da dose, isto é t i = expx i. O modelo ajustado é apresentado a segr: exp 34, , 8586t i + exp 34, , 8586t i. A Figura mostra o gráfico ajustado de doseresposta para os dados de Bliss[935]. 4.2 Empresas Nesta aplicação são usados os dados de Johnson[987], que foram coletados de 2 empresas, aproximadamente dois anos antes de sua Logística Estimada Dados Dose Figura : Proporção de Besouros mortos expostos à CS 2 falência, e de outras 25 empresas que não faliram no mesmo período. As variáveis observadas foram: X fluxo de caixa/total de débitos; X 2 rendimento da empresa/total de patrimônio; X 3 patrimônio atual/total de débito, X 4 patrimônio atual/rendimento das vendas e Y0 se a empresa faliu e se a empresa não faliu. Foi ajustado os modelos possíveis que utilizam as covariadas mais o intercépto. Sendo que a seleção foi feita comparando 4 modelos frente ao modelo completo. Os valores de F B ij, BC e F BST estão dispostos na Tabela 2. Tabela 2: Seleção do Modelo Modelos 2 logf B ij BC F BST X 276, ,4797 0,968 X 2 324, ,0925,0000 X 3 42,69-289,4703,0000 X 4 352, , 629, 0000 X, X 2 293,994-5,2650,0000 X, X 3 0,98-36,46 0,9992 X, X 4 270, ,5080,0000 X 2, X 3 40, ,9557,0000 X 2, X 4 33,7228 -,8205,0000 X 3, X 4 27,794-3,7049,0000 X, X 2, X 3 38, ,904 0,8884 X, X 2, X 4 295, ,55,0000 X, X 3, X 4 50, ,546 0,862 X 2, X 3, X 4 87, ,54 0,9938 X, X 2, X 3, X ,4867 -

5 Referências [] Albert, J. H; Chib, S. Bayesian analysis of binary and polychotomous response data.journal of the American Statistical Association, 993, 88, [2] Berger, J. O.; Pericchi, L. R. Objective Bayesian Methods for Models Selection: introduction and comparison. Cagliari: workshop Bayesian Model Selection, 997. [0] Neter, J.; Kutner, M. H.; Nachtsheim, C. J; Wasserman, W. Applied Linear Statistical Models, 4ed. : McGraw-Hill, 996. [] Paulino, C. D.; Turkman, M. A. A.; Murteira, B. Estatística Bayesiana. Lisboa: Fundação Calouste Gulbenkian, [3] Chen, M.; Dey, D. K.; Shao, Q. A new skewed link model for dichotomous quantal response data. Journal of the American Statistical Association, 999, 94, [4] Gelfand, A. E.; Smith, A. F. M. Sampling- Based Approaches to Calculating Marginal Densities. Journal of the American Statistical Association, 990, 85, [5] Geman, S.; Geman, D. Stochastic Relaxation, Gibbs Distribtions and the Bayesian Restoration of mages. EEE Transactions on Pattern Analysis and Machine ntelligence, 984, 6, [6] Groenewald, P. C. N; Molkgatlhe, L. Bayesian computation for logistic regression. Computaional Statistics & Data Analysis, 2005, 48, [7] Johnson, W. The detection of influencial observations for allocation, separation and the determination of probabilities in a bayesian framework. Journal of Business and Economic Statistic, 987, 5, 3, [8] Kass, R. E.; Raftery, A. E. Bayes Factor. Journal of the American Statistical Association, 995, 90, [9] Madruga, M. R.; Pereira, C. A. de B.; Gay-Rabelo, M. N. Bayesian dosimetry: radiation dose versus frequencies of cells with aberrations. Envirometrics, 994, 5,