Testes de significância com dados multivariados

Transcrição

1 Testes de significância com dados multivariados Hiron Pereira Farias e Talita T. Fernandes Wednesday, January 20, 2016 Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

2 Teste de Hipóteses Em muitas situações temos interesse em tomar a decisão de aceitar ou rejeitar determinada afirmação baseando-se em um conjunto de evidências. A construção de um teste de hipóteses, para um parâmetro populacional, pode ser colocado do seguinte modo. Existe uma variável X associada a dada população e tem-se uma hipótese sobre determinado parâmetro θ dessa população. Por exemplo, afirmamos que o verdadeiro valor de θ é θ 0. Colhe-se uma amostra aleatória de elementos dessa população, e com ela deseja-se comprovar ou não tal hipótese. Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

3 Qualquer que seja a decisão tomada, estamos sujeitos a cometer erros. São dois os erros que podem ser cometidos ao se realizar um teste de hipótese, são eles: Erro tipo I: rejeitar a hipótese nula quando essa é verdadeira. Chamaremos de α a probabilidade de cometer esse erro, isto é, α = P(erro tipo I) = P(rejeitar H 0 H 0 é verdadeira). Erro tipo II: não rejeitar H 0 quando H 0 é falsa. A probabilidade de cometer esse erro é denotado por β, logo β = P(erro tipo II) = P(não rejeitar H 0 H 0 é falsa). Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

4 O objetivo do teste de hipótese é dizer, usando uma estatística θ, se a hipótese H 0 é ou não aceitável. Essa decisão é tomada através da consideração de uma região crítica RC. Caso o valor observado da estatística pertença a essa região, rejeitamos H 0 ; caso contrário, não rejeitamos H 0. Esta região é construída de modo que P( θ RC H 0 é verdadeira) seja igual a α, fixado a priori. Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

5 A probabilidade α de cometer um erro de tipo I é um valor arbitrário e recebe o nome de nível de significância ou tamanho do teste. O resultado da amostra é tanto mais significante para rejeitar H 0 quanto menor for esse nível α, ou seja, quanto menor α menor é a probabilidade de se obter uma amostra com estatística (estimativa) pertencente à região crítica, sendo pouco provável a obtenção de uma amostra da população para a qual H 0 seja verdadeira. Geralmente, o valor de α é fixado em 10%, 5% ou 1%. Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

6 Passos para construção de um teste de hipóteses 1 Estabelecer as hipóteses nula e alternativa; 2 Fixar α; 3 Definir a forma da região crítica, com base na hipótese alternativa; 4 Identificar a distribuição do estimador e obter sua estimativa; 5 Concluir o teste com base na estimativa e na região crítica. Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

7 P-valor A idéia consiste em calcular, supondo que a hipótese nula seja verdadeira, a probabilidade de se obter estimativas mais desfavoráveis ou extremas (à luz da hipótese alternativa) do que a que está sendo fornecida pela amostra. Esta probabilidade será o P-valor, denotado por P. Valores pequenos de P evidenciam que a hipótese nula é falsa, pois,sendo a amostra nossa ferramenta de inferência sobre a população,ela fornece uma estimativa que teria probabilidade muito pequena de acontecer, se H 0 fosse verdadeira. O conceito do que é pequeno fica a cargo do pesquisador, que assim decide qual α usar para comparar com o valor P. Daremos agora uma definição formal de um valor P. definição: O P-valor é o menor nível de significância que conduz à rejeição da hipótese nula H 0 com dados fornecidos pela amostra. Assim, um valor P carrega informação sobre o peso da evidência contra H 0. Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

8 Comparação de valores médios para duas amostras: o caso univariável Considere os dados na Tabela 1.1 sobre as medidas(em mm) do corpo de 49 pardocas fêmeas, após uma forte tempestade. Em que: X1: comprimento total; X2: extensão alar; X3: comprimento do bico e cabeça; X4: comprimento do úmero; X5: comprimento da quilha do esterno; X6: sobreviveu (sob) ou morreu (mor). Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

9 Pacotes rm(list=ls(all=true)) library(fbasics) library(xtable) library(doby) require(biotools) ## --- ## biotools version 2.2 pardocas<-read.table("e:/documents/esalq/hiron/pardocas.txt",h pardocas$x6<- factor(c(rep('sob',21),rep('mor',28))) Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

10 Leitura head(pardocas,3) ## X1 X2 X3 X4 X5 X6 ## sob ## sob ## sob tail(pardocas,3) ## X1 X2 X3 X4 X5 X6 ## mor ## mor ## mor str(pardocas) Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

11 Leitura str(pardocas) ## 'data.frame': 49 obs. of 6 variables: ## $ X1: int ## $ X2: int ## $ X3: num ## $ X4: num ## $ X5: num ## $ X6: Factor w/ 2 levels "mor","sob": attach(pardocas) Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

12 Vetores de Médias e matrizes de covariâncias Suponha que existem p variávies X 1, X 2,..., X p, sendo consideradas, e que uma amostra de n valores para cada uma destas variáveis está disponível. x j = x 1j + x 2j x nj n S 2 j = 1 n 1 c j,k = 1 n 1 = 1 n x ij, n i=1 j = 1, 2,..., p (1) n (x ij x j ) 2, j = 1, 2,..., p (2) i=1 n (x ij x j )(x ik x k ), k = 1, 2,..., p (3) i=1 r j,k = c j,k s j s k, k = 1, 2,..., p (4) Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

13 Mediana Seja X a variável de interesse e x 1, x 2, x 3,..., x n valores observados da variável X.Impondo a ordenação x 1 x 2 x 3... x n A mediana é o valor observado que assumi a posição ( n+1 2 ) e será expresso por: M = X p + q X (p+1) X p. (5) em que p e a parte inteira e q a parte decimal na divisão de (n + 1) por 2. Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

14 Padronização e Desvio Absoluto da Mediana A Padronização é uma transformação nos valores observados, constuituída subtraíndo cada valor observado pela média do conjunto e dividida pelo desvio padrão, esta transformação será denotada por z, e expressa por z j = x ij x j S j, j = 1, 2,..., p (6) O desvio absoluto da mediana (dm) é o valor absoluto da diferença entre cada valor observado da variável e sua mediana dm j = x ij M j, j = 1, 2,..., p (7) Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

15 Estatística Descritiva resumo1<-round(basicstats(pardocas[,-6]),2) pardocas.sob<-subset(pardocas,x6=="sob") resumo2<-round(basicstats(pardocas.sob[,-6]),2) pardocas.mor<-subset(pardocas,x6=="mor") resumo3<-round(basicstats(pardocas.mor[,-6]),2) cov_sob<-round(var(pardocas.sob[,-6]),4) cov_mor<-round(var(pardocas.mor[,-6]),4) cor_sob<-round(cor(pardocas.sob[,-6]),4) cor_mor<-round(cor(pardocas.mor[,-6]),4) Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

16 ps<-pardocas.sob$x1 n1<-length(ps) pm<-pardocas.mor$x1 n2<-length(pm) res1<-summaryby(x1~x6,fun=c(mean,var),data=pardocas.sob,na.rm= res2<-summaryby(x1~x6,fun=c(mean,var),data=pardocas.mor,na.rm= rbind<-rbind(res1,res2) Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

17 Gráfico das Distribuições f(x) f(x) f(x) = 1 3 2π e 1 2 (x 10 3 )2 f(x) = 1 4 2π e 1 2 (x 10 4 )2 FIGURA 2 Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

18 X1 X2 X3 X4 X5 nobs NAs Minimum Maximum Quartile Quartile Mean Median Sum SE Mean LCL Mean UCL Mean Variance Stdev Skewness Kurtosis Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

19 Médias Pardocas sobreviventes Variável X1 X2 X3 X4 X5 Médias Pardocas mortas variável X1 X2 X3 X4 X5 Médias Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

20 cov X1 X2 X3 X4 X5 X X X X X Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32 Matrizes de variâncias e covariâncias Tabela de covariância das pardocas sobreviventes cov X1 X2 X3 X4 X5 X X X X X Tabela de covariância das pardocas mortas

21 cor X1 X2 X3 X4 X5 X X X X X Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32 Matrizes de correlações Tabela de correlções das pardocas sobreviventes cor X1 X2 X3 X4 X5 X X X X X Tabela de correlações das pardocas mortas

22 ## ## Shapiro-Wilk normality test ## ## data: pm Hiron ## Pereira W = Farias , e Talita T. Fernandes p-value Testes de significância = com dados multivariadoswednesday, January 20, / 32 Shapiro (H0: Os dados provem de uma pop. com dist. normal) shapiro.test(ps) ## ## Shapiro-Wilk normality test ## ## data: ps ## W = , p-value = shapiro.test(pm)

23 ## ## Title: ## F Test of Variances ## ## Test Results: ## PARAMETER: ## Hypothesized Ratio: 1 ## Numerator df: 27 ## Denumerator df: 20 ## SAMPLE ESTIMATES: ## Ratio of Variances: ## STATISTIC: ## F: ## P VALUE: Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32 TESTE F ( H0: As variâncias são iguais) variancetest(pm,ps)

24 TESTE t de Student (H0: As médias são iguais) t.test(pm,ps,alternative ="two.sided",mu = 0, paired = FALSE,v ## ## Two Sample t-test ## ## data: pm and ps ## t = , df = 47, p-value = ## alternative hypothesis: true difference in means is not equ ## 95 percent confidence interval: ## ## sample estimates: ## mean of x mean of y ## Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

25 Comparação de valores médios para duas amostras: O caso multivariado Consideremos p variáveis X 1, X 2,..., X p e duas amostras de tamanhos n 1 e n 2. Então há dois vetores de médias amostrais, x 1 e x 2 duas matrizes de covariâncias amostrais, C 1 e C 2. Assumindo que as matrizes de covariâncias populacionais são as mesmas para ambas populações, uma estimativa combinada desta matriz é C = (n 1 1)C 1 + (n 2 1)C 2 (n 1 + n 2 2) (8) A estatística T 2 de Hotteling é então definida como T 2 = n 1n 2 ( x 1 x 2 ) C 1 ( x 1 x 2 ) (n 1 + n 2 ) (9) Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

26 Estatística F Um valor significante para a estatística T 2 evidência de que os dois vetores de médias populacionais são diferentes. Sob a hipótese de que os vetores de médias populacionais são iguais é verdadeira, então a estatística transformada F = (n 1 + n 2 p 1)T 2 (n 1 + n 2 2)p (10) segue uma distribuição F com p e (n 1 + n 2 p 1) gl. Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

27 Comparação da variação para duas ou mais amostras O teste M de Box é o mais conhecido para comparar a varição em várias amostras, ele pode ser usado com uma ou varias variáveis, com duas ou mais amostras. Para m amostras, a estatística M é dada pela equação M = mj=1 C i (n i 1)/2 C (n m)/2 (11) em que n i é o tamanho da i-ésima amostra, C i é a covariância amostral para a i-ésima amostra, C é a matriz de covariâncias combinada n (n i 1)C i C = i=1 (n m) Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

28 Comparação de médias para várias amostras Quando há várias variáveis e várias amostras, há quatro teste que são comumente usados para testar a hipótese de que todas as amostras vêm de populações com mesmo vetor médio. Teste: Lambda de Wilks Estatística: Λ = W T (12) em que, W: Matriz das somas de quadrados e de produtos cruzados do resíduo; T: Matriz das somas de quadrados e produtos cruzados dos totais. B: Matriz das somas de quadrados e produtos de tratamentos Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

29 Sejam λ 1,..., λ p os autovalores da matriz W 1 B. Então o lambda de Wilks pode também ser expresso como: Λ = p i=1 1 (1 + λ i ) (13) Maior raiz de Roy; Traço de Pillai; λ 1 = max(λ 1, λ 2,..., λ p ) (14) Traço de Lawley-Hotelling. V = p i=1 λ i (1 + λ i ) (15) p U = λ i (16) i=1 Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

30 Aplicação Em um ensaio de fertilização em vasos, inteiramente casualizado, com 3 tratamentos (A-testemunha; B-turfa fermentada; C-turfa natural) e com 5 repetições. Determinaram-se nas plantas colhidas os teores de Nitrogênio (X1) e Fósforo (X2), que constam na tabela1. Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

31 read.table("e:/documents/esalq/hiron/turfas.txt",h=t) ## Trat X1 X2 ## 1 A ## 2 A ## 3 A ## 4 A ## 5 A ## 6 B ## 7 B ## 8 B ## 9 B ## 10 B ## 11 C ## 12 C ## 13 C ## 14 C ## 15 C Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32

32 Hiron Pereira Farias e Talita T. Fernandes Testes de significância com dados multivariadoswednesday, January 20, / 32