Exame da OAB Gilberto A. Paula Departamento de Estatística IME-USP, Brasil giapaula@ime.usp.br 2 o Semestre 2017 G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 1 / 29
Exame da OAB Sumário 1 Exame da OAB 2 Análise de Dados Preliminar 3 Modelo Binomial 4 Conclusões 5 Referências G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 2 / 29
Exame da OAB Exame da OAB Descrição do Estudo Como ilustração de exemplo de modelo binomial para dados não agrupados, vamos considerar os dados sobre o exame da OAB (1 a -fase) realizado em setembro de 2009 em São Paulo. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 3 / 29
Exame da OAB Exame da OAB Descrição do Estudo Como ilustração de exemplo de modelo binomial para dados não agrupados, vamos considerar os dados sobre o exame da OAB (1 a -fase) realizado em setembro de 2009 em São Paulo. Uma amostra aleatória e 237 participantes de cursos preparatórios da cidade de São Paulo foi analisada no Centro de Estatística Aplicada (CEA) do IME-USP (Paula, Huang e Oliveira, 2010). G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 3 / 29
Exame da OAB Objetivo do Estudo Objetivo do Estudo Avaliar o grau de estresse, ansiedade e nível de auto-eficácia, verificando os fatores que influenciam no desempenho dos indivíduos que vão realizar o exame da OAB. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 4 / 29
Exame da OAB Descrição do Exame Descrição do Exame G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 5 / 29
Exame da OAB Descrição do Exame Descrição do Exame Consiste em prova objetiva composta por 100 questões de múltipla escolha, com quatro alternativas cada G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 5 / 29
Exame da OAB Descrição do Exame Descrição do Exame Consiste em prova objetiva composta por 100 questões de múltipla escolha, com quatro alternativas cada Não é permitida a consulta a quaisquer textos G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 5 / 29
Exame da OAB Descrição do Exame Descrição do Exame Consiste em prova objetiva composta por 100 questões de múltipla escolha, com quatro alternativas cada Não é permitida a consulta a quaisquer textos Acertando pelo menos 50% das questões, o candidato passará à fase seguinte, que é escrita G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 5 / 29
Descrição das Variáveis Descrição das Variáveis Exame da OAB Vamos considerar como variável resposta o resultado do exame (0: reprovado, 1: aprovado). A probabilidade de aprovação no exame será relacionada com as seguintes variáveis explicativas: G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 6 / 29
Descrição das Variáveis Exame da OAB Descrição das Variáveis Vamos considerar como variável resposta o resultado do exame (0: reprovado, 1: aprovado). A probabilidade de aprovação no exame será relacionada com as seguintes variáveis explicativas: aestado: pontuação do grau de ansiedade no momento da aplicação do inventário, G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 6 / 29
Descrição das Variáveis Exame da OAB Descrição das Variáveis Vamos considerar como variável resposta o resultado do exame (0: reprovado, 1: aprovado). A probabilidade de aprovação no exame será relacionada com as seguintes variáveis explicativas: aestado: pontuação do grau de ansiedade no momento da aplicação do inventário, atraço: pontuação do grau de ansiedade mais constante, G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 6 / 29
Descrição das Variáveis Exame da OAB Descrição das Variáveis Vamos considerar como variável resposta o resultado do exame (0: reprovado, 1: aprovado). A probabilidade de aprovação no exame será relacionada com as seguintes variáveis explicativas: aestado: pontuação do grau de ansiedade no momento da aplicação do inventário, atraço: pontuação do grau de ansiedade mais constante, aemédia: pontuação média de auto-eficácia, G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 6 / 29
Descrição das Variáveis Exame da OAB Descrição das Variáveis Vamos considerar como variável resposta o resultado do exame (0: reprovado, 1: aprovado). A probabilidade de aprovação no exame será relacionada com as seguintes variáveis explicativas: aestado: pontuação do grau de ansiedade no momento da aplicação do inventário, atraço: pontuação do grau de ansiedade mais constante, aemédia: pontuação média de auto-eficácia, gênero (0: masculino, 1: feminino), G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 6 / 29
Descrição das Variáveis Exame da OAB Descrição das Variáveis Vamos considerar como variável resposta o resultado do exame (0: reprovado, 1: aprovado). A probabilidade de aprovação no exame será relacionada com as seguintes variáveis explicativas: aestado: pontuação do grau de ansiedade no momento da aplicação do inventário, atraço: pontuação do grau de ansiedade mais constante, aemédia: pontuação média de auto-eficácia, gênero (0: masculino, 1: feminino), idade: idade em anos, G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 6 / 29
Descrição das Variáveis Exame da OAB Descrição das Variáveis Vamos considerar como variável resposta o resultado do exame (0: reprovado, 1: aprovado). A probabilidade de aprovação no exame será relacionada com as seguintes variáveis explicativas: aestado: pontuação do grau de ansiedade no momento da aplicação do inventário, atraço: pontuação do grau de ansiedade mais constante, aemédia: pontuação média de auto-eficácia, gênero (0: masculino, 1: feminino), idade: idade em anos, oabexame:1 a vez que está fazendo o exame (0: não, 1: sim), G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 6 / 29
Descrição das Variáveis Exame da OAB Descrição das Variáveis Vamos considerar como variável resposta o resultado do exame (0: reprovado, 1: aprovado). A probabilidade de aprovação no exame será relacionada com as seguintes variáveis explicativas: aestado: pontuação do grau de ansiedade no momento da aplicação do inventário, atraço: pontuação do grau de ansiedade mais constante, aemédia: pontuação média de auto-eficácia, gênero (0: masculino, 1: feminino), idade: idade em anos, oabexame:1 a vez que está fazendo o exame (0: não, 1: sim), estresse: presença de estresse (0: não, 1: sim), G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 6 / 29
Descrição das Variáveis Exame da OAB Descrição das Variáveis Vamos considerar como variável resposta o resultado do exame (0: reprovado, 1: aprovado). A probabilidade de aprovação no exame será relacionada com as seguintes variáveis explicativas: aestado: pontuação do grau de ansiedade no momento da aplicação do inventário, atraço: pontuação do grau de ansiedade mais constante, aemédia: pontuação média de auto-eficácia, gênero (0: masculino, 1: feminino), idade: idade em anos, oabexame:1 a vez que está fazendo o exame (0: não, 1: sim), estresse: presença de estresse (0: não, 1: sim), turma: turma do candidato (0: diurno, 1: noturno). G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 6 / 29
Análise de Dados Preliminar Sumário 1 Exame da OAB 2 Análise de Dados Preliminar 3 Modelo Binomial 4 Conclusões 5 Referências G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 7 / 29
Descrição dos Dados Análise de Dados Preliminar Resultado do Exame segundo o Gênero Masculino Feminino Aprovado 28 (25,7%) 38 (29,7%) Reprovado 81 (74,3%) 90 (70,3%) Total 109 (100%) 128 (100%) G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 8 / 29
Descrição dos Dados Análise de Dados Preliminar Resultado do Exame segundo o Gênero Masculino Feminino Aprovado 28 (25,7%) 38 (29,7%) Reprovado 81 (74,3%) 90 (70,3%) Total 109 (100%) 128 (100%) Resultado do Exame segundo Exame Anterior Sim Não Aprovado 53 (27,9%) 13 (27,7%) Reprovado 137 (72,1%) 34 (72,3%) Total 190 (100%) 47 (100%) G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 8 / 29
Descrição dos Dados Análise de Dados Preliminar Resultado do Exame segundo o Presença de Estresse Sim Não Aprovado 42 (25,0%) 24 (34,8%) Reprovado 126 (75,0%) 45 (65,2%) Total 168 (100%) 69 (100%) G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 9 / 29
Descrição dos Dados Análise de Dados Preliminar Resultado do Exame segundo o Presença de Estresse Sim Não Aprovado 42 (25,0%) 24 (34,8%) Reprovado 126 (75,0%) 45 (65,2%) Total 168 (100%) 69 (100%) Resultado do Exame segundo a Turma Diurno Noturno Aprovado 22 (35,5%) 44 (25,1%) Reprovado 40 (64,5%) 131 (74,9%) Total 62 (100%) 175 (100%) G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 9 / 29
Descrição dos Dados Análise de Dados Preliminar Presença de Estresse e Gênero - Grupo Aprovado Masculino Feminino Sim 18 (64,3%) 32 (84,2%) Não 10 (35,7%) 6 (15,8%) Total 28 (100%) 38 (100%) G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 10 / 29
Descrição dos Dados Análise de Dados Preliminar Presença de Estresse e Gênero - Grupo Aprovado Masculino Feminino Sim 18 (64,3%) 32 (84,2%) Não 10 (35,7%) 6 (15,8%) Total 28 (100%) 38 (100%) Presença de Estresse e Gênero - Grupo Reprovado Masculino Feminino Sim 52 (64,2%) 74 (82,2%) Não 29 (35,8%) 16 (17,8%) Total 81 (100%) 90 (100%) G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 10 / 29
Análise de Dados Preliminar Boxplot da Idade segundo Exame Idade do Candidato 20 30 40 50 60 70 Reprovado Aprovado G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 11 / 29
Análise de Dados Preliminar Boxplot do Estado de Ansiedade segundo Exame Estado de Ansiedade 20 30 40 50 60 70 80 Repovado Aprovado G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 12 / 29
Análise de Dados Preliminar Boxplot do Traço de Ansiedade segundo Exame Traço de Ansiedade 20 30 40 50 60 70 Reprovado Apovado G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 13 / 29
Análise de Dados Preliminar Boxplot da Auto-Eficácia Média segundo Exame Auto Eficácia Média 2 3 4 5 Reprovado Aprovado G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 14 / 29
Modelo Binomial Sumário 1 Exame da OAB 2 Análise de Dados Preliminar 3 Modelo Binomial 4 Conclusões 5 Referências G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 15 / 29
Modelo Binomial Modelo Binomial Descrição Denotaremos por y i o resultado do exame para o i-ésimo candidato G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 16 / 29
Modelo Binomial Modelo Binomial Descrição Denotaremos por y i o resultado do exame para o i-ésimo candidato 0: reprovado, G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 16 / 29
Modelo Binomial Modelo Binomial Descrição Denotaremos por y i o resultado do exame para o i-ésimo candidato 0: reprovado, 1: aprovado. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 16 / 29
Modelo Binomial Modelo Binomial Descrição Denotaremos por y i o resultado do exame para o i-ésimo candidato 0: reprovado, 1: aprovado. Vamos propor inicialmente o seguinte modelo binomial para explicar a probabilidade de aprovação no exame: G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 16 / 29
Modelo Binomial Modelo Binomial Descrição Denotaremos por y i o resultado do exame para o i-ésimo candidato 0: reprovado, 1: aprovado. Vamos propor inicialmente o seguinte modelo binomial para explicar a probabilidade de aprovação no exame: y i ind Be(π i ), G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 16 / 29
Modelo Binomial Modelo Binomial Descrição Denotaremos por y i o resultado do exame para o i-ésimo candidato 0: reprovado, 1: aprovado. Vamos propor inicialmente o seguinte modelo binomial para explicar a probabilidade de aprovação no exame: y i ind Be(π i ), log ( πi 1 π i ) = Efeitos Principais + Interações de 1 a ordem, G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 16 / 29
Modelo Binomial Modelo Binomial Descrição Denotaremos por y i o resultado do exame para o i-ésimo candidato 0: reprovado, 1: aprovado. Vamos propor inicialmente o seguinte modelo binomial para explicar a probabilidade de aprovação no exame: y i ind Be(π i ), log ( πi 1 π i ) = Efeitos Principais + Interações de 1 a ordem, em que π i denota a probabilidade do i-ésimo candidato ser aprovado no exame, para i = 1,..., 237. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 16 / 29
Modelo Binomial Modelo Selecionado Após aplicar o comando stepgaic e procedimentos de teste de hipóteses a fim de reduzir o modelo, chegamos ao modelo final descrito na tabela abaixo. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 17 / 29
Modelo Binomial Modelo Selecionado Após aplicar o comando stepgaic e procedimentos de teste de hipóteses a fim de reduzir o modelo, chegamos ao modelo final descrito na tabela abaixo. Efeito Estimativa E.Padrão z-valor Constante 12,235 4,069 3,01 Aestado -0,073 0,052-1,40 Atraço -0,271 0,092-2,95 GêneroF -1,082 0,647-1,61 Idade -0,227 0,089-2,55 Estresse -1,322 0,514-2,57 Aestado*Atraço 0,002 0,001 2,00 GêneroF*Estresse 1,725 0,778 2,22 Atraço*Idade 0,004 0,002 2,00 G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 17 / 29
Modelo Binomial Razão de Chances Razão de Chances Na tabela abaixo são apresentadas as estimativas da razão de chances de ser aprovado no exame da OAB segundo o gênero e presença de estresse. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 18 / 29
Modelo Binomial Razão de Chances Razão de Chances Na tabela abaixo são apresentadas as estimativas da razão de chances de ser aprovado no exame da OAB segundo o gênero e presença de estresse. Os cálculos consideram como nível base gênero masculino e presença de estresse. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 18 / 29
Modelo Binomial Razão de Chances Razão de Chances Na tabela abaixo são apresentadas as estimativas da razão de chances de ser aprovado no exame da OAB segundo o gênero e presença de estresse. Os cálculos consideram como nível base gênero masculino e presença de estresse. Estresse Gênero Sim Não Masculino 1,00 3,75 Feminino 1,90 1,27 G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 18 / 29
Modelo Binomial Interpretações Efeito Aestado A probabilidade de aprovação diminui com o aumento da pontuação do grau de ansiedade no momento da aplicação do inventário. Porém, começa a subir para valores altos de aestado. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 19 / 29
Modelo Binomial Interpretações Efeito Aestado A probabilidade de aprovação diminui com o aumento da pontuação do grau de ansiedade no momento da aplicação do inventário. Porém, começa a subir para valores altos de aestado. Efeito Atraço A probabilidade de aprovação diminui com o aumento da pontuação do grau de ansiedade mais constante. Porém, começa a subir para valores altos de atraço. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 19 / 29
Modelo Binomial Interpretações Efeito Aestado A probabilidade de aprovação diminui com o aumento da pontuação do grau de ansiedade no momento da aplicação do inventário. Porém, começa a subir para valores altos de aestado. Efeito Atraço A probabilidade de aprovação diminui com o aumento da pontuação do grau de ansiedade mais constante. Porém, começa a subir para valores altos de atraço. Efeito Idade A probabilidade de aprovação diminui com o aumento da idade. Porém, inverte a tendência para idades mais altas. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 19 / 29
Modelo Binomial Distãncia de Cook Modelo Final 145 Distância de Cook 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0 50 100 150 200 Índice G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 20 / 29
Modelo Binomial Resíduos Modelo Final Componente do Desvio 2 1 0 1 2 3 2 1 0 1 2 3 Percentil da N(0,1) G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 21 / 29
Modelo Binomial Resíduos Modelo Final (Saída gamlss) Against Fitted Values Against index Quantile Residuals 3 2 1 0 1 2 3 Quantile Residuals 3 2 1 0 1 2 3 0.0 0.2 0.4 0.6 0.8 Fitted Values 0 50 100 150 200 index Density Estimate Normal Q Q Plot Density 0.0 0.1 0.2 0.3 Sample Quantiles 3 2 1 0 1 2 3 4 2 0 2 4 Quantile. Residuals 3 2 1 0 1 2 3 Theoretical Quantiles G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 22 / 29
Modelo Binomial Ponto Influente Sem observação #145 Efeito Estimativa E.Padrão z-valor Constante 14,400 4,206 3,42 Aestado -0,105 0,055-1,91 Atraço -0,315 0,094-3,34 GêneroF -0,907 0,646-1,41 Idade -0,244 0,088-2,77 Estresse -1,290 0,517-2,50 Aestado*Atraço 0,003 0,001 3,00 GêneroF*Estresse 1,561 0,778 2,01 Atraço*Idade 0,004 0,002 2,00 G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 23 / 29
Modelo Binomial Curva ROC Taxa de Verdadeiro Positivo 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 Taxa de Falso Positivo G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 24 / 29
Modelo Binomial Curva ROC Taxa de Verdadeiro Positivo 0.0 0.2 0.4 0.6 0.8 1.0 0.3 0.26 0.25 0.2 0.0 0.2 0.4 0.6 0.8 1.0 Taxa de Falso Positivo G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 25 / 29
Conclusões Sumário 1 Exame da OAB 2 Análise de Dados Preliminar 3 Modelo Binomial 4 Conclusões 5 Referências G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 26 / 29
Conclusões Conclusões Considerações Finais G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 27 / 29
Conclusões Conclusões Considerações Finais Neste exemplo em que ajustamos a probabilidade de aprovação na 1 a fase do exame da OAB, algumas interações de 1 a ordem envolvendo o grau de ansiedade, estresse, gênero e idade aparecem significativas. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 27 / 29
Conclusões Conclusões Considerações Finais Neste exemplo em que ajustamos a probabilidade de aprovação na 1 a fase do exame da OAB, algumas interações de 1 a ordem envolvendo o grau de ansiedade, estresse, gênero e idade aparecem significativas. O ponto de mais destaque pela distância de Cook quando excluído não muda a inferência no modelo selecionado. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 27 / 29
Conclusões Conclusões Considerações Finais Neste exemplo em que ajustamos a probabilidade de aprovação na 1 a fase do exame da OAB, algumas interações de 1 a ordem envolvendo o grau de ansiedade, estresse, gênero e idade aparecem significativas. O ponto de mais destaque pela distância de Cook quando excluído não muda a inferência no modelo selecionado. Não há indícios pelos gráficos de resíduos que a distribuição das respostas não seja Bernoulli. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 27 / 29
Referências Sumário 1 Exame da OAB 2 Análise de Dados Preliminar 3 Modelo Binomial 4 Conclusões 5 Referências G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 28 / 29
Referências Referências Referência Paula, G. A.; Huany, G. H. e Oliveira, R. C. U. (2010). Relatório de Análise Estatística sobre o Projeto: Estresse, Ansiedade e Crenças de Auto-Eficácioa ante ao Exame da OAB, RAECEA10P04. G. A. Paula (IME-USP) Exame da OAB 2 o Semestre 2017 29 / 29