1 Conteúdos do manual

Transcrição

1 Introdução à Probabilidade e Estatística Bayesianas Introdução (texto de apoio - em construção) O presente texto de apoio destina-se a guiar o leitor no estudo do manual recomendado para a disciplina de Introdução à Probabilidade e Estatística Bayesianas. 1 Conteúdos do manual Os conteúdos do manual [1] sujeitos a avaliação consistem dos quatro primeiros capítulos do mesmo. São estes: Capítulo 1 - Fundamentos da Inferência Bayesiana Capítulo 2 - Representação da Informação a priori Capítulo 3 - Metodologia Inferêncial Capítulo 4 - Aplicações a problemas com Modelos Normais Trata-se sensivelmente de 200 páginas de matéria. É recomendado ao estudante que distribua os seus esforços (a priori) de forma exponencialmente decrescente com o número de página. Apesar de toda a matéria ser passível de avaliação, esta centrar-se-á essencialmente em questões de fundamentos. É o objectivo primoridial deste curso que o estudante compreenda os fundamentos da perspectiva Bayesiana. Se isso fôr atingido dar-se-á por bem sucedida a demanda. Tentar-se-á, na medida do possível, que as questões escolhidas para avaliação reflictam essa perspectiva. Evidentemente, quando se diz que a priori o estudante deverá concentrar os esforços nos primeiros capítulos, isso é em si mesmo uma afirmação Bayesiana! A posteriori, dados os resultados experimentais que for obtendo do seu estudo, caberá a cada um re-avaliar onde encontra mais dificuldades e onde deverá concentrar mais esforços - mas penso que frisar os fundamentos nunca será demais. Capítulo 1 Esta cadeira foi concebida à partida a pensar em alunos que já receberam uma formação clássica em probabilidades e estatística. Não se pense que isso seria uma necessidade: é meramente reflexo de um acidente histórico, e a palavra acidente é aqui usada no mesmo sentido em que ocorre na expressão acidente de viação, isto é, refere-se a um acontecimento simultaneamente

2 fortuito e funesto! A teoria Bayesiana não é um tópico avançado, como por vezes se pensa, mediante o mero facto de aparecer tarde na formação de um aluno. Na verdade, um curso Bayesiano para alunos livres da bagagem clássica seria muitissimo mais simples e claro, mas seria inadequado a alunos que certamente não poderão deixar de perguntar, por acidente histórico, como se enquadra esta perpectiva nova no panorama que já conheciam, e que além disso ficariam talvez cansados em voltar a ter uma cadeira introdutória de probabilidades e estatística, ainda que de uma perspectiva diferente. Assim, este curso assume a posse de toda a bagagem clássica, com todos os seus defeitos, mas também com toda a útil artilharia de métodos matematicos avançados. Não vamos por exemplo, voltar a explicar o que é uma distribuição de Poisson, ou uma Gama, ou uma normal - vamos pelo contrário assumi-las conhecidas e olhar para elas de uma forma diferente, e, espera-se, esclarecedora. O livro escolhido para esta cadeira tem também esta mesma perpectiva. Assume um bom conhecimento da estatística clássica, e aproxima-se do formalismo Bayesiano vindo de fora. Creio que o livro cumpre muito bem os objectivos a que se propõe, mas o estudante arrisca-se a perder de vista as principais características (e a meu ver a extrema elegância) do formalismo que lhe é apresentado, se não ler com atenção as primeiras páginas deste capítulo, e se não procurar referências que o complementem. (Nessa perspectiva, recomenda-se vivamente a leitura dos primeiros três capítulos de [2], que só por necessidade técnica não são considerados parte obrigatória da matéria, mas que serão certamente a melhor fonte para a compreensão dos conceitos mais importantes a reter deste curso. Na medida em que esses capítulos estão disponíveis online gratuitamente, não há motivos para que não sejam acessíveis a todos os alunos. Nestas primeiras páginas de [1] são apresentados os paradigmas clássicos e Bayesianos, em diversas variações e aromas. É feito um esforço por apresentar um panorama vasto e diverso, que de facto existe, com uma grande imparcialidade. Creio que é no entanto importante focar o seguinte ponto: Há uma visão da probabilidade Bayesiana que é particularmente simples e suportada por resultados fundamentais muito fortes: A teoria Bayesiana das probabilidades é a uníca extensão consistente da lógica ao espaço das proposições com valor lógico indefinido. Esta perspectiva é mais do que uma posição filosófica defensável. É legitimada por um resultado crucial, o teorema de Cox, (ver [2], cap. 2), e coloca a teoria das probabilidades num patamar epistemológico que nunca poderia ter na perpectiva clássica: a teoria das probabilidades é uma estrutura fundamental, ao nível da lógica clássica, e que faz pela inferência o que esta faz última faz pela dedução. Ainda que nada mais fôsse ganho pelo uso do formalismo Bayesiano (e os ganhos práticos são múltiplos) isto é um ganho para o conhecimento científico e matemático e mesmo filosófico que merece um destaque considerável. Nesta perpectiva, devemos ver o aparecimento das regras da soma 2

3 e do produto das probabilidades: p(a + B I) = p(a I) + p(b I) p(ab I) p(ab I) = p(a B, I)p(B I) como algo que se encontra na mesma linhagem histórica que a compreensão do modus ponens (Se A, e se A implica B, então B) como ferramenta essencial do pensamento lógico. Na verdade é a teria das probabilidades que fornece o resultado inferencial analogo ao modus ponens, nomeadamente (ver [2], pag. 1-4): (Se A implica B, e se B, então A é mais provável). E não é este príncipio um dos guias mais frequentes não só do detective privado mas também do cientista? Será util ao aluno que durante todo o curso faça um jogo consigo proprio: Sempre que estiver a lidar com a intrincada maquinaria de distibuições de probabilidades, parâmetros, estimadores e afins, nunca se esqueça de que tudo isto não é mais do que um útil mas meramente acessório conjunto de abreviaturas para uma realidade muito simples: A um conjunto de proposições lógicas são atribuidos números entre zero e um, sendo que um significa que as damos por certas e zero que as damos por falsas, e um numero intermédio significa a quantificação de uma fezada. Mas não uma quantificação qualquer! A menos dos priors, que podem ser arbitrários embora tentemos que sejam o menos possível, (os priors podem conter dados objectivos, ou meras apostas, ou mesmo preconceitos - algo essencial para uma teoria que tente quantificar o pensamento humano sobre dados insuficientes!) todas as atribuições posteriores de probabilidade são as que se obtém necessáriamente pelo desconto de toda a informação disponível, não através de métodos ad hoc, mas pelas leis imutáveis da lógica - da lógica clássica, e da sua extensâo, a teoria da probabilidades, tal como implementada pelas aparentemente simples regras da soma e do produto. Tal como na lógica clássica a atribuição de valores lógicos (probabilidades) à partida pode ser arbitrária (a escolha de axiomas não é mais do que a escolha de priors in extremis). Tal como na lógica clássica, se a parte arbitrária da atribuição fôr pouco acertada, o resultado não será bom (de assumir disparate só sairá disparate). É elucidativo que na lógica clássica ninguém se lembra de dizer que há algum tipo de falta de rigor ou ambiguidade por podermos atribuir valores lógicos ao acaso às proposições que servem de base a um raciocínio! Podemos mesmo, lembre-se, ganhar conhecimento ao atribuir o valor lógico diametralmente oposto ao que seria correcto, não fôsse essa a base da técnica de redução ao absurdo! Não se torna assim evidente que a liberdade bayesiana na atribuição de priors não é mais do que a versão probabilistica da liberdade clássica de atribuir valores lógicos a priori às proposições em torno das quais queremos raciocinar? E que tal liberdade é aliás necessária por isso mesmo, porque segue da necessidade de que qualquer generalização da lógica aos raciocínios 3

4 probabilisticos se reduza a esta no caso extremos em que lidamos com certezas? Há um velho princípio falacioso que de vez em quando levanta a cabeça entre filósofos da ciência, mas só muito raramente em cientistas práticos: a ideia de que os dados falam por si. Isto equivale a tomar como certa uma estimativa de máxima verosimilhança. Mas qualquer cientista sabe que os dados, só por si, não possuem voz. Os dados são sempre enquadrados numa teoria, numa visão do universo subjacente. E a força dos dados consiste precisamente em afectar essas teorias subjacentes, e reforçar umas e derrubar outras, mas cabe-nos a nós sempre - pela escolha de priors, na forma de modelos ou distribuições, ou conjuntos prévios de proposições tidas por certas, fornecer esse terreno base sobre o qual actuam os dados. Capítulo 2 Neste capítulo é essencial compreender o conceito de família conjugada de distribuições. Isto é essencial do ponto de vista técnico. Outro ponto fundamental neste capitulo é o conceito de entropia. Este conceito é de extrema importância em aplicações e de grande importância conceptual. Está na base da teoria da informação, de Shannon, e está relacionado com o conceito de mesmo nome na Física. A cobertura deste conceito no manual é algo superficial. Recomenda-se a leitura de referências externas (embora não sejam estritamente necessárias do ponto de vista da avaliação) Capítulo 3 e 4 Os capítulos 3 e 4 deverão ser de dificuldade meramente técnica para quem tiver compreendido os conceitos importantes dos dois primeiros capítulos. Nota de interesse duvidoso O apêndice da página 421 de [1] é simplesmente fundamental! e mais... Recomenda-se ao aluno que volte a consultar este documento em breve, pois espera-se (a priori) que ele cresça com informações úteis ao longo do tempo. Referências [1] Paulino, Turkman, Murteira: Estatística Bayesiana, Fundação Calouste Gulbenkian,

5 [2] Jaynes, E.T., Probability Theory as Extended Logic, capitulos 1-3, 5