Aprendizado Bayesiano
|
|
|
- Wilson Fragoso Fidalgo
- 7 Há anos
- Visualizações:
Transcrição
1 Aprendizado Bayesiano Marcelo K. Albertini 26 de Junho de 2014
2 2/20 Conteúdo Teorema de Bayes Aprendizado MAP Classificador ótimo de Bayes
3 3/20 Dois papéis para métodos bayesianos Algoritmos de aprendizado práticos Aprendizado Naive Bayes Aprendizado de Redes Bayesianas Combinar conhecimento prévio com dados observados Requer probabilidade a priori Conceitos teóricos úteis Modelo ótimo para avaliar outros algoritmos de aprendizado Ferramentas para análise de algoritmos
4 4/20 Teorema de Bayes P(h D) = P(D h)p(h) P(D) Exemplo de h: paciente tem câncer
5 4/20 Teorema de Bayes P(h D) = P(D h)p(h) P(D) Exemplo de h: paciente tem câncer P(h) probabilidade a priori da hipótese h
6 4/20 Teorema de Bayes P(h D) = P(D h)p(h) P(D) Exemplo de h: paciente tem câncer P(h) probabilidade a priori da hipótese h P(h): o quanto confiamos na hipótese sem mesmo ver os dados em questão
7 4/20 Teorema de Bayes P(h D) = P(D h)p(h) P(D) Exemplo de h: paciente tem câncer P(h) probabilidade a priori da hipótese h P(h): o quanto confiamos na hipótese sem mesmo ver os dados em questão P(D h) probabilidade de D considerando h
8 4/20 Teorema de Bayes P(h D) = P(D h)p(h) P(D) Exemplo de h: paciente tem câncer P(h) probabilidade a priori da hipótese h P(h): o quanto confiamos na hipótese sem mesmo ver os dados em questão P(D h) probabilidade de D considerando h P(D h): probabilidade do teste de gravidez acusar positivo, considerando que realmente a namorada está grávida ou chance de paciente ter febre dado que ele tem H1N1
9 4/20 Teorema de Bayes P(h D) = P(D h)p(h) P(D) Exemplo de h: paciente tem câncer P(h) probabilidade a priori da hipótese h P(h): o quanto confiamos na hipótese sem mesmo ver os dados em questão P(D h) probabilidade de D considerando h P(D h): probabilidade do teste de gravidez acusar positivo, considerando que realmente a namorada está grávida ou chance de paciente ter febre dado que ele tem H1N1 P(D) probabilidade a priori sobre os exemplos de treino D
10 4/20 Teorema de Bayes P(h D) = P(D h)p(h) P(D) Exemplo de h: paciente tem câncer P(h) probabilidade a priori da hipótese h P(h): o quanto confiamos na hipótese sem mesmo ver os dados em questão P(D h) probabilidade de D considerando h P(D h): probabilidade do teste de gravidez acusar positivo, considerando que realmente a namorada está grávida ou chance de paciente ter febre dado que ele tem H1N1 P(D) probabilidade a priori sobre os exemplos de treino D P(D): probabilidade de testes de gravidez realizados acusarem positivo ou probabilidade de temperatura de pessoas medidas ser maior que 37 o C
11 4/20 Teorema de Bayes P(h D) = P(D h)p(h) P(D) Exemplo de h: paciente tem câncer P(h) probabilidade a priori da hipótese h P(h): o quanto confiamos na hipótese sem mesmo ver os dados em questão P(D h) probabilidade de D considerando h P(D h): probabilidade do teste de gravidez acusar positivo, considerando que realmente a namorada está grávida ou chance de paciente ter febre dado que ele tem H1N1 P(D) probabilidade a priori sobre os exemplos de treino D P(D): probabilidade de testes de gravidez realizados acusarem positivo ou probabilidade de temperatura de pessoas medidas ser maior que 37 o C P(h D) probabilidade de h considerando D
12 Teorema de Bayes P(h D) = P(D h)p(h) P(D) Exemplo de h: paciente tem câncer P(h) probabilidade a priori da hipótese h P(h): o quanto confiamos na hipótese sem mesmo ver os dados em questão P(D h) probabilidade de D considerando h P(D h): probabilidade do teste de gravidez acusar positivo, considerando que realmente a namorada está grávida ou chance de paciente ter febre dado que ele tem H1N1 P(D) probabilidade a priori sobre os exemplos de treino D P(D): probabilidade de testes de gravidez realizados acusarem positivo ou probabilidade de temperatura de pessoas medidas ser maior que 37 o C P(h D) probabilidade de h considerando D P(h D) probabilidade de paciente ter H1N1 dado que ele tem febre 4/20
13 5/20 Prova do Teorema de Bayes Considerando a definição de probabilidade condicional: Podemos escrever: P(A, B) = P(A B)P(B) P(h, D) = P(D, h)
14 5/20 Prova do Teorema de Bayes Considerando a definição de probabilidade condicional: Podemos escrever: P(A, B) = P(A B)P(B) P(h, D) = P(D, h) P(h D)P(D) = P(D h)p(h)
15 5/20 Prova do Teorema de Bayes Considerando a definição de probabilidade condicional: Podemos escrever: P(A, B) = P(A B)P(B) P(h, D) = P(D, h) P(h D)P(D) P(h D) = P(D h)p(h) = P(D h)p(h) P(D)
16 6/20 Escolhando hipóteses Encontrar hipóteses mais prováveis considerando os exemplos de treino Hipótese h MAP : Maximum A Posteriori h MAP = arg max h H P(h D) = arg max h H P(D h)p(h) P(D) = arg max h H P(D h)p(h), pois P(D) é constante Se diferentes hipóteses têm probabilidades iguais podemos usar a hipótese mais plausível, ou seja, a hipótese de Máxima Verossimilhança (MV): h MV = arg max h i H P(D h i)
17 7/20 Exemplo O paciente tem câncer? Um paciente faz um teste de laboratório e resultado acusa positivo (sim, tem câncer). O teste tem um resultado positivo correto em 98% das vezes O teste tem um resultado negativo correto em 97% das vezes Além disso, da população vem a desenvolver esse câncer.
18 8/20 O paciente tem câncer? Um paciente faz um teste de laboratório e resultado acusa positivo (sim, tem câncer). O teste tem um resultado positivo correto em 98% das vezes O teste tem um resultado negativo correto em 97% das vezes Além disso, da população vem a desenvolver esse câncer. P(cancer) = P( cancer) = P(+ cancer) = P( cancer) = P( cancer) = P(+ cancer) = P(cancer +) =
19 8/20 O paciente tem câncer? Um paciente faz um teste de laboratório e resultado acusa positivo (sim, tem câncer). O teste tem um resultado positivo correto em 98% das vezes O teste tem um resultado negativo correto em 97% das vezes Além disso, da população vem a desenvolver esse câncer. P(cancer) = P( cancer) = P(+ cancer) = P( cancer) = P( cancer) = P(+ cancer) = P(cancer +) =
20 8/20 O paciente tem câncer? Um paciente faz um teste de laboratório e resultado acusa positivo (sim, tem câncer). O teste tem um resultado positivo correto em 98% das vezes O teste tem um resultado negativo correto em 97% das vezes Além disso, da população vem a desenvolver esse câncer. P(cancer) = P( cancer) = = P(+ cancer) = P( cancer) = P( cancer) = P(+ cancer) = P(cancer +) =
21 8/20 O paciente tem câncer? Um paciente faz um teste de laboratório e resultado acusa positivo (sim, tem câncer). O teste tem um resultado positivo correto em 98% das vezes O teste tem um resultado negativo correto em 97% das vezes Além disso, da população vem a desenvolver esse câncer. P(cancer) = P( cancer) = = P(+ cancer) = 0.98 P( cancer) = P( cancer) = P(+ cancer) = P(cancer +) =
22 8/20 O paciente tem câncer? Um paciente faz um teste de laboratório e resultado acusa positivo (sim, tem câncer). O teste tem um resultado positivo correto em 98% das vezes O teste tem um resultado negativo correto em 97% das vezes Além disso, da população vem a desenvolver esse câncer. P(cancer) = P( cancer) = = P(+ cancer) = 0.98 P( cancer) = = 0.02 P( cancer) = P(+ cancer) = P(cancer +) =
23 8/20 O paciente tem câncer? Um paciente faz um teste de laboratório e resultado acusa positivo (sim, tem câncer). O teste tem um resultado positivo correto em 98% das vezes O teste tem um resultado negativo correto em 97% das vezes Além disso, da população vem a desenvolver esse câncer. P(cancer) = P( cancer) = = P(+ cancer) = 0.98 P( cancer) = = 0.02 P( cancer) = 0.97 P(+ cancer) = P(cancer +) =
24 8/20 O paciente tem câncer? Um paciente faz um teste de laboratório e resultado acusa positivo (sim, tem câncer). O teste tem um resultado positivo correto em 98% das vezes O teste tem um resultado negativo correto em 97% das vezes Além disso, da população vem a desenvolver esse câncer. P(cancer) = P( cancer) = = P(+ cancer) = 0.98 P( cancer) = = 0.02 P( cancer) = 0.97 P(+ cancer) = = 0.03 P(cancer +) =
25 8/20 O paciente tem câncer? Um paciente faz um teste de laboratório e resultado acusa positivo (sim, tem câncer). O teste tem um resultado positivo correto em 98% das vezes O teste tem um resultado negativo correto em 97% das vezes Além disso, da população vem a desenvolver esse câncer. P(cancer) = P( cancer) = = P(+ cancer) = 0.98 P( cancer) = = 0.02 P( cancer) = 0.97 P(+ cancer) = = 0.03 P(cancer +) = Teorema de Bayes P(+) P(h D) = P(D h)p(h) P(D) = P(+ cancer)p(cancer) +P(+ cancer)p( cancer)
26 9/20 Fórmulas básicas para probabilidades Regra do produto: probabilidade P(A B) conjunção de dois eventos A e B: P(A, B) = P(A B) = P(A B)P(B) = P(B A)P(A) Regra da soma: probabilidade da disjunção de dois eventos A e B: P(A B) = P(A) + P(B) P(A B) Teorema da probabilidade total: Se eventos A 1,..., A n são mutuamente exclusivos com n i=1 P(A i) = 1 então P(B) = n P(B A i )P(A i ) i=1
27 10/20 Aprendizado força-bruta da hipótese de probabilidade máxima a posteriori (MAP) Para cada hipótese h em H, computar a probabilidade a posteriori P(h D) = P(D h)p(h) P(D) Obter hipótese h MAP com maior probabilidade a posteriori MAP h MAP = arg max h H P(h D)
28 Exemplo: Aprendizado de Conceitos Seja D = c(x 1 ),..., c(x m ) onde c(x i ) é classe do exemplo i Queremos aprender o conceito de spam Escolher P(D h) P(D h) = 1 se h é consistente com D se a hipótese diz que é spam e a classe do exemplo também, então P(D h) = 1 P(D h) = 0 caso contrário Escolher P(h) com distribuição uniforme no espaço de hipóteses H P(h) = 1 H para todo h em H Então P(h D) = { 1 VS H,D se h for consistente com D 0 caso contrário O espaço de versões VS H,D é o subespaço de H ao eliminar hipóteses que contradizem os dados D. 11/20
29 12/20 Evolução de probabilidades a posteriori P(h D1, D2) P(h) P(h D1) Considerando espaço de hipótese no eixo horizontal inteiro e espaço de versões somente na parte onde há probabilidades diferente de zero.
30 13/20 Aprendizado de uma função contínua y classe contínua atributo x
31 Considere f sendo qualquer função-alvo contínua. Exemplos de treino x i, d i, onde d i tem ruído da seguinte forma: d i = f (x i ) + e i e i é uma variável aleatória (ruído) amostrada independentemente para cada x i seguindo uma distribuição Normal com média µ = 0. Então a hipótese de máxima verossimilhança h ML é aquela que minimiza a soma dos erros quadráticos: h ML = arg min h H m (d i h(x i )) 2 i=1 14/20
32 Considere f sendo qualquer função-alvo contínua. Exemplos de treino x i, d i, onde d i tem ruído da seguinte forma: d i = f (x i ) + e i e i é uma variável aleatória (ruído) amostrada independentemente para cada x i seguindo uma distribuição Normal com média µ = 0. Então a hipótese de máxima verossimilhança h ML é aquela que minimiza a soma dos erros quadráticos: Porquê? h ML = arg min h H m (d i h(x i )) 2 i=1 14/20
33 15/20 Hipótese de máxima verossimilhança Usamos a definição de hipótese de máxima verossimilhança: h ML = arg max h H P(D h) = Como amostras são independentes, fazemos m = arg max P(d i h) h H i=1 Assumindo que erros são de distribuição normal, fazemos ( ) m 1 = arg max 1 di h(x i ) 2 h H 2πσ 2 exp 2 σ i=1
34 16/20 Hipótese de máxima verossimilhança Maximizar o log para obter um somatório em vez do produtório: h ML = arg max mi=1 1 1 h H 2πσ 2 exp 2 [ = arg max mi=1 log h H = arg max h H ( di h(x i ) σ ( ) 1 1 2πσ 2 2 ) 2 ( ) ] di h(x i ) 2 m 1 ( ) di h(x i ) 2 tira termo constante da soma 2 σ i=1 m = arg max h H (d i h(x i )) 2 tira fator 1 2 constante i=1 m = arg min h H (d i h(x i )) 2 troca ( max) por min i=1 σ
35 Hipótese de máxima verossimilhança Maximizar o log para obter um somatório em vez do produtório: h ML = arg max mi=1 1 1 h H 2πσ 2 exp 2 [ = arg max mi=1 log h H = arg max h H ( di h(x i ) σ ( ) 1 1 2πσ 2 2 ) 2 ( ) ] di h(x i ) 2 m 1 ( ) di h(x i ) 2 tira termo constante da soma 2 σ i=1 m = arg max h H (d i h(x i )) 2 tira fator 1 2 constante i=1 m = arg min h H (d i h(x i )) 2 troca ( max) por min i=1 σ Chegamos na formulação de regressão de mínimos quadrados. 16/20
36 17/20 Classificação mais provável de novas instâncias Até agora, buscamos a hipótese mais provável segundo os dados D (isto é, a h MAP ) Dada uma nova instância x, qual é a sua classificação mais provável segundo h MAP? Considere: Três hipóteses possíveis: P(h 1 D) = 0.4, P(h 2 D) = 0.3, P(h 3 D) = 0.3 Dada nova instância x e as hipóteses: h 1 (x) = +, h 2 (x) =, h 3 (x) = Qual é a classificação mais provável de x?
37 18/20 Classificador Bayesiano Ótimo Exemplo arg max c j C P(c j h i )P(h i D) h i H P(h 1 D) = 0.4, P( h 1 ) = 0, P(+ h 1 ) = 1 P(h 2 D) = 0.3, P( h 2 ) = 1, P(+ h 2 ) = 0 P(h 3 D) = 0.3, P( h 3 ) = 1, P(+ h 3 ) = 0
38 19/20 portanto P(+ h i )P(h i D) = 0.4 h i H P( h i )P(h i D) = 0.6 h i H e arg max c j C P(c j h i )P(h i D) = h i H
39 19/20 portanto P(+ h i )P(h i D) = 0.4 h i H P( h i )P(h i D) = 0.6 h i H e Bom, mas é inviável arg max c j C P(c j h i )P(h i D) = h i H
40 20/20 Classificador de Gibbs Classificador ótimo de Bayes é inviável. Algoritmo de Gibbs Escolha uma hipótese aleatória, de acordo com P(h D) Usar hipótese escolhida para classificar nova instância Assuma que conceitos-alvo são obtidos aleatoriamente de H de acordo com as probabilidades a priori em H. Então E[erro Gibbs ] 2 E[erro BayesOtimo ] (assim como o Aprendizado Baseado em Instâncias)
Aprendizado Bayesiano
Aprendizado Bayesiano Marcelo K. Albertini 3 de Julho de 2014 2/1 Conteúdo Aprendizado Naive Bayes Exemplo: classificação de texto Redes Bayesiana Algoritmo EM Regressão probabiĺıstica 3/1 Classificador
CC-226 Aula 07 - Estimação de Parâmetros
CC-226 Aula 07 - Estimação de Parâmetros Carlos Henrique Q. Forster - Instituto Tecnológico de Aeronáutica 2008 Estimação de Parâmetros Para construir o classificador bayesiano, assumimos as distribuições
Teoria do aprendizado
Teoria do aprendizado Marcelo K. Albertini 7 de Agosto de 2014 2/37 Teoria do aprendizado Teoremas não existe almoço grátis Viés e variância Aprendizado PAC Dimensão VC Máquinas de vetores suporte 3/37
Aprendizado de Máquina (Machine Learning)
Ciência da Computação Aprendizado de Máquina (Machine Learning) Aula 10 Classificação com Naïve Bayes Max Pereira Raciocínio Probabilístico A notação tradicional para criar e analisar sentenças lógicas
Aprendizado de Máquina. Conteudo. Terminologia. Notes. Notes. Notes. Notes. Aprendizagem Bayesiana. Luiz Eduardo S. Oliveira
Aprendizado de Máquina Aprendizagem Bayesiana Luiz Eduardo S. Oliveira Universidade Federal do Paraná Departamento de Informática http://lesoliveira.net Luiz S. Oliveira (UFPR) Aprendizado de Máquina 1
Probabilidade. Ricardo Ehlers Departamento de Matemática Aplicada e Estatística Universidade de São Paulo
Probabilidade Ricardo Ehlers ehlers@icmc.usp.br Departamento de Matemática Aplicada e Estatística Universidade de São Paulo Experimento aleatório Definição. Qualquer experimento cujo resultado não pode
CLASSIFICADORES BAEYSIANOS
CLASSIFICADORES BAEYSIANOS Teorema de Bayes 2 Frequentemente, uma informação é apresentada na forma de probabilidade condicional Probabilidade de um evento ocorrer dada uma condição Probabilidade de um
Métodos para Classificação: - Naïve Bayes.
Métodos para Classificação: - 1R; - Naïve Bayes. Visão Geral: Simplicidade em primeiro lugar: 1R; Naïve Bayes. 2 Classificação: Tarefa: Dado um conjunto de exemplos préclassificados, construir um modelo
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação
Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Francisco A. Rodrigues Departamento de Matemática Aplicada e Estatística - SME Objetivo Dada M classes ω 1, ω 2,..., ω M e um
Rafael Izbicki 1 / 38
Mineração de Dados Aula 7: Classificação Rafael Izbicki 1 / 38 Revisão Um problema de classificação é um problema de predição em que Y é qualitativo. Em um problema de classificação, é comum se usar R(g)
Probabilidade. Ricardo Ehlers Departamento de Matemática Aplicada e Estatística Universidade de São Paulo
Probabilidade Ricardo Ehlers ehlers@icmc.usp.br Departamento de Matemática Aplicada e Estatística Universidade de São Paulo Introdução Experimento aleatório Definição Qualquer experimento cujo resultado
Mistura de modelos. Marcelo K. Albertini. 31 de Julho de 2014
Mistura de modelos Marcelo K. Albertini 31 de Julho de 2014 2/11 Mistura de modelos Ideia básica Em vez de aprender somente um modelo, aprender vários e combiná-los Isso melhora acurácia Muitos métodos
Aprendizagem Bayesiana
Universidade Federal do Paraná (UFPR) Bacharelado em Informática Biomédica Aprendizagem Bayesiana David Menotti www.inf.ufpr.br/menotti/ci171-182 Aprendizagem Bayesiana Agenda Introdução Teorema de Bayes
AGA Análise de Dados em Astronomia I. 2. Probabilidades
1 / 26 1. Introdução AGA 0505 - Análise de Dados em Astronomia I 2. Probabilidades Laerte Sodré Jr. 1o. semestre, 2019 2 / 26 aula de hoje: 1 o que são 2 distribuições de 3 a distribuição normal ou gaussiana
CC-226 Aula 05 - Teoria da Decisão Bayesiana
CC-226 Aula 05 - Teoria da Decisão Bayesiana Carlos Henrique Q. Forster - Instituto Tecnológico de Aeronáutica 2008 Classificador Bayesiano Considerando M classes C 1... C M. N observações x j. L atributos
Fundamentos da Teoria da Probabilidade
Fundamentos da Teoria da Probabilidade Edmar José do Nascimento (Princípios de Comunicações) http://www.univasf.edu.br/ edmar.nascimento Universidade Federal do Vale do São Francisco Sinais Aleatórios
p( y θ ) depende de um parâmetro desconhecido θ.
55Modelação, Identificação e Controlo Digital 55 Método de Máxima Verosimilhança (Maximum Likelihood) Seja y uma variável aleatória (v. a.) cuja densidade de probabilidade p( y θ ) depende de um parâmetro
Novembro/2018. Ajuste Automático ao Histórico em Simulação de Reservatórios
Ajuste Automático ao Histórico Simulação de Reservatórios Flavio Dickstein Paulo Goldfeld Renan V. Pinto IM/UFRJ IM/UFRJ LabMAPetro/UFRJ Novembro/2018 Simulação sob incerteza (i) O reservatório é inacessível
Aprendizado Probabilístico: Bayes
Aprendizado Probabilístico: Bayes SCC-230 Inteligência Artificial Prof. Thiago A. S. Pardo 1 Pergunta O que ocê sabe sobre Bayes? 2 1 Pastor presbiteriano Resposta 1 3 Resposta 2 Em 1931, tee publicado
Introdução ao Processamento Estatístico de Sinais
Charles Casimiro Cavalcante charles@gtel.ufc.br Grupo de Pesquisa em Telecomunicações Sem Fio GTEL Departamento de Engenharia de Teleinformática Universidade Federal do Ceará UFC http://www.gtel.ufc.br/
Aprendizado Bayesiano Anteriormente...
Aprendizado Bayesiano Anteriormente... Conceito de Probabilidade Condicional É a probabilidade de um evento A dada a ocorrência de um evento B Universidade de São Paulo Instituto de Ciências Matemáticas
Redes Bayesianas. Prof. Júlio Cesar Nievola PPGIa Escola Politécnica PUCPR
Redes Bayesianas Prof. Júlio Cesar Nievola PPGIa Escola Politécnica PUCPR Raciocínio com Incerteza Incerteza: qualidade ou estado de não ser conhecido com certeza Fontes de incerteza: Ignorância: qual
Minera c ao de Dados Aula 6: Finaliza c ao de Regress ao e Classifica c ao Rafael Izbicki 1 / 33
Mineração de Dados Aula 6: Finalização de Regressão e Classificação Rafael Izbicki 1 / 33 Como fazer um IC para o risco estimado? Vamos assumir que ( X 1, Ỹ1),..., ( X s, Ỹs) são elementos de um conjunto
Disciplina: Processamento Estatístico de Sinais (ENGA83) - Aula 03 / Detecção de Sinais
Disciplina: Processamento Estatístico de Sinais (ENGA83) - Aula 03 / Detecção de Sinais Prof. Eduardo Simas (eduardo.simas@ufba.br) Programa de Pós-Graduação em Engenharia Elétrica/PPGEE Universidade Federal
Estatística e Modelos Probabilísticos - COE241
Estatística e Modelos Probabilísticos - COE241 Aulas passadas Espaço Amostral Álgebra de Eventos Axiomas de Probabilidade Análise Aula de hoje Probabilidade Condicional Independência de Eventos Teorema
ESTATÍSTICA COMPUTACIONAL
ESTATÍSTICA COMPUTACIONAL Ralph dos Santos Silva Departamento de Métodos Estatísticos Instituto de Matemática Universidade Federal do Rio de Janeiro Sumário Escolha de modelos Até aqui assumimos que z
Exame de Aprendizagem Automática
Exame de Aprendizagem Automática 2 páginas com 12 perguntas e 3 folhas de resposta. Duração: 2 horas e 30 minutos DI, FCT/UNL, 12 de Janeiro de 2017 Nota: O exame está cotado para 40 valores. Os 20 valores
Metodologia de inversão
6 Metodologia de inversão Nesta tese, a transformação de velocidades em pressão de poros é encarada como um problema de inversão. Pela natureza do problema, essa transformação apresenta caráter não único
Aprendizagem de Máquina
Aprendizagem de Máquina Modelos gráficos probabilísticos Redes bayesianas Modelos gráficos probabilísticos Os modelos gráficos probabilísticos utilizam representações diagramáticas das distribuições de
Probabilidade. É o conjunto de todos os possíveis resultados de um experimento aleatório.
Probabilidade Introdução O trabalho estatístico se desenvolve a partir da observação de determinados fenômenos e emprega dados numéricos relacionados aos mesmos, para tirar conclusões que permitam conhecê-los
Exame de Aprendizagem Automática
Exame de Aprendizagem Automática 2 páginas com 11 perguntas e 3 folhas de resposta. Duração: 2 horas e 30 minutos DI, FCT/UNL, 5 de Janeiro de 2016 Nota: O exame está cotado para 40 valores. Os 20 valores
03/06/2014. Tratamento de Incertezas TIC Aula 18. Conteúdo Inferência Estatística Clássica
Tratamento de Incertezas TIC-00.176 Aula 18 Conteúdo Professor Leandro Augusto Frata Fernandes laffernandes@ic.uff.br Material disponível em http://www.ic.uff.br/~laffernandes/teaching/2014.1/tic-00.176
Estatística e Modelos Probabilísticos - COE241
Estatística e Modelos Probabilísticos - COE241 Aula passada Probabilidade Análise Combinatória Independência de eventos Aula de hoje Independência de eventos Prob. Condicional Teorema da Probabilidade
Algoritmos de Aprendizado
Algoritmos de Aprendizado Regra de Hebb Perceptron Delta Rule (Least Mean Square) Back Propagation Radial Basis Functions (RBFs) Competitive Learning Hopfield Algoritmos de Aprendizado Regra de Hebb Perceptron
Agrupamento de dados. Critério 1: grupos são concentrações de dados k-means Critério 2: grupos são conjuntos de elementos próximos entre si espectral
Agrupamento de dados Critério 1: grupos são concentrações de dados k-means Critério 2: grupos são conjuntos de elementos próximos entre si espectral Dados e grafos Se temos dados x i, i 0... n, criamos
Reconhecimento de Padrões. Reconhecimento de Padrões
Reconhecimento de Padrões 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 Escola Superior de Tecnologia Engenharia Informática Reconhecimento de Padrões Prof. João Ascenso e Prof.
Fabrício Olivetti de França. Universidade Federal do ABC
Classificação: Naive Bayes Fabrício Olivetti de França Universidade Federal do ABC Tópicos 1. Naive Bayes 1 Naive Bayes Aprendizado Probabiĺıstico Foi mencionado anteriormente que o uso da função logística
EST029 Cálculo de Probabilidade I Cap. 3: Probabilidade Condicional e Independência
EST029 Cálculo de Probabilidade I Cap. 3: Probabilidade Condicional e Independência Prof. Clécio da Silva Ferreira Depto Estatística - UFJF 1 Perguntas 1. Um novo aparelho para detectar um certo tipo de
Comunicaçõ. ções Digitais II. Texto original por Prof. Dr. Ivan Roberto Santana Casella
PTC-43 Comunicaçõ ções Digitais II Texto original por Prof. Dr. Ivan Roberto Santana Casella Representaçã ção o Geométrica de Sinais A modulação digital envolve a escolha de um sinal específico s i (t)
Máquinas de Vetores de Suporte
Máquinas de Vetores de Suporte Marcelo K. Albertini 14 de Setembro de 2015 2/22 Máquinas de Vetores de Suporte Support Vector Machines (SVM) O que é? Perceptron revisitado Kernels (núcleos) Otimização
Classificação: 1R e Naïve Bayes. Eduardo Raul Hruschka
Classificação: 1R e Naïve Bayes Eduardo Raul Hruschka Agenda: Conceitos de Classificação Técnicas de Classificação One Rule (1R) Naive Bayes (com seleção de atributos) Super-ajuste e validação cruzada
CE Estatística I
CE 002 - Estatística I Agronomia - Turma B Professor Walmes Marques Zeviani Laboratório de Estatística e Geoinformação Departamento de Estatística Universidade Federal do Paraná 1º semestre de 2012 Zeviani,
Aprendizagem de Máquina
Aprendizagem de Máquina Inferência estatística lassificador bayesiano Inferência estatística Na inferência estatística, toma-se uma decisão usando a informação contida numa amostra. Na abordagem paramétrica,
Estatística e Modelos Probabilísticos - COE241
Estatística e Modelos Probabilísticos - COE241 Aulas passadas Espaço Amostral Álgebra de Eventos Axiomas de Probabilidade Análise Combinatória Aula de hoje Probabilidade Condicional Independência de Eventos
Controle Ótimo - Aula 6 Exemplos e Exercícios
Controle Ótimo - Aula 6 Exemplos e Exercícios Adriano A. G. Siqueira e Marco H. Terra Departamento de Engenharia Elétrica Universidade de São Paulo - São Carlos Probabilidades Probabilidade: número entre
Redes Neuronais e Aprendizagem Automática 1
Redes Neuronais e Aprendizagem Automática 2005/2006 18 a aula Fernando.Silva@ist.utl.pt Instituto Superior Técnico Redes Neuronais e Aprendizagem Automática 1 Sumário Árvores de decisão (continuação) Redes
Vetor de Variáveis Aleatórias
Vetor de Variáveis Aleatórias Luis Henrique Assumpção Lolis 25 de junho de 2013 Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 1 Conteúdo 1 Vetor de Variáveis Aleatórias 2 Função de Várias
ELEMENTOS DE PROBABILIDADE. Prof. Paulo Rafael Bösing 25/11/2015
ELEMENTOS DE PROBABILIDADE Prof. Paulo Rafael Bösing 25/11/2015 ELEMENTOS DE PROBABILIDADE Def.: Um experimento é dito aleatório quando o seu resultado não for previsível antes de sua realização, ou seja,
Objetivos. Frequência Relativa X Probabilidade. Probabilidade. 1. Definições: Experimento Espaço Amostral Evento Probabilidade
Magnos Martinello Universidade Federal do Espírito Santo - UFES Departamento de Informática DI Laboratório de Pesquisas em Redes Multimidia LPRM Objetivos 1. Definições: Experimento Espaço Amostral Evento
Vetor de Variáveis Aleatórias
Vetor de Variáveis Aleatórias Luis Henrique Assumpção Lolis 14 de abril de 2014 Luis Henrique Assumpção Lolis Vetor de Variáveis Aleatórias 1 Conteúdo 1 Vetor de Variáveis Aleatórias 2 Função de Várias
Introdução à Bioestatística
Instituto Nacional de Cardiologia March 11, 2015 1 2 3 Os primeiros estudos surgiram no século XVII Teve origem nos jogos de azar Grandes nomes da matemática desenvolveram teorias de probabilidades: Pascal
Probabilidade e Estatística
Probabilidade e Estatística Aula 4 Probabilidade: Conceitos Básicos - parte 2 Leituras: Obrigatória: Devore, Capítulo 2 Complementar: Bertsekas e Tsitsiklis, Capítulo 1 Chap 4-1 Objetivos Nesta aula, aprenderemos:
a) 9,1% b) 98,9% c) 3,3%
1 de 5 - Probabilidade Básica - 1. (1.0 Ponto) No lançamento de um dado duas vezes consecutivas, responda: a) qual a probabilidade da soma dos resultados dos dois dados ser par e primo? b) qual a probabilidade
Aprendizado indutivo. Marcelo K. Albertini. 17 de Abril de 2014
Aprendizado indutivo Marcelo K. Albertini 17 de Abril de 2014 2/22 Aprendizado indutivo O que é? Porque é difícil? Como podemos resolver problemas de indução? 3/22 Aprendizado supervisionado Temos: exemplos
Inferência Bayesiana - Aula 3 -
Inferência Bayesiana - Aula 3 - Márcia D Elia Branco Universidade de São Paulo Instituto de Matemática e Estatística Os problemas de estimação e teste de hipóteses podem ser vistos como problemas de decisão.
Introdução à Probabilidade
Introdução à Probabilidade Silvia Shimakura silvia.shimakura@ufpr.br Probabilidade O que é probabilidade? Medida que quantifica a incerteza frente a um acontecimento futuro Como quantificar incerteza?
Revisão de Probabilidade
Revisão de Probabilidade Magnos Martinello Universidade Federal do Espírito Santo - UFES Departamento de Informática DI Laboratório de Pesquisas em Redes Multimidia LPRM Motivação Em qualquer modelo realístico
Classificação. Eduardo Raul Hruschka
Classificação Eduardo Raul Hruschka Agenda: Conceitos de Classificação Técnicas de Classificação One Rule (1R) Naive Bayes (com seleção de atributos) Super-ajuste e validação cruzada Combinação de Modelos
Métodos Estatísticos Básicos
Aula 7 - Probabilidade condicional e independência Departamento de Economia Universidade Federal de Pelotas (UFPel) Maio de 2014 Probabilidade condicional Seja (Ω, A, P) um espaço de probabilidade. Se
Aprendizagem de Máquina
Aprendizagem de Máquina Alessandro L. Koerich Programa de Pós-Graduação em Engenharia Elétrica Universidade Federal do Paraná (UFPR) Combinação de Classificadores Filosofia O objetivo da combinação de
7 Seleção de Atributos
7 Seleção de Atributos Diferentes abordagens são usadas para criar novos atributos que ajudem a classificar o sentimento. Porém, pouca ênfase tem sido dada a técnicas de seleção desses atributos. Wiebe
Gibbs Sampler para ANOVA e Misturas
Gibbs Sampler para ANOVA e Misturas Renato Assunção - DCC, UFMG Outubro de 014 1 Modelo ANOVA: componentes de variância Suponha que temos K grupos ou classes. Em cada grupo, temos um certo número de dados
Estatística Bayesiana EST047
Estatística Bayesiana EST047 Michel Helcias Montoril Instituto de Ciências Exatas Universidade Federal de Juiz de Fora Conceitos iniciais; Distribuições condicionais Conceitos iniciais Questão Como incorporar
Aula de hoje Aula passada
Aula 2 Aula passada Logística, programação, regras do jogo Três problemas Monte Carlo to the rescue História das origens Monte Carlo na Computação Aula de hoje Espaço amostral Probabilidade Eventos Independência
Aprendizagem de Máquina
Aprendizagem de Máquina Alessandro L. Koerich/Alceu S. Britto Programa de Pós-Graduação em Informática Pontifícia Universidade Católica do Paraná (PUCPR) Combinação de Classificadores Filosofia O objetivo
Aprendizado de Máquina (Machine Learning)
Ciência da Computação Aprendizado de Máquina (Machine Learning) Aula 09 Árvores de Decisão Max Pereira Classificação É a tarefa de organizar objetos em uma entre diversas categorias pré-definidas. Exemplos
Canais discretos sem memória e capacidade do canal
Canais discretos sem memória e capacidade do canal Luis Henrique Assumpção Lolis 17 de outubro de 2013 Luis Henrique Assumpção Lolis Canais discretos sem memória e capacidade do canal 1 Conteúdo 1 Canais
1.4.2 Probabilidade condicional
M. Eisencraft 1.4 Probabilidades condicionais e conjuntas 9 Portanto, P(A B) = P(A)+P(B) P(A B) (1.2) Para eventos mutuamente exclusivos, P(A B) = e P(A)+P(B) = P(A B). 1.4.2 Probabilidade condicional
O teorema de Bayes é uma igualdade simples que vem da afirmação de que prob(a e B) = prob(b e A): prob(a B) prob(b) prob(a)
O teorema de Bayes O teorema de Bayes é uma igualdade simples que vem da afirmação de que prob(a e B) = prob(b e A): prob(b A) = no qual o denominador é a probabilidade total. prob(a B) prob(b), (4) prob(a)
Análise Bayesiana de Dados - Aplicações 1 -
Análise Bayesiana de Dados - Aplicações 1 - Márcia D Elia Branco Universidade de São Paulo Instituto de Matemática e Estatística www.ime.usp.br/ mbranco - sala 295-A - Aplicações da IB : Pressão sistólica
Introdução à Probabilidade - parte III
Introdução à Probabilidade - parte III Erica Castilho Rodrigues 02 de Outubro de 2012 Eventos Independentes 3 Eventos Independentes Independência Em alguns casos podemos ter que P(A B) = P(A). O conhecimento
Inteligência nos Negócios (Business Inteligente)
Inteligência nos Negócios (Business Inteligente) Sistemas de Informação Sistemas de Apoio a Decisão Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 6) Fundamentação da disciplina Analise de dados Decisões
Classificadores Bayesianos
Escola Politécnica da Universidade de São Paulo Departamento de Engenharia de Computação e Sistemas Digitais - PCS PCS5708 Técnicas de Raciocínio Probabilístico em Inteligência Artificial Classificadores
Método para Classificação: - Naïve Bayes.
Método para Classificação: - Naïve Bayes. Modelagem statística (Bayesiana): Contrariamente ao 1R, usa todos os atributos; Duas premissas: Atributos igualmente importantes; Atributos estatisticamente independentes
Prof.: Joni Fusinato
Probabilidade Condicional Prof.: Joni Fusinato joni.fusinato@ifsc.edu.br jfusinato@gmail.com Probabilidade Condicional É a probabilidade de ocorrer um evento A sabendo-se que já ocorreu um evento B. Assim,
Reconhecimento de Padrões/Objetos
Reconhecimento de Padrões/Objetos André Tavares da Silva andre.silva@udesc.br Capítulo 12 de Gonzales Reconhecimento de Padrões (imagem) Objetivo: Interpretar o conteúdo da imagem através de um mapeamento
AGA Análise de Dados em Astronomia I 8. Inferência Bayesiana e MCMC
1 / 1 AGA 0505- Análise de Dados em Astronomia I 8. Inferência Bayesiana e MCMC Laerte Sodré Jr. 1o. semestre, 2018 2 / 1 Inferência Bayesiana inferência bayesiana consideremos um conjunto de dados D que
1 Classificadores Bayseanos Simples
Aula 12 - Classificadores Bayseanos Curso de Data Mining Sandra de Amo Classificadores Bayseanos são classificadores estatísticos que classificam um objeto numa determinada classe baseando-se na probabilidade
Prof.: Eduardo Vargas Ferreira
Universidade Federal do Paraná Laboratório de Estatística e Geoinformação - LEG Introdução Prof.: Eduardo Vargas Ferreira O que é Machine Learning? Estatística Data Mining 2 O que é Machine Learning? Estatística
Eisencraft e Loiola 2.1 Probabilidade 37. Para resolver problemas de probabilidades são necessários 3 passos:
Eisencraft e Loiola 2.1 Probabilidade 37 Modelo matemático de experimentos Para resolver problemas de probabilidades são necessários 3 passos: a Estabelecimento do espaço das amostras b Definição dos eventos
Bioestatística: Probabilidade. Prof: Paulo Cerqueira Jr.
Bioestatística: Probabilidade Prof: Paulo Cerqueira Jr. Probabilidade: Definições: Probabilidade; Espaço amostral; Evento; Independência de eventos; Teorema de Bayes; Probabilidade: Variáveis aleatórias;
Independência Regra de Bayes Redes Bayesianas
Independência Regra de Bayes Redes Bayesianas Inferência Probabilística Evidência observada: dor. Qual é a probabilidade de cárie dado que foi observado dor? P cárie dor = P(cárie dor) P(dor = 0,6 Independência
Probabilidade Aula 03
0303200 Probabilidade Aula 03 Magno T. M. Silva Escola Politécnica da USP Março de 2017 Sumário Teorema de Bayes 2.5 Independência Teorema de Bayes Sejam A 1,,A k uma partição de S (eventos disjuntos)
Sumário. 2 Índice Remissivo 12
i Sumário 1 Definições Básicas 1 1.1 Fundamentos de Probabilidade............................. 1 1.2 Noções de Probabilidade................................ 3 1.3 Espaços Amostrais Finitos...............................
Disciplina: Processamento Estatístico de Sinais (ENGA83) - Aula 05 / Detecção Binária Baseada em
Disciplina: Processamento Estatístico de Sinais (ENGA83) - Aula 05 / Detecção Binária Baseada em Múltiplas Observações e Detecção com Múltiplas Hipóteses Prof. Eduardo Simas (eduardo.simas@ufba.br) Programa
Árvores de decisão. Marcelo K. Albertini. 17 de Agosto de 2015
Árvores de decisão Marcelo K. Albertini 17 de Agosto de 2015 2/31 Árvores de Decisão Nós internos testam o valor de um atributo individual ramificam de acordo com os resultados do teste Nós folhas especificam
Probabilidade I. Departamento de Estatística. Universidade Federal da Paraíba
Probabilidade I Departamento de Estatística Universidade Federal da Paraíba Prof. Tarciana Liberal (UFPB) Aula Probabilidade Condicional 08/16 1 / 56 Introdução É provável que você ganhe um aumento....
2. INTRODUÇÃO À PROBABILIDADE
2. INTRODUÇÃO À PROBABILIDADE 2019 Conceitos básicos Experimento aleatório ou fenômeno aleatório Situações ou acontecimentos cujos resultados não podem ser previstos com certeza. Um experimento ou fenônemo
Classificação de textos: definição & relevância para ORI
Conteúdo Classificação de textos: definição & relevância para ORI Classificação de textos & Naive Bayes 1 / 47 Conteúdo Classificação de textos: definição & relevância para ORI Classificação de textos
Aula de Exercícios - Teorema de Bayes
Aula de Exercícios - Teorema de Bayes Organização: Rafael Tovar Digitação: Guilherme Ludwig Primeiro Exemplo - Estagiários Três pessoas serão selecionadas aleatóriamente de um grupo de dez estagiários
Aprendizagem de Máquina
Aprendizagem de Máquina Alessandro L. Koerih Programa de Pós-Graduação em Informátia Pontifíia Universidade Católia do Paraná (PUCPR Aprendizagem Bayesiana Plano de Aula Introdução Teorema de Bayes Classifiador
canal para sinais contínuos
Processos estocásticos, Entropia e capacidade de canal para sinais contínuos 24 de setembro de 2013 Processos estocásticos, Entropia e capacidade de canal para1 sin Conteúdo 1 Probabilidade de sinais contínuos
Introdução à Probabilidade
Introdução à Probabilidade Silvia Shimakura silvia.shimakura@ufpr.br Probabilidade O que é probabilidade? Medida que quantifica a incerteza de um acontecimento futuro. Como quantificar incerteza? Definição
EES-20: Sistemas de Controle II. 20 Novembro 2017
EES-20: Sistemas de Controle II 20 Novembro 2017 1 / 57 Recapitulando: Filtro de Kalman para sistema de 1a ordem Foi considerado o caso de estado x[k] escalar, com G = 1 e C = 1, por simplicidade: Equação
Introdução à Probabilidade
Introdução à Probabilidade Silvia Shimakura silvia.shimakura@ufpr.br Probabilidade O que é probabilidade? Medida que quantifica a incerteza de um acontecimento futuro. Como quantificar incerteza? Definição