Redes Bayesianas. Disciplina: Inteligência Artificial Prof.: Cedric Luiz de Carvalho

Transcrição

1 Redes Bayesianas Disciplina: Inteligência Artificial Prof.: Cedric Luiz de Carvalho

2 Introdução Tópicos Especificação e topologia das Redes Bayesianas Semântica Construção Tipos de Inferência Conclusões e Exercício Referências

3 Introdução: Redes Bayesianas (1) A tabela de distribuição de probabilidade conjunta responde qualquer questão sobre o domínio intratável várias variáveis Dificuldade em especificar as probabilidades dos eventos atômicos O relacionamento de independência e independência condicional entre as variáveis reduz o número de probabilidades da tabela de distribuição conjunta

4 Introdução: Redes Bayesianas (2) Estrutura de dados grafo direcionado, onde cada nó possui uma informação com uma probabilidade quantitativa Representa 3 tipos de conhecimento do domínio: relações de independência entre variáveis aleatórias probabilidades incondicionais de algumas variáveis probabilidades condicionais entre variáveis dependentes

5 Introdução: Redes Bayesianas (3) Permite calcular eficientemente: probabilidade condicional de qualquer variável inferência Conhecimento representado qualquer tabela de Distribuição de Probabilidade Conjunta Completa DPC (abreviado)

6 Redes Bayesianas: especificação (1) 1) um conjunto de variáveis randômicas compõem os nós da rede 2) um conjunto de links ou setas conectam os pares de nós. Por exemplo: se há uma seta do nó X para o nó Y, é lido da seguinte maneira X é dito ser o pai de Y

7 Redes Bayesianas: especificação (2) 3) cada nó Xi possui uma distribuição de probabilidade condicional que quantifica o efeito que o pai tem sobre ele P(Xi Pais(Xi)) 4) O grafo não tem ciclo direcionados Grafo Acíclico Dirigido (DAG)

8 Redes Bayesianas: topologia O conjunto de nós e as ligações especificam os relacionamentos de independência condicional que ocorrem em um domínio O significado de uma seta de X para Y X tem influência direta sobre Y é mais fácil para um especialista descobrir esta influência do que especificar a probabilidade A combinação da topologia e da distribuição condicional para cada variável, dado seu pai, implicitamente especifica a tabela de DPC para todas as variáveis

9 Redes Bayesianas: Exemplo Gripe (1) Exemplo da aula passada: as variáveis Gripe, Febre, DorGarganta, Tempo Tempo é independente das outras variáveis Febre e DorGarganta são independentes condicionalmente

10 Redes Bayesianas: Exemplo Gripe (2) Tempo Gripe DorGarganta Febre

11 Exemplo Alarme (1) Exemplo mais complexo Alarme contra roubo na sua casa O alarme dispara quando detecta um assaltante muito confiável ocorrer um terremoto

12 Exemplo Alarme (2) Você tem dois vizinhos que lhe prometeram chamar em caso de ouvir o alarme João Maria Maria João sempre chama quando ouve o alarme confunde o alarme com o telefone Escuta música em um tom muito alto às vezes não escuta o alarme

13 Exemplo Alarme (3) Roubo Terremoto Alarme JoãoLiga MariaLiga

14 Exemplo Alarme (4) Note na rede não contém nós que correspondam Maria escutar música alta João confundir com o toque do telefone Estes fatores são resumidos na incerteza associada com as ligações de Alarme para JoãoLiga e MariaLiga preguiça: muito trabalho para encontrá-los ignorância na operação: como conseguir estas informações

15 Exemplo Alarme (5) As probabilidades resumem um conjunto potencialmente infinito de circunstâncias em que alarme pode falhar falta de energia, curto-circuito, alta umidade etc. ou João ou Maria não vão me avisar férias, supermercado, surdos, avião etc. É nestes cenários que pequenos agentes podem enfrentar grandes domínios, pelo menos aproximadamente o grau de aproximação pode ser melhorado com adição de informações relevantes

16 P(R) 0,001 Exemplo Alarme (6) Distribuição Condicional para cada variável (nó) P(R) 0,001 Roubo Terremoto P(E) 0,002 Alarme R E P(A) T T 0,95 T F 0,94 F T 0,29 F F 0,001 TPC Tabela de probabilidade condicional A P(J) T 0,90 F 0,05 JoãoLiga MariaLiga A P(M) T 0,70 F 0,01

17 Tabela de probabilidade condicional TPC Cada linha na TPC contém a probabilidade condicional para cada valor do nó para um caso condicionado combinação possível dos valores para os nós pais cada linha deve somar 1 Em geral, para variáveis booleanas com k pais booleanos, terá 2 k probabilidades independentes especificadas Um nó sem pai representa probabilidade incondicional de cada valor da variável

18 Semântica das Redes Bayesianas Há dois caminhos para entender a semântica das redes como representação de uma tabela de distribuição de probabilidade conjunta DPC útil para construção de uma rede como uma codificação de uma coleção de declarações de independência condicional útil para projetar os procedimentos de inferência

19 Representando uma tabela DPC (1) Uma rede Bayesiana provê uma descrição completa de um domínio cada entrada em uma tabela DPC pode ser calculada de informações na rede representa a DPC entre todas as variáveis Uma entrada genérica em uma tabela DPC é a probabilidade de uma conjunção de cada variável com um valor particular P(X 1 = x 1 ^... ^ X n = x n ), ou na forma abreviada P(x 1,..., x n )

20 Representando uma tabela DPC (2) O valor desta entrada é dado pela fórmula P(x 1,..., x n ) = n P(x i pais(x i )) i=1 Onde pais(xi) denota os valores específicos das variáveis imediatas de Xi no grafo Cada entrada na tabela DPC é representada pelo produto dos elementos apropriados das TPCs das redes Bayesianas

21 Representando uma tabela DPC (3) Qual a probabilidade que o alarme tenha disparado, sem haver roubo ou terremoto e que ambos João e Maria ligaram? P(x 1,..., x n ) = n P(x i pais(x i )) (Lembrando) i=1 P(j ^ m ^ a ^ r ^ e) = P(j a) P(m a) P(a r ^ e) P( r) P( e)

22 P(R) 0,001 Representando uma tabela DPC (4) Exemplo Alarme P(R) 0,001 Roubo Terremoto P(E) 0,002 Alarme R E P(A) T T 0,95 T F 0,94 F T 0,29 F F 0,001 TPC Tabela de probabilidade condicional A P(J) T 0,90 F 0,05 JoãoLiga MariaLiga A P(M) T 0,70 F 0,01

23 Representando uma tabela DPC (5) Qual a probabilidade que o alarme tenha disparado, sem haver roubo ou terremoto e que ambos João e Maria ligaram? P(x 1,..., x n ) = n P(x i pais(x i )) (Lembrando) i=1 P(j ^ m ^ a ^ r ^ e) = P(j a) P(m a) P(a r ^ e) P( r) P( e) = 0.90 * 0.70 * * * = = 0.062%

24 Construção de redes Bayesianas (1) Esta equação implica certos relacionamentos de independência condicional podem ser usados para construir uma rede Bayesiana que represente um domínio do mesmo modo de uma tabela DPC Pode-se escrever uma distribuição em termos de probabilidade condicional, usando a regra do produto P(x 1,..., x n ) = P(x n x n-1,..., x 1 ) P(x n-1,..., x 1 ) Repetindo o processo, reduzindo cada probabilidade conjuntiva para probabilidades condicionais. Teremos no final:

25 Construção de redes Bayesianas (2) P(x,..., x ) 1 2 = P(x x,..., x ) P(x x,..., x )... n n-1 1 n-1 n-2 1 P(x x ) P(x ) = n P(x x,..., x ) i i-1 1 i=1 É chamado de Regra da Cadeia

26 Construção de redes Bayesianas (3) Comparando P(x 1,..., x n ) = n P(x i pais(x i )) i=1 e P(x 1,..., x n ) = n P(x i x i-1,..., x 1 ) i=1 São equivalentes P(X i X i-1,..., X 1 ) = P(X i Pais(X i )) Dado que Pais(X i ) está contido {X i-1,..., X 1 } Esta condição é satisfeita na estruturação do grafo

27 Construção de redes Bayesianas (4) A equação diz o seguinte em relação a uma rede Bayesiana: é uma representação correta de um domínio somente se cada nó é condicionalmente independente de seus predecessores na ordenação do nó, dado seus pais Deve-se escolher os pais de cada nó que tenham esta propriedade os pais do nó X i deve conter todos os nós em X 1,..., X i-1 que influenciam diretamente X i

28 Construção de redes Bayesianas (5) Por exemplo, escolher o nó pai para a variável MariaLiga: MariaLiga é influenciada se ocorrer um Roubo ou um Terremoto não diretamente o conhecimento do domínio que influência MariaLiga é somente Alarme JoãoLiga também não influência MariaLiga Formalmente: P(MariaLiga JoãoLiga,Alarme,Roubo,Terremoto) = P(MariaLiga Alarme)

29 Compactação (1) Redes Bayesianas são mais compactas do que as tabela DPC pode manipular mais variáveis A compactação das redes Bayesianas é um exemplo da propriedade de sistemas estruturados localmente cada subcomponente interage com somente um número k de outros componentes independente do número total

30 Compactação (2) Nas redes Bayesianas pode-se supor que cada variavel é influenciada por no máximo k outras variáveis, supondo k constante se supormos n variáveis booleanas, a quantidade de informações para especificar cada TPC será: no máximo, 2 k números a especificação da rede completa será n2 k números contra 2 n números da tabela de DPC

31 Compactação (3) Por exemplo n = 30 nós k = 5 (cinco pais para cada nó, no máximo) rede Bayesiana requer 960 números para especificar as tabelas de probabilidade condicional - TPC tabela de DPC requer mais de 1 bihão de números para especificar a tabela DPC, com o mesmo significado da rede Bayesiana

32 Ordenação dos nós (1) Construir uma rede Bayesiana localmente estruturada não é um problema trivial requer que cada variável seja influenciada diretamente por poucas outras mas, a topologia deve refletir as influências diretas dos pais

33 Ordenação dos nós (2) Como construir uma rede Bayesiana correta 1) escolher um conjunto de variáveis relevantes que descrevam o domínio 2) ordem de inclusão dos nós na rede a) causas como raízes da rede b) variáveis que elas influenciam c) folhas, que não influenciam diretamente nenhuma outra variável

34 Ordenação dos nós (3) Como construir uma rede Bayesiana correta 3) enquanto houver variáveis a representar a) escolher uma variável X i e adicionar um nó para ela na rede b) estabelecer Pais(X i ) dentre os nós que já estão na rede, satisfazendo a propriedade de dependência condicional c) definir a tabela de probabilidade condicional para X i

35 Exemplo de Rede Bayesiana Não Puramente Causal (1) Vamos usar o exemplo do alarme com a seguinte ordem de inserção dos nós: MariaLiga, JoãoLiga, Alarme, Roubo e Terremoto. MariaLiga JoãoLiga Alarme Roubo Terremoto

36 Problemas: Exemplo de Rede Bayesiana Não Puramente Causal (2) a figura possui duas conexões a mais julgamento não natural e difícil das probabilidades avaliar a probabilidade de Terremoto, dado Alarme e Roubo Rede de diagnóstico Tendo uma rede puramente causal, teríamos um número menor de conexões

37 Tipos de Inferência em Redes Bayesianas Causal (da causa para o efeito) P(JoãoLiga Roubo) = 0,86 Roubo Alarme JoãoLiga Evidência 0.95 Diagnóstico (do efeito para a causa) P(Roubo JoãoLiga) = 0, Query JoãoLiga Alarme Roubo Evidência Query

38 Exemplo do Alarme com outra ordenação Vamos usar outro exemplo do alarme com a seguinte ordem de inserção dos nós: MariaLiga, JoãoLiga, Terremoto, Roubo e Alarme. MariaLiga JoãoLiga Terremoto Roubo Alarme

39 Comparação entre as redes A primeira 4 ligações 10 TPC A segunda 6 ligações 13 TPC A terceira 10 ligações 31 TPC (exatamente como uma tabela de DPC) As três representam exatamente a mesma tabela de DPC as duas últimas contém muitos relacionamentos de independência desnecessários

40 Relacionamento de independência na Redes Bayesianas (1) No modelo passado foi provido uma semântica numérica Existe uma outra forma, que a partir da semântica topológica, pode-se chegar aos valores numéricos Segunda forma de entender a semântica de uma rede Bayesiana como uma codificação de uma coleção de declarações de independência condicional útil para projetar os procedimentos de inferência

41 Relacionamento de independência na Redes Bayesianas (2) Um nó é condicionalmente independente de seus não descendentes, dado seus pais JoãoLiga é independente de Roubo e Terremoto, dado o valor de Alarme Roubo Terremoto Alarme JoãoLiga MariaLiga

42 Relacionamento de independência na Redes Bayesianas (3) Um nó é condicionalmente independente de todos os outros nós na rede, dado seus pais, filhos e pais dos filhos Cobertura de Markov Roubo é independente de JoãoLiga e MariaLiga, dado Alarme e Terremoto Roubo Terremoto Alarme JoãoLiga MariaLiga

43 Conclusões (1) Possibilidade de trabalhar com domínios onde não há informação suficiente Raciocínio probabilístico trata o grau de incerteza associado à maioria dos domínios Combina conhecimento a priori com dados observados O impacto do conhecimento a priori (quando correto) é a redução da amostra de dados necessários

44 Conclusões (2) Além do que falamos formas de diminuir as tabela de probabilidade condicional TPC da ordem de O(K), ao invés de O(2 k ) trabalhar com variáveis contínuas algoritmos de inferência e melhoramentos dos mesmos outros modos de raciocinar com incertezas métodos baseados em regras lógica fuzzy raciocínio probabilístico sobre o tempo

45 Exercício (1) Dada a tabela de probabilidade de distribuição conjunta completa sobre doenças da aula passada Construir a tabela de probabilidade condicional para cada nó da rede Bayesiana do Exemplo sobre doenças

46 Exercício (2) sol Tempo 0.7 dor de garganta dor de garganta chuva nublado neve gripe febre febr e febre febr e gripe

47 Resposta Tempo Gripe P(G) 0,20 P(T) S 0,70 C 0,20 Nu 0.08 Ne 0.02 DorGarganta G P(D) T 0,60 F 0,10 Febre G P(F) T 0,90 F 0,20

48 Referências Russel, S, & Norvig, P. (1995). Artificial Intelligence: a Modern Approach Prentice-Hall. Pearl, J. (1988) Probabilistic Reasoning in Inteligent Systems Anais do XXI Congresso da Sociedade Brasileira de Computação. Volume