Entropia, Ganho de informação e Decision trees

Transcrição

1 Entropia, Ganho de informação e Decision trees O exemplo de hoje foi baseado no livro Machine learning de Tom M. Mitchell. Para esse exemplo vamos usar um conjunto de dados simples: A tabela acima consiste em um conjunto de treino com 14 instâncias cada uma com 4 atributos, a primeira coluna é apenas para contar os dias e a última representa as classes de cada instância. Vamos fazer algumas análises nesse conjunto de treino. Entropia A entropia é normalmente usada na teoria da informação para medir a pureza ou impureza de um determinado conjunto. A pergunta que ela responde é: O quanto diferente/iguais esses elementos são entre si? Claro que as aplicações desse conceito vai muito além da teoria da informação.

2 Vemos ao lado o clássico exemplo da entropia sendo aplicada a um conjunto de dados binários. No caso, colocando no eixo das abscissas a proporção de exemplos positivos dos conjuntos. Na origem vemos que temos zero exemplos positivos o que implica em uma entropia igual a zero, pois temos um conjunto todo negativo. Quando a proporção de exemplos positivos chega a 0,5 temos o grau mais alto de entropia, pois em um conjunto binário esse é o ápice da mistura, depois ela vem diminuindo outra vez. Pense sobre a figura acima um pouco e tente captar o conceito. Abordaremos a fórmula de maneira bem prática o intuito é que você leitor consiga entender e reproduzi-la facilmente em código. Primeiramente é a proporção de exemplos em relação a todo conjunto e é o número no qual temos que elevar 2 para chegarmos ao valor em questão temos também que é o número de classes que estamos usando. Vamos calcular a entropia de todo o conjunto. Voltando na tabela vemos que temos 5 exemplos positivos e 9 negativos, é muito comum usar a notação [9+,5-], como a entropia é um somatório de todos os temos que: Antes de fazermos os cálculos mostrarei uma propriedade dos logaritmos muito útil para você que ira utilizar calculadora para realizar os cálculos. Pois geralmente as bases usadas são 10: Vamos a um exemplo óbvio.

3 Ou seja, 2 elevado a 3 é igual a 4. Uma importante observação é que quando formos calcular de 0 iremos assumir que é 0,por motivos que espero esclarecer no futuro, e claro para valores igual 1 teremos também um valor igual a 0. Todo número elevado a 0 é igual a 1. Voltando ao exemplo anterior temos: Então essa é a entropia total do conjunto também representa a entropia de cada coluna/atributo. Esse índice será usado como parâmetro para outros índices um deles é o ganho de informação. O ganho de informação Uma vez medida a entropia do conjunto podemos aplicar o ganho de informação para selecionar o melhor atributo para ser o primeiro Node de uma árvore por exemplo. Eu sei que parece chato a primeira vista mas não é nem um bicho de sete cabeças. Vamos interpretar com bastante calma essa fórmula. Vamos analisar a seguinte notação primeiro o S representa o conjunto todo e A representa o atributo em questão. Lembre-se que um atributo é representado por uma coluna logo podemos fazer uma análise de todos os atributos e selecionar aquele que tem o maior ganho de informação. Quando vemos estamos nos referindo a um somatório aplicado a valores de um conjunto, será feito uma iteração para cada valor desse conjunto, no caso os valores do atributo. é a proporção da frequência de v em relação ao conjunto todo e depois multiplicamos isso pela entropia do subconjunto que contem esses valores para esse atributo. O ganho de informação nesse contexto nos permite criar um índice para medir qual o melhor atributo para ser o primeiro Node da árvore. Vamos aos cálculos: Consideramos que a entropia do conjunto todo vale com isso podemos calcular o ganho de informação do primeiro atributo expectativa. Vamos antes disso criar uma tabela de frequência com os valores da primeira coluna.

4 Temos quatro colunas com a Frequência relativa de cada valor juntamente com a ocorrência de valores positivos e negativos em cada um. Com isso podemos calcular o ganho de informação da primeira coluna e saber se ela é um bom atributo para ser a raiz da árvore. Então teremos: Como vimos para calcular a entropia do conjunto usamos fazendo isso para cada subconjunto de Expectativa teremos: Logo: Fazendo o mesmo processo nos outros conjuntos: A conclusão que tiramos é que o melhor atributo seria Expectativa para ser a raiz da árvore. Vamos apenas para exemplificar a situação começar a construir a árvore de duas maneiras diferentes. A primeira fazendo o Atributo como Node e os Ramos como seus valores ficaria dessa forma:

5 Usamos o primeiro Atributo para ser a raiz da árvore e cada ramo representa um conjunto de instâncias que por sua vez devem ser reavaliadas para formar novos ramos. Com exceção do Ramo nublado pois segundo o conjunto de treino quandoexpectativa = nublado é certo que é um exemplo positivo. Poderíamos também fazer uma árvore binária, nesse casso procuraríamos dentro do Atributo com maior ganho de informação o valor com a menor entropia. Para nossa sorte fica claro que quando Expectativa=Nublado a classe da instância é certamente positiva logo podemos usar este valor para ser o primeiro Node da árvore.

6 Repare que quando a resposta é não ainda tem várias instâncias a serem classificadas, caso se interesse em continuar fazendo o processo é o mesmo basta supor que esse node é uma nova árvore e continuar o processo de medir o ganho de informação selecionar o melhor atributo no caso do primeiro exemplo ou selecionar ou o melhor atributo e valor no segundo caso. Muito bem queridos leitores para aqueles que tiveram a paciência de chegar ate aqui muito obrigado primeiramente por ler esse post isso é importante para mim. E que tenha sido útil para você continuar desenvolvendo seus skills nessa área fascinante.