Modelos Supervisionados de Árvores de Decisão: aplicabilidade como ferramenta para geração de conhecimento

Transcrição

1 Modelos Supervisionados de Árvores de Decisão: aplicabilidade como ferramenta para geração de conhecimento Claudia Sciortino de Reina, Diego Monteforte Pintor, Larissa Souza Catalá e Luciana Valforte IBOPE Inteligência Resumo As inúmeras técnicas de modelagem estatística proporcionam cada vez mais a geração de conhecimento sobre bases de dados estruturados, fornecendo informações dinâmicas às ações de marketing em todos os segmentos de mercado. Dentre estas técnicas, destacam-se os modelos supervisionados de árvore de decisão como importantes classificadores quanto à propensão a determinado produto, marca, e, no campo político, à campanha de um candidato. Este artigo aborda, comparativamente, a aplicabilidade dos principais modelos de árvore de decisão (CART, QUEST, CIT, Random Forest) em uma base de dados proveniente de uma Pesquisa de Intenção de voto no 1º turno 1 para Prefeito de São Paulo em 2008, realizada pelo IBOPE Inteligência. Adicionalmente, a identificação de características políticas, socioeconômicas e demográficas associadas a cada segmento de eleitores proporciona a estruturação e manutenção de uma base de conhecimento sobre a Intenção de voto nos candidatos à Prefeitura da cidade de São Paulo. Palavras-chave: modelos de árvores de decisão, modelos de classificação, eleições municipais em São Paulo/ Brasil. Abstract The many statistical modeling techniques available today provide a growing generation of knowledge about structured databases, offering dynamic information to the marketing actions in all market segments. Among these techniques, the supervised decision tree models can be highlighted as important classifiers concerning the propensity to a particular product, brand, and, in the political field, to the campaign of a candidate. This article comparatively discusses the applicability of the main models of decision tree (CART, QUEST, CIT, Random Forest) in a database which comes from a political poll conducted by IBOPE Inteligência about vote intention in the 1 st. round 2 for Mayor of São Paulo in Additionally, the identification of political, socioeconomic and demographic characteristics associated to each segment of voters provides the creation and maintenance of a knowledge base about the intention of voting for the candidates for the City Hall of São Paulo. 1. Introdução A partir do momento em que se deseja entender mais sobre os perfis dos eleitores quanto à sua Intenção de voto em um determinado candidato dentro de um processo 1 Pesquisa registrada sob o número SPPE na 1ª Zona Eleitoral de São Paulo/ SP 2 Research registered under the number SPPE in the 1 st Electoral Zone of São Paulo/SP 1

2 eleitoral, faz-se necessário dispor de técnicas estatísticas e recursos computacionais que aportem na geração de conhecimento sobre estes eleitores. Neste sentido, este trabalho visa contribuir na aplicação comparativa entre os principais modelos supervisionados de árvore de decisão sobre uma base de dados proveniente da Pesquisa Prognóstico de Intenção de voto no 1º turno para Prefeito de São Paulo em 2008, realizada pelo IBOPE Inteligência entre os dias 9 e 11 de setembro de Os atuais avanços computacionais permitem um grande armazenamento de informações, transformando-as em bancos de dados dinâmicos capazes de gerar conhecimento, ampliar o relacionamento com clientes, estender o campo de atuação, entre outras ações de marketing que se tornam, rotineiramente, desafios crescentes de todas as empresas. Nesta dinâmica, as modelagens estatísticas transformam dados em conhecimento e oferecem insumos multivariados às tomadas de decisões. Os modelos supervisionados permitem não só classificar (segmentar) uma base de dados a partir de uma variável resposta (variável de interesse) e de variáveis independentes, como também predizer a classificação de um novo registro/observação sobre o qual se conhecem apenas os valores das variáveis independentes. Pode-se afirmar ser esta a principal diferença frente aos modelos não supervisionados, tais como redes neurais, mapa de Kohonen, entre outros. Adicionalmente, os modelos supervisionados de árvore de decisão se destacam de outros também supervisionados por permitir ao analista/usuário selecionar as regras mais relevantes para entender e explicar o evento de seu interesse, reduzindo assim o número de regras para caracterizá-lo. Apoiando-se nestas facilidades, o presente trabalho se propõe a analisar a base de dados de uma Pesquisa de Intenção de voto no 1º turno para Prefeito de São Paulo em 2008, investigando as principais técnicas de árvore de decisão e suas aplicabilidades computacionais por meio dos softwares estatísticos R (plataforma free) e AnswerTree da SPSS, permitindo assim comparar os modelos com o objetivo de identificar aquele com melhor ajuste e menor risco estimado de má classificação, no que se refere a predizer a Intenção de voto a partir das características demográficas, socioeconômicas e políticas dos eleitores. Por fim, o presente trabalho espera alcançar os seguintes resultados: Descrever os perfis sócio-demográficos dos eleitores de acordo com sua Intenção de voto no 1º turno para Prefeito de São Paulo no ano de 2008, aportando para a formação de uma base de conhecimento dentro das pesquisas de opinião pública e servindo como subsídio para o planejamento de campanhas eleitorais; Aplicar os modelos supervisionados de árvore de decisão quanto à Intenção de voto para Prefeito do Município de São Paulo a fim de fomentar suas aplicações e automatizações na geração de uma base de conhecimento dentro das pesquisas de opinião pública. A Figura 1 permite visualizar os objetivos do presente trabalho, tendo como base a ideia de Knowledge Discovery in Database (KDD) apresentada por Fayyad (1996). 2

3 FIGURA 1: VISÃO GERAL DO TRABALHO Fonte: Adaptação dos autores ao esquema proposto por Fayyad (1996) 2. Contextualização das Árvores de Decisão As árvores de decisão utilizam a estratégia de dividir para conquistar. A ideia central é encontrar a solução para um problema a partir de sua sucessiva decomposição (similar à regra computacional If-Then) em subproblemas de menores dimensões. De forma recursiva, a mesma estratégia é aplicada a cada subproblema. Partindo deste princípio, a Figura 2 oferece um exemplo hipotético da aplicabilidade da árvore de decisão dentro de um processo eleitoral com dois turnos, onde é possível caracterizar os perfis daqueles eleitores que votaram ou não em ambos os turnos. FIGURA 2: EXEMPLO DE UMA ÁRVORE DE DECISÃO Fonte: Elaborada pelos autores Vale mencionar que esta figura se restringe apenas à ilustração da técnica e que esta abordagem não será considerada no presente trabalho. Para mais detalhes sobre a 3

4 identificação de eleitores propensos a participar de um processo eleitoral, ver Murray (2009). Em Fonseca (1994) e Diniz (2000), se observa que a técnica de Árvore de Decisão toma como entrada uma situação descrita por um conjunto de atributos e retorna uma decisão, que é um valor predito para o valor de entrada. Os atributos de entrada podem ser discretos ou contínuos, destinando-se à Classificação (modelo de predição com classificação) ou à Regressão (modelo de predição com regressão) de uma nova observação (novo registro ou indivíduo), respectivamente. Fonseca (1994) apresenta as principais técnicas (com suas vantagens e desvantagens) utilizadas na construção de modelos classificatórios, entre os quais se destacam os classificadores baseados em árvore de decisão, cujo algoritmo mais conhecido é o CART (Classification and Regression Trees), ver Breiman et al. (1984). Este classificador se destaca por sua irrestrita aplicabilidade e facilidade de entendimento frente ao fenômeno investigado. Portanto, será considerado entre os algoritmos aplicados no presente trabalho. Al Ghoson (2010) contextualiza como a técnica de árvore de decisão divide uma base de dados heterogênea (por conter inúmeras informações/variáveis distintas) em subgrupos homogêneos usando a descoberta de conhecimento de forma direta (ou orientada por metas ), a qual trata de explicar um target específico a partir da base de dados a fim de encontrar padrões que possam predizer eventos futuros usando uma cadeia de regras de decisão. Vale destacar que os modelos de regras de decisão são modelos exploratórios de fácil avaliação e entendimento. Estes modelos consideram uma cadeia (conjunto) de regras de decisão com o objetivo de classificar ou predizer um novo registro; para isso, utilizam algoritmos que se baseiam em dois tipos de divisão (divisão binária e divisão múltipla) e na combinação das variáveis de entrada. De acordo com a natureza da variável de interesse e do modelo aplicado, existem duas medidas quanto à melhor divisão ( medida da qualidade da divisão ) realizada, a saber: Para o modelo de classificação, observa-se o aumento da medida de pureza (homogeneidade) ou a diminuição da entropia (heterogeneidade) dos dados. Para o modelo de regressão, observa-se a redução da variância dos dados. Em ambos os casos se analisa também a taxa de má classificação, por meio da matriz de confusão, responsável por quantificar o volume de observações/registros mal classificados pelo modelo de árvore de decisão. Com base no exposto acima, a próxima seção descreve os diversos algoritmos aplicados para a construção das árvores de decisão, a fim de alcançar os objetivos apresentados anteriormente. 3. Metodologia O principal aspecto teórico associado à utilização de modelos de árvore de decisão é a forma de crescimento da árvore, ou seja, os critérios empregados para particionar a amostra em grupos cada vez menores e homogêneos. Como existem diversos algoritmos que realizam esse processo, descrevem-se nesta seção as particularidades dos mais aplicados, são eles: CART (Classification and Regression Tree) 4

5 CHAID (Chi-squared Automatic Interaction Detector) Exhaustive CHAID (Exhaustive Chi-square Automatic Interaction Detector) QUEST (Quick, Unbiased, Efficient Statistical Tree) CIT (Conditional Inference Tree) Random Forest (em português, Floresta Aleatória) O software AnswerTree versão 2.1 da SPSS contém os modelos de árvore de decisão CART, CHAID, Exhaustive CHAID e QUEST. 3.1 CART Classification and Regression Tree Este algoritmo se caracteriza por construir árvores binárias (cada nó da árvore tem exatamente duas ramificações). O processo de crescimento da árvore leva em conta essa particularidade, e, uma vez que esteja finalizado, há a possibilidade de podar a árvore obtida. Adicionalmente, este algoritmo tem a capacidade de gerar árvores de regressão, em que as folhas fornecem um valor de previsão numérico e não uma categoria. Nesse caso, o método CART procura por partições que minimizem o erro quadrático médio de previsão, como se pode ver em Breiman et al. (1984). 3.2 CHAID - Chi-squared Automatic Interaction Detector Utilizando como critério um teste estatístico de significância, o método CHAID avalia todos os valores de uma potencial variável independente, unindo categorias que são estatisticamente homogêneas em relação à variável resposta e mantendo aquelas que são estatisticamente heterogêneas. Uma vez selecionada a variável independente que possui a maior interação com a variável dependente, o método então cria a primeira ramificação da árvore, onde cada nó será composto de valores homogêneos da variável selecionada. O teste estatístico utilizado depende do tipo da variável resposta: se ela for contínua, será utilizado um teste F de Fisher; por outro lado, se ela for categórica, usa-se um teste Qui-Quadrado. Vale destacar que o método CHAID é não binário (ou seja, pode produzir mais de duas ramificações em qualquer nível da árvore) e trabalha com todos os tipos de variáveis, embora as variáveis dependentes contínuas sejam automaticamente categorizadas, conforme se vê em AnswerTree 3.1 User s Guide (2002). 3.3 Exhaustive CHAID Este algoritmo é uma modificação do algoritmo CHAID desenvolvida para aprimorar algumas de suas limitações, em particular o fato de que o método CHAID pode não achar a partição ótima para uma dada variável. Devido a isso, o algoritmo Exhaustive CHAID é mais seguro do que seu antecessor, embora seu tempo de execução seja maior, conforme se vê em AnswerTree 3.1 User s Guide (2002). 3.4 QUEST Quick, Unbiased, Efficient Statistical Tree Este algoritmo se caracteriza por particionar a base de dados através de uma única variável explicativa ou de uma combinação linear delas. Para cada ramificação, a associação entre cada atributo de entrada (relativo às variáveis explicativas) e o atributo alvo é medida usando um teste F ou um teste de Levene, no caso de atributos ordinais ou contínuos, ou o Qui-Quadrado de Pearson, no caso de atributos nominais. 5

6 Com base no exposto acima, a Tabela 1 resume as características dos algoritmos presentes no software AnswerTree, a partir da qual é possível observar que não há um deles que seja superior aos demais com relação a todas as características apresentadas. Desta forma, a escolha do algoritmo a ser utilizado depende da natureza do problema e da precisão requerida. TABELA 1: RESUMO DAS TÉCNICAS DE ÁRVORE DE DECISÃO CARACTERISTICAS CHAID* CART QUEST Variável dependente Qualquer tipo Qualquer tipo Nominal Poda da árvore Não Sim Sim Custos de classificação errada Sim Sim Sim Distribuição de probabilidade a priori Não Sim Sim Valores faltantes Sim Sim Sim Árvore binária Não Sim Sim *Inclui Exhaustive CHAID Fonte: Adaptada de AnswerTree 3.1 User s Guide (2002). A escolha do software R, por sua vez, deve-se à facilidade da criação de modelos de árvore de decisão através do algoritmo CART, bem como à possibilidade de implementação de técnicas mais sofisticadas, tais como CIT e Random Forest. 3.5 CIT Conditional Inference Trees Esta é uma técnica não-paramétrica desenvolvida por Hothorn (2006), aplicável tanto a variáveis categóricas quanto numéricas, a qual se baseia na teoria de testes de permutação de Strasser (1999). A implementação computacional desta técnica ocorre através do pacote party no software R. 3.6 Random Forest A técnica de Random Forest pode ser entendida como uma extensão da técnica de árvores de decisão, não no sentido de que seja mais apropriada para conjuntos de dados maiores, mas sim por se tratar de um procedimento que faz uso de métodos de reamostragem (bootstrapping, por exemplo) a fim de melhorar a precisão dos modelos construídos. De acordo com Sá Lucas (2011), tal técnica consiste, essencialmente, em: Bagging: gerar, através de reamostragem, um conjunto de subamostras provenientes da amostra original, selecionadas de maneira aleatória simples com reposição; Boosting: construir, para cada subamostra, um modelo de árvore de decisão, aumentando a ponderação das observações incorretamente classificadas com base nos modelos criados para as outras subamostras; e Randomizing: desenvolver os modelos de árvore de decisão utilizando, em cada nó, um conjunto de variáveis selecionadas aleatoriamente, diferente para cada nó. 6

7 A implementação computacional ocorre através do pacote randomforest no software R. Pela Tabela 2, é possível observar que o modelo CART é o único presente em ambos os softwares. TABELA 2: DESCRIÇÃO DOS ALGORITMOS DE ÁRVORE DE DECISÃO POR SOFTWARE Algoritmos Software CHAID Ex CHAID QUEST CART CIT Random Forest AnswerTree X X X X R X X X Fonte: Elaborada pelos autores. 4. Descrição e Análise da Base de Dados Esta seção está formada pelas seguintes duas subseções: descrição e análise da base de dados. 4.1 Descrição da Base de Dados Considerando os propósitos deste trabalho, a base de dados selecionada foi a Pesquisa de Prognóstico no 1º turno da Eleição para Prefeito de São Paulo em 2008, a fim de construir modelos de árvore de decisão para explicar a Intenção de voto (variável resposta/dependente) dos eleitores da capital paulista em função de variáveis demográficas, sociais, econômicas e de aspecto político (variáveis explicativas/ independentes) presentes na referida base. A pesquisa foi realizada no município de São Paulo, onde foram realizadas entrevistas no período de 9 a 11 de setembro de 2008 com eleitores de 16 anos ou mais que votavam no próprio município. O modelo de amostragem utilizado foi o de conglomerados em dois estágios. No primeiro estágio foram selecionados os conglomerados (setores censitários) com PPT (Probabilidade Proporcional ao Tamanho) sistemático. A medida de tamanho corresponde à população de 16 anos ou mais residente nos setores censitários. Dentro de cada conglomerado sorteado, selecionouse no segundo estágio um número fixo de eleitores segundo cotas de sexo, grupos de idade, instrução e ramo de atividade. Optou-se por estudar a Intenção de voto cuja resposta foi estimulada, uma vez que em 30% das respostas espontâneas obteve-se Nenhum/Branco/Nulo ou Não sabe. Na Figura 3, se observa a pergunta do questionário da pesquisa relativa à Intenção de voto estimulada, podendo-se notar que a variável correspondente é do tipo qualitativa nominal, pois é definida por várias categorias entre as quais não existe ordenação. A Tabela 3 apresenta a distribuição de frequências desta variável; devido ao pequeno número de entrevistados com intenção de votar em alguns dos candidatos, foram agrupados Anaí Caproni, Ciro, Ivan Valente, Levy Fidelix, Renato Reichmann e Soninha em uma única categoria denominada Outros. 7

8 FIGURA 3: PERGUNTA NO QUESTIONARIO QUANTO A INTENÇÃO DE VOTO (RESPOSTA ESTIMULADA) TABELA 3: DISTRIBUIÇÃO DA VARIÁVEL INTENÇÃO DE VOTO ESTIMULADA Frequência % % Acumulado Anai Caproni-29-PCO 1 0,1 0,1 Ciro-36-PTC 3 0,3 0,4 Geraldo Alckmin-45-PSDB ,7 21,1 Gilberto Kassab-25-DEM ,6 41,7 Ivan Valente-50-PSOL 6 0,6 42,3 Levy Fidelix-28-PRTB 2 0,2 42,5 Marta-13-PT ,4 77,8 Maluf-11-PP 79 7,9 85,7 Renato Reichmann-33-PMN 1 0,1 85,8 Soninha-23-PPS 30 3,0 88,8 Branco/ Nulo 45 4,5 93,3 Não sabe 59 5,9 99,2 Não respondeu 8 0,8 100,0 Total ,0 A Tabela 4 apresenta a distribuição da variável dependente, Intenção de voto estimulada, reclassificada em seis níveis. Devido à transformação das categorias Não sabe e Não respondeu em missing values, o tamanho da amostra passa a ser de 934 eleitores. As variáveis independentes, cujas relações com a variável dependente serão analisadas através das árvores de decisão, são: Sexo; Idade Simples; Escolaridade; Ramo de Atividade; Zona da Capital; Renda Individual (em salários mínimos); Renda Familiar (em salários mínimos); 8

9 Rejeição ao candidato Geraldo Alckmin; Rejeição ao candidato Gilberto Kassab; Rejeição à candidata Marta; Rejeição ao candidato Maluf; Candidato vencedor, segundo opinião do entrevistado; Avaliação do atual prefeito (Gilberto Kassab); Avaliação do atual governador (José Serra); e Avaliação do atual presidente (Lula). Válidos TABELA 4: DISTRIBUIÇÃO DA VARIÁVEL INTENÇÃO DE VOTO ESTIMULADA RECLASSIFICADA Frequência % % Válidos % Acumulado Geraldo Alckmin PSDB ,7 22,2 22,2 Gilberto Kassab DEM ,6 22,1 44,2 Marta PT ,4 37,9 82,1 Maluf PP 79 7,9 8,5 90,6 Outros 43 4,3 4,6 95,2 Nenhum/Branco/Nulo 45 4,5 4,8 100,0 Total ,3 100,0 Missingvalues 67 6,7 Total A seguir, antes de iniciar a construção dos modelos de árvore de decisão, são apresentadas algumas análises descritivas das variáveis independentes com respeito à variável resposta, com base nos resultados apresentados na Tabela 5 adiante. Entre os eleitores do Maluf, 67,1% são do Sexo Masculino. A análise da distribuição das Faixas Etárias pela Intenção de voto mostra que o grupo que declarou votar em algum dos candidatos agrupados na categoria Outros tem um perfil mais jovem: 44% dos eleitores com idade inferior a 30 anos e ninguém com idade igual ou superior a 50 anos. Quanto ao Nível de Instrução dos entrevistados, observou-se que entre os que declararam votar em algum dos candidatos agrupados na categoria Outros, 79,1% possuem escolaridade igual ou superior a Colegial Incompleto. Os eleitores dos candidatos Geraldo Alckmin e Gilberto Kassab são os mais instruídos, com 33% e 32% deles, respectivamente, cursando ou já tendo concluído o Nível Superior. Por outro lado, entre aqueles que declararam Intenção de votar na candidata Marta, os de mesmo grau de escolaridade representam apenas 12,4%. A análise descritiva da variável Ramo de Atividade pela Intenção de voto mostrou que, entre os eleitores com Intenção de votar no candidato Maluf, há uma maior proporção de pessoas que trabalham nos setores de Transporte e Comunicações do que a média geral: 10,1% naquele grupo contra 5,6% no total da amostra. Já entre aqueles que responderam que votariam em 9

10 Nenhum/Branco/Nulo, o percentual de Inativos representa 20%, enquanto que nos demais esse percentual não supera o valor de 16%. Para a realização da pesquisa dividiu-se a cidade de São Paulo em 07 Zonas da Capital, a saber: Centro, Norte, Leste 1, Leste 2, Sul 1, Sul 2 e Oeste. Considerando essa divisão geográfica, observou-se que a candidata Marta é a que apresenta, quanto à Intenção de voto, as maiores diferenças por zona, enquanto a Intenção de voto nos candidatos Geraldo Alckmin e Gilberto Kassab se mantém mais próxima ao padrão encontrado no total da amostra. Por sua vez, o candidato Maluf apresentou maior aceitação na zona Leste 1, onde reside 29,1% de seu eleitorado. Observa-se que 19,5% dos entrevistados que relataram ter intenção de votar no Maluf afirmaram possuir Renda Pessoal superior a 5 salários mínimos; este percentual, entre os que expressaram intenção de votar no Gilberto Kassab, Geraldo Alckmin e em Nenhum/Branco/Nulo, correspondeu a 13,7%, 14,3% e 14%, respectivamente. Já entre os entrevistados que pretendiam votar na candidata Marta, os que declararam possuir Renda Pessoal maior que 5 salários mínimos representam apenas 6,6%. Analisando a Renda Familiar dos eleitores, é possível identificar a mesma tendência observada com a Renda Pessoal: o percentual de respondentes que pretendiam votar no Gilberto Kassab, Geraldo Alckmin ou Nenhum/Branco/Nulo, com Renda Familiar superior a 10 salários mínimos, é maior que o percentual do total de eleitores com essa faixa de Renda Familiar. Por outro lado, entre os eleitores propensos a votar na Marta, o percentual de respondentes com Renda Familiar superior a 10 salários é menor que o mesmo percentual para o total da amostra. Analisando a variável que identifica aqueles candidatos que os eleitores declararam Não Votar de Jeito Nenhum, é possível perceber que, dos eleitores que se recusavam a votar na candidata Marta, cerca de 1/3 declararam Intenção de votar no Geraldo Alckmin e 1/3 no Gilberto Kassab. Já os eleitores que disseram Não Votar de Jeito Nenhum nestes dois últimos candidatos são, na sua maioria, eleitores da candidata Marta. Com exceção dos eleitores que pretendiam votar nos candidatos Geraldo Alckmin e Gilberto Kassab, os quais acreditavam que seus respectivos candidatos poderiam se eleger prefeito naquela ocasião, a maioria dos demais eleitores manifestou Acreditar na Vitória da candidata Marta para a Prefeitura de São Paulo em Como o candidato Gilberto Kassab era naquele momento o próprio Prefeito de São Paulo, era de se esperar que os eleitores que declararam intenção de reelegê-lo para o mesmo cargo avaliassem sua administração mais positivamente (84% a consideraram boa ou ótima). Entre os eleitores que pretendiam votar no Geraldo Alckmin, esse percentual atingiu 56,2%; por outro lado, 30% dos eleitores que mostraram preferência pela Marta e pelo Maluf consideraram a Administração do Prefeito Gilberto Kassab ruim ou péssima, enquanto que, entre os entrevistados propensos a votar no Geraldo Alckmin, esse percentual foi de apenas 8,9%. 10

11 A Avaliação do Governador José Serra foi mais positiva entre os eleitores com Intenção de votar nos candidatos Geraldo Alckmin e Gilberto Kassab, atingindo um percentual de avaliações boas ou ótimas superior a 60% em ambos os grupos. Já entre os eleitores que declararam intenção de votar em Outros ou em Nenhum/Branco/Nulo, o percentual que considerou sua administração ruim ou péssima estava entre 24% e 45%, sendo mais expressivo no grupo que não pretendia votar (Nenhum/Branco/Nulo). A avaliação mais positiva para a Administração do Presidente Lula foi dada pelo grupo de eleitores que declararam intenção de votar na candidata Marta (72% a consideraram como boa ou ótima). Por outro lado, aqueles que declararam intenção de votar no Geraldo Alckmin ou no Maluf foram os que avaliaram mais negativamente a atuação do presidente Lula, com cerca de 30% de cada grupo considerando sua administração ruim ou péssima. TABELA 5: PRINCIPAIS DIFERENÇAS NA DISTRIBUIÇÃO DAS VARIÁVEIS INDEPENDENTES COM RELAÇÃO À INTENÇÃO DE VOTO Variáveis Independentes Geraldo Alckmin Gilberto Kassab Marta Maluf Outros Nenhum /Branco /Nulo Sexo Masculino 47% 43% 41% 46% 67% 56% 49% Idade Escolaridade Categorias Total Intenção de Voto 16 a 29 anos 31% 31% 29% 34% 25% 44% 38% 50 anos e mais 27% 34% 30% 24% 30% 0% 22% Até Primário Completo 18% 16% 14% 25% 15% 5% 16% Ginásio Incompleto e Completo 20% 15% 17% 22% 28% 16% 24% Colegial Incompleto e Completo 38% 36% 37% 40% 38% 40% 36% Superior Incompleto e Completo 24% 33% 32% 12% 19% 40% 24% Indústria de Transformação, Construção e Outras 16% 17% 14% 17% 19% 16% 18% Ramo de Atividade Zona da Capital Renda Pessoal Renda Familiar Prestação de Serviços e Comércio 48% 43% 51% 50% 52% 47% 40% Transporte e Comunicação 6% 6% 5% 4% 10% 7% 7% Atividade Social, Outras Atividades e Administração Pública 16% 18% 17% 14% 13% 16% 16% Inativos 14% 15% 14% 15% 6% 14% 20% Centro 5% 10% 4% 2% 3% 2% 9% Norte 16% 16% 20% 13% 16% 23% 18% Leste 1 18% 18% 17% 17% 29% 21% 13% Leste 2 20% 14% 18% 25% 18% 19% 20% Sul 1 13% 17% 18% 7% 14% 16% 16% Sul 2 21% 16% 16% 31% 14% 14% 13% Oeste 6% 8% 6% 5% 6% 5% 11% Até 1 salário mínimo 40% 31% 40% 46% 39% 47% 34% > 5 salários mínimos 11% 14% 14% 7% 19% 14,0% 9% Até 2 salários mínimos 29% 20% 24% 38% 29% 21% 33% > 10 salários mínimos 10,4% 14% 14% 5% 13% 14% 12% Não Votaria de Jeito Nenhum em* 12% 0% 12% 59% 13% 7% 9% Geraldo Alckmin Gilberto Kassab 22% 12% 0% 64% 10% 5% 8% Marta 31% 40% 35% 0% 14% 2% 8% Maluf 53% 20% 23% 46% 0% 6% 5% Avaliação do Prefeito Kassab Avaliação do Governador José Serra Avaliação do Presidente Lula Ótima/Boa 49% 56% 84% 28% 44% 35% 26% Ruim/Péssima 19% 9% 1% 31% 27% 23% 39% Ótima/Boa 46% 67% 62% 31% 39% 33% 10% Ruim/Péssima 18% 5% 10% 24% 25% 36% 45% Ótima/Boa 50% 35% 36% 72% 35% 56% 27% Ruim/Péssima 22% 31% 26% 9% 35% 12% 42% *Resposta Múltipla, o entrevistado pode rejeitar mais de um candidato. Por isso os percentuais das colunas não somam 100%. Fonte: Pesquisa (Tabela adaptada de Nunes et al(2010)) 11

12 Pelos resultados acima, observa-se a importância destas variáveis para a caracterização dos perfis socioeconômicos, demográficos e políticos dos eleitores, bem como, em particular, a percepção dos eleitores quanto às administrações dos governantes (prefeito, governador e presidente) naquele ano. Todas estas informações subsidiam a manter e/ou melhorar o questionário para as próximas eleições e a estruturar uma base de conhecimento dentro do âmbito da pesquisa de opinião pública a qual favoreça o contínuo entendimento sobre o eleitor do município da cidade de São Paulo, como se propõe pela Figura Análise da Base de Dados Para a construção dos modelos de árvore de decisão, foram estruturadas as seguintes análises: Primeira Análise consideram-se todas as 15 variáveis independentes presentes na base de dados. Segunda Análise foram excluídas as 04 variáveis relativas à rejeição aos principais candidatos e aquela relacionada à opinião dos entrevistados quanto ao candidato vencedor da eleição. Assim, consideraram-se as 10 variáveis independentes restantes na base de dados. Terceira Análise além das 05 variáveis desconsideradas na segunda análise, eliminaram-se também as 03 variáveis sobre avaliações dos governantes (prefeito, governador e presidente). Logo, foram consideradas as 07 variáveis independentes restantes na base de dados, todas elas desprovidas de contextualização política. Esta seção está estruturada em duas subseções, a saber: análise das variáveis que compõem os modelos de árvores de decisão, processados nos dois softwares disponíveis para o presente trabalho, e comparação das medidas de qualidade de ajuste destes modelos através das taxas de má classificação Variáveis Presentes nos Modelos As tabelas 6, 7 e 8 mostram as variáveis independentes que entraram em cada um dos modelos de árvore de decisão gerados para cada uma das análises propostas acima. Os algoritmos utilizados estão identificados por software e o número de nós terminais resultante de cada processamento também é apresentado nas tabelas. Das três tabelas abaixo, pode-se afirmar que há diferença no modelo CART por software utilizado, uma vez que as variáveis significativas que participam destes modelos não são as mesmas quando se comparam os resultados dos softwares AnswerTree e R. 12

13 TABELA 6: PRIMEIRA ANÁLISE- VARIÁVEIS SIGNIFICATIVAS NOS MODELOS DE ÁRVORE DE DECISÃO, POR SOFTWARE E MÉTODO Modelo com 15 variáveis Variáveis Software AnswerTree Software R CHAID Ex CHAID CART QUEST CART CIT ZONA DA CAPITAL X SEXO X X IDADE RENDA PESSOAL RENDA FAMILIAR REJEIÇÃO ALCKMIN X REJEIÇÃO KASSAB X REJEIÇÃO MARTA X X X X X X REJEIÇÃO MALUF X X X X X X VENCEDOR X X X X X X AV. PREFEITO X X X X X AV. GOVERNADOR X X X AV. PRESIDENTE X X X X ESCOLARIDADE X RAMO DE ATIVIDADE Nº de nós terminais TABELA 7: SEGUNDA ANÁLISE- VARIÁVEIS SIGNIFICATIVAS NOS MODELOS DE ÁRVORE DE DECISÃO, POR SOFTWARE E MÉTODO Modelo com 10 variáveis Variáveis Software AnswerTree Software R CHAID Ex CHAID CART QUEST CART CIT ZONA DA CAPITAL X SEXO X IDADE X RENDA PESSOAL X X X RENDA FAMILIAR AV. PREFEITO X X X X X X AV. GOVERNADOR X X X X X AV. PRESIDENTE X X X X X X ESCOLARIDADE X X RAMO DE ATIVIDADE X Nº de nós terminais TABELA 8: TERCEIRA ANÁLISE VARIÁVEIS SIGNIFICATIVAS NOS MODELOS DE ÁRVORE DE DECISÃO, POR SOFTWARE E MÉTODO Variáveis Modelo com 7 variáveis Software AnswerTree Software R CHAID Ex CHAID CART QUEST CART CIT ZONA DA CAPITAL X X X X X X SEXO X X X IDADE X X X X X RENDA PESSOAL X RENDA FAMILIAR X ESCOLARIDADE X X X X X RAMO DE ATIVIDADE Nº de nós terminais Considerando ainda as tabelas acima, nota-se que o modelo Exhaustive CHAID apresenta um nó terminal a menos que o CHAID na Primeira e Terceira Análises. As variáveis que ingressaram nestes modelos são as mesmas, exceto na Segunda Análise onde o Exhaustive CHAID não considerou a variável Sexo significativa para explicar a Intenção de voto (estimulada). A Figura 4 apresenta a árvore de decisão pelo algoritmo CHAID para as 15 variáveis explicativas, como se descreve na Primeira Análise mais acima. Na Primeira Análise, o CART do software R foi mais parcimonioso que o CART do software AnswerTree, considerando três variáveis em sua estrutura ao invés de cinco. Nas demais análises, o número de variáveis foi o mesmo para ambos os algoritmos, embora não tenham sido exatamente as mesmas variáveis. 13

14 Considerando a Terceira Análise e comparando os resultados produzidos pelos dois softwares para o mesmo algoritmo CART, conclui-se, analisando a Figura 5, que a variável Zona da Capital é significativa em ambos os softwares para explicar a Intenção de voto estimulada dos entrevistados. No entanto, provavelmente por diferenças intrínsecas aos softwares utilizados, as demais variáveis explicativas não permanecem as mesmas. As variáveis Idade, Renda Pessoal, Renda Familiar e Ramo de Atividade não são significativas em todos os modelos e softwares de árvore de decisão aplicados à base de dados, o que significa que os resultados podem depender do tipo de análise aplicada, modelo e software escolhido. FIGURA 4: MODELO CHAID COM 15 VARIÁVEIS EXPLICATIVAS (PRIMEIRA ANÁLISE) 14

15 Observando a Tabela 6 (Primeira Análise), as variáveis Rejeição Marta, Rejeição Maluf e Candidato vencedor entraram em todos os modelos aplicados. Considerando a Segunda Análise (Tabela 7), a variável Renda Familiar não entrou em nenhum dos modelos, enquanto que as variáveis Avaliação do Prefeito e Avaliação do Presidente entraram em todos os modelos e a variável Avaliação do Governador só não entrou no modelo CART pelo software R. A Figura 6 exemplifica a Segunda Análise para o modelo CHAID. Na Terceira Análise (Tabela 8), a variável Zona da Capital entrou em todos os modelos, a variável Idade só não entrou no CART via o software R e a variável Escolaridade só não entrou no CART via o software AnswerTree. FIGURA 5: MODELO CART COM 07 VARIÁVEIS EXPLICATIVAS (TERCEIRA ANÁLISE) 15

16 FIGURA 6: MODELO CHAID COM 10 VARIÁVEIS EXPLICATIVAS (SEGUNDA ANÁLISE) O método Random Forest, disponível apenas no software R, constrói simultaneamente inúmeras árvores de decisão (segundo interesse do usuário) considerando todas as variáveis selecionadas para a análise. Essa característica o difere dos demais métodos uma vez que não permite a visualização gráfica do resultado final. Para classificar as observações ou registros da base, são utilizadas conjuntamente todas as árvores construídas. Como output, o algoritmo fornece o grau de importância de cada variável explicativa no modelo, medido pelo decréscimo médio por ela proporcionado à medida de impureza considerada, no caso, a medida Gini, ver Therneau (1997). A partir dessas medidas foram calculadas as importâncias relativas das variáveis, de tal forma que a soma de todas elas seja igual a 100%. 16

17 Partindo do descrito na seção 4.2 para a Primeira Análise, a Figura 7 e a Figura 8 apresentam, respectivamente, as Importâncias Relativas e Acumuladas das 15 variáveis explicativas que participam do método Random Forest. FIGURA 7: PRIMEIRA ANÁLISE IMPORTÂNCIA RELATIVA INDIVIDUAL DAS 15 VARIÁVEIS NO MODELO RANDOM FOREST Importância Relativa (%) 15,0% 13,8% 10,2% 9,3% 10,0% 5,0% 8,1% 8,0% 7,9% 7,5% 6,5% 6,4% 6,3% 5,8% 3,4% 2,7% 2,4% 1,7% 0,0% FIGURA 8: PRIMEIRA ANÁLISE CONTRIBUIÇÃO DAS 15 VARIÁVEIS NA EXPLICAÇÃO TOTAL DO MODELO RANDOM FOREST Importância Acumulada (%) 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% VENCEDOR IDADE ZONA DA CAPITAL AV. PRESIDENTE REJEIÇÃO MARTA AV. PREFEITO RENDA PESSOAL RAMO DE ATIVIDADE AV. GOVERNADOR RENDA FAMILIAR ESCOLARIDADE REJEIÇÃO MALUF SEXO REJEIÇÃO KASSAB REJEIÇÃO ALCKIMIN Através das figuras acima é possível afirmar que, dentre as 15 variáveis explicativas, as variáveis que mais contribuem (cerca de 70%) para explicar a Intenção de voto (estimulada), segundo o método Random Forest, são: Candidato vencedor segundo opinião do entrevistado, Idade, Zona da Capital, Avaliação do Presidente Lula, Rejeição à Marta, Avaliação do Prefeito Gilberto Kassab, Renda Pessoal e Ramo de Atividade. Comparando este resultado com aqueles obtidos pelos demais algoritmos descritos na Tabela 6, o método Random Forest apresentou importâncias relativas altas para as variáveis Idade, Renda Pessoal e Ramo de Atividade e considerou irrelevante a variável Rejeição ao Maluf, a qual foi considerada significativa pelos demais métodos de árvore de decisão. 17

18 Analogamente, para a Segunda Análise, a Figura 9 e a Figura 10 apresentam, respectivamente, as Importâncias Relativas e Acumuladas das 10 variáveis explicativas que participam do método Random Forest. FIGURA 9: SEGUNDA ANÁLISE IMPORTÂNCIA RELATIVA INDIVIDUAL DAS 10 VARIÁVEIS NO MODELO RANDOM FOREST Importância Relativa (%) 20,0% 16,7% 12,9% 15,0% 11,8% 11,1% 10,0% 9,0% 8,8% 8,3% 7,7% 10,0% 5,0% 0,0% 3,7% FIGURA 10: SEGUNDA ANÁLISE CONTRIBUIÇÃO DAS 10 VARIÁVEIS NA EXPLICAÇÃO TOTAL DO MODELO RANDOM FOREST Importância Acumulada (%) 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% IDADE ZONA DA CAPITAL AV. PRESIDENTE AV. PREFEITO RENDA PESSOAL RAMO DE ATIVIDADE AV. GOVERNADOR RENDA FAMILIAR ESCOLARIDADE SEXO Diante das duas figuras acima se pode constatar que mesmo com a exclusão das variáveis Candidato vencedor e Rejeição aos quatro principais candidatos, as variáveis Idade, Zona da Capital, Avaliação do Presidente Lula, Avaliação do Prefeito Gilberto Kassab, Renda Pessoal e Ramo de Atividade seguem sendo as que mais explicam (cerca de 70%) a Intenção de voto, segundo o modelo construído pelo Random Forest considerando 10 variáveis explicativas. A principal diferença deste modelo em relação aos demais algoritmos descritos na Tabela 7 é que a variável Avaliação do Governador Serra, que foi considerada relevante para quase todos os modelos (exceto o CART via software R), não apresentou Importância Relativa alta para este modelo Random Forest com 10 variáveis explicativas. 18

19 De forma similar, a Figura 11 e a Figura 12 apresentam, respectivamente, as Importâncias Relativas e Acumuladas para a Terceira Análise (07 variáveis explicativas) de acordo com o método Random Forest. FIGURA 11: TERCEIRA ANÁLISE IMPORTÂNCIA RELATIVA INDIVIDUAL DAS 07 VARIÁVEIS NO MODELO RANDOM FOREST Importância Relativa (%) 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0% 28,5% 17,7% 13,1% 12,8% 11,8% 10,6% 5,4% FIGURA 12: TERCEIRA ANÁLISE CONTRIBUIÇÃO DAS 07 VARIÁVEIS NA EXPLICAÇÃO TOTAL DO MODELO RANDOM FOREST Importância Acumulada (%) 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% IDADE ZONA DA CAPITAL RENDA PESSOAL RAMO DE ATIVIDADE RENDA FAMILIAR ESCOLARIDADE SEXO A Terceira Análise, quando processada pelo Random Forest, continua considerando as variáveis Idade, Zona da Capital, Renda Pessoal e Ramo de Atividade como aquelas que mais contribuem para explicar a Intenção de voto estimulada dos eleitores no 1º. turno. Em resumo, o método Random Forest considerou as variáveis Idade, Renda Pessoal, Zona da Capital e Ramo de Atividade importantes nas três análises propostas para aplicação dos modelos de árvore de decisão, enquanto que para os outros métodos essas variáveis foram incluídas à medida que as variáveis de caráter mais político eram retiradas do processo de construção das árvores de decisão. Vale destacar que a variável Ramo de Atividade, relevante pelo método Random Forest em todas as análises, só foi incluída pelo algoritmo CIT na Segunda Análise. Já a variável Escolaridade, que mostrou maior importância para os demais algoritmos 19

20 com a exclusão das variáveis de contexto político, não apresentou uma Importância Relativa significativa pelo método Random Forest Medidas de Qualidade do Ajuste dos Modelos de Árvore de Decisão A medida de qualidade do ajuste dos modelos é expressa pela Taxa de Má Classificação, que é a proporção de casos classificados erroneamente sobre o total de casos na amostra. Quanto menor a taxa, melhor é o modelo. Para ilustrar a obtenção dessa medida, é apresentado a seguir um exemplo da Matriz de Confusão e o cálculo da Taxa de Má Classificação Geral. Visando dispor de mais informações sobre os ajustes dos modelos de árvore de decisão, foram adicionalmente calculadas as Taxas de Má Classificação para cada um dos três principais candidatos (com seu desvio-padrão) e a Taxa de Má Classificação para os três conjuntamente. A Tabela 9 exemplifica a matriz de confusão e as taxas de má classificação geral, dos três principais candidatos e de cada um deles, respectivamente, para o método CHAID de acordo com a Primeira Análise. TABELA 9: EXEMPLO DE MATRIZ DE CONFUSÃO PARA CÁLCULO DAS TAXAS DE MÁ CLASSIFICAÇÃO PRIMEIRA ANÁLISE E MÉTODO CHAID Intenção de voto (Categoria Real) Geraldo Alckmin Gilberto Kassab Marta Maluf Outros N/B/N Total Geraldo Alckmin Gilberto Kassab Intenção de voto (Categoria Estimada) Marta Maluf Outros N/ B/ N Total Taxa de má classificação geral = ( )/934 = 0,39615 Taxa de má classificação dos três principais candidatos = ( )/( ) = 0,28422 Taxa de má classificação Geraldo Alckmin = ( )/207 = 0,42995 Taxa de má classificação Gilberto Kassab = ( )/206 = 0,44660 Taxa de má classificação Marta = ( )/354 = 0,10452 Para a Primeira Análise (15 variáveis explicativas), a Tabela 10 e a Figura 13 mostram certa coerência entre as medidas de qualidade de ajuste para os distintos algoritmos e softwares utilizados. Além disso, o algoritmo CART apresentou resultados levemente superiores em ambos os softwares, AnswerTree e R, ou seja, Taxas de Má Classificação Geral menores e Taxas de Má Classificação Individuais dos principais candidatos mais homogêneas entre si. Já os algoritmos Exhaustive CHAID e QUEST, embora tenham Taxas de Má Classificação Geral e para os 3 principais candidatos muito próximas àquelas obtidas pelos demais métodos, apresentam Taxas de Má 20

21 Classificação Individuais para os candidatos Gilberto Kassab e Geraldo Alckmin, respectivamente, consideravelmente superiores às taxas dos outros métodos. TABELA 10: PRIMEIRA ANÁLISE MEDIDAS DE QUALIDADE DOS MODELOS, POR SOFTWARE Medidas Software AnswerTree Software R CHAID Ex CHAID CART QUEST CART CIT RF Taxa geral de má classificação 0,40 0,39 0,39 0,44 0,38 0,38 0,39 Taxa de má classificação - 3 principais candidatos 0,28 0,28 0,26 0,32 0,27 0,28 0,29 Taxa de má classificação - Alckmin 0,43 0,36 0,41 0,64 0,41 0,47 0,45 Taxa de má classificação - Kassab 0,45 0,56 0,44 0,33 0,49 0,46 0,47 Taxa de má classificação - Marta 0,10 0,07 0,07 0,13 0,07 0,07 0,09 Desvio-Padrão das taxas - Alckmin, Kassab e Marta 0,19 0,25 0,21 0,25 0,22 0,23 0,21 FIGURA 13: PRIMEIRA ANÁLISE GRÁFICOS DAS MEDIDAS DE QUALIDADE DOS MODELOS, POR SOFTWARE 15 Variáveis - AnswerTree 15 Variáveis - R 0,7 0,7 0,6 0,6 0,5 0,5 0,4 0,4 0,3 0,3 0,2 0,2 0,1 0,1 0 Alckmin Kassab Marta 3 candidatos 0 Alckmin Kassab Marta 3 candidatos CHAID Ex CHAID CART QUEST CART CIT RF Para a Segunda Análise (10 variáveis explicativas), a Tabela 11 e a Figura 14 mostram as medidas de qualidade para cada um dos modelos aplicados à base de dados. Por meio destas informações, é possível perceber, pela Taxa de Má Classificação Geral, que os algoritmos executados pelo software R geraram modelos com melhor ajuste em relação aos executados no software AnswerTree. Entre os algoritmos executados pelo mesmo software, não há muita diferença entre as Taxas Gerais e dos 3 candidatos. No entanto, as Taxas de Má Classificação Individuais dos 3 principais candidatos diferem substancialmente de um algoritmo para outro. Em uma situação como essa, pode-se ter interesse em analisar o nível de precisão que se admite ou que se deseja para os candidatos separadamente. Por exemplo, entre os algoritmos do software R, optando pelo modelo CART, obtém-se a menor Taxa de Má Classificação para a candidata Marta e, em contrapartida, a maior Taxa de Má Classificação para o candidato Geraldo Alckmin. Por outro lado, ao se optar pelo método Random Forest, dispõe-se de uma Taxa de Má Classificação menor para o candidato Geraldo Alckmin, ao passo que as Taxas de Má Classificação dos candidatos Gilberto Kassab e Marta sobrepassam aquelas obtidas pelo método anterior. 21

22 TABELA 11: SEGUNDA ANÁLISE MEDIDAS DE QUALIDADE DOS MODELOS, POR SOFTWARE Modelo com 10 variáveis Medidas Software AnswerTree Software R CHAID Ex CHAID CART QUEST CART CIT RF Taxa geral de má classificação 0,52 0,51 0,49 0,53 0,48 0,49 0,49 Taxa de má classificação - 3 principais candidatos 0,41 0,41 0,38 0,42 0,36 0,38 0,39 Taxa de má classificação - Alckmin 0,77 0,61 0,62 1,00 0,86 0,83 0,61 Taxa de má classificação - Kassab 0,65 0,50 0,57 0,48 0,31 0,18 0,50 Taxa de má classificação - Marta 0,06 0,24 0,14 0,06 0,10 0,23 0,20 Desvio-Padrão das taxas - Alckmin, Kassab e Marta 0,38 0,19 0,27 0,47 0,39 0,36 0,21 FIGURA 14: SEGUNDA ANÁLISE GRÁFICOS DAS MEDIDAS DE QUALIDADE DOS MODELOS, POR SOFTWARE 10 Variáveis - AnswerTree 10 Variáveis - R 1,2 1, ,8 0,8 0,6 0,6 0,4 0,4 0,2 0,2 0 Alckmin Kassab Marta 3 candidatos CHAID Ex CHAID CART QUEST 0 Alckmin Kassab Marta 3 candidatos CART CIT RF Para a Terceira Análise (07 variáveis explicativas), a Tabela 12 e a Figura 15 mostram que as Taxas de Má Classificação Geral dos métodos utilizados nos dois softwares, AnswerTree e R, são muito parecidas. O método Random Forest, apesar de ter uma Taxa de Má Classificação Geral um pouco maior entre os algoritmos executados no software R, é o que apresenta menor variabilidade entre as Taxas de Má Classificação Individuais dos principais candidatos. Pela mesma razão, o método CHAID pode ser considerado levemente superior aos demais métodos aplicados no software AnswerTree. TABELA 12: TERCEIRA ANÁLISE MEDIDAS DE QUALIDADE DOS MODELOS, POR SOFTWARE Modelo com 7 variáveis Medidas Software AnswerTree Software R CHAID Ex CHAID CART QUEST CART CIT RF Taxa geral de má classificação 0,58 0,58 0,59 0,59 0,56 0,58 0,62 Taxa de má classificação - 3 principais candidatos 0,49 0,49 0,50 0,50 0,47 0,49 0,54 Taxa de má classificação - Alckmin 0,70 0,61 0,67 0,73 0,70 0,56 0,72 Taxa de má classificação - Kassab 0,67 0,83 0,79 0,90 0,82 0,91 0,78 Taxa de má classificação - Marta 0,26 0,22 0,22 0,12 0,14 0,21 0,31 Desvio-Padrão das taxas - Alckmin, Kassab e Marta 0,24 0,30 0,30 0,41 0,36 0,35 0,25 22

23 FIGURA 15: TERCEIRA ANÁLISE GRÁFICOS DAS MEDIDAS DE QUALIDADE DOS MODELOS, POR SOFTWARE 7 variáveis - AnswerTree 7 variáveis - R 1 1 0,8 0,8 0,6 0,6 0,4 0,4 0,2 0,2 0 Alckmin Kassab Marta 3 candidatos CHAID Ex CHAID CART QUEST 0 Alckmin Kassab Marta 3 candidatos CART CIT RF Para finalizar esta seção, vale destacar que foram realizados testes com o agrupamento das categorias Maluf e Outros da variável Intenção de voto estimulada, no entanto, os modelos gerados não expressaram nenhum ganho quanto à qualidade do ajuste em relação aos modelos com estas categorias separadas. Uma análise descritiva do perfil dos eleitores pertencentes a essas categorias mostrou ainda que esses grupos possuem características distintas quanto às variáveis Sexo, Escolaridade, Renda Pessoal, Renda Familiar, Avaliação do Prefeito, Avaliação do Presidente, Rejeição à Marta e, principalmente, Rejeição ao Maluf, uma vez que quase 70% dos que disseram votar em Outros declararam que não votariam no Maluf. Desta maneira, concluiu-se que as categorias Outros e Maluf da variável resposta deveriam ser tratadas por separado. 5. Conclusões O método Random Forest considerou as variáveis Idade, Renda Pessoal, Zona da Capital e Ramo de Atividade importantes nas três análises propostas para aplicação dos modelos de árvore de decisão, enquanto que para os outros métodos essas variáveis foram incluídas à medida que as variáveis de caráter mais político eram retiradas do processo de construção das respectivas árvores a fim de explicar a Intenção de voto estimulada no 1º. turno nas eleições de 2008 para Prefeito da cidade de São Paulo. Os resultados obtidos dos modelos de árvore de decisão mostraram que é possível manter e/ou melhorar o questionário para as próximas pesquisas eleitorais e também estruturar uma base de conhecimento dentro do âmbito da pesquisa de opinião pública que favoreça o contínuo entendimento sobre a Intenção de voto dos eleitores do Município da cidade de São Paulo. 23

24 O aumento expressivo da taxa de má classificação do candidato Gilberto Kassab, entre a Segunda e a Terceira Análises pode ser explicado pela exclusão da variável Avaliação do Prefeito, a qual está altamente correlacionada à Intenção de voto estimulada, uma vez que o candidato Gilberto Kassab era o Prefeito da cidade de São Paulo naquela ocasião. Para os modelos com 15 e 10 variáveis explicativas, Primeira e Segunda Análises, respectivamente, o algoritmo QUEST apresentou Taxas de Má Classificação Geral e dos 3 candidatos maiores que as dos demais algoritmos, enquanto que para o modelo com 07 variáveis explicativas (Terceira Análise), praticamente não houve diferença. As medidas de ajuste dos modelos e as taxas de má classificação resultaram melhores para os modelos de árvore de decisão processados pelo software R. Quanto à homogeneidade das Taxas de Má Classificação Individuais dos 3 candidatos, o método Random Forest, disponível apenas no software R, apresentou as menores variabilidades enquanto que o método QUEST, disponível apenas no software AnswerTree, forneceu as maiores variabilidades. O método CART no software R é o que apresenta as menores Taxas de Má Classificação Geral e dos 3 candidatos. Pelos resultados analisados, o software R se destaca do software AnswerTree por permitir o processamento de algoritmos mais robustos, aumentando o poder de decisão quanto a sua aplicabilidade para caracterizar os perfis dos propensos eleitores quanto à Intenção de voto estimulada no 1 turno para Prefeito da cidade de São Paulo. A aplicabilidade do algoritmo Random Forest, exclusivo do software R, é preferível com relação aos demais algoritmos por: o Analisar simultaneamente inúmeras subamostras dentro da amostra trabalhada; o Ampliar a interação entre as variáveis explicativas e resposta; o Diminuir a má classificação quanto à predição da variação resposta; e o Apresentar menor variabilidade entre as taxas de má classificação de cada categoria da variável resposta. Finalmente, vale destacar que os autores consideram os resultados alcançados como preliminares, tendo em vista a importância de seguir investigando mais profundamente os algoritmos utilizados, por meio da avaliação de sua capacidade de generalização e também de sua eficiência (medida, por exemplo, pelo Coeficiente de Kappa). Além disso, o presente trabalho serve como ponto de partida para a exploração de outros métodos que, como o Random Forest, empregam técnicas de boosting e bagging (tais como o AdaBoost e o MultiBoost), e de softwares tais como o Weka e sua implementação em R, o pacote RWeka. Essas técnicas são abordadas, por exemplo, em Witten et al. (2011). 24

25 6. Referências Bibliográficas Fonseca, J. M. M. R. (1994). Indução de Árvore de Decisão, HistClass Proposta de um algoritmo não paramétrico. Lisboa, Universidade Nova de Lisboa, Faculdade de Ciências e Tecnologia, Departamento de Informática. Breiman, L., Freidman, J., H., OLSHEN R. A. e STONE, C. J. (1984). Classification and Regression Trees. Belmont, CA: Wadworth. AnswerTree 3.1 User s Guide (2002). SPSS Inc. United States of America. Fayyad, U. M. (1996). Advances in Knowledge Discovery & Data Mining, AAAI Press, Diniz, C. A. R. e Neto, F. L. (2000). Data Mining: uma introdução. 14º. SINAPE. Caxambu MG. 24 a 28/07/2000. ABE- Associação Brasileira de Estatística. Sá Lucas, L. (2011). Árvore, florestas e sua função como preditores: uma aplicação na avaliação do grau de maturidade de empresas. PMKT Revista Brasileira de Pesquisas de Marketing, Opinião e Mídia, Número 6 - Março Nunes, M. C., Resende, J. R., Cervelline, S., Giani, M. (2010) Electoral Scenario: Changes and Continuities in the post-lula Brazilian Electoral Behavior. WAPOR 63 rd Annual Conference. Chicago, Therneau, T. M. and Atkinson, E. J. (1997). An Introduction to Recuersive partitioning using the RPART Routines. Mayo Foudation, September 3, Murray, G. R., Riley, C. e Scime, A. (2009). Pre-Election Polling: Identifying Likely Voters Using Iterative Expert Data Mining. Public Opinion Quarterly, Vol. 73, No. 1, Spring 2009, pp Witten, I., Frank, E. e Hall, M. (2011). Data Mining: Practical Machine Learning Tools and Techniques, Morgan Kaufmann, Burlington, MA. 25