Data Mining para Classificação das Funções de Uma Instituição Pública a Partir das Semelhanças Entre Suas Competências

Transcrição

1 Data Mining para Classificação das Funções de Uma Instituição Pública a Partir das Semelhanças Entre Suas Competências Celso Bilynkievycz dos Santos (UTFPR/UEPG) bilynkievycz@uepg.br Dr. Luciano Scandelari (UTFPR) luciano@cefetpr.br Dra. Deborah Ribeiro de Carvalho (UTP/IPARDES) deborahcarvalho@onda.com.br Dra. Maria Salete Marcon Gomes Vaz (UEPG) salete@uepg.br Dr. João Carlos Gomes (UEPG) jcgomes@uepg.br Resumo: Este trabalho tem como objetivo extrair conhecimento de uma base de dados do perfil profissiográfico dos servidores de uma instituição pública, para classificar as funções do seu quadro de servidores a partir das semelhanças entre suas competências. Como metodologia para o desenvolvimento do trabalho utilizou-se as etapas do Processo de Descoberta de Conhecimento (Knowledge Discovery in Data Bases - KDD), com o uso das técnicas de Data Mining (DM) construindo um classificador, utilizando-se o algoritmo minerador J48. No estudo buscaram-se, modelos de Árvores de Decisões (AD) superior a 95% de acerto para verificar quais funções mais se assemelham estatisticamente, em relação as suas necessidades de treinamento, para auxiliar na elaboração de possíveis turmas para treinamentos. Conclui-se que 28 das 57 funções do atual quadro de servidores, apresentam as maiores semelhanças, desta, 5 pares apresentam maiores paridades entre si, considerando o nível de escolaridade exigido para a função, e outros 5 pares se assemelham indiferente do nível de escolaridade. Palavras-chave: Data Mining, KDD, Árvores de Decisões. 1. Introdução Uma das principais limitações da análise de dados realizadas por seres humanos é a falta de adequação do cérebro quando se busca dependência multifatoriais complexa e, a falta de objetividade nas análises, principalmente em processo de tomada de decisão envolvendo grandes volumes de dados com opções qualitativas em um contexto quantitativo e multivariado. Além dessas limitações, a experiência faz com que o conhecimento influencie na investigação, algumas vezes auxiliando, outras vezes inbindo a descoberta de conhecimento tácito. Nestas situações os processos de apoio a tomadas de decisão, como o Processo de Descoberta de Conhecimento KDD (Knowledge Discovery in Data Bases) são fundamentais para auxiliar nos melhores julgamentos. Escolheu o tema Data Mining, como objeto de estudo por ser uma das etapas do KDD, que permite descoberta de padrões implícitos em bases de dados, e porque não depende de nenhuma hipótese inicial. Este trabalho tem como objetivo extrair conhecimento de uma base de dados do perfil profissiográfico dos servidores de uma instituição pública, para classificar as funções do seu quadro de servidores a partir das semelhanças entre suas competências, através do uso de técnicas de Data Mining de Árvore de Decisão, para facilitar os planejamentos de turmas de treinamento de funções diferentes, que se assemelham em relação as suas competências. 1

2 2. Data Mining O Data Mining surgiu da união de três conceitos da Estatística, da Inteligência Artificial (IA) e Aprendizagem de Máquina (Machine Learning - LM). Do primeiro herdou seus conceitos clássico de: distribuição normal, variância, desvio simples, análise de regressão, análise de discriminante, análise de conjuntos, e intervalos de confiança; do segundo, recebeu conceitos heurísticos, de como o homem pensa na solução de seus problemas, e do último ganhou seus algoritmos, criados da união da IA e LM (LEMOS, 2003). Data Mining é uma das etapas de um processo maior denominado KDD (Knowledge Discovery in Databases). Um processo de prospecção de conhecimento em bases de dados, que envolve a automação da identificação e do reconhecimento de padrões, que surgiu da surgiu da necessidade de obter conhecimento de grandes massas de dados (GIMENES, 1999; CARVALHO, 1999). O objetivo de um sistema de Data Mining é a descoberta de conhecimento escondido tendo como entrada o dado em estado bruto (não trabalhado). Segundo Lemos (2003), o uso de Data Mining para construção de modelos traz as seguintes vantagens: fácil compreensão; possibilita a analise de grandes bases de dados; descobre informações surpreendentes; as variáveis não necessitam de recodificação; e os modelos são precisos. Além do aprendizado indutivo a partir de bases de dados, um sistema de Data Mining deve criar modelos que possam ser utilizados na tomada de decisão. Para tanto, surge o problema de separar o conhecimento óbvio e irrelevante, do que é efetivamente útil. Surge a necessidade de modelar o conceito de conhecimento interessante, dependente não apenas de cada peça de conhecimento, mas também de fatores ligados ao domínio, ao tipo de usuário, de aplicação e vários outros. 3. Tarefas de KDD A utilização das tarefas de KDD, depende do problema a ser analisado. Para solução de cada problema existem tarefas de KDD específicas, enquanto para execução destas tarefas pode-se recorrer a diversas técnicas de Data Mining. As várias tarefas de KDD, têm como objetivo primário a predição e a descrição. A predição usa atributos para predizer o desconhecido ou os valores futuros de outras variáveis de interesse. A descrição contempla o que foi descoberto nos dados sob o ponto de vista da interpretação humana (FAYYAD et. al, 1996). A tabela abaixo resume as tarefas de KDD e suas respectivas técnicas de DM e algoritmos mais utilizado para solução dos problemas relacionados: 2

3 TABELA 1 Problemas e respectivas Tarefas de KDD e principais Técnicas de Data Mining utilizados para sua solução. Problema Tarefa de KDD Técnica de Data Mining Exemplos de Algoritmos mais utilizados Predição Regressão Regressão CART, M5 Classificação Árvore de Decisão J48 Associação Regras de Associação Apriori, DHP, ABS, Sampling Descrição Particionamento Agrupamento Hierarquia Fonte: Criada a partir das definições de VIANA (2004). K-means O problema de predição, objeto de estudo neste trabalho, pode ser resolvido através de Tarefas de KDD de Classificação, utilizando-se as técnicas de Data Mining de Árvore de Decisão, através da aplicação do Algoritmo minerador J48. A Tarefa de Classificação, segundo Freitas (1998) é considerada a tarefa mais comum em processo de KDD. Ela tem como principal objetivo à classificação automática de novos itens através da análise dos itens atuais. No processo de classificação, os algoritmos de indução de regras resolvem problemas do tipo: descobrir regras para a previsão das classes (valores de uma variável dependente) de novos exemplos do domínio. Como esta descoberta ocorre ao analisar experiências passadas, é necessário nesse processo, que um conjunto de exemplos dessas experiências esteja disponível, de forma que a variável dependente esteja tratada em k classes disjuntas, onde k representa o número de valores possíveis desta variável. Assim sendo, um novo exemplo poderá ser classificado, através da indução, em uma destas k classes. 4. Árvores de Decisão Árvore de decisão é uma maneira de representação do conhecimento descoberto, através de um conjunto de nós de decisão (nós internos), ramos e nós-folhas que configuram um modelo de classificação, onde seus nós de decisão representam: os nomes dos atributos; as folhas: as diferentes classes e os ramos os critérios de decisão. Esta forma de representação é determinada através de algoritmos de tarefas de classificação, que procuraram um relacionamento entre os atributos previsores e o atributo meta, usando registros cuja classe seja conhecida (CARVALHO, 1999). Através do relacionamento descoberto pode-se prever a classe (valor do atributo meta) de um registro de classe desconhecida (CARVALHO, 1999). O algoritmo classificador constrói a árvore a partir dos dados de treinamento, recursivamente subdividindo o conjunto de dados até que cada partição consista de nós puros, isto é, cada nó folha represente apenas uma única classe, ou algum outro critério de parada seja satisfeito, por exemplo, um número mínimo de itens definido pelo usuário é alcançado (SOUSA, 1998). Para exemplificar uma classificação através de árvore de decisão, utilizando o C4.5 aplicou-se o algoritmo nos dados da Tabela 2, que contém um exemplo de uma editora internacional que publica livro Guia de restaurantes franceses na Inglaterra em três países: França, Inglaterra e Alemanha. Esta editora possui um banco de dados de clientes destes três países e deseja saber quais clientes são mais prováveis compradores (para fins de mala-direta). Para tal, foram enviados materiais de propaganda para uma amostra de cliente e registrados se cada cliente HAC 3

4 que recebeu a propaganda comprou ou não o livro, resultando na Figura 1 (CARVALHO, 1999). TABELA 2 Exemplo: Entrada de Dados para Tarefa de Classificação Sexo País Idade Comprar Masculino França 25 Sim Masculino Inglaterra 21 Sim Feminino França 23 Sim Feminino Inglaterra 34 Sim Feminino França 30 Não Masculino Alemanha 21 Não Masculino Alemanha 20 Não Feminino Alemanha 18 Não Feminino França 34 Não Masculino França 55 Não Fonte: FREITAS, 1998 Aplicando o algoritmo C4.5 nos dados da tabela acima, obteve-se a seguinte árvore de decisão (Figura 1): FIGURA 1 Modelo de Árvore de Decisão com 100% de cobertura Analisando cada caminho da árvore de decisão da Figura 12, é possível gerar as seguintes regras de classificação: Se PAÍS = Alemanha, então COMPRAR = Não; Se PAÍS = Inglaterra, então COMPRAR = Sim; Se PAÍS = França e IDADE <= 25, então COMPRAR = Sim; e Se PAÍS = França e IDADE > 25, então COMPRAR = Não. O conjunto de regras acima auxilia na tomada de decisões, possibilitando concluir que a editora teria mais rentabilidade investindo nos clientes da Inglaterra e da França (com menos de 25 anos) do que nos da Alemanha. 4

5 5. Metodologia Sengundo as definiçoes de Vasconcelos (2002), quanto ao objeto essa pesquisa é classificada como Temática ou Focal Simples, pois elege como objeto uma temática específica, com foco preciso para produção de um novo conhecimento com contribuição para os debates teóricos, científicos e técnicos. Quanto ao tipo do objeto e as fontes a serem investigadas classifica-se como Meta-análise, pois constitui um tipo de análise secundária, usado para comparar os dados internos dos estudos quantitativos. Quanto a natureza dos dados e da análise, como mista, com dados qualitativos e quantitativos. Quanto aos objetivos, aplicações e tipo de conhecimento implicado é considerada Aplicada, pois articula dentro de diferentes ciências (Engenharia da Produção e Ciências da Computação) e porque objetiva gerar conhecimentos para aplicações práticas, dirigidas à solução de problema específico. E em relação aos objetivos de DM, segundo Yin (2001), são de natureza: Explanatória, por que explicam padrões através de modelos de Árvores de Decisões. Através da pergunta norteadora: Quais as funções apresentam as maiores semelhanças em relação a suas competências?, definiu-se o problema como de classificação, que segundo Rodrigues (2000) e Viana (2004), soluciona-se através de uma das formas de representação de classificadores em DM, que são Árvores de Decisão. Utilizou-se no desenvolvimento do trabalho o senso de 863 agentes universitários da Universidade Estadual de Ponta Grossa, com necessidades de treinamentos. Foram utilizadas, como fonte de dados, informações públicas, disponibilizadas na Resolução Conjunta entre a Secretaria Estadual de Aposentadoria e Previdência (SEAP) e da Secretaria Estadual de Ciência, Tecnologia e Ensino Superior (SETI) N SEAP/SETI, que descreve o perfil profissiográfico dos servidores das Instituições Estaduais de Ensino Superior do Paraná; e na Portaria R.161 da Universidade Estadual de Ponta Grossa, que descreve a transição dos seus servidores, durante as etapas de implantação do Plano de Carreira, Cargos e Salários. No desenvolvimento deste trabalho foram utilizados os seguintes softwares: Weka, MS Excel, MS Access. 6. Estudo de Caso O trabalho foi realizado, seguindo-se os passos do processo de KDD, representado através da Figura 2, dividida em 3 macro-etapas: Pré-processamento, Data M ining e Pósprocessamento, que serão descritas a seguir. 5

6 FIGURA 2 Etapas do processo de KDD utilizadas no estudo 6.1. Pré-processamento de Data Mining Esta etapa foi realizada em seis fases, iniciando-se com implementação da base de dados e finalizando como a transformação dos dados, que serão detalhadas a seguir. A implantação da base de dados foi desenvolvida a partir de informações da Resolução (SETI) N 001/06 - SEAP/SETI, da qual foram utilizados três atributos: Classe, Função e as Competências. Através de SQL (Struct Query Language) específicas, realizou-se o conhecimento da base de dados, limpeza e enriquecimento com informações da Portaria R161/06 - UEPG que resultou na geração de registros. Apresentadas estas etapas chegou-se nas seguintes informações da base de dados (Tabela 3): TABELA 3 - Dados Quantitativos da Base de Dados Classificados por Classes Classe Quantitativo Funções Servidores Competências N Registros I II III Total Ao final da etapa, os dados foram organizados em 863 registros e transformados em formato e delimitações de campos requeridas pelo algoritmo J48 no Ambiente Weka. 6

7 Nesta organização dos dados, cada registro possui 101 atributos, correspondentes aos dados de um servidor, onde constam a sua classe, função e ocorrência lógica das 99 competências possíveis do quadro de servidores Data Mining Segundo Pappa (2002), quanto mais atributos envolvidos, maior o poder discriminatório, no entanto os atributos irrelevantes devem ser eliminados da análise. Segundo Borges (2005), alguns algoritmos de classificação podem se confundir quando são utilizados atributos não correlacionados. Então, inicialmente, realizou-se um préprocessamento de classificação, buscou-se através dos Algoritmos de Seleção, também conhecidos como filtros, existentes no Ambiente Weka, CfsSubsetEval (avaliador) e BestFirst (método), os atributos previsores do atributo Função. Este procedimento foi necessário, pois o algoritmo J48, que seria utilizado na geração das árvores de decisão, se engana, quando se utilizam atributos fortemente correlacionados, com correlação espúria ou ocasional. Antes da deste processo de filtragem alguns atributos com as competências: Discrição e Síntese apresentavam uma inter-relação com o atributo meta, respectivamente de 46 e 47 % (Figura 3) e, após a eliminação dos atributos não-previsores, estes dois atributos apresentaram uma nova inter-relação com o conjunto de dados, respectivamente de 98 e 100% (Figura 4). FIGURA 3 Inter-relação de alguns atributos com o atributo meta: Função, antes da eliminação dos atributos não-previsores. A partir da filtragem, foram definidos como atributos previsores do atributo meta, os atributos Classe e 15 competências (Figura 4): Atenção, Autocontrole, Comunicação, Concentração, Condicionamento Físico, Criatividade, Discrição, Improvisação, Iniciativa, Habilidade Manual, Organização, Paciência, Prestatibilidade, Síntese e Visão. 7

8 FIGURA 4 Inter-relação dos atributos previsores (Competencias) com o atributo meta: Função, após a eliminação dos atributos não-previsores. Em seguida aplicou-se o algoritmo J48 no conjunto de dados pré-selecionado, para geração de modelos de árvore de decisão, obtendo-se dois modelos com taxa de acerto superior a 95%. O primeiro modelo classifica os servidores por função, considerando o nível de escolaridade (Figura 5), enquanto o segundo o desconsidera (Figura 6), e correspondem respectivamente, as taxas de acerto 96,41% e % dos registros Pós-processamento de Data Mining Nesta etapa as Árvores de Decisão geradas pelo Ambiente Weka, foram transformadas em diagramas nas Figuras 3 e Figura 4, para melhor interpretação do especialista. Através deste modelo de representação, observa-se que as competências a seguir são atributos previsores na classificação por funções. A partir deste método de classificação são observadas semelhanças entre determinadas funções em relação as suas competências. Portanto, ao oferecer um curso envolvendo determinada competência ou pacotes de competências para uma função específica, poderá ser contemplada, indiretamente a função vizinha da mesma na árvore de decisão. Podem-se citar como exemplo, as funções: Técnico em Estúdio e Multimídia e Técnico em Montagens em Eventos, que considerados os seus quantitativos e as demais informações analisadas na base de dados, são estatisticamente semelhantes, diferenciando-se apenas no requisito da competência: Habilidade Manual (Figura 3). Esta técnica de DM permite identificar quais funções têm as maiores possibilidades de realizar treinamento em conjunto, a partir da observação de suas respectivas ramificações das Árvores de Decisão. Estas informações poderão ser úteis durante o planejamento dos cursos de treinamentos das competências ou para abertura de turmas. 8

9 FIGURA 5 Árvore de Decisão: Classificação das Funções por Competências Considerando o Nível de Escolaridade 9

10 FIGURA 6 Árvore de Decisão: Classificação das Funções por Competências Desconsiderando o Nível de Escolaridade 10

11 Os seguintes cargos (Tabela 4) possuem as maiores semelhanças entre si, por tanto, aos mesmo poderão ser oferecidos cursos com grandes probabilidades de atendimento simultâneo, considerando as particularidades de cada função ou as diferenças explicitas dos conteúdos programáticos. TABELA 4 Funções que apresentam maior paridade entre suas competências Classe I Pedagogo e Economista; Administrador e Técnico em Assuntos Universitários; Advogado e Psicólogo; e Farmacêutico e Instrutor de Prática Desportiva. Considerando a Classe Classe II Técnico em Agropecuária e Motorista; Desenhista Projetista e Instrutor de Artes; Técnico em Contabilidade e Técnico em Biblioteca; Técnico em Estúdio e Multimídia e Técnico em Montagem em Eventos; Técnico em Radiologia e Técnico em Laboratório; Educador Infantil e Auxiliar de Enfermagem; e Mestre de Obras e Técnico em Prótese Dentária; Classe III Sem considerar a Classe Auxiliar de Laboratório e Auxiliar Operacional; e Agente de Segurança Interna e Telefonista Prof. de Ensino. Médio Profissionalizante e Téc. em Agropecuária; Pedagogo e Economista; Auxiliar de Laboratório e Desenhista Projetista; Técnico de Manutenção e Instrutor de Artes; Administrador e Técnico em Assuntos Universitários; Auxiliar Administrativo e Técnico em Contabilidade; Técnico em Manutenção em Equipamentos e Técnico em Informática; Técnico em Estúdio e Multimídia e Técnico em Montagem em Eventos; Técnico em Laboratório e Bibliotecário; Advogado e Assistente Social; Mestre de Obras e Técnico em Prótese Dentária; Auxiliar de Enfermagem e Cozinheiro; Farmacêutico e Instrutor de Prática Desportiva; e Telefonista e Técnico Administrativo; 7. Conclusão Conclui-se que 28 das 57 funções do atual quadro de servidores, apresentam as maiores semelhanças. Desta, 5 pares apresentam paridades entre si, considerando o nível de escolaridade exigido para a função, e outros 5 pares se assemelham indiferente do nível de escolaridade. Considerando o atual quadro de servidores e as necessidades de treinamento das suas competências, apresentam as maiores semelhança nos dois modelos de classificação, as seguintes funções: Pedagogo e Economista; Farmacêutico e Instrutor de Prática Desportiva; Técnico em Estúdio e Multimídia e Técnico em Montagem em Eventos; Mestre de Obras e Técnico em Prótese Dentária; Farmacêutico e Instrutor de Prática Desportiva. O conhecimento extraído através das Árvores de Decisão poderá auxiliar no planejamento de vagas de cursos, apresentando as funções mais semelhantes em relação às 11

12 competências da função objeto de treinamento, considerando ou não os níveis de escolaridade; e permitindo a decisão de quais funções terão as maiores probabilidades de realizarem treinamento juntas. Referências ADMINISTRAÇÃO E DA PREVIDENCIA. Resolução Conjunta nº 01 - SEAP/SETI, de 16 de janeiro de Publica os Perfis Profissiográficos das Funções componentes das Classes I, II e III de que trata a Lei Estadual n.º de 12 de abril de Relator: Lygia Lumina Pupatto e Maria Marta R enner Lunardon. Diário Oficial Executivo do Paraná, Curitiba, de 16 de janeiro de 2007, Edição 7395, p BERRY, M. J. A. & LINOFF, G. Data Mining Techniques: for marketing, sales and customer support. John Willey & Sons, Inc. USA, BORGES, H. B. Redução de Dimensionalidade em Bases de Dados de Expressão Gênica Curitiba, p. Dissertação (Mestrado) Pontifícia Universidade Católica do Paraná. Programa de Pós Graduação em Informática. CARVALHO, D. R. Data Mining Através de Indução de Regras e Algoritmos Genéticos. Curitiba, p. Dissertação (Mestrado em Informática Aplicada) Pontifícia Universidade Católica do Paraná. FAYYAD, U. M; PIATETSKY-SHAPIRO, G; SMYTH, P.; UTHURUSAMY, R. Advances in Knowledge Discovery and Data Mining. American Association for Artificial Intelligence. USA, GIMENES, E. Data Mining - Data Warehouse: A Importância da Mineração de Dados em Tomadas de Decisões. Taquaritinga, 2000, 51p. Monografia (Conclusão do Curso de Tecnólogo em Processamento de Dados). Centro Estadual de Educação Tecnológica Paula Souza Faculdade de Tecnologia de Taquaritinga. FREITAS, A.A. LAVINGTON, S.H. Mining Very Large Databases with Parallel Processing, MA: Kluwer Academic Publishers LEMOS, P. E. Análise de Crédito Bancário com o Uso de Data Mining: Redes Neurais e Árvores De Decisão. Curitiba, 2005, 147p. Dissertação. (Mestrado em Ciências do Programa de Pós-Graduação em Métodos Numéricos em Engenharia). Universidade Federal do Paraná. PAPPA, G. L. Seleção de Atributos Usando Algoritmos Genéticos Multiobjetivos. Curitiba, 2002, 85 p. Dissertação (Mestrado em Informática). Pontifícia Universidade Católica do Paraná. RODRIGUES, A. M. Técnicas de Data Mining Classificadas do Ponto de Vista do Usuário. Rio de Janeiro, 2000, 104 p. Dissertação (Mestrado em Engenharia de Produção). Universidade Federal do Rio de Janeiro. SOUSA, M. S. R. Mineração de Dados: Uma Implementação Fortemente Acoplada a um Sistema Gerenciador de Banco de Dados Paralelo. Rio de Janeiro, 1998, 67 p. Dissertação (Mestrado em Engenharia de Sistemas e Computação). Universidade Federal do Rio de Janeiro. TAN, P.; KUMAR, V.; SRIVASTAVA, J. Selecting the Right Interestingness Measure for Association Patterns, Proc. of the 8th ACM SIGKDD Conf. on Knowledge Discovery and Data Mining, Edmonton, Canadá, p32 41, UNIVERSIDADE ESTADUAL DE PONTA GROSSA. Portaria R. nº UEPG de 1º de Agosto de Proceder a correlação de funções e o enquadramento em três etapas, na carreira técnica universitária para os servidores ocupantes do cargo de Agente Universitário da Universidade Estadual de Ponta Grossa, nos termos do Anexo que passa a integrar este ato legal. Relator: Paulo Roberto Godoy. Atos Oficiais. Ponta Grossa, 1º de Agosto de p VASCONCELOS, E. M. Complexidade e Pesquisa Interdisciplinar: Epistemologia e Metodologia Operativa. Petrópolis: Vozes, VIANA, R. Mineração de Dados:Teoria e Prática. Revista SQL Magazine, Rio de Janeiro:Neofício, n.10, YIN, R. K. Estudo de caso: planejamento e métodos. 2. ed. Porto Alegre: Bookmanm