INSTITUTO VIANNA JÚNIOR LTDA FACULDADES INTEGRADAS DO INSTITUTO VIANNA JUNIOR O TEXT MINING PARA APOIO A TOMADA DE DECISÃO

Transcrição

1 INSTITUTO VIANNA JÚNIOR LTDA FACULDADES INTEGRADAS DO INSTITUTO VIANNA JUNIOR O TEXT MINING PARA APOIO A TOMADA DE DECISÃO Lúcia Helena de Magalhães 1 Márcio Aarestrup Arbex 2 Resumo Este artigo tem como objetivo fundamentar o propósito da técnica de Text Mining que é a descoberta de conhecimento, através da análise de grandes conjuntos de textos, que leva ao apoio à tomada de decisão, o que pode proporcionar uma vantagem competitiva estratégica a uma empresa. Palavras Chaves: Text Mining, Mineração de Dados, Decisão, Empresa, Conhecimento e Informação. 1 Lúcia Helena de Magalhães, Pós Graduada em Desenvolvimento de Aplicações para Web pelo Centro de Ensino Superior, Pós Graduada em Matemática e Estatística pela Universidade Federal de Lavras e Mestranda em Sistemas Computacionais Computação de Auto-Desempenho pela Universidade Federal do Rio de Janeiro. Professora de Computação na Universidade Presidente Antonio Carlos e Professora no Curso de Desenvolvimento Web da Faculdade de Ciências Econômicas Vianna Júnior. lmagalhaes@viannajr.edu.br 2 Márcio Aarestrup Arbex, Pós Graduado em Sistema de Informação pela Universidade Federal de Viçosa. Professor de Computação na Universidade Presidente Antonio Carlos e Professor de Sistema de Informação na Faculdade Doctum. Administrador de Sistemas da BrasilCenter Embratel. arbex@brasilcenter.com.br

2 O TEXT MINING PARA APOIO A TOMADA DE DECISÃO A dimensão do volume de informações textuais que são geradas no dia-a-dia torna cada vez maior a necessidade de mecanismos eficientes e eficazes de extração de conhecimento em textos. Praticamente não há uma transação que não gere um registro de computador em algum lugar. A cada ano mais operações estão sendo computadorizadas acumulando todos os dados em operações, atividades e desempenho. Todos esses dados incluem informações valiosas, por exemplo, tendências e padrões, aos quais poderiam ser usadas para melhorar decisões empresariais [Goebel e Gruenwald, 1999]. Entretanto, com essa grande quantidade de dados nos bancos de dados se torna quase que impossível analisálos manualmente para tomadas de decisões eficientes. Como a forma mais natural de armazenar informação é texto, text mining (mineração de textos) tem um potencial maior do que data mining 3 pois cerca de 80% de informações contidas nas organizações estão contidas em documentos textuais. Porém, é um processo muito mais complexo à medida que envolve procedimentos com dados textuais que estão em linguagem natural, não estruturados e confusos. Text mining é um campo multidisciplinar, envolvendo recuperação de informação, análises textuais, extração de informação, clusterização, categorização, visualização, tecnologias de base de dados, e data mining [Li et al, 2002]. Text Mining (ou KDT Descoberta de Conhecimento em Textos) é o processo de extrair padrões ou conhecimentos interessantes e não-triviais a partir de documentos textuais.[tan, 1999] EBECKEN. N, Apostila. UFRJ A tecnologia de Text Mining pode ser usada para formalizar e explorar conhecimento tácito. O conhecimento disponível com pessoas pode ser armazenado em textos, os quais serão analisados para se entender seu significado, ou seja, do que tratam os textos. Depois, pode-se explorar o conhecimento extraído dos textos para gerar novos conhecimentos que podem de extrema importância para os gestores na tomada de decisão. A mineração de textos possui duas fases principais e seqüentes [Hoeschl, Bueno, Bortolon, Mattos e Ribeiro, 2002]: a extração de informações e a própria mineração de 3 Data Mining ou Mineração de Dados é o processo de descobrir conhecimentos interessantes a partir de grandes conjuntos de dados, os quais podem estar armazenados em bases de dados ou em outros repositórios de dados.

3 dados. A primeira destina-se a extrair conceitos, estatísticas e palavras relevantes de um conjunto textual para estruturá-los minimamente, preparando-os para a aplicação das técnicas de mineração de dados. Neste segundo momento aplicam-se as diretrizes e algoritmos de mineração de dados destinados a gerarem regras, classificações ou agrupamentos. HOESCHL, H. C; BUENO, T. C. D.; BORTOLON, A.; MATTOS, E.; RIBEIRO, M. S. AlphaThemis. UFSC Uma vez que conceitos apropriados são extraídos de cada parte do texto, podemos aplicar vários métodos de análise em Data Mining a uma série de conceitos e a dados estruturados. Como resultado, até mesmo uma função simples que examina o aumento e diminuição de ocorrências, pode nos permitir análise em tópicos. A mineração de textos deve, também, preocupar-se com os problemas básicos de processamento de linguagem natural, tais como: erros de ortografia e digitação, problemas de normalização de palavras (variações de gênero, número e flexões verbais) e ambigüidades semânticas. Embora a mineração de textos possa trabalhar com qualquer tipo de informação, esta deve seguir alguns critérios [Hoeschl, Bueno, Bortolon, Mattos e Ribeiro, 2002] quando da visualização pelo usuário: 1. A informação recuperada deve ter valor para o operador do conhecimento. A mineração de textos deve fornecer novas visões sobre os textos para os operadores do conhecimento. Isto permite a adição de valores à base de conhecimento; 2. O conteúdo deve ser baseado em texto. Para dados numéricos as tecnologias existentes estão melhor desenvolvidas; 3. O valor da mineração de textos é diretamente proporcional ao valor do dado que se está minerando. Quanto mais importante for o conhecimento contido na coleção de textos, mais valiosa será a mineração; 4. O conteúdo deve estar explicitamente declarado no texto, tais como textos técnicos e científicos; 5. A mineração de textos é mais valiosa quanto menos estruturado for o texto. Textos desorganizados, contendo acúmulo de informações são os mais indicados. Hoje em dia, clientes costumam selecionar produtos e serviços analisando a competência das organizações e procurando por algum diferencial. Assim, para que as organizações ganhem e mantenham seus clientes precisam conhecer seus clientes para identificar suas necessidades, como também saber se elas podem oferecer esse diferencial ou como poderiam fazê-lo.

4 Este conhecimento pode estar em diferentes formas e provir de diferentes fontes. Essas fontes poderiam ser pessoas ligadas à empresa. As pessoas são o foco da empresa, e fonte principal de conhecimento para que a organização atinja a competência e o diferencial desejados. Este conhecimento pode estar disponível internamente com funcionários e colaboradores, mas também pode ser obtido dos clientes. Os clientes são fonte de conhecimento e inovação para a organização [Pereira e Angeoli, 2000]. A aplicação de Text Mining tem por objetivo gerar novos conhecimentos sobre organização, para melhorar processos internos, serviços, produtos e relacionamento com clientes. O conhecimento tácito (de colaboradores ou de clientes) deve ser armazenado de forma livre em textos não estruturados. Como exemplo, aplicando no conhecimento de clientes. O conhecimento tácito foi coletado através de uma pesquisa com clientes de uma empresa de TV por assinatura. Sugestões e reclamações dos clientes sobre produtos e serviços da empresa foram registradas em formato de texto livre (um registro para cada cliente). Depois de coletados os textos, o processo de formalização 4 seguiu com a identificação dos conceitos presentes. Na tabela 1 são apresentados alguns exemplos de padrões descobertos nesta aplicação. Algumas conclusões podem ser obtidas dos resultados apresentados na tabela. Metade dos clientes tem alguma sugestão ou reclamação sobre filmes. Em geral, uma sugestão vem de uma insatisfação e também pode ser considerada uma reclamação, só que não explícita. Destas reclamações (sobre filmes), 39,5% falam também de repetição, como pode ser notado nas regras associativas. Segundo o senso comum, infere-se que esta é uma insatisfação dos clientes. Este então é um ponto fraco da empresa e seu negócio pode ser melhorado diminuindo-se a repetição de filmes. Ainda pode-se notar que alguns poucos clientes citaram a concorrência (5,3%), mas este pode ser um valor alto para a empresa (deve-se analisar a proporção de perdas de clientes). Destes, segundo as regras associativas, 33,3% citaram o custo. Conclui-se que estes clientes estão dizendo que a concorrência tem custo menor. 4 A extração de conceitos é feita através de um processo semi-automático. As regras para identificação dos conceitos são definidas manualmente com auxílio de ferramentas automatizadas. Depois, um processo de categorização identifica automaticamente os conceitos presentes nos textos usando as regras previamente definidas.

5 Na tabela 2, são apresentados os conceitos mais freqüentes nas reclamações dos clientes do pacote A (mais caro) e dos clientes do pacote D (mais barato). Observando a tabela 2 nota-se que os clientes do pacote A reclamam menos do custo que os clientes do pacote D e que os primeiros estão mais insatisfeitos com os filmas da programação geral do que os segundos. Este conhecimento permite entender melhor os interesses dos clientes de cada pacote, podendo-se gerar um perfil de clientes por tipo de pacote. Na tabela 3, são apresentados os conceitos mais freqüentes por tipo de canal preferido. O quadro comparativo da tabela 3 permite traçar um perfil do cliente por interesse. Nota-se que 15,2% dos clientes que preferem canais de esportes citaram também o conceito pay per view, talvez estando mais suscetíveis a fazer aquisições deste tipo do que os demais (4,7% em filmes e 7,7% em notícias). Pode-se também notar que os clientes que citaram os canais de filmes como preferidos também citaram o conceito ponto extra (os outros não). Disto pode-se inferir que estes clientes estão

6 mais interessados em ter um ponto extra. Dos clientes que escolheram um canal de esporte como favorito, 15,2% citaram a concorrência (bem mais que os demais clientes). Isto levanta a hipótese de que a concorrência possa estar oferecendo algo melhor em termos de esportes. Analisando-se as regras associativas desta primeira, não foi detectado nenhum padrão associativo entre pay per view e concorrente. Assim, pode-se inferir que estes 15,2% referentes aos dois conceitos não são os mesmos clientes, ou seja, quem cita um destes dois conceitos provavelmente não cita o outro. [Loh, Reategui, Wives, Oliveira e Gameiro, 2001] CONCLUSÃO O aumento do volume de informação que são geradas no dia-a-dia de empresas e as taxas diárias de crescimento exigem mecanismos capazes de prover, de maneira rápida fácil, a descoberta de novos conhecimentos. A tecnologia de Text Mining pode ser usada para formalizar e explorar conhecimento tácito, se este for capturado em textos. A abordagem procura descobrir padrões, tendências e correlações ocultas em textos, o que permite gerar novos conhecimentos sobre a organização, proporcionando vantagem competitiva às empresas. No mercado as empresas procuram consolidar excelências no fornecimento de produtos para esse fim e as indicações de crescimento e importância do segmento são claras. REFERÊNCIAS BIBLIOGRÁFICAS Goebel, M.; Gruenwald L. A survey of data mining and knowledge discovery software tools. In: ACM SIGKDD Explorations Newsletter. 1. ed. vol Hoeschl, H. C; Bueno, T. C. D.; Bortolon, A.; Mattos, E.; Ribeiro, M. S. AlphaThemis - Do texto ao conhecimento f. Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina. Campus Universitário, Trindade, Florianópolis, Santa Catarina, Brasil. IBM. IBM Intelligent Miner for Text. In: IBM Business Intelligence Solutions CD. EUA: CD-ROM. Li, T.; Li, Q.; Zhu, S..; Ogihara, M.. A survey on wavelet applications in data mining.in: ACM SIGKDD Explorations Newsletter. 2. ed. vol PEREIRA, Rita C. F. & ANGELONI, M. T. (2000). O relacionamento com os clientes para transformação do conhecimento na organização. In: LETHELIER, E. et al. (eds). Proceedings, International Symposium on Knowledge Management / Document Management, Novembro de Curitiba: Editora Universitária Champagnat, p Agrawal, R.; Imielinski, T.; Swami, A. Mining Association Rules Between Sets of Items in Large Databases, Proceedings of the ACM SIGMOD 93 (1993), pp

7 Loh, S.; Reategui, E. B.; Wives, L. K.; Oliveira, J. P. M.; Gameiro, M. A.. Formalizando e Explorando Conhecimento Tácito com a Tecnologia de Text Mining para Inteligência com a Tecnologia de Text Mining para Inteligência. In: ISKM/DM '2001, 2001, Curitiba, 13 a 15 de Agosto. Anais v. 1, p Tan, Ah-Hwee. (1999). Text mining: the state of the art and the challenges. In: Pacific-Asia Workshop on Knowledge Discovery from Advanced Databases PAKDD 99, p.65-70, Beijing, April Disponível por WWW em TEXT MINING RESEARCH GROUP AT THE UNIVERSITY OF WAIKATO. Text Mining. Disponível em: < Acesso em: 30/01/2002.