Data mining ganha espaço na estratégia empresarial Obter vantagem competitiva. Essa premissa tem levado as companhias a investir em um conceito que vem crescendo no mercado: o data mining, ou a mineração de dados. Trata-se de um processo que utiliza métodos estatísticos para descobrir padrões. O modelo analisa e cruza grandes quantidades de dados em busca de amostras consistentes. De acordo com Carlos Eduardo Calegari, analista sênior de Software da consultoria IDC Brasil, o processo garante a extração de informações escondidas que não eram visualizadas até então. A companhia não vai se deparar com informações óbvias e triviais, resume. É um passo a mais naestratégia analítica, observa. Para ele, data mining começa com a gestão correta do dado pinçado de uma grande base e termina com Business Intelligence (BI), que dá ainda mais poder a essa cadeia. Calegari aponta que o processo não é novo, mas tem-se deparado com um desafio recente: a grande quantidade de dados, estruturados e não estruturados, que as organizações têm de lidar todos os dias. Antes, a preocupação era guardar, hoje, além de armazenar, é preciso integrar as fontes e extrair informações no menor prazo possível, avalia. O mercado de data mining, diz, salta na casa de dois dígitos justamente porque as companhias estão preocupadas com a competitividade. Avaliar informações rapidamente é fator de diferenciação, destaca. A IDC projeta que o setor advanced analytics, do qual data mining faz parte, terá crescimento composto de 20% até 2015. Data mining é um aditivo para as organizações. Assim define Alessandra Montini, coordenadora de projetos de pós-graduação
da Fundação Instituto de Administração (FIA). Com ele, é possível efetuar o cruzamento de dados e direcionar, por exemplo, uma comunicação adequada para cada tipo de público, saber e entender as necessidades dos consumidores, definir qual produto [ou serviço] tem mais retorno dos clientes e ainda estabelecer o modelo de precificação e planejar a capacidade de produção, exemplifica. Além de entender melhor o perfil de consumo do público-alvo, Alessandra destaca que a aplicação da solução nos negócios possibilita benefícios como aumento do lucro e redução de custos. Esses atrativos têm seduzido as organizações. Segundo o instituto de pesquisas Gartner, o tema, ao lado de BI e software analítico, é o quinto na lista de prioridades dos CIOs da América Latina neste ano. Ainda assim, acredito que poucas corporações hoje não estão colocando o modelo em prática de forma eficiente e estruturada, avalia Fausto Novaes, consultor para a indústria na área de finanças da Teradata. Na visão dele, setores como finanças, varejo, telecom, transporte e internet saíram à frente no uso de data mining. São segmentos que lidam com grandes bases de dados, estruturados e não estruturados, e que a competitividade é alta. Eles encontraram na TI uma forma de investigar comportamentos e mais do que isso: surpreender o cliente, observa. Data mining, e agora? Mas por onde as companhias devem começar para obter resultados com a mineração de dados? De acordo com Alessandra, o coração do processo está na organização de dados. Esse primeiro passo já uma tarefa desafiadora, porque as corporações contam com diversas fontes de informações e elas precisam de uma base única, limpa e de qualidade para realizar a análise, explica.
Novaes concorda. A lição número um é acabar com os silos e criar uma governança de dados, aconselha. Além disso, pontua, é preciso garantir a qualidade das informações. Lixo entra, lixo sai. Isso também acontece com data mining. Depois de definida a base consistente de dados, o próximo passo, diz Alessandra, é fazer uma amostragem adequada e, depois, usar alguma técnica [seja ela estatística, rede neural etc] para gerar o modelo. A última etapa do ciclo é montar um relatório para tomada de decisões. Essas etapas, diz, são parte de um curso de pós-graduação que a FIA criou em 2010 para ajudar companhias a lidar com data mining. Desde então, a instituição de ensino formou cerca de 25 profissionais de diferentes setores que buscam entender melhor esse universo. A próxima turma do curso Análise de dados e Data Mining se reunirá a partir deste mês para entender e selecionar dados, aprender técnicas aplicadas à mineração e conhecer modelos de data mining. A FIA estabeleceu parceria com o SAS para fornecer o software para possibilitar aos alunos contato com data mining durante o curso. A tecnologia conta com recursos como text parsing, filtragem de termos, agrupamento de documentos e gerenciamento e modelagem de tópicos. Data mining para o SAS é a capacidade de utilizar métodos estatísticos avançados para seleção, exploração e modelagem descritiva ou preditiva de grandes quantidades de dados, possibilitando vantagens competitivas aos negócios, define Márcio Gadaleta, gerente de pré-vendas para serviços Financeiros do SAS. Segundo ele, decisões baseadas em análises matemáticas dos dados são mais propensas a gerarem resultados positivos do que as baseadas em intuição ou em repetição de decisões passadas. Gadaleta aponta que o SAS conta com duas abordagens para ajudar empresas a lidar com o data mining: ferramentas e
soluções de negócios. Ele explica. O principal componente dessa oferta é o SAS Enterprise Miner, que facilita o processo de mineração que possui uma técnica e algoritmos para lidar com qualquer volume de dados, detalha. Sobre as soluções, ele aponta que a fornecedora agrega ao ferramental analítico o conhecimento de negócios em verticais para acelerar os resultados e ampliar o retorno sobre o investimento (ROI, do inglês). Esses diferenciais e ainda a incerteza econômica [que tem impulsionado a necessidade por aumento de receita com eficiência operacional], avalia Gadaleta, fizeram com que no ano passado o SAS registrasse incremento de 30% no faturamento em razão da busca de data mining. Na área operacional, temos como clientes empresas de telecomunicações, bancos e companhias de distribuição de energia, que utilizam mineração de dados para identificar consumidores propensos à inadimplência e para auxiliar na definição de estratégias de cobrança, exemplifica. Outra aplicação é na identificação assertiva de oportunidades de negócios e ameaças, reduzindo o custo e aumentando as receitas, pontua. Contribuiu para formar esse cenário de grande procura, prossegue o executivo, o fato de que o SAS estabelece parcerias com os principais fornecedores de banco de dados, como GreenPlum e Teradata, para criar appliance capazes de suportar o desenvolvimento de modelos de mineração de dados diretamente sobre as bases de dados. Nossa estratégia se baseia no conceito de Big Data e na capacidade de usar a totalidade dos dados, sem necessidade de realizar amostragens. Por isso as alianças são fundamentais, observa Gadaleta. A Oracle aponta que nos últimos meses aumentou a busca pela solução Oracle Data Mining [software incorporado ao banco de dados Oracle, que permite às empresas descobrir novas relações ocultas em seus dados]. Isso aconteceu pela mudança de
mercado de exigir respostas mais rápidas às duas dúvidas e também pela maior maturidade das empresas em questões de análises dos dados, afirma Priscila Siqueira, gerente de prévendas da Oracle para a América Latina. Além de achar padrões, Priscila afirma que com data mining é possível identificar e evitar fraudes, mapear os atributos mais influentes que afetam os principais indicadores de desempenho (KPIs) e descobrir novas e valiosas informações dos dados. Um banco, por exemplo, pode conhecer o padrão de um cliente de cartão de crédito e avaliar desvios, que podem indicar fraudes ou outros tipos de incidentes de segurança. Na Teradata, aponta Novaes, diversas tecnologias são usadas para compor o desenho do data mining, que pode variar de vertical para vertical. Faz parte dessa cadeia ainda, afirma, um profissional que vai manusear a base de dados, que ele chama de cientista de dados. Esse novo especialista não só conhece a parte técnica do modelo, como investiga variáveis. Ele não tem a função de somente clicar em telas, ele cruza tabelas e investiga a fundo as informações, analisa. Flavio Bolieiro, vice-presidente da MicroStrategy para América Latina, dá um exemplo tradicional de como data mining pode incrementar os negócios. Já ouviu falar sobre uma rede de supermercados que descobriu que ao posicionar fraldas ao lado da cerveja, aumentaria a venda da bebida? Essa é uma descoberta de um padrão incomum. O executivo aponta que a MicroStrategy tem em sua plataforma recurso de data mining e que o conceito está inserido ainda nas soluções para mapeamento de redes sociais e mobilidade. A combinação dessas tecnologias emergentes é algo valioso para as empresas, ajudando-as a eliminar desafios que antes não estão no centro das atenções, afirma. Como conselho, Bolieiro diz que é preciso, antes de mais nada, avaliar as necessidades do negócio antes de ingressar de
cabeça nesse mundo. Qual é meu real problema? Eu quero aumentar minhas vendas? Diminuiu o risco de inadimplência? Onde quero chegar? São perguntas que as companhias devem fazer antes de escolher a tecnologia, aconselha. Fonte: Computer World Introdução ao Data Mining (Mineração de Dados) Quem é da área de TI, provavelmente já ouviu sobre Data Mining, mesmo que não saiba o que é. É uma das últimas modas relacionados à BD. Para se ter uma noção do que seja, pense no provérbio encontrar uma agulha no palheiro, onde a agulha é uma peça única de inteligência das necessidades de seu negócio e o palheiro é o Data Warehouse (DW) que foi construído ao longo do tempo. Através do uso de técnicas de análise estática automatizada, ou seja, o Data Mining, as empresas estão descobrindo as tendências e padrões de comportamento que antes passava despercebidos. Uma vez descoberta essa inteligência vital, ela pode ser usada de forma preditiva para uma variedade de coisas. Brian James, assistente técnico do time de basquete Toronto Raptors, usa técnicas de mineração de dados para preparar o sua contra o resto dos times da NBA. O programa de Business Inteligence (BI) e de Descoberta do Conhecimento do Banco de Montrealeal usa para obter insights sobre o comportamento dos clientes. Com isso, dá pra perceber a potencialidade deste conceito. O modelo de mineração que um algoritmo cria pode assumir
vários formatos, incluindo: Um conjunto de regras que descreve como são agrupados produtos em uma transação. Uma árvore de decisão que prevê se um determinado cliente comprará um produto. Um modelo matemático que prevê as vendas. Um conjunto de clusters que descreve como os casos em um conjunto de dados estão relacionados. Coleta de Dados Logicamente o primeiro passo de para construir um programa de Mineração de Dados é a Coleta de Dados. A maioria das empresas já realizam essas tarefas de coleta de dados, até certo ponto a chave aqui é para localizar os dados críticos para o seu negócio, refiná-lo e prepará-lo para o processo de Mineração de Dados. Se você está atualmente rastreando os dados do cliente em um SGBD modernos, as chances são que você está quase pronto. Selecionando o Algoritmo Neste ponto, você tem um armazem de dados. O próximo passo é escolher um ou mais algoritmos de mineração de dados para aplicar para o seu problema. Se você está apenas começando, é provavelmente uma boa ideia para experimentar várias técnicaspara se dar uma idéia de como eles funcionam. Sua escolha do algoritmo irádepender dos dados que você recolheu, o problema que você está tentando resolver e as ferramentas de computação que você tem disponível para você.vamos dar uma breve olhada em dois dos algoritmos mais popular:
Regressão Esta técnica estática é a mais antiga e conhecida da comunidade que faz DM. Prevêem uma ou mais variáveis contínuas, como lucro ou perda, com base nos outros atributos do conjunto de dados. Basicamente, leva-se um conjunto de dados numéricos e desenvolve-se uma fórmula matemática que se ajusta aos dados. Quando está tudo pronto para prever os resultados do comportamento futuro, você simplesmente captura seus novos dados, conecta-o à fórmula desenvolvida e você tem uma previsão! A principal limitação desta técnica é que ela só funciona bem com dados contínuos quantitativos (peso, velocidade ou idade). Se você está trabalhando com dados categóricos onde a ordem não é importante (como nome, cor ou sexo) é melhor escolher uma outra técnica. Classificação Trabalhando com dados categóricos ou uma mistura de dados numéricos contínuos e categóricos? A análise de Classificação pode atender às suas necessidades também. Prevêem uma ou mais variáveis discretas, com base nos outros atributos do conjunto de dados. Esta técnica é capaz de processar uma variedade maior de dados do que de regressão e está crescendo em popularidade. Você também vai encontrar saída que é muito mais fácil de interpretar. Em vez da fórmula matemática complicada dada pela técnica de Regressão, você receberá uma árvore de decisão que requer uma série de decisões binárias. Um algoritmo de classificação popular é o Algoritmo de Agrupamento K-Means. Existe o algoritmo de Classificação Bayesiana recebe este nome por ser baseado no teorema de probabilidade de Bayes. Tem como objetivo calcular a probabilidade que uma amostra desconhecida pertença a cada uma das classes possíveis, ou seja, predizer a classe mais provável. Este tipo de predição é chamada de classificação estatística, pois é completamente baseada em
probabilidades. Segmentação Os algoritmos dividem dados em grupos ou clusters de itens que têm propriedades semelhantes. Usa técnicas iterativas para agrupar casos em um conjunto de dados em clusters que contenham características semelhantes. Esses agrupamentos são úteis para explorar dados, identificando anomalias nos dados e criar previsões. Modelos de clustering identificam as relações em um conjunto de dados que não podem ser derivados de forma lógica através de observação casual. Por exemplo, você pode discernir logicamente que pessoas que se vão para o trabalho de bicicleta normalmente não moram longe do local onde trabalham. Porém, o algoritmo pode encontrar outras características dos usuários de bicicleta que não são tão óbvias. No diagrama a seguir, o cluster A representa dados sobre pessoas que pretendem ir de carro para o trabalho, enquanto o cluster B representa dados sobre pessoas que pretendem ir de bicicleta para o trabalho. O algoritmo de clustering difere dos demais algoritmos de mineração de dados, como o algoritmo Árvores de Decisão da Microsoft, porque você não precisa designar uma coluna previsível para poder criar um modelo de clustering. O algoritmo de clustering treina o modelo estritamente a partir das relações existentes nos dados e a partir dos clusters que o algoritmo identifica.
Associação Encontram correlações entre atributos diferentes em um conjunto de dados. A aplicação mais comum desse tipo de algoritmo é para criar regras de associação, que podem ser usadas em uma análise de cesta básica. É um algoritmo de associação é útil para mecanismos de recomendação. Um mecanismo de recomendação recomenda produtos aos clientes com base nos itens que eles já compraram ou pelos quais mostraram interesse. Modelos de associação são criados a partir de conjuntos de dados que contêm identificadores de casos individuais e de itens contidos em casos. Um grupo de itens de um caso é chamado de conjunto de itens. Um modelo de associação é formado por uma série de conjuntos de itens e regras que descrevem como esses itens são agrupados nos casos. As regras que o algoritmo identificar podem ser usadas para prever as prováveis compras futuras do cliente com base nos itens já existentes em seu carrinho de compras. O diagrama a seguir mostra uma série de regras em um conjunto de itens. Exemplo: A empresa Adventure Works Cycle está redesenhando a funcionalidade de seu site. A meta do redesenho é aumentar a venda direta de produtos. Como a empresa registra cada venda em um banco de dados transacional, pode usar o algoritmo Associação da Microsoft para identificar conjuntos de produtos que tendem a ser comprados juntos. Ela pode então prever outros itens pelos o quais o cliente poderia interessar-se com base nos itens que já estão no carrinho de compras. Espero que o texto tenha ajudado a entender a idéia do que seja o Data Mining. Abraços e até a próxima!