Transformando chumbo em ouro

Transcrição

1 Qualidade de dados é o alicerce dos projetos de BI e CRM e pode ser a diferença entre seu sucesso e seu fracasso Transformando chumbo em ouro Uma pesquisa realizada pela Pri- cewaterhouse- Coopers com 599 empresas americanas revelou que 75% delas sofreram perdas financeiras causadas por má qualidade de dados. Apenas 37% delas confiavam nos próprios dados e parcos 15% nos dados de seus parceiros de negócios. Somente por Daniel Loneeff 40% dos CIOs entrevistados disseram que a alta direção estava dando atenção suficiente ao problema. Houve, nos últimos anos, uma perigosa complacência por parte das empresas com relação a essa questão. Outro estudo do Data Warehouse Institute estima que a baixa qualidade de dados esteja custando US$ 611 bilhões (!) por ano às empresas americanas. Esses custos referem-se principalmente a postagem, impressão e retrabalho. Não há dúvidas de que os projetos de Data Warehouse mudaram a percepção da importância da qualidade de dados, resume Paulo Santos, gerente de data quality da Novabase. 18 e-manager Agosto 2003

2 As decisões de uma empresa serão tão boas quanto forem os dados disponíveis para suportá-las. Sistemas informatizados que contenham dados ruins apenas ajudam a tomar decisões erradas mais depressa data quality PANORAMA O Gartner estima que 75% das empresas que se engajaram em alguma iniciativa de CRM não foram capazes de combinar uma visão compreensiva de seus clientes com ações efetivas de atendimento e vendas. A má qualidade das bases de dados, a duplicação e fragmentação de cadastros e sua falta de integração são as três principais causas desse fracasso. Se isso tudo ainda não parece tão grave, talvez um outro olhar, sobre outros setores, ajude na compreensão da dimensão do problema. Dois exemplos: participar de cadeias de suprimento tem se mostrado impossível sem que os dados dos participantes sejam confiáveis quem não se ajusta acaba excluído e, na área de saúde, os hospitais e convênios médicos têm se mostrado incapazes de produzir uma visão unificada dos registros e dos históricos médicos de seus pacientes e segurados. Outro problema que a má qualidade de dados provoca, muito pior do que os custos diretos, é a erosão de credibilidade interna e externa e suas conseqüências sobre os processos de tomada de decisão e sobre a percepção que os clientes e fornecedores formam acerca dos sistemas da empresa. As pessoas tornam-se céticas em relação a certas informações e simplesmente passam a não utilizá-las. Pior ainda é que esse processo acontece em silêncio: para não comprar uma briga com outras áreas e evitar atritos (muitas vezes inúteis, é bem verdade), as pessoas não se manifestam e simplesmente passam a ignorar as informações dos sistemas. Se você não estiver disposto a manter uma informação, investir dinheiro para obtê-la e armazená-la é puro desperdício de recursos. As decisões de uma empresa serão tão boas quanto forem os dados disponíveis para suportálas. Sistemas informatizados que contenham dados ruins apenas ajudam a tomar decisões erradas mais depressa. Se os dados sobre seus clientes não forem fidedignos, ou você não conseguirá fazer com que sua oferta chegue até eles, ou sua oferta será errada ou irrelevante para eles. Além disso, sua empresa corre o risco de passar mensagens contraditórias ou redundantes, o que criará uma péssima imagem de desorganização, com impactos negativos na percepção dos clientes sobre sua empresa. A qualidade das bases de dados tem uma taxa de degeneração intrínseca. Especialistas estimam que ela esteja entre 2% e 4% ao ano por conta de mudanças naturais na vida das pessoas: alteração de endereço, de telefone, de emprego, de renda, de estado civil, de escolaridade e de produtos consumidos. A entrada da Web em cena complicou o problema. A multiplicação de canais de entrada e de tipos de informação coletadas com mais detalhes pode elevar essa taxa para algo entre 10% e 15%. Nós estamos saindo de um mundo em que havia poucos pontos de entrada de dados para outro com muitos pontos de entrada, que têm de ser adequadamente projetados e monitorados. A intervenção manual sobre os dados não é suficiente, principalmente quando se trata de grandes volumes, nos quais ela é difícil de aplicar além de dispendiosa e demorada ela é uma operação tediosa para os seres humanos e, por isso, sujeita a erros e pouca acuracidade. É necessário analisar as regras de negócio que estão rela- Agosto 2003 e-manager 19

3 A qualidade das bases de dados tem uma taxa de degeneração intrínseca. Especialistas estimam que ela esteja entre 2% e 4% ao ano por conta de mudanças naturais na vida das pessoas. A entrada da Web em cena complicou o problema cionadas ao cadastro e à produção de um dado e dispor de ferramentas informatizadas para criticar, comparar, retificar e estabelecer dados que sejam confiáveis e consistentes. As ferramentas dos bons fornecedores permitem a aplicação de regras capazes de identificar duplicações por meio de comparação fonética, comparação com padrões e aplicação de lógica fuzzy. Na comparação fonética, examinam-se erros e similaridades de digitação que conduzem ao mesmo som por exemplo, nomes semelhantes que aparecem grafados com sh e ch (em relação ao som de x ). Casos como esse devem ser isolados e examinados para determinar se há ou não duplicação de registro. A lógica fuzzy atribui coeficientes de verdade a proposições e situações. No caso exemplificado, o analista, quando elabora a regra de verificação, deve atribuir um peso a situações como a descrita, relativo à probabilidade dessa digitação remeter, de fato, a uma mesma pessoa. Em combinação com outros parâmetros por exemplo, data de nascimento, CPF e endereço, a regra pode definir um update automático do registro ou remetê-lo para exame por um operador humano. Se esse operador ainda não conseguir definir qual dado é o verdadeiro, parte-se para a telequalificação: o call center deve entrar em contato com a pessoa para estabelecer o dado correto. A comparação com padrões é outro dos principais requisitos de um processo de qualidade de dados. A padronização de abreviaturas e siglas por todo o cadastro é um aspecto fundamental para eliminar duplicações e selecionar conjuntos de registros em pesquisas. Se seu cliente mora em uma rua com nome de algum general, escrever a patente por extenso ou abreviá-la como Gen., Gen, Gal. ou Gal pode ser a diferença entre incluí-lo várias vezes ou perdê-lo na seleção para uma campanha de marketing. A qualidade e a origem dos cadastros de padrões para aplicações das regras são um aspecto que deve merecer atenção especial na hora de escolher um fornecedor para seu projeto de qualidade de dados. Outro aspecto importante é o enriquecimento dos dados, isso é, a capacidade de agregar novas informações sobre o cliente adicionando informações provenientes de cadastros externos. Por exemplo, se alguém ligar para seu call center, captando o número de telefone e cruzando-o com os dados do catálogo telefônico, você pode obter automaticamente o endereço da pessoa atendida. Outro exemplo é o acréscimo de informações, como códigos geográficos e classificatórios adquiridos de fornecedores externos, que podem adicionar informações valiosas para orientar análises e selecionar clientes a serem abordados em uma campanha de vendas. A questão da qualidade de dados está tão ligada aos processos de sua obtenção, entrada e verificação, quanto ao desenho e à arquitetura dos sistemas, principalmente dos modelos de dados envolvidos. Os dados transacionais devem refletir tão perfeitamente quanto possível o mundo real aliás, todo modelador de dados bem treinado sabe que uma das perguntas-chave para a montagem de bons modelos é: Isso existe no mundo real?. Se a realidade é volátil, você deve ter processos capazes de acompanhar, captar e registrar essas mudanças constantes, o que significa que a freqüência da coleta e da atualização deve ser compatível com o grau de volatilidade das fontes. Já os modelos de dados voltados para suporte à decisão armazenados em Data Warehouses e Data Marts são desenhados para serem estáveis. Enquanto os modelos de dados dos sistemas transacionais são orientados por funções e processos, os modelos de dados dos sistemas para suporte à decisão são organizados por assunto. A maioria dos especialistas defende que depois que um dado foi carregado no Data Warehouse, ele não deve mais ser alterado. Se houver uma alteração nos dados transacionais que alterem os resultados armazenados, um novo registro deve ser criado de modo a registrar e refletir a mudança ocorrida. Isso assegura que padrões, históricos de interpretação e erros incorridos sejam devidamente registrados para que não se repitam e seja possível 20 e-manager Agosto 2003

4 recuperar pontos-de-vista adotados sob certas circunstâncias no passado e avaliar se eles continuam ou não sendo válidos. Por exemplo: se um código de produto for alterado, você não deve substituir o registro existente no Data Warehouse, mas gerar um outro, porque, se um dia, for necessário recuperar a memória de uma decisão tomada quando o código do produto era o anterior, esse contexto estará perdido se o registro for substituído. Larry English, um dos gurus da matéria, defende que o passo seguinte à qualidade de dados é a qualidade da informação. Segundo ele, qualidade da informação diz respeito a algo mais do que a qualidade dos dados armazenados nos bancos de dados dos sistemas transacionais, no Data Warehouse e nos data marts. Qualidade da informação diz respeito à qualidade da comunicação do negócio em todas as suas modalidades, não só escritas como faladas. Isso inclui relatórios, s, sites, manuais, catálogos e publicações da companhia, bem como seus bancos de dados. A qualidade da informação Paulo Santos, da Novabase: Não há dúvida de que os projetos de Data Warehouse mudaram a percepção da importância da qualidade de dados tem dois lados: o lado externo, ligado principalmente aos clientes mas também a fornecedores e parceiros de negócio, e o lado interno, que deve suprir as necessidades e expectativas dos funcionários. Entretanto, considerando a realidade, dar um jeito em suas bases de dados é o primeiro passo, o começo necessário desse processo rumo à qualidade da informação. Existem boas empresas, detentoras de metodologia, processos, tecnologia e experiência, capazes de higienizar e melhorar significativamente suas bases de dados. A revista e-manager pesquisou esse mercado e selecionou cinco fornecedores de consultoria, tecnologia e serviços de qualidade de dados que apresentamos a seguir. Assesso A Assesso nasceu como uma divisão do Grupo Abril, desenvolveu e consolidou as ferramentas da linha Data Care e se tornou uma empresa independente, mas ainda com fortes ligações com o grupo de origem, o que lhe confere algumas vantagens competitivas. Nossa relação com a Abril assinaturas serve como um grande laboratório de testes porque a entrega das revistas garante que nossos cadastros tenham uma grande proximidade com a realidade de campo, diz Paulo Vasconcelos, vice-presidente de CRM e data quality Normalmente, as pessoas acham que seus cadastros são muito melhores do que realmente são. Muitos projetos de CRM falharam por causa da má-qualidade dos dados. Um bom projeto de CRM não deve começar pelo software, mas por seu alicerce, que é uma base de dados bem tratada, continua. Outro aspecto importante destacado por Vasconcelos é a consolidação de um cadastro único de clientes com tratamento de house hold (domiciliação): Com isso, você pode visualizar os relacionamentos do cliente e otimizar as malas-diretas para um mesmo endereço. Uma coisa que incomoda as pessoas são as ofertas duplicadas. Até agora, os clientes da Assesso têm sido grandes empresas, mas Vasconcelos está trabalhando para, em breve, mudar esse perfil empacotando soluções que viabilizem seu custo para as empresas médias. Acontece que data quality não é uma commodity, é um serviço altamente especializado. O processo não é corriqueiro, e cada caso é um caso, avalia. A empresa tanto vende licenças de uso de suas soluções, quanto faz prestação de serviços na casa do cliente, nas modalidades continuada e one shot, inclusive levando e instalando todos os equipamentos necessários a sua execução. Há também o serviço em regime de ASP (Application Service Provider) via Web, em que os dados podem ser armazenados no Data Center da Assesso ou permanecerem em um servidor da empresa sendo tratados remotamente. A solução no regime de ASP suporta bem cadastros com até um milhão de registros, estima o executivo. 21 e-manager Agosto 2003

5 Intervenção manual sobre dados não é suficiente, principalmente no caso de grandes volumes. É preciso analisar as regras de negócio relacionadas a cadastro e produção do dado e dispor de ferramentas para estabelecer dados confiáveis e consistentes data quality PANORAMA Go Digital A Go Digital, de origem gaúcha, formou-se há quatro anos a partir da fusão de três empresas: uma integradora de software, um desenvolvedor de aplicações para data mining e inteligência artificial e uma empresa de marketing. Essa união fez de nossa empresa uma provedora de soluções completas, ponta-a-ponta, para os processos de qualidade de dados, diz Miguel Feldens, diretor de tecnologia. A solução da empresa, batizada de Go Quality, é totalmente baseada na metodologia TQDM, Total Data Quality Management, preconizada por Richard Wang, outro dos gurus da matéria, professor do MIT, o Massachusetts Institute of Technology. Essa metodologia adota a perspectiva da informação como um produto em si, com tratamento próprio, e não como subproduto de outros processos. A TQDM compreende quatro passos: definir, medir, analisar e melhorar. O primeiro passo é definir os requisitos de qualidade e as métricas a serem adotadas pela companhia. Em seguida, deve-se medir a qualidade ao longo do ciclo de vida da informação nos sistemas e processos que a produzem. O terceiro passo é analisar e identificar potenciais causas dos problemas de qualidade. Por fim, especifica-se e implementa-se as melhorias nos processos e sistemas para manter a qualidade dos dados e prevenir eventuais vulnerabilidades. O que fazemos é preparar a estrada para que as empresas não coloquem uma Ferrari numa estrada de terra, resume Feldens. A empresa atua em cinco modalidades: venda das ferramentas, consultoria, integração com sistemas, ASP e BSP, caso em que o cliente pode terceirizar não só toda a infraestrutura e tecnologia, mas também o processo de gestão dos dados. A Go Digital também possui outros produtos voltados para data mining e gerenciamento de campanhas de marketing. Harte Hanks A Harte Hanks é detentora da tecnologia Trillium, mas na América Latina a empresa investiu num produto nacional chamado Vitamina D. O alto custo do Trillium dificultava vender projetos na região, diz Silvio Ramos, presidente da empresa no Brasil. Após a compra, a empresa fez investimentos da ordem de US$ 1 milhão para incorporar características do Trillium ao produto. Além disso, a Harte Hanks também montou um call center para serviços de telequalificação quando a aplicação dos algoritmos do programa mostra-se incapaz de retificar e estabelecer o dado com segurança. Ainda segundo Ramos, outro aspecto que levou à adoção de uma solução local foi o problema da língua portuguesa (e espanhola, para o resto do continente). O maior problema nos projetos de qualidade de dados é a multiplicidade de cadastros. Você precisa de suporte local e tabelas em português para executar os procedimentos de crítica, comparação, limpeza e consistência. Nosso grande diferencial é o conteúdo das tabelas locais e o know how em seu tratamento, algo que só se adquire com volume processado em vários projetos executados e acumulando experiências, afirma. Por conta disso, a Harte Hanks fez investimentos para incorporar entre suas bases comparativas o diretório nacional de endereços do Correio e cadastros de empresas fornecedoras de utilities, como eletricidade, gás e água. Também organizou cadastros que só têm sentido na cultura empresarial brasileira como, por exemplo, uma tabela de cargos, útil quando é necessário fazer uma análise do nível hierárquico de clientes potenciais. Outro exemplo é o tratamento dos números de telefone, com formatos locais e trocas freqüentes de prefixo. Embora o Vitamina D rode somente em plataforma Windows (o Trillium é multiplataforma), Ramos não vê nisso nenhuma desvantagem: Hoje, isso não é mais problema: posso extrair os dados de qualquer servidor, tratá-los num Pentium e devolvê-los sem dificuldades. Isso tem até vantagens: o cus- Agosto 2003 e-manager 22

6 to é muito menor e não sobrecarrego o servidor de aplicações. O Trillium só se justifica para bases de dados gigantescas e se, por algum motivo, você precisar de uma verificação online de alto desempenho no próprio servidor isso se ele não for plataforma Windows, defende. Novabase No Brasil, a Novabase consultoria de origem portuguesa, especializada em BI é, hoje, a principal companhia que está conduzindo projetos de qualidade de dados utilizando ferramentas da Ascential. O poderoso Data Stage, sua ferramenta de ETL (Extract, Transform and Load), incorporou as funcionalidades do Integrity, ferramenta de qualidade de dados da Vality Technology, adquirida pela Ascential em março do ano passado. Nos últimos anos, houve um grande desenvolvimento da disciplina de Data Quality em Portugal. Se acionarmos uma pesquisa nos mecanismos de busca disponíveis na Web, vamos notar um grande número de referências que remetem a Silvio Ramos, da Harte Hanks: investimentos de US$ 1 milhão para tornar o Vitamina D mais robusto e oferecer serviços a preços adequados ao Brasil e à América Latina empresas daquele país. A explicação para isso é que, com a entrada de Portugal na comunidade européia, o país recebeu enormes investimentos que entraram, principalmente, via governo, que os canalizou para áreas de seu interesse como dados demográficos, fortemente dependentes de qualidade de dados. Além disso, também houve grandes investimentos nos setores financeiro e de telecom, igualmente dependentes de boa qualidade de dados. Outro fator que incentivou o desenvolvimento dessa disciplina naquele país foi a questão política: para eleger seus representantes no parlamento europeu, Portugal teve de cumprir uma série de exigências da comunidade, entre elas, organizar suas zonas eleitorais com um cadastramento correto e preciso dos eleitores. Nesse projeto, a qualidade dos dados era fundamental. A Novabase foi a consultoria que venceu a concorrência, vindo em grande parte desse gigantesco projeto seu know how adquirido na área. Muitos problemas não podem ser resolvidos com tecnologia, apenas com processos. Outros, como cadastro, é possível resolver com processos e tecnologia, diz Paulo Santos, gerente de data quality. Santos compara os processos de qualidade de dados a um rio: Não adianta você limpar o rio se as pessoas continuarem jogando lixo e detritos nele. Você precisa estabelecer processos capazes de deter a poluição, mantê-los vivos e monitorá-los. SAS Institute O SAS Institute está lançando no Brasil o Data Quality Cleanse, na verdade uma fusão de sua solução de ETL com o DataFlux, uma ferramenta de qualidade de dados pertencente à empresa de mesmo nome, que foi adquirida pelo SAS há algum tempo, mas que continua operando independentemente. Ao integrar o DataFlux a sua ferramenta de ETL, o SAS está lançando o conceito de ETL Q. O Q na seqüência da sigla e em posição exponencial indica que, com a adição dessa ferramenta, por um lado, a qualidade passa a ter um vínculo indissolúvel com os processos de extração, transformação e carga de dados; por outro, expressa o incremento da qualidade nesses processos. O Data Quality Cleanse foi lançado há alguns meses nos Estados Unidos, mas precisou passar por um processo de tropicalização antes de ser lançado no País. A ferramenta precisa de cadastros e regras adequadas ao Brasil e à língua portuguesa, diz Elias Tavares, gerente de consultoria do SAS. Entre as vantagens da solução, Tavares aponta a interatividade, que permite a parametrização e a construção de modelos que podem atuar tanto nos processos de carga quanto em tempo real, monitorando automaticamente as entradas de dados a cada inserção, de modo a identificar e impedir a duplicação de cadastros, bem como garantir a conformidade dos dados com formatos pré-definidos. 23 e-manager Agosto Documento adquirido na Biblioteca Tematica do Empreendedor - Sebrae