WEB DATA BASES ENGINEERING BROKERS

Transcrição

1 WEB DATA BASES ENGINEERING BROKERS

2 DE WEBSITES PROFISSIONAIS OBSERVADOS MENSALMENTE EM FRANÇA E NA BÉLGICA A NOVA GERAÇÃO DE DADOS DÁ-LHE ACESSO ÀS EMPRESAS QUE TÊM COMÉRCIO ELETRÓNICO, PERFIL NAS REDES SOCIAIS, PRESENÇAS E INVESTIMENTOS NA INTERNET, ETC.

3 OS DADOS, O PETRÓLEO DA ECONOMIA MODERNA 2. DADOS B-TO-B 4. GARANTIA DE QUALIDADE 1. OS DADOS NOS NEGÓCIOS 3. MÉTODOS E FERRAMENTAS

4 TEM PROBLEMAS DE DADOS Ainda que não o saiba! CONSTATAÇÃO: Uma situação alarmante SEGUNDO A PRICEWATERHOUSE COOPER A maioria das organizações não avalia a qualidade dos respetivos dados nem o impacto negativo dos mesmos nos negócios 66% das empresas não confiam muito na qualidade dos respetivos dados

5 CAUSAS PARA ESTA FRACA QUALIDADE DOS DADOS Vários erros nas introduções manuais Sem dados de nova geração (URL redes sociais comércio eletrónico - etc.) Má recuperação de dados Ausência de validação dos dados integrados nas soluções de gestão Duplicações Envelhecimento natural dos dados (2% por mês) Mudança Falência Mudança de atividade Alterações regulamentares, fiscais, financeiras, etc.

6 PARA A EMPRESA IMPACTOS NOS PROJETOS FUNCIONAIS Benefícios estimados de projetos CRM, ERP, comércio eletrónico, etc. sobrevalorizados Ausência de estratégia nos novos meios de comunicação Indicadores inexatos de "Business intelligence" Degradação dos resultados ao ritmo do envelhecimento dos dados

7 PARA A EMPRESA IMPACTOS NA ADMINISTRAÇÃO DA EMPRESA Nível estratégico Tomada de decisões erradas Nível operacional Diminuição dos lucros e do volume de negócios Aumento de custos Insatisfação dos clientes Erosão do potencial de fidelização Diminuição do ROI

8 DADOS DISPONÍVEIS EM B-TO-B OS EXCLUSIVOS DA -BROKERS

9 PARA ALÉM DOS DADOS CLÁSSICOS: Contactos Correio eletrónico Código de atividade A -BROKERS PROPÕE DIVERSOS EXCLUSIVOS: Web site Práticas e modalidades de comércio eletrónico Presença nas redes sociais Tecnologias Web Legalidade: avisos legais, privacidade, etc.

10 DESCRIÇÕES DE BASES DE DADOS DE URL França Campos Número de registos URL data e hora da visita Telefones Telemóveis Fax s Endereços postais Códigos Postais Dados à esquerda do código postal Dados à direita do código postal Cidades Índice de comércio eletrónico Sirets Sirens Ligações ao Facebook Ligações ao Twitter Condições gerais de venda Privacidade Avisos legais Ligação de contacto Título Cabeçalho http Tecnologia Código de atividade Índice(s) de língua(s) Bélgica Campos Número de registos URL data e hora da visita Telefones Telemóveis Fax s Endereços postais Códigos Postais Dados à esquerda do código postal Dados à direita do código postal Cidades Índice de comércio eletrónico 4792 N.º de empresa Ligações ao Facebook Ligações ao Twitter Condições gerais de venda Privacidade Avisos legais Ligação de contacto Título Cabeçalho http Tecnologia Código de atividade Índice(s) de língua(s)

11 OS NOSSOS MÉTODOS E FERRAMENTAS QUALIFICAÇÃO DE DADOS

12 -BROKERS, LÍDER NA GESTÃO DE DADOS DE INTERNET, O QUE SE EXPLICA POR... uma experiência no terreno de mais de 14 anos um investimento permanente de 4 a 8 % do volume de negócios em I&D processos sistemáticos de controlo humano soluções e ferramentas desenvolvidas à medida metodologias de qualificação de dados específicas. COMO FUNCIONA?

13 1. SCAN THE WEB (PESQUISAR NA WEB) 2. CHECK & QUALIFY (VERIFICAR E QUALIFICAR) 3. HUMAN CHECK (VERIFICAÇÃ O PESSOAL) 4. INTEGRA- TION (INTEGRAÇÃO) PRODUÇÃO 5. MONITORING & UPDATE (MONITORIZAR E ATUALIZAR)

14 1. SCAN THE WEB WEB DATA EXTRACTING (EXTRAÇÃO DE DADOS NA WEB) 1. SCAN THE WEB (PESQUISAR NA WEB) 2. CHECK & QUALIFY (VERIFICAR E QUALIFICAR) 3. HUMAN CHECK (VERIFICAÇÃ O PESSOAL) 4. INTEGRA- TION (INTEGRAÇÃO) PRODUÇÃO 5. MONITORING & UPDATE (MONITORIZAR E ATUALIZAR)

15 ANALISAR A INTERNET COM INTELIGÊNCIA As soluções de extração de dados são numerosas e pouco eficazes. A -Brokers desenvolveu a sua própria solução, à medida e de acordo com as suas exigências em termos de qualidade. Esta solução foi concebida para identificar os dados oficiais, mas vai muito mais além. Validar um dado - como um centro de atividades operacionais, uma atividade ou um n.º de telefone - exige a contextualização da informação extraída e aumentá-la mais que o estritamente necessário. Quanto mais informações recolher e estruturar, de mais marcadores irá dispor para validar os dados finais referidos. A partir de servidores dedicados, com algoritmos específicos, a -Brokers recolhe alguns milhares todos os dias e estrutura-os nas suas bases de dados. A -Brokers pode, igualmente e a qualquer momento, alterar os seus algoritmos para identificar novos dados.

16 EXEMPLO DE EXTRAÇÃO DE DADOS CONTEXTUAIS Como apurar se uma empresa pratica comércio eletrónico? Por exemplo, em B-to-B, quando não há pagamento online ou quando é necessário identificar-se na extranet do cliente? O nosso algoritmo analisa os sites em busca de mais de 90 marcadores deste único dado: páginas seguras, encaminhamento para soluções de pagamento, pesquisa de palavras-chave específicas nas páginas ou em URL, etc. Estes 90 marcadores permitem, na fase de qualificação, validar a existência de comércio eletrónico, de que tipo, com que meio de pagamento, etc.

17 BASE DE DADOS RESULTANTES DA EXTRAÇÃO Após esta primeira etapa, a Brokers dispõe de vastas quantidades de dados submetidos a uma triagem prévia, ainda em bruto, não qualificados e não normalizados. O processamento ocorre na segunda fase. Exemplo de base de dados:

18 2. CHECK, QUALIFY & NORMALIZE THE GENERATOR 1. SCAN THE WEB (PESQUISAR NA WEB) 2. CHECK & QUALIFY (VERIFICAR E QUALIFICAR) 3. HUMAN CHECK (VERIFICAÇÃ O PESSOAL) 4. INTEGRA- TION (INTEGRAÇÃO) PRODUÇÃO 5. MONITORING & UPDATE (MONITORIZAR E ATUALIZAR)

19 O LINKS É O CORAÇÃO DO REATOR Esta aplicação foi desenvolvida à medida e funciona offline. É articulada em redor de poderosos algoritmos e tem como função: normalizar os dados num formato único, qualificar os dados graças, nomeadamente, às informações contextuais extraídas, dotar cada dado de um coeficiente de confiança.

20 O LINKS INSPIRA-SE NAS METODOLOGIAS MAIS AVANÇADAS DE ANÁLISE QUANTITATIVA E QUALITATIVA DOS DADOS. Exemplo de base de dados: Eliminar os dados anómalos Corrigir os erros ortográficos Reduzir os desvios Etc.

21 EXEMPLO DE NORMALIZAÇÃO Nos n.º de telefone, todos os números são formatados de acordo com um formato único do tipo A aplicação irá: Harmonizar os 0033, +33, 02, 2,... Limpar as /, espaços, traços, hífens,... Excluir os números não conformes ao formato por se encontrarem incompletos, serem estrangeiros, etc. Detetar os n.º de GSM que irão precisar de uma validação específica Etc.

22 EXEMPLO DE QUALIFICAÇÃO Entre os endereços de extraídos de um site, a aplicação "Links" consegue: identificar os endereços oficiais de contacto da empresa, bastante mais variados que contact@... ou info@... detetar os endereços genéricos dos serviços principais: RH, recrutamento, TI, marketing, etc. isolar os endereços pessoais dos quadros e dos diretores (pierre@...) que devem ser objeto de um processamento tecnológico e jurídico específico.

23 OUTROS EXEMPLOS DE QUALIFICAÇÃO Graças aos dados contextuais extraídos na 1.ª fase, é possível identificar os centros de atividade ou as sedes entre os restantes endereços: distribuidores, sede, parceiros, etc. A atividade real e efetiva de uma empresa não é, necessariamente, a declarada na Conservatória do Registo Comercial. A -Brokers vai indentificá-la através de uma análise semântica das respetivas atividades, escrutínio de palavras-chave, título do site, etc. Os Web sites com sufixo ".fr" que pertençam a empresas estrangeiras são isolados. Etc.

24 NESTE PROCESSO, CADA DADO É, POR FIM, DOTADO DE UM INDICADOR DE CONFIANÇA Só os dados que sejam considerados de confiança, através de um sistema de indicadores, serão validados. Os dados irregulares, sujeitos a riscos ou em conflito serão pura e simplesmente excluídos ou submetidos a um controlo posterior.

25 UM DADO SERÁ CONSIDERADO FIÁVEL SE CORRESPONDER AOS 7 CRITÉRIOS SEGUINTES PRECISÃO COMPARABILIDA DE COERÊNCIA PERTINÊNCIA ATUALIDADE ACESSIBILIDADE CLAREZA

26 3. HUMAN CHECK (VERIFICAÇÃO PESSOAL) OUTSOURCING 1. SCAN THE WEB (PESQUISAR NA WEB) 2. CHECK & QUALIFY (VERIFICAR E QUALIFICAR) 3. HUMAN CHECK (VERIFICAÇÃ O PESSOAL) 4. INTEGRA- TION (INTEGRAÇÃO) PRODUÇÃO 5. MONITORING & UPDATE (MONITORIZAR E ATUALIZAR)

27 CONTROLO HUMANO Todos os dados em falta ou que não atinjam o coeficiente de qualidade exigido serão submetidos a uma etapa suplementar de certificação. Trata-se de um controlo humano, manual. Esta etapa realiza-se em parceria com as empresas parceiras, autorizadas.

28 4. FINAL INTEGRATION (INTEGRAÇÃO FINAL) LAST STEP BEFORE PRODUCTION (O ÚLTIMO PASSO ANTES DA PRODUÇÃO) 1. SCAN THE WEB (PESQUISAR NA WEB) 2. CHECK & QUALIFY (VERIFICAR E QUALIFICAR) 3. HUMAN CHECK (VERIFICAÇÃ O PESSOAL) 4. INTEGRA- TION (INTEGRAÇÃO) PRODUÇÃO 5. MONITORING & UPDATE (MONITORIZAR E ATUALIZAR)

29 TODOS OS DADOS SÃO VALIDADOS E CERTIFICADOS ANTES DE SEREM INTEGRADOS NAS BASES DE DADOS

30 5. MONITORING & UPDATING (MONITORIZAR E ATUALIZAR) THE VIRTUOUS CIRCLE (O CÍRCULO VIRTUOSO) 1. SCAN THE WEB (PESQUISAR NA WEB) 2. CHECK & QUALIFY (VERIFICAR E QUALIFICAR) 3. HUMAN CHECK (VERIFICAÇÃ O PESSOAL) 4. INTEGRA- TION (INTEGRAÇÃO) PRODUÇÃO 5. MONITORING & UPDATE (MONITORIZAR E ATUALIZAR)

31 CONTROLO CONTÍNUO DA QUALIDADE Os nossos dados são, regularmente, explorados pelos nossos clientes, em média 5 a 6 vezes por mês. Por conseguinte, submetemos-los a uma inspeção mensal (cfr Step #1). Deste modo, podemos garantir um elevado nível de atualização.

32 QUAL A QUALIDADE GARANTIDA? O QUE PODE SER MELHORADO?

33 METODOLOGIAS, FERRAMENTAS E DADOS Nenhuma empresa de Gestão de Dados de Internet tem uma experiência equivalente nem métodos tão testados como os nossos. A ANÁLISE DE DADOS É UM PROCESSO CONTÍNUO, NORMALIZADO, DIVIDIDO EM FASES. As nossas bases mudam regularmente, são atualizadas. PODEMOS GARANTIR 100% DE QUALIDADE? NÃO, MAS GARANTIMOS 99,99%... SIM!

34 ELEMENTOS DO DISPOSITIVO DE GESTÃO DA QUALIDADE SUPPORT PROCESSES MANAGEMENT SYSTEMS & LEADERSHIP INSTITUTIONAL ENVIRONMENT (AMBIENTE INSTITUCIONAL ) PRODUCTION PROCESSES STATISTICAL PRODUCTS USER NEEDS

35 LEGALIDADE ABSOLUTA DOS DADOS RECOLHIDOS Os legisladores franceses e belgas são exigentes no diz respeito à privacidade. Nós exploramos exclusivamente dados públicos, de utilização livre. Recorde-se que, os dados genéricos (como os s info@...) são abrangidos pelo regime de "opt-out". E quando encontramos dados pessoais (pierre@...), estes são sujeitos a um tratamento manual.