Utilização de Técnicas de Mineração de Dados como Auxílio na Detecção de Cartéis em Licitações Carlos Vinícius Sarmento Silva Célia Ghedini Ralha

Transcrição

1 WCGE II Workshop de Computação Aplicada em Governo Eletrônico Utilização de Técnicas de Mineração de Dados como Auxílio na Detecção de Cartéis em Licitações Carlos Vinícius Sarmento Silva Célia Ghedini Ralha

2 Sumário Introdução Controladoria-Geral da União Definições Licitações e Cartéis Mineração de Dados Problema Solução Proposta Experimentações Conclusão

3 Introdução Controladoria-Geral da União CGU é responsável pelas atividades de auditoria governamental no âmbito do Poder Executivo Federal. Controle Interno, Correição, Prevenção da Corrupção e Ouvidoria. Ações voltadas para a promoção da transparência e prevenção da corrupção

4 Introdução Controladoria-Geral da União Planejamento e Execução das ações de controle utilizam os dados dos sistemas de informação do Governo Siafi, Sidor, Siape, Portal Transparência, etc. O volume de dados crescem expressivamente Ex: Portal da Transparência no ano passado registrou 1 bilhão de transações financeiras, totalizando cerca de 6,5 trilhões de reais (transferências de recursos, gastos diretos e cartões)

5 Introdução Controladoria-Geral da União Há dificuldades em correlacionar os dados disponíveis nos sistemas do governo. Solução Paliativa: Consultas aos sistemas em casos pontuais Preparação de amostras estatísticas compatíveis com a capacidade operacional do órgão.

6 Definições Licitação Licitação é o procedimento administrativo para se contratar com o poder público. Possibilita a concorrência entre os interessados em contratar. A Administração Pública seleciona a proposta mais vantajosa.

7 Definições Cartel e Rodízio de Licitações Cartel é um acordo explícito ou implícito entre concorrentes para fixação de preços Objetivo: eliminar a concorrência através de acordo com os concorrentes. Resultado: aumento de preços O rodízio de licitações é a prática de cartéis no mercado de licitações públicas. Consequência: dano ao erário.

8 Definições Cartel e Rodízio de Licitações O Conselho Administrativo de Defesa Econômica (CADE-MF) é responsável por investigar e punir os envolvidos na prática do cartel. A prática pode ser punível com pena de 2 a 5 anos de prisão. A CGU mantém parceria com o CADE para que as investigações sejam mais eficientes. CGU pode encaminhar o processo ao CADE Anular o processo de licitação Declarar inidônea as empresas envolvidas

9 Mineração de Dados Conjunto de técnicas utilizadas para descoberta de conhecimento em conjuntos dados (KDD). Segundo Fayyad et al. (1996a), o processo de KDD pode ser definido como o processo não trivial de identificar padrões válidos, originais, potencialmente úteis e compreensíveis em determinados bancos de dados. Algumas das principais técnicas de mineração de dados: classificação, clusterização e regras de associação.

10 Mineração de Dados Técnicas Classificação: Segundo Tan et al. (2005), classificação é a tarefa de aprender uma função alvo f que mapeia cada conjunto de atributos A para um dos rótulos de classificação y. Clusterização: Segundo Jain and Dubes (1988), clusterização é a tarefa descritiva onde se procura identificar um conjunto finito de categorias ou 'clusters' para descrever uma informação. Os dados são agrupados por suas similaridades. Podem ser exclusivas ou sobrepostas. É uma classificação não supervisionada.

11 Mineração de Dados Regras de Associação Regras de Associação: Consiste em descobrir relações fortes entre determinadas informações. Tem a capacidade de detectar padrões em forma de regras que associam valores de atributos. Podem prever padrões com qualquer atributo. As regras são em forma de conjunções: atrib1=valor1, atrib2=valor2 atrib3=valor3,...

12 Mineração de Dados Regras de Associação continuação A cobertura da regra é o número de instâncias em que a regra se repete. É chamada de suporte. A acurácia da regra é chamada de confiança e mede o número de instâncias que a regra prediz corretamente. Ou seja: X Y Suporte: (Ocorrências de X e Y) / (Total Instâncias) Conf: (Ocorrências de X e Y) / (Ocorrências de X)

13 Problema Identificar de forma eficaz e eficiente grupos de empresas suspeitos de praticar rodízio em licitações. Identificação de cartéis extrapola o escopo de apenas um órgão da Administração Pública. Não há formas determinísticas que auxiliem eficazmente na solução do problema. Análise de cruzamento de dados é impraticável pois o espaço de solução é exponencial. A confirmação de suspeitas é feita normalmente só após denúncias.

14 Solução Regras de Associação A técnica é útil pra encontrar relações fortes entre atributos. Para buscar regras de associação entre fornecedores (empresas), deve-se configurar os dados de forma que cada instância do dataset seja uma licitação tendo como atributos os fornecedores. Cada fornecedor será um atributo booleano identificando a participação ou a não participação do mesmo em cada licitação.

15 Solução Regras de Associação Composição do dataset:

16 Solução Regras de Associação Regras esperadas O preenchimento da coluna de vencedores pode ser eliminado produzindo regras do tipo:

17 Experimentações Os dados foram extraídos do sistema Compras.net. Licitações na modalidade pregão para contratações do mesmo tipo de serviço entre os anos de 2005 a 2008, para todos os órgãos federais, em todos os estados registros na base (lances em licitações) 2701 licitações 3051 fornecedores, sendo que 1162 já ganharam pelo menos 1 licitação 121 já ganharam pelo menos 5 licitações

18 Experimentações Experimento 1 Regra de Associação Algoritmo: Apriori (Weka 3.6.1) 2 Datasets foram preparados: Todos os fornecedores e licitações Apenas fornecedores que ganharam pelo menos 1 licitação. Os datasets foram preparados para que os resultados trouxessem apenas regras que contemplassem a participação de fornecedores nas licitações. Regras do tipo abaixo não ajudam na solução do problema de rodízio de licitação: Fornec1 = sim, Fornec2 = não,... Fornec3 = sim...

19 Experimentações Experimento 1 Regra de Associação Normalmente, taxas de suporte e confiança altas indicam que uma regra é de boa qualidade. Problemas: suporte mínimo alto não garante qualidade da regra neste problema. Comportamento fraudulento é estatisticamente menos frequente (ainda bem!). Cartel formado por 4 empresas que participaram de 15 licitações e ganharam as 15. Base com 2700 instâncias, suporte da regra = 0,5%. Suporte alto, por sua vez, pode indicar apenas a presença de um grande fornecedor que atua no mercado de licitações. Metodologia: a técnica deve ser aplicada com suporte mínimo baixo, e confiança alta, para não inibir boas regras. Uma avaliação deve ser feita nas regras pra selecionar as melhores.

20 Experimentações Experimento 1 Regra de Associação Aplicar Regras de Associação no país todo deixa o espaço de soluções bastante esparso. Cartel atua em regiões específicas

21 Experimentações Experimento 2 Dividir a base por regiões geográficas: Como tratar casos como Tocantins e Goiás? Dividir a base por UF: Muito específico, além de perder os cartéis que atuam em mais de um estado... Solução: Aplicar Clusterização na base. Gerar as principais regiões geográficas onde se agrupam os fornecedores para participar de licitações. Executar técnica de regras de associação nos clusters encontrados.

22 Experimentações Experimento 2 - Clusterização Algoritmo: Expectation-Maximization (EM- Weka) Algoritmo de refinamento iterativo. Define a probabilidade de um objeto estar num determinado cluster. Dataset formado por fornecedores e UF: Cada instância representa uma licitação que um determinado fornecedor participou num estado. Ex. (fornecedor_1, MG).

23 Experimentações Experimento 2 - Resultado

24 Experimentações Experimento 3

25 Avaliação dos Resultado Obtidos Com ajuda dos especialistas, foi definida uma função de avaliação das regras de associação.

26 Avaliação dos Resultado Obtidos Foram escolhidas as 10 melhores regras obtidas nos Experimentos 1 e 3 (Função de Avaliação) As melhores regras do Experimento 1 (base toda), tiveram na média, suportes maiores. As regras do Experimento 3 (por clusters) tiveram suportes menores, porém a qualidade das regras aumentou em cerca de 100%, por causa da divisão por clusters feita no Experimento 2. A avaliação leva em conta o número de vitórias do grupo, e não só o número de participações em licitações.

27 Avaliação dos Resultado Obtidos Esse resultado mostra que a estratégia de abaixar o suporte mínimo no algoritmo de regras de associação, e dividir o espaço de soluções (clusterização) funciona melhor para o problema de rodízio de licitações.

28 Avaliação dos Resultados 10 melhores regras de cada cluster

29 Conhecimento Descoberto O modelo de cluster era apenas para dividir melhor o espaço de soluções. No entanto, gerou bastante interesse por parte dos especialistas. O Cluster 1 fugiu do padrão de regionalização geográfica, pelo fato dos estados de São Paulo, Mato Grosso e Mato Grosso do Sul se agruparem com os estados de Alagoas, Ceará, Paraíba, Pernambuco, Piauí, Rio Grande do Norte. Um rápido levantamento, mostrou 76 empresas que atuaram tanto na região formada pelos estados do Nordeste quanto de SP, MT, MS. Destas empresas, 8 participaram em mais de 15 licitações tanto numa região quanto na outra. Destas 8 empresas nenhuma é de São Paulo ou Mato Grosso ou Mato Grosso do Sul. O que levou essas empresas a explorarem regiões distintas?

30 Experimentações Experimento 2 - Resultado

31 Conhecimento Descoberto Algumas das melhores regras de associação foram selecionadas e apresentadas aos especialistas para verificação. Grupos de empresas foram detectados onde a média de participações juntas e as vitórias em licitações levavam a indícios de cartelização.

32 Conhecimento Descoberto Exemplos: Duas empresas de um mesmo estado, sendo que o total de licitações que cada uma participou individualmente foi de 75 e 78 licitações. Dentre essas, em 68 licitações, participaram juntas ganhando 14 contratos entre os anos de 2005 a Três empresas somavam 14 certames de participação conjunta. O grupo celebrou 8 contratos com a Administração. Cada uma delas tinha uma média de participação individual relativamente baixa na base de dados (média de 30 licitações). No ano de 2008, uma empresa ganhou 9 licitações num mesmo órgão,concorrendo com outra empresa que não ganhou nenhuma das licitações em que ambas participaram. O detalhe é que as 9 licitações que a segunda empresa perdeu, foram as únicas licitações que ela participou na base de dados. O histórico de vitórias da primeira empresa na base de dados não passa de 12 certames.

33 Conclusão Foi apresentada uma proposta de aplicação Regras de Associação para auxílio na solução do problema de rodízio em licitações, para auxílio às atividades de auditoria governamental. Os resultados dos experimentos mostraram o potencial da solução utilizando regras de associação. Os experimentos mostraram que a combinação das técnicas de clusterização com regras de associação aumentou consideravelmente a qualidade das regras encontradas. A análise dos clusters apresentou fortes indícios de cartelização, o que pode ser verificado posteriormente com a aplicação das regras de associação nas regiões encontradas.

34 Trabalhos Futuros Utilização de abordagem integrada das áreas MD e SMA, seguindo a linha de Agents and Data Mining Interaction and Integration (AMII) (Ralha, C. G. (2009)). definição de um modelo arquitetural de AMII; desenvolvimento de um protótipo do modelo; realização de estudo de caso com o problema de detecção de cartéis em licitações; comparação de resultados com o uso de MD isolado. A integração tem como meta o enriquecimento do processo através das propriedades de autonomia, distribuição e independência de agentes inteligentes. Podem ser exploradas outras características de SMA tais como distribuição de recursos e controle e comunicação assíncrona. Será estudada uma função que avalie melhor as regras. Outras variáveis deverão entrar para mensurar melhor a qualidade das regras.

35 Referências Fayyad, U., Piatetsky-Shapiro, G., and Smyth, P. (1996a). The kdd process for extracting useful knowledge from volumes of data. Commun. ACM, 39(11): Tan, P.-N., Steinbach, M., and Kumar, V. (2005). Introduction to Data Mining. Addison Wesley, us ed edition. Jain, A. K. and Dubes, R. C. (1988). Algorithms for clustering data. Prentice-Hall, Inc., Upper Saddle River, NJ, USA Ralha, C. G. (2009). Towards the integration of multiagent applications and data mining. In Cao, L., editor, Data Mining and Multi-agent Integration. Springer US. A Bibliografia completa se encontra no artigo.

36 Obrigado!