Definição e avaliação de métricas para solucionadores SAT

Transcrição

1 Definição e avaliação de métricas para solucionadores SAT Fernando Augusto Fernandes Braz Orientador: Mark Alan Junho Song Departamento de Ciência da Computação PUC Minas 9 de dezembro de 2009

2 Sumário 1 Introdução Motivação Justificativa Objetivos 2 Abordagem do DPLL Métricas para Verificação Formal 3 Descrição das Métricas Conjunto Unificado de Métricas 4 Testes Realizados 5 Trabalhos Futuros

3 Introdução Motivação Justificativa Objetivos Fórmula booleana ϕ: SAT ou UNSAT Solução trivial: dispor variáveis em uma árvore de decisão Satisfabilidade booleana é um problema NP-Completo

4 Motivação Motivação Justificativa Objetivos Vários solucionadores e heurísticas: processo de resolução divergente; dificuldade para comparar resultados Ausência de informações: aspecto interno do solucionador frente às classes de problemas

5 Justificativa Motivação Justificativa Objetivos Melhor entendimento do problema e das soluções Identificação de alternativas para pesquisa

6 Objetivos Motivação Justificativa Objetivos Características de cada solução Abordagem adequada para cada classe de problemas Comportamento de soluções distintas para um mesmo tipo de problema

7 Abordagem do DPLL Métricas para Verificação Formal Solução DPLL existe desde 1962 Poucas abordagens diferentes (Stålmarck e BDD) SAT Competition e benchmarks Classes de Problemas (reais, artesanais e aleatórios) Aplicações para SAT: verificação de processadores, síntese lógica, etc.

8 Abordagem do DPLL Abordagem do DPLL Métricas para Verificação Formal Motores decide, deduz e diagnostica Backtrack para sair de estados UNSAT Aprendizado de cláusulas: evitar conflitos recorrentes BCP (Boolean Constraint Propagation) Grafo de Implicação: detectar conflitos

9 Métricas para Verificação Formal Abordagem do DPLL Métricas para Verificação Formal Tempo de execução e uso de memória Revelam pouco sobre o aspecto interno Ausência de trabalhos para SAT envolvendo métricas Consulta às métricas de Engenharia de Software

10 Descrição das Métricas Conjunto Unificado de Métricas Escolha das abordagens: zchaff, Rsat e Minisat Critérios de escolha: vencedores em competições, eficientes para diferentes classes de problema Levantamento das métricas e Conjunto Unificado de Métricas

11 zchaff Descrição das Métricas Conjunto Unificado de Métricas Vencedor de 2002 Até pouco tempo estado da arte VSIDS (prioriedade reduzida em 50% a cada mil conflitos)

12 Rsat Introdução Descrição das Métricas Conjunto Unificado de Métricas Vencedor de 2007 (real) Estruturas de dados leves Progress Saving: atribuições anteriores a um conflito são armazenadas Pré-processador SATElite VSIDS (baseado no zchaff)

13 Minisat Descrição das Métricas Conjunto Unificado de Métricas Vencedor de 2007 (real e aleatório) Atual estado da arte VSIDS agressivo (prioriedade reduzida em 5% a cada conflito) Backtrack não-cronológico

14 Descrição das Métricas Descrição das Métricas Conjunto Unificado de Métricas Métricas exclusivas: reordenações (zchaff), máximo de literais/cláusulas aprendidas (Minisat), etc. Métricas comuns: cláusulas aprendidas, reinícios, propagações, memória, tempo de execução, etc. 11 Métricas comuns compondo o Conjunto Unificado de Métricas

15 Conjunto Unificado de Métricas Descrição das Métricas Conjunto Unificado de Métricas

16 Testes Realizados Testes Benchmark da SAT Competition e IBM Ambiente de Testes uniforme (mesma máquina e configurações) Tamanho Complexidade

17 Testes Realizados Testes Realizados 36 Testes para diferentes Classes de Problemas: 13 Problemas Reais (microprocessadores da IBM) 13 Problemas Artesanais (jogos de paridade em grafos) 10 Problemas Aleatórios (OnTreshold, 7-SAT) Tempos de execução variando de instântaneo a várias horas

18 Testes Artesanais Testes Realizados Solucionadores Métricas zchaff Rsat Minisat Cláusulas atuais Cláusulas originais Cláusulas aprendidas Cláusulas eliminadas Literais atuais Literais conflito Variáveis Reinícios Propagações Memória Tempo de execução Tabela: instance_n2_i2_pp.cnf (artesanal)

19 Observações Testes Artesanais Testes Realizados Necessidade de maior precisão Tempo de execução idêntico Solucionador não importa para instâncias triviais Rsat superior para instâncias artesanais

20 Testes Aleatórios Testes Realizados Solucionadores Métricas zchaff Rsat Minisat Cláusulas atuais Cláusulas originais Cláusulas aprendidas Cláusulas eliminadas Literais atuais Literais conflito Variáveis Reinícios Propagações Memória Tempo de execução Tabela: S UNSAT.shuffled.cnf (aleatória)

21 Observações Testes Aleatórios Testes Realizados zchaff apresenta tempos medianos frente aos demais Rsat foi desenvolvido voltado para problemas reais, comprometendo seu desempenho para problemas aleatórios Minisat superior para problemas aleatórios (menos reinícios, uso de memória e tempo de execução)

22 Testes Reais Testes Realizados Solucionadores Métricas zchaff Rsat Minisat Cláusulas atuais Cláusulas originais Cláusulas aprendidas Cláusulas eliminadas Literais atuais Literais conflito Variáveis Reinícios Propagações Memória Tempo de execução Tabela: bmc-ibm-13.cnf (real)

23 Observações Testes Reais Testes Realizados Problemas reais apesar de grandes são triviais Poucos conflitos e reinícios frente a problemas aleatórios, por exemplo Solucionadores apresentaram resultados similares

24 Trabalhos Futuros Constatações realizadas na área, como por exemplo, problemas reais apresentarem poucos conflitos, logo, menos reinícios Para instâncias pequenas qualquer solucionador pode ser utilizado Para problemas artesanais orienta-se utilizar o Rsat, e para problemas aleatórios o Minisat Problemas reais apresentaram resultados equivalentes entre os solucionadores

25 Trabalhos Futuros Trabalhos Futuros Expansão do Conjunto Unificado de Métricas Novos solucionadores Novos paradigmas Uso de outros benchmarks

26 Perguntas Trabalhos Futuros