Análise de Algoritmos [1] Algoritmos e Estruturas de Dados MEEC 2013/2014

Transcrição

1 Algoritmos e Estruturas de Dados MEEC 2013/2014 Análise de Algoritmos e Complexidade Análise de Algoritmos [1] Para avaliar e comparar o desempenho de dois algoritmos: executamos ambos (muitas vezes) para ver qual é mais rápido fornece indicações sobre o desempenho e informação sobre como efectuar uma análise mais profunda Método empírico pode consumir demasiado tempo é necessário uma análise mais detalhada para validar resultados Que dados usar? dados reais: verdadeira medida do custo de execução dados aleatórios: assegura-nos que as experiências testam o algoritmo e não apenas os dados específicos Caso médio dados perversos: mostram que o algoritmo funciona com qualquer tipo de dados Pior caso! dados benéficos: Melhor caso 2

2 Análise de Algoritmos [2] Melhorar algoritmos Analisando o seu desempenho Fazendo pequenas alterações para produzir um novo algoritmo Identificando as abstracções essenciais do problema Comparando algoritmos com base no seu uso dessas abstracções Por vezes ignoram-se as características essenciais de desempenho Aceita-se um algoritmo mais lento para evitar analisá-lo ou fazer alterações complicadas É no entanto possível obter tremendos aumentos de desempenho escolhendo/desenvolvendo o algoritmo certo 3 Análise de Algoritmos [3] Evitar perder demasiado tempo a estudar essas características para quê optimizar o desempenho de um algoritmo que já é rápido no contexto da sua utilização é utilizado com poucos dados ou é pouco utilizado (executado) 4

3 Análise de Algoritmos [4] É fundamental para percebermos um algoritmo de forma a tomarmos partido dele de forma efectiva/eficiente compararmos com outros prevermos o desempenho escolher correctamente os seus parâmetros Importante saber que há bases científicas irredutíveis para caracterizar, descrever e comparar algoritmos Intenção nesta disciplina é ilustrar o processo introduzir alguma notação introduzir este tipo de análise demonstrando a sua utilidade e importância 5 Análise de Algoritmos [5] Análise precisa é uma tarefa complicada: algoritmo é implementado numa dada linguagem linguagem é compilada e o programa é executado num dado computador difícil prever tempos de execução de cada instruções e antever optimizações muitos algoritmos são "sensíveis" aos dados de entrada muitos algoritmos não são bem compreendidos É em geral, no entanto, possível prever aproximadamente o tempo de execução de um programa, ou que um algoritmo é melhor que outro em dadas circunstâncias (bem definidas) apenas é necessário um pequeno conjunto de ferramentas matemáticas 6

4 Análise de Algoritmos [6] Fundamental é separar a análise da implementação, i.e. identificar as operações de forma abstracta é relevante saber quantas vezes id[p] é acedido Uma propriedade (imutável) do algoritmo não é tão importante saber quantos nanosegundos essa instrução demora no meu computador! Uma propriedade do computador e não do algoritmo O número de operações abstractas pode ser grande, mas o desempenho tipicamente depende apenas de um pequeno número de parâmetros procurar determinar a frequência de execução de cada um desses operadores estabelecer estimativas 7 Análise de Algoritmos [7] Dependência nos dados de entrada dados reais geralmente não disponíveis: assumir que são aleatórios: caso médio por vezes a análise é complicada Pode ser uma ficção matemática não representativa da vida real perversos: pior caso por vezes difícil de determinar podem nunca acontecer na vida real benéficos: melhor caso Em geral são boas indicações quanto ao desempenho de um algoritmo 8

5 Análise: Crescimento de Funções [1] O tempo de execução geralmente dependente de um único parâmetro N ordem de um polinómio tamanho de um ficheiro a ser processado, ordenado, etc. ou medida abstracta do tamanho do problema a considerar usualmente relacionado com o número de dados a processar Quando há mais de um parâmetro procura-se exprimir todos os parâmetros em função de um só faz-se uma análise em separado para cada parâmetro 9 Análise: Crescimento de Funções [2] Os Algoritmos têm tempo de execução proporcional a: 1 muitas instruções são executadas uma só vez ou poucas vezes se isto for verdade para todo o programa diz-se que o seu tempo de execução é constante log N tempo de execução é logarítmico cresce ligeiramente à medida que N cresce usual em algoritmos que resolvem um grande problema reduzindo-o a problemas menores e resolvendo estes quando N duplica log N aumenta mas muito pouco; apenas duplica quando N aumenta para N 2 N tempo de execução é linear típico quando algum processamento é feito para cada dado de entrada situação óptima quando é necessário processar N dados de entrada (ou produzir N dados na saída) 10

6 Análise: Crescimento de Funções [3] N log N típico quando se reduz um problema em sub-problemas, se resolve estes separadamente e se combinam as soluções se N é 1 milhão N log N é perto de 20 milhões N 2 N 3 tempo de execução quadrático típico quando é preciso processar todos os pares de dados de entrada prático apenas em pequenos problemas (ex: produto matriz - vector) tempo de execução cúbico para N = 100, N 3 = 1 milhão (ex: produto de matrizes) 2 N tempo de execução exponencial provavelmente de pouca aplicação prática típico em soluções de força bruta para N = 20, 2 N = 1 milhão; N duplica, tempo passa a ser o quadrado cálculo da saída de um circuito lógico de N entradas ) (ex: 11 Análise: Crescimento de Funções [4] Outros exemplos são log log N log* N (número de logs até 1) Usualmente muito mais pequenas (quase constantes) Valores típicos de várias funções

7 Análise: Resolução de grandes problemas [1] Relação do tempo de execução conversão para unidades de tempo mais familiares Segundos minutos horas dias semanas meses anos décadas séculos nunca 13 Análise: Resolução de grandes problemas [2] Operações por segundo Tamanho do problema 1 milhão Tamanho do problema 1 bilião N NlgN N 2 N NlgN N segundos segundos semanas horas horas nunca 10 9 instantâneo instantâneo horas segundos segundos décadas instantâneo instantâneo segundos instantâneo instantâneo semanas 14

8 Análise: Complexidade Complexidade refere-se ao tempo de execução usualmente o termo de maior ordem domina (para N elevado) comum todos os termos serem multiplicados por uma constante para N pequeno vários termos podem ser igualmente relevantes ex: 0.1 N * N 2 para 1 N 1000 base do logaritmo não é muito relevante Mudar de base é um factor constante: ln x = ln b * log b x Bases mais comuns são 2 (lg N), 10 (log N) e e (ln N) [e = número de Neper] Análise de complexidade é muito importante quando N aumenta 15 Análise: Funções Relevantes função nome valores típicos aproximação floor (chão) ceiling (tecto) logaritmo binário números de Fibonacci números harmónicos função factorial = = = = = 16

9 Análise: Sucessões Números Harmónicos área debaixo da curva de 1/x entre 1 e N (integração) = (constante de Euler) é uma boa aproximação (reflecte diferença entre H N e o integral) Números de Fibonacci Fórmula de Stirling para N 2 com F 0 = 0 e F 1 = 1 e muitas outras: distribuição binomial aproximação de Poisson etc. 17 Análise: Notação O, Ω e Θ Definição 1 Uma função g(n) diz-se ser O(f(N)), escrevendo-se se existem constantes c 0 e N 0 tais que 0 g(n) c 0 f(n) para qualquer N N 0. Definição 2 Uma função g(n) diz-se ser Ω(f(N)), escrevendo-se se existirem constantes c 0 e N 0 tais que g(n) c 0 f(n) 0 para qualquer N N 0. Definição 3 Uma função g(n) diz-se ser Θ(f(N)), escrevendo-se se g(n) O(f(N)) e g(n) Ω(f(N)). 18

10 Notação O - Representação Gráfica Limitar uma função com uma aproximação O g(n) g(n) O(f(N)) g(n) debaixo de uma curva com o andamento de f(n) a partir de um dado N c 0 f(n) N 0 f(n) 19 Análise: Aproximação funcional g(n) proporcional a f(n) g() eventualmente cresce como f(), a menos de uma constante g(n) é como f(n) Permite usar f() para estimar g() 20

11 Análise: Para que serve a notação? Esta notação matemática permite suprimir detalhes na análise de algoritmos A notação é usada com três objectivos: limitar o erro que é feito ao ignorar os termos menores nas fórmulas matemáticas; limitar o erro que é feito na análise ao desprezar parte de um programa que contribui de forma mínima para o custo/complexidade total; permitir-nos classificar algoritmos de acordo com limites superiores e inferiores no seu tempo de execução. Notar que O(f(N)), Ω(f(N)) e Θ(f(N)) representam conjuntos de funções Existem pares de funções para as quais não é possível determinar a existência de nenhuma daquelas relações 21 Análise: Notação O [1] Os Resultados da análise não são exactos são aproximações tecnicamente bem caracterizadas Manipulações com a notação O permitem-nos ignorar termos de menor importância de forma precisa podem ser feitas como se o O não estivesse lá Ex: usando distributividade e o facto de que se f(n) não for constante fica e como 22

12 Análise: Notação O [2] Manipulações com a notação O alguns exemplos Fórmula com termo contendo O(...) diz-se expressão assimptótica Porque se refere ao comportamento da função quando N cresce para infinito 23 Exemplo: vantagens da notação [1] Dado um problema para análise verifica-se ter um loop interno iterado 2NH N vezes em média cada iteração requer execução de a 0 instruções (ou demora a 0 ns) secção interna iterada N vezes requer execução de a 1 instruções (ou demora a 1 ns) inicialização feita uma vez requer execução de a 2 instruções (ou demora a 2 ns) Complexidade (tempo médio de execução) é Para N grande não é preciso calcular a 1 ou a 2 24

13 Exemplo: vantagens da notação [2] Usando a notação O() temos Logo O que acontece quando N duplica? Também não é preciso conhecer o valor de a 0! 25 Operações sobre dados - Complexidade As operações sobre dados mais usadas são quatro: 1. Acesso Ver se existe, e recolher, o valor do conteúdo de um elemento 2. Modificação Alterar o valor do conteúdo de um elemento 3. Inserção Acrescentar um novo elemento e/ou componente a uma estrutura já existente 4. Remoção Apagar um elemento e/ou componente de uma estrutura já existente 26

14 Acesso e modificação de variáveis Na operação de acesso a dados organizados em tabela ou lista pode-se querer Aceder ao primeiro elemento Aceder ao último elemento Aceder a um elemento específico Aceder ao próximo (pressupõe a existência de um cursor) Em operações de modificação pode-se também querer Modificar o conteúdo do primeiro elemento Modificar o conteúdo do último elemento Modificar o conteúdo de um elemento específico Modificar o próximo (pressupõe a existência de um cursor) 27 Eficiência no acesso e modificação A eficiência nas operações de acesso e modificação é condicionada pela estrutura escolhida para armazenar os dados Assim Acesso/ Modificação Tabela Lista Primeiro O(1) O(1) Último O(1) O(N) Próximo O(1) O(1) Específico O(1) O(k) N é o número de elementos existentes k é a posição do elemento a aceder ou modificar (N k) 28

15 Inserção de componentes Na operação de inserção de novos elementos em tabelas, ou em listas, pode pretender-se Inserir um novo elemento na primeira posição, deslocando todos os outros para a frente. Inserir um novo elemento na última posição sem afectar os já existentes. Inserir um novo elemento numa posição intermédia pré-especificada, sem afectar os anteriores e deslocando os posteriores para a frente. Inserir um novo elemento de acordo com o seu valor ou em função do valor de algum qualificador associado com esse elemento. 29 Eficiência na inserção A eficiência da operações de inserção é condicionada pela estrutura escolhida para armazenar os dados Assim Inserção Tabela Lista Primeiro O(N) O(1) Último O(1) O(N) Préespecificado O(N-k) O(k) Condicional O(N) O(k) N é o número de elementos existentes antes da inserção k é a posição onde ficará o elemento a inserir (N k) 30

16 Remoção de componentes Na operação de remoção de elementos de tabelas ou de listas pode pretender-se Apagar o primeiro elemento da primeira posição, deslocando todos os outros para trás. Apagar o último elemento sem afectar os já existentes. Apagar o elemento situado numa posição intermédia pré-especificada, sem afectar os anteriores e deslocando os posteriores para trás. Apagar o elemento que possuir determinado valor, propriedade, etc. 31 Eficiência na remoção A eficiência da operações de remoção é condicionada pela estrutura escolhida para armazenar os dados Assim Remoção Tabela Lista Primeiro O(N) O(1) Último O(1) O(N) Préespecificado O(N-k) O(k) Condicional O(N) O(k) N é o número de elementos existentes antes da remoção k é a posição onde está o elemento a remover (N k) 32

17 Análise Síntese da Aula 1 Análise de Algoritmos Aspectos essenciais da análise empírica, teórica; estratégias de melhoria de algoritmos; comparação de algoritmos Crescimento de funções Resolução de grandes problemas Complexidade, funções relevantes e sucessões Notação Assimptótica Conceito Definições Propriedades Operações sobre dados determinação da complexidade 33 Instruções básicas [1] Para fazer a análise do tempo de execução de um dado algoritmo ou troço de código, introduz-se o conceito de instrução básica ou elementar; Definição: Instrução básica É uma instrução cujo tempo de execução pode ser limitado superiormente por uma constante. Essa constante pode variar de máquina para máquina e, numa mesma máquina, pode ser diferente para diferentes tipos de instruções básicas. Exemplos: id[p] = j; a = 3*b[i]; x = sqrt(c[j]); i++; if (i < N)... /* etc. */ 34

18 Instruções básicas [2] Em geral todas as operações aritméticas elementares, como somas, subtrações, multiplicações e divisões, são operações básicas; Exceptuam-se os casos de multiplicações de inteiros muito grandes, por exemplo. A maioria das chamadas a funções das bibliotecas são operações básicas; Por exemplo, as chamadas às funções matemáticas sqrt(), cos(), etc., são básicas. As instruções de atribuição e de teste/comparação são também operações básicas; A instrução abaixo não é básica em geral, se N for a variável que condiciona o tamanho do problema que se está a tratar. a[i] = minha_funcao(n); 35 Instruções básicas [3] Para analisar um troço de código é necessário identificar quais as instruções básicas e quais as que o não são. As instruções que não são básicas são, em geral, descritas por uma sequência de instruções básicas; Analisam-se estas individualmente. Assim, depois de identificar quais os elementos básicos, os não básicos e analisar estes últimos, é possível expressar quantas instruções básicas são executadas no total, como função do tamanho do problema; A análise de complexidade de um algoritmo consiste na determinação da função que relaciona a dimensão do problema com o número de instruções básicas executadas. Que é o mesmo que dizer com o tempo de execução. 36

19 Metodologia para determinação de complexidade [1] Suponha o seguinte código for (i = 0; i < N; i++) { instruções básicas; } A contabilização do número de instruções é simples N iterações e em cada uma é executado um número constante de instruções básicas O(N) Suponha o código seguinte for (i = 0; i < N; i++) { for (j = 0; j < N; j++) { instruções básicas; } } A contabilização do número de instruções é ainda simples O ciclo interno é O(N) e é executado N vezes O(N 2 ) 37 Metodologia para determinação de complexidade [2] Suponha o código seguinte for (i = 0; i < N; i++) { for (j = i; j < N; j++) { instruções básicas; } } A contabilização do número de instruções é ainda simples O ciclo interno é executado N + (N-1) + (N-2) = N(N+1)/2 O(N 2 ) Infelizmente, nem sempre a contabilização é assim tão simples... 38

20 Metodologia para determinação de complexidade [3] Suponha o seguinte código void func(int a[], int N) { várias instruções básicas; func(a, N-1); return; } A contabilização do número de instruções não parece ser simples Numa chamada à função executamos algumas instruções sobre N objectos (digamos f(n); pode ser constante, N, etc.) depois voltamos a chamar a mesma função agora apenas com N-1 objectos. O número total de instruções básicas executadas é descrito por uma recorrência! 39 Metodologia para determinação de complexidade [4] Para além da análise do tempo de execução, poderemos necessitar de fazer a análise da memória utilizada por um dado algoritmo Nestas circunstâncias, as instruções de interesse dizem respeito à definição de variáveis, seja em tempo de compilação ou de execução. Exemplos: void exemplo1(int N,...) { int i;... } void exemplo2(int N,...) { int vector[n]; }... 41

21 Metodologia para determinação de complexidade [5] Para cada função há que contabilizar as variáveis usadas void exemplo3(int N,...) { int i; int vector[n]; }... for (i=0; i<n; i++){ vector[i] = exemplo4(i); }... Neste caso temos que incluir também a memória usada pela função exemplo4 43 Metodologia para determinação de complexidade [6] Tal como acontece para a determinação da complexidade temporal, a determinação da complexidade de memória para funções recursivas requer tratamento especial void exemplo5(int N,...) { algumas alocações; /* f(n) */... algumas instruções;... exemplo5(n/2,...);... mais instruções;... exemplo5(n/2,...);... } Notar que, apesar de existirem duas chamadas recursivas à função, elas não coexistem ao mesmo tempo. Assim, apenas se contabiliza uma das chamadas 44

22 Análise: Recorrências básicas [1] Muitos algoritmos são baseados na ideia de dividir para conquistar dividir recursivamente um problema grande em vários problemas menores recursividade é uma técnica muito efectiva (estudaremos posteriormente) É importante perceber como analizar algumas fórmulas standard intervêm muitas vezes na análise de muitos algoritmos permite compreender os métodos básicos de análise 45 Análise: Recorrências básicas [2] Seja um programa recursivo que, em cada passo, analisa todos os dados de entrada para eliminar um item Para um problema de tamanho N executa O(N) instruções básicas Depois tem que resolver um problema de tamanho N-1 para N 2 e C 1 = 1 Solução C N é aproximadamente igual a N 2 /2 Demonstração usar a propriedade telescópica e aplicar a fórmula a si própria Importante O carácter recursivo de um algoritmo reflecte-se directamente na sua análise 46

23 Análise: Recorrências básicas [3] Seja um programa recursivo que, em cada passo, após a execução de um número fixo de instruções básicas reduz o problema a metade Para um problema de tamanho N executa O(1) instruções básicas Depois tem que resolver um problema de tamanho N/2 para N 2 e C 1 = 1 Solução C N é aproximadamente igual a log N Demonstração Fazer N =2 k, usar a propriedade telescópica que dá C N = O(k). Como k = log N, C N = O(log N) Importante se N/2 for N/2, então C N é o número de bits na representação binária de N, logo é lg N Análise: Recorrências básicas [4] Seja um programa recursivo que, em cada passo, examina todos os items para resolver depois metade do problema original Para um problema de tamanho N executa O(N) instruções básicas Depois tem que resolver um problema de tamanho N/2 para N 2 e C 1 = 1 Solução C N é aproximadamente igual a 2N Demonstração usar a propriedade telescópica e aplicar a fórmula a si própria A recorrência leva à soma N + N/2 + N/4 + N/ Se a sequência for infinita, a soma da série geométrica é 2N 48

24 Análise: Recorrências básicas [5] Seja um programa recursivo que, em cada passo, tem de examinar todos os dados de entrada antes, durante ou depois de os dividir em duas metades para processamento Para um problema de tamanho N executa O(N) instruções básicas Depois tem que resolver dois problemas de tamanho N/2 para N 2 e C 1 = 1 Solução C N é aproximadamente N lg N Demonstração Fazer N = 2 k, aplicar o método telescópico que produz C N = C 2 k = k2 k. Sendo k = log N, C N = O(N lg N) 49 Análise: Recorrências básicas [6] Seja um programa recursivo que, em cada passo, divide os dados de entrada em dois e depois realiza um número constante de outras operações Para um problema de tamanho N executa O(1) instruções básicas Depois tem que resolver dois problemas de tamanho N/2 para N 2 e C 1 = 1 Solução C N é aproximadamente 2N Demonstração Como a anterior 50

25 Análise: Procura sequencial e procura binária Dois algoritmos básicos que nos permitem ver se um elemento de uma sequência de objectos aparece num conjunto de objectos previamente guardados permite ilustrar o processo de análise e comparação de algoritmos Exemplo de aplicação companhia de cartões de crédito quer saber se as últimas M transacções envolveram algum dos N cartões dados como desaparecidos ou de maus pagadores Pretende-se estimar o tempo de execução dos algoritmos N é muito grande (ex: 10 4 a 10 6 ) e M enormíssimo (10 6 a 10 9 ) 54 Procura Sequencial - Solução trivial Assumir que os objectos são representados por números inteiros dados armazenados numa tabela procura é sequencial na tabela int search (int a, int v, int l, int r) int i; for (i = l; i r; i++) if (v == ai) return i ; return 1; 55

26 Procura Sequencial - Solução trivial Análise [1] O tempo de execução depende se o objecto está ou não na tabela se não estiver percorremos a tabela toda (N elementos) se estiver podemos descobrir logo no início (ou no fim) tempo depende dos dados! Assumir algo sobre os dados números são aleatórios (não relacionados entre si)?? esta propriedade é critica! Assumir algo sobre a procura estudar o caso de sucesso e o de insucesso separadamente tempo de comparação assumido constante 56 Procura Sequencial - Solução trivial Análise [2] Propriedade: na procura sequencial o número de elementos da tabela que são examinados é: N em caso de insucesso em média aproximadamente N/2 em caso de sucesso Tempo de execução é portanto proporcional a N (linear)! Isto para cada elemento de entrada Custo total é O(MN) que é enorme Como melhorar o algoritmo? manter os números ordenados na tabela (estudaremos algoritmos de ordenação nos capítulos seguintes) na procura sequencial numa tabela ordenada o custo é N no pior caso e N/2 em média (quer haja sucesso ou não) 57

27 Procura Binária [1] Se demorar c microsegundos a examinar um número e M=10 9, N=10 6 tempo total de verificação são 16 c anos!! Ideia: se os números na tabela estão ordenados podemos eliminar metade deles comparando o que procuramos com o que está na posição do meio se for igual temos sucesso (sorte!) se for menor aplicamos o mesmo método à primeira metade da tabela se for maior aplicamos o mesmo método à segunda metade da tabela 58 Procura Binária [2] int search (int a, int v, int l, int r) while (r l) int m = (l+r)/2; if (v == am) return m; if (v am) r = m-1; else l = m+1; return 1; 59

28 Procura Binária - Análise Propriedade: A procura binária nunca examina mais do que lg N + 1 números Demonstração: (ilustra uso de recorrências) Seja T N o número de comparações no pior caso; redução em 2 implica T N T N/2 + 1 para N 2 com T 1 = 1, i.e., após uma comparação ou temos sucesso ou continuamos a procurar numa tabela com N/2 elementos Sabemos de imediato que T N n+1 (em que N = 2 n ) e o resto segue por indução matemática) Mostra que este tipo de pesquisa permite resolver problemas até um milhão de dados com cerca de 20 comparações por procura possivelmente menos do que o tempo que demora a ler ou escrever os números num computador real 60 Estudo empírico de algoritmos de procura M = 1000 M = M = N S B S B S B

29 Conclusões da análise do exemplo Identificação de operações básicas de forma abstracta Utilização de análise matemática para estudar a frequência com que um algoritmo executa essas operações Utilizar resultados para deduzir uma estimativa funcional do tempo de execução Verificar e estender estudos empíricos Identificar e eventualmente optimizar as características mais relevantes de um dado algoritmo 62 Garantias, Previsões e Limitações [1] O tempo de execução dos algoritmos depende criticamente dos dados. Objectivo da análise é eliminar essa dependência inferir o máximo de informação assumindo o mínimo possível O estudo do pior caso é importante: permite obter garantias máximas se o resultado no pior caso é aceitável, então a situação é favorável é desejável utilizar algoritmos com bom desempenho no pior caso se o resultado no pior caso for mau, pode ser problemático não sabemos quão provável será aparecerem dados que levem a esse desempenho importante não sobrevalorizar obtenção de valores baixos para o pior caso não é relevante ter um bom algoritmo para o pior caso que é mau para dados típicos 63

30 Garantias, Previsões e Limitações [2] O estudo do desempenho no caso médio é atractivo: Permite fazer previsões bom quando é possível caracterizar muito bem os dados de entrada (tipo, frequência, etc) mau quando tal não é possível/fácil ex: processar texto aleatório num ficheiro versus processar o texto de um livro de Eça de Queiróz! análise pode ser não trivial em termos matemáticos ex: no algoritmo de união rápida saber o valor médio pode não ser suficiente podemos ter de saber o desvio padrão ou outras características não permite dizer nada sobre a possibilidade de um algoritmo ser dramaticamente mais lento que o caso médio por vezes aleatoriedade pode ser imposta 64 Análise Síntese da Aula 2 Metodologia para determinação de complexidade Recorrências básicas Exemplo: Procura Procura sequencial Procura binária Estudo empírico de métodos de procura Conclusões do exemplo Listagem da eficiência de operações sobre dados para as tabelas e listas Garantias, previsões e limitações 65