Quão rápido podemos ordenar? Aula07-LimiteInferiorpara Ordenação. Quão rápido podemos ordenar? Árvore de Decisão- Exemplo. Ordenação em Tempo Linear

Transcrição

1 Quão rápido podemos ordenar? Aula07-LimiteInferiorpara Ordenação Ordenação em Tempo Linear Prof. Marco Aurélio Stefanes marco em dct.ufms.br marco Um algoritmo baseado em comparação para ordenação deve ter complexidade pelo menos O(n) A melhor complexidade de pior caso que vimos até agora foi O(n lg n) (Mergesort e Heapsort) Intervalo entre O(n) e O(n lg n) Mostrar um limitante inferior para o problema de ordenação baseado em comparação de Ω(n lg n) implicará que os algoritmos Mergesort e Heapsort são ótimos (não dá para serem melhorados em termos assintóticos) Aula 07 - Limite Inferior para Ordenação p. 1 Aula 07 - Limite Inferior para Ordenação p. 3 Quão rápido podemos ordenar? Os algoritmos vistos até então são algoritmos por comparação: Usa apenas comparação para determinar a posição relativa dos elementos: Ex. Insertion, Merge, Quick e Heapsort O melhor tempo de execução de pior caso que vimos até agora é O(n lg n). Dá para resolver em tempo mais rápido? Um limite inferior no número de comparações é um limite inferior na complexidade para qualquer algoritmo resolver a ordenação baseado em comparação Árvore de decisão no ajuda a resolver esta questão Árvore de Decisão- Exemplo Árvore de decisão para o Insertionsort com entrada de 3 elementos Há 3! = 6 permutações dos elementos de entrada e a árvore de decisão deve ter pelo menos 6 folhas Aula 07 - Limite Inferior para Ordenação p. 2 Aula 07 - Limite Inferior para Ordenação p. 4

2 Árvore de Decisão- Exemplo Cada nó interno tem rótulo i : j para i,j {1, 2,... n} A subárvore esquerda mostra comparações subseqüentes se a i a j e a subárvore direita quando a i a j Aula 07 - Limite Inferior para Ordenação p. 5 Árvore de Decisão Se a i a j a subárvore esquerda mostra as comparações subseqüentes Se a i a j a subárvore direita mostra as comparações subseqüentes Quando o algoritmo atinge uma folha, ele estabeleceu uma ordenação a π(1) a π(2) a π(n) Um algoritmo correto deve produzir cada uma das permutações para uma dada entrada. Portanto deve haver pelos menos n!, folhas, uma para cada entrada, na árvore de decisão Aula 07 - Limite Inferior para Ordenação p. 7 Árvore de Decisão Árvore de Decisão- Exemplo Há pelo menos n! folhas: um para cada permutação π(1),π(2),...,π(n) A árvore de decisão modela todas as trilhas de execução A árvore de decisão modela qualquer algoritmo de ordenação baseado em comparação Uma árvore para cada n A execução do algoritmo corresponde a trilhar um caminho da raiz até uma folha Em cada nó interno, uma comparação a i a j é feita Entrada: 9, 4, Aula 07 - Limite Inferior para Ordenação p. 6 Aula 07 - Limite Inferior para Ordenação p. 8

3 Árvore de Decisão- Exemplo Entrada: 9, 4, 6 Árvore de Decisão- Exemplo Entrada: 9, 4, , 6, 9 Aula 07 - Limite Inferior para Ordenação p. 8 Aula 07 - Limite Inferior para Ordenação p. 8 Árvore de Decisão- Exemplo Entrada: 9, 4, 6 46 Árvore de Decisão Dada uma árvore de decisão para um algoritmo com uma dada entrada (de tamanho n) temos: O tempo de execução para uma entrada é o comprimento do caminho da raiz até uma folha o tempo de pior caso é a altura da árvore Comprimento do maior caminho? Insertionsort Θ(n 2 ) Mergesort Θ(n lg n) O limite inferior de ordenação de qualquer algoritmo é a menor altura de todas as árvores de decisão onde cada permutação é uma folha desta árvore Aula 07 - Limite Inferior para Ordenação p. 8 Aula 07 - Limite Inferior para Ordenação p. 9

4 Árvore de Decisão Teorema Qualquer árvore de decisão que ordena n elementos tem altura Ω(n log n) Prova: A árvore deve conter n! folhas, pois há n! permutações possíveis. Uma árvore binária de altura h tem no máximo 2 h folhas, assim n! 2 h h lg n! Pela Fórmula de Stirling n! ( n e )n h ( n e )n h = n lg n lg e Counting sort COUNTING-SORT(A, k) 1:for i = 1 to kdo 2: C[i] = 0 3:for j = 1 to ndo 4: C[A[j]] = C[A[j]] + 1 5: C[i] = key = i 6:for i = 2 to kdo 7: C[i] = C[i] + C[i 1] 8: C[i] = key i 9:for j = n to 1do 10: B[C[A[j]]] = A[j] 11: C[A[j]] = C[A[j]] 1 h = Ω(n lg n) Aula 07 - Limite Inferior para Ordenação p. 10 Aula 07 - Limite Inferior para Ordenação p. 12 Ordenação em tempo linear Counting sort: Sem comparação entre os elementos Supõe que cada elemento é um inteiro no intervalo [1..k] Entrada: A[1..n],k onde A[i] {1, 2,...,k} Saída: B[1..n] ordenado Usa vetor auxiliar C[1..k] Idéia Contar para cada elemento x da entrada o número de elementos menores que x Colocar o elemento x diretamente na sua posição no vetor de saída Aula 07 - Limite Inferior para Ordenação p. 11

5 B B 4 C C B B 1 4 C C

6 Tempo do Counting Sort B C linha consumo na linha 1 2 Θ(k) 3 4 Θ(n) 6 7 Θ(k) 9 11 Θ(n) Consumo total: Θ(n + k) se k n então consumo é Θ(n) se k 10n então consumo é Θ(n) se k = O(n) então consumo é Θ(n) se k n 2 então consumo é Θ(k) Aula 07 - Limite Inferior para Ordenação p. 14 Counting Sort B C Não é bom para ordenar números com 32 bits k = 2 32 = 4G Não é bom para ordenar números com 16 bits k = 2 16 = 64k Bom para ordenar números com 8 bits? depende de n. Bom para ordenar números com 4 bits? provavelmente! COUNTING-SORT é estável, mas não é in place Será usado no RADIX-SORT Aula 07 - Limite Inferior para Ordenação p. 15

7 Radix Sort Origem: Máquina de ordenar cartões perfurados de Hollerith O operador humano fazia parte do algoritmo Ordenação por colunas Ordena bit a bit Ordena a partir dos bits menos significativos usando um algoritmo estável RADIX-SORT(A, d) 1:for i = 1 to ddo 2: ordene de forma estável A no dígito i Radix Sort Cada A[j] têm d dígitos decimais: A[j] = a d 10 d a a Exemplo com d = 3: Consumo de tempo: dígitos decimais: dígitos em 0...k: Θ(dn) Exemplo com d = 5 e k = 128: Θ(d (n + k)). a a a a a 1 sendo 0 a i 127 Aula 07 - Limite Inferior para Ordenação p. 16 Aula 07 - Limite Inferior para Ordenação p. 18 Radix Sort Correção do Radix Sort Exemplo: Supor o algoritmo COUNTING-SORT para ordenar os dígitos Indução no número de dígitos (passos do laço) Base: Ok! Hipótese: Suponha que até o dígito i 1 os números estão ordenados Passo indutivo: mostrar que com uma ordenação estável no dígito i os números ficam ordenados dois números que diferem no dígito i são corretamente ordenados dois números que tem o dígito i iguais são corretamente ordenados (devido ao algoritmo estável e a hipótese de indução). Aula 07 - Limite Inferior para Ordenação p. 17 Aula 07 - Limite Inferior para Ordenação p. 19

8 Análise do Radix Sort Vamos ordenar n números de b bits cada Cada número: b/r dígitos na base 2 r Exemplo: 32-bit r = 8 e b/r = 4 passos do COUNTING-SORT na base 2 8 Nota: COUNTING-SORT gasta Θ(n + k) para ordenadar números no intervalo [0..k 1] Se cada número de b bits: pedaços de r bits cada passo do COUNTING-SORT toma tempo Θ(n + 2 r ) Como há b/r passos temos T(n,b) = Θ( b(n + 2r ) ) r Bucket Sort Ordena em tempo linear em média Supõe que a entrada é uniformemente distribuída no intervalo [0, 1) Idéia: dividir o intervalo [0, 1) em n subintervalos (cestos) e colocar as n entradas nos n subintervalos Esperamos por poucos números em cada intervalo Ordene cada cesto Percorra os cestos em ordem listando os elementos de cada um Usar um vetor B de listas ligadas para representar os cestos Aula 07 - Limite Inferior para Ordenação p. 20 Aula 07 - Limite Inferior para Ordenação p. 22 Análise do Radix Sort Escolher r para minimizar T(n,b) Quando r cresce minimui o número de passos, mas se r lg n o tempo cresce exponencialmente Tomando r = lg n temos T(n,b) = Θ( bn lg n ) Para números no intervalo [0..n d 1] temos T(n,b) = Θ(dn) Para grandes quantidades de números RADIX-SORT é rápido. Exemplo: (32-bits) no máximo 3 passos para n 2000 Quicksort ou Mergesort pelo menos lg 2000 = 11 passos Bucket Sort BUCKET-SORT(A, n) Entrada: vetor A com 0 A[i] < 1 Saída : vetor de lista ligada B com os elementos em ordem 1:for i = 1 to ndo 2: Insira A[i] na lista B[ na[i] ] 3:for i = 0 to n 1do 4: Ordene a lista B[i] com o INSERTION-SORT 5: concatene as listas B[0], B[1],... B[n 1] em ordem Aula 07 - Limite Inferior para Ordenação p. 21 Aula 07 - Limite Inferior para Ordenação p. 23

9 Bucket Sort Exemplo do Bucket Sort Análise do Bucket Sort Baseado no fato que nenhum cesto recebe muitos elementos (uniformemente distribuídos) Note que todas as linhas gastam tempo O(n) no pior caso, execeto a linha 4 - INSERTION-SORT. Se cada cesto recebe um número igual de elementos e temos n elementos e n cestos, então temos O(1) elementos por cestos e a ordanação de cada um gasta tempo O(1). Como temos n cestos, o tempo total das ordenações de todos os cestos é O(n). O tempo total do algoritmo é portanto O(n). A B Aula 07 - Limite Inferior para Ordenação p. 24 Aula 07 - Limite Inferior para Ordenação p. 26 Correção Bucket Sort Sejam A[i] e A[j]. Suponha sem perda de generalidade que A[i] A[j] Caso A[i] e A[j] caiam no mesmo cesto, o INSERTION-SORT resolve a ordenação Caso A[i] e A[j] caiam em cestos diferentes, A[i] é colocado em um cesto menor que A[j], pois na[i] na[j] e a concatenação resolve a ordenação Aula 07 - Limite Inferior para Ordenação p. 25