Aula 22 && Revisão geral

MC3305 Algoritmos e Estruturas de Dados II Aula 22 && Revisão geral Prof. Jesús P. Mena-Chalco jesus.mena@ufabc.edu.br 2Q-2015 1

Medida de custo/complexidade de um algoritmo 2

(1) medida de custo pela execução de um programa em uma plataforma real Tais medidas são bastante inadequadas e os resultados jamais devem ser generalizados: Os resultados são dependentes do compilador que pode favorecer algumas construções em detrimento de outras; Os resultados dependem de hardware; Quanto grandes quantidades de memória são utilizadas, as medidas de tempo podem depender deste aspecto. 3

(1) medida de custo pela execução de um programa em uma plataforma real Apesar disso, há argumentos a favor de se obterem medidas reais de tempo: Exemplo: Quando há vários algoritmos distintos para resolver o problema; Assim, são considerados tanto os custos reais das operações como os custos não aparentes, tais como alocação de memória, indexação, carga, dentre outros. 4

(2) medida de custo por meio de um modelo matemático Usa um modelo matemático baseado em um computador idealizado. Deve ser especificado o conjunto de operações e seus custos de execuções. É mais usual ignorar o custo de algumas das operações e considerar apenas as mais significantes. Em algoritmos de ordenação: Consideramos o conjunto de comparações entre os elementos do conjunto a ser ordenado e ignoramos as operações aritméticas, de atribuição e manipulação de índices, caso existam. 5

Função de complexidade Para medir o custo de execução de um algoritmo, é comum definir uma função de custo ou função de complexidade f. Função de complexidade de tempo: mede o tempo necessário para executar um algoritmo para um problema de tamanho n. Função de complexidade de espaço: mede a memória necessária para executar um algoritmo para um problema de tamanho n. Utilizaremos f para denotar uma função de complexidade de tempo daqui para frente. Na realidade, f não representa tempo diretamente, mas o número de vezes que determinada operação (considerada relevante) é realizada. 6

Melhor caso, pior caso e caso médio Melhor caso: Menor tempo de execução sobre todas as entradas de tamanho n. Pior caso: Maior tempo de execução sobre todas as entradas de tamanho n. Caso médio (caso esperado): Média dos tempos de execução de todas as entradas de tamanho n. Aqui supoe-se uma distribuição de probabilidades sobre o conjunto de entradas de tamanho n. 7

Comparação de programas Estudamos o comportamento assintótico das funções de custo (comportamento de suas funções de custo para valores grande de n). O comportamento assintótico de f(n) representa o limite do comportamento de custo, quando n cresce. 8

Comparação de programas: exemplo O programa1 leva O programa2 leva vezes para ser executado. vezes para ser executa. Qual dos dois é o melhor? Depende do tamanho do problema. Para n<50, o programa 2 é melhor Para n>50, o programa 1 é melhor 9

Comparação de programas Se uma função não é O(f(n)) isso implica que a função seja Omega(f(n))? 10

11

Tratabilidade do problema Um problema é considerado Intratável (difícil): Se ele é tão difícil que não se conhece um algoritmo polinomial para resolvê-lo Ex. Algoritmo do caixeiro viajante Tratável / bem resolvido (fácil): Se existe um algoritmo polinomial para resolvê-lo. Ex. Algoritmo de multiplicação de matrizes. Algoritmo de Strassen 12

Questão importante 13

Questão importante 14

Recursividade 15

Recursividade Uma função recursiva é aquela que se chama a si mesma (obrigatoriamente)? 16

Recursividade Uma função recursiva não necessariamente é aquela que se chama a si mesma 17

Ordenação 18

Ordenação Os métodos de ordenação são classificados em 2 grandes grupos: Ordenação Interna: Se o arquivo a ser ordenado cabe todo na memória principal Ordenação Externa: Se o arquivo a ser ordenado não cabe todo na memória principal 19

Ordenação 20

Ordenação Os métodos de ordenação são classificados em 2 grandes grupos: Ordenação Interna: Se o arquivo a ser ordenado cabe todo na memória principal Algoritmos Baseados em Comparações Algoritmos Não Baseados em Comparações 21

Ordenação Algoritmos basedos em Comparações Insertion sort Selection sort Bubble sort Merge sort Quick sort Complexidade computacional [limite matemático] [limite assintótico para a ordenação] 22

Ordenação Algoritmos basedo em Comparações Insertion sort Selection sort Bubble sort Merge sort Quick sort Algoritmos não baseados em Comparações (utilizam alguma informação sobre os dados) Counting sort Radix sort Bin sort / Bucket sort Algoritmos que fazem a ordenação em tempo linear 23

Ordenação 24

Ordenação (bogosort.c) 25

Ordenação parcial 26

Ordenação parcial Os algoritmos de Ord. Parcial que estudamos: Seleção parcial Inserção parcial Heapsort parcial Quicksort parcial (implementado muito bem por vocês!) 27

Seleção parcial Um dos algoritmos mais simples. Principio de funcionamento: Selecione o menor item do vetor. Troque-o com o item que está na primeira posição do vetor. Repita estas duas operações com os itens: n-1, n-2, n-3,, n-(k-1), n-k k=7 Animação: https://www.cs.usfca.edu/~galles/visualization/comparisonsort.html 28

Comparação entre algoritmos 29

Heurísticas de pesquisa Procedimento simplificador (embora não simplista) 30

Heurísticas proposta por Rivest Move To Front (MTF) para listas: Elemento vai para a primeira posição. Transposição (T) para vetores: Elemento vai para a uma posição mais perto do início. 31

Heurísticas proposta por Rivest MTF Elemento vai para a primeira posição. T Elemento vai para a uma posição mais perto do início. É possível fazer melhor que MTF e T? Sim Aplicar a regra apenas quando o elemento é acessado k vezes seguidas, para k=2,3, ou 4. Leva mais tempo para estabilizar, mas faz de uma melhor maneira. 32

Árvores 33

Árvores de pesquisa A árvore de pesquisa é uma estrutura muito eficiente para armazenar informação. Apropriada quando existe necessidade de considerar todos ou alguma combinação de: Acesso direto e sequencial eficientes. Facilidade de inserção e retirada de elementos. Boa taxa de utilização de memória. Utilização de memória principal e secundária. 34

Representação hierárquica Representação por barras Representação por parênteses 35

Nós e filhos Carga útil Campos que dão estrutura à árvore O nó folha (=leaf) é um nó que não tem filho algum. Se x tiver um pai, essa árvore é uma subárvore de alguma árvore maior. 36

Varredura Uma função recursiva que faz a varredura e-r-d de uma árvore binária r: 37

Varredura 38

Complexidade de busca em uma ABB Busca em ABB = caminho da raiz até a chave desejada (ou até a folha, caso a chave não exista) Pior caso: Maior caminho até a folha = altura da árvore Complexidade: Uma árvore binária balanceada é aquela com altura 39

Árvore AVL 40

AVL Georgy M. Adelson-Velsky Russia Evgenii Mikhailovich Landis Ucrania (1922-2014/abril/26) (1921-1997) 41

AVL G.M. Adelson-Velskii y E.M. Landis An algorithm for the organization of information. Proceedings of the USSR Academy of Sciences, vol. 146, pp. 263 266, 1962 AVL foi a primeira estrutura (conhecida) de árvore de altura balanceada ou altura equilibrada. 42

Árvores AVL 43

Árvores AVL: Fator de balanceamento O fator de balanceamento/equilibrio de um nó T em uma ABB é definido como: Para qualquer nó T em uma árvore AVL, o fator de balanceamento assume o valor: +1, 0, -1. O fator de balanceamento de uma folha? 44

Árvores AVL: Fator de balanceamento 45

Árvores AVL: Rotações O processo de rebalanceamento é conduzido utilizando 4 tipos de rotações LL RR LR RL 46

Árvores AVL Há um custo adicional para manter uma árvore balanceada, mesmo assim garantindo O(log2 n), mesmo no pior caso, para todas as operações. Em testes empíricos: Uma rotação é necessária a cada duas inserções. Uma rotação é necessária a cada cinco remoções. 47

Árvore Rubro-Negras 48

Árvore Rubro-Negra Rudolf Bayer Computer scientist 49

Árvore Rubro-Negra Somente em 1978, Leo Guibas e Robert Sedgewick, atribuiram a 'coloração' na árvore. A cor "vermelho" foi escolhida porque era a mais bonita produzida pela impressora laser a cores disponíveis para os autores, enquanto trabalhavam na Xerox PARC 50

Propriedades de Árvore Rubro-Negra As propriedades da árvore rubronegra são: 1- Todo nó da árvore ou é vermelho ou é preto 2- A raiz e as folhas (nil) são pretas 3- Se um nó é vermelho, então seus filhos são pretos 4- Para todo nó, todos os caminhos do nó até as folhas descendentes contêm o mesmo número de nós pretos. 51

Altura de uma Árvore Rubro-Negra As ARNs com n nós/chaves internas tem altura, no máximo, igual a 2 lg(n+1) = O(log(n)) A prova é por indução. Ver detalhes no livro de Cormen et al. 52

Inserção 53

Altura de uma Árvore Rubro-Negra Nenhum caminho é maior do que duas vezes o comprimento de qualquer outro caminho 54

AVL vs Rubro-Negra Altura (pior caso) AVL: 1.44 lg(n+1) ARN: 2 lg(n+1) Árvores AVL são mais rigidamente balanceadas que ARN: AVL A inserção e remoção são mais lentas. AVL A busca (recuperação) são mais rápidas. AVL: Eficiente para árvores que mudam pouco. ARN: Eficiente para árvores de mudam muito. 55

AVL vs Rubro-Negra 56

Árvores Digitais (Trie) 57

TRIE originado de 'Information retrieval' TRIE = digital tree = radix tree = prefix tree 58

Árvores digitais (Árvore de prefixos) Palavras/Chaves: A to tea ted ten inn 59

Árvores TRIE A busca se inicia na raiz. As busca continua com a subárvore associado ao símbolo/caratere procurado até chegar a uma folha (ou nó interno) Essa estrutura permite fazer buscas eficiente de cadeias que compartilham prefixo. 60

Implementando uma ATRIE 61

Árvores P.A.T.R.I.C.I.A. acrônimo de Practical Algorithm To Retrieve Information Coded In Alphanumeric 62

PATRICIA 63

Árvores PATRICIA TRIE compactada binária. Caminhos que possuem nós com apenas 1 filho são agrupados em uma única aresta. Diferente das TRIE, não armazena informações nos nós internos, apenas contadores e ponteiros para cada subárvore descendente. Ou seja, nenhuma chave é prefixa de outra. 64

PATRICIA: Exemplo de representação Registro acumulativo que integra todos os nós exeto nas folhas. Indica o caractere que deve ser comparado ao caractere da chave informada. Identifica qual a posição do caratere da chave informada que deve ser analisado Similar às ABBs: Se a chave é menor ou Igual ao nó, ela é consultada à esquerda, caso contrário, à direita. 65

PATRICIA Vantagem Permite armazenar um número de posições para qual é movido para fentre antes de fazer a próxima comparação. [elimina comparações desnecessárias melhora o desempenho] 66

PATRICIA Desvantagem Considera apenas 2 subárvores. Se mais do que duas chaves são distintas na mesma posição do caratere, é necessário adicionar nós extras ao índice para separa-lo. [Se n chaves são distintas na mesma posição, então serão necessários n-1 nós para separá-los. Se muitos casos destes acontecem, é preferível utilizar TRIE] 67

Árvores 50 60 70 80 90 Anos log(m) log(n) 1960 TRIE 1968 PATRICIA 1962 AVL 1972 Symmetric Binary B-Trees 1978 Red-Black 68

Árvores B 69

Artigo: R. Bayer, E. McCreight Organization and Maintenance of Large Ordered Indexes. Acta-Informatica, 1:173-189, 1972. 70

P D A B C D M P G I W T M N P R S W T U W 71

http://blog.hackerrank.com/the-unhealthy-obsession-with-tree-questions/ 72

HASHING (tabelas de dispersão) 73

Problemas com o acesso direto As chaves nem sempre são valores numéricos: Exemplo: chaves com nomes de pessoas. Solução: Contruir uma representação numérica das chaves. Função F(chave) {0,1,...,m-1} O problema dos espaços é mais grave! Exemplo: duas chaves 0 e 999.999 Acesso direto: tabela de 1milhão de buckets, sendo que somente dois seriam ocupados. Solução: o uso de tabelas de dispersão. Precisamos de um bucket para cada chave possível. 74

Tabelas de dispersão (Hashing) Através da aplicação de uma função conveniente (função de dispersão ou função hash), a chave é transformada em um endereço de tabela (endereço base). hash(chave) {0, 1,,m-1} Note: m, não n. O método aproveita a possíbilidade de acesso randômico a memória para alcançar uma complexidade média O(1), sendo o pior caso, entretanto, O(n) 75

Tabelas de dispersão/espalhamento Duas formas de tratar colisões: Endereçamento aberto. Resolução de colisões através de encadeamento. Para evitar colisões usa-se uma função Hash que apresente comportamento randômico 76

Custo de acesso a disco 77

Custo do acesso a disco O custo do acesso a disco pode ser dividido em três operações distintas Tempo de busca (seek). Atraso rotacional no disco. Tempo de transferência dos dados.

Custo do acesso a disco Tempo de busca (Seek time) Tempo necessário para se mover o braço de acesso para o cilindro correto. Atraso rotacional (Rotational delay) É o tempo que o disco necessita para rotacionar de forma que o setor desejado fique sob a cabeça de leitura/escrita. Tempo de transferência (Transfer time) É dado pela seguinte fórmula: Tempo de transferência = (Número de bytes transferidos / Número de bytes na trilha) x tempo de rotação.

Comparação memória RAM vs discos Discos Um acesso na memória RAM (Random Access Memory) tipicamente pode ser feito em 30 a 60 nanosegundos (30 x10-9 s). Obter a mesma informação no disco tipicamente leva de 7 a 10 milisegundos (7 x10-3 s). Memória RAM é cerca de 1 milhão de vezes mais rápida que o disco. Mas provêm uma capacidade maior a um preço menor. Também são capazes de reter dados quando o computador é desligado. são lentos

Estado-da-arte Gustavo S. Pavani 81

Conjuntos disjuntos 82

Estruturas para conjuntos disjuntos Union-Find Coleção {S1,..., Sk} de conjuntos disjuntos dinâmicos (que variam ao longo do tempo) Cada conjunto Sk é identificado por um representante, que é um membro do conjunto. Geralmente não importa quem é o representante 8 7 3 2 1 9 0 6 5 4 0 1 2 3 4 5 6 7 8 9 C 5 1 1 35 5 5 3 35 83

Operações Make_Set(x): Cria um novo conjunto cujo único elemento é apontado por x. x não pode pertencer a outro conjunto da coleção. Union(x, y): Executa a união dos conjuntos que contêm x e y, digamos Sx e Sy, em um conjunto único. Sx Sy é vazio (conjuntos disjuntos). O representante de S = Sx Sy é um elemento de S. Find(x): Devolve um ponteiro para o representante (único) do conjunto que contém x. 84

Aplicações Algumas aplicações envolvem o agrupamento de N elementos em uma coleção de conjuntos disjuntos, ou seja, um particionamento dos elementos em conjuntos. Alguns usos Problemas de grafos E.g. árvore geradora mínima, componentes conexas Agrupamento (clustering) Envolvido em mineração de dados e reconhecimento de padrões 85

Heurística para floresta de conjuntos disjuntos União ponderada (union by rank): faça a raiz da árvore com menor rank (altura) apontar para a raiz da árvore com maior rank. Compressão de caminhos (path compression): durante uma busca (Find_Set) faça os nós do caminho apontar para a raiz Find_Set(a) 86

Na prática 87

Para finalizar 88

Tópicos interessantes Algoritmos por força bruta. Backtracking (refinamento da busca por força bruta). Algoritmos Gulosos (Greedy algorithms) Algoritmos de programação dinamica (Dynamic programming) Algoritmos Randomizados (Monte Carlo algorithms) Testes de software Códigos elegantes 89

Código elegante para os artesão de software Código que funciona Vs Código bonito Elegância é sinônimo de beleza. Em computação também foram associados as conotações de eficâcia e simplicidade. 90

Código elegante 91

Código elegante The book is about "topics like testing, debugging, portability, performance, design alternatives, and style," which, according to the authors, "are not usually the focus of computer science or programming courses". It treats these topics in case studies, featuring implementations in several programming languages (mostly C, but also C++, AWK, Perl, Tcl and Java). "The book fills a critical need by providing insight into pragmatic designand coding issues so that programmers become better at their craft...programmers just out of school should be given this book on their first day of work. It will save employers thousands of dollars due to lost productivity and "mindless" debugging." -- Paul McNamee, Computer Scientist, Johns Hopkins University Applied Physics Laboratory 92

93

Sobre a P2 Tópicos: Todos os tratados no quadrimestre Dia: 18/08 (com inicio -opcional- 30min antes do horário) Resumo: Pode trazer uma folha A4 contendo um resumo (feito a mao) 94