Organização de músicas do Apple itunes: simulação através de técnicas de hashing

Transcrição

1 Estrutura de Dados II Universidade Federal de Juiz de Fora Trabalho Prof. Jairo Francisco de Souza Organização de músicas do Apple itunes: simulação através de técnicas de hashing 1. Introdução e objetivo do trabalho Sofwares para gerenciamento de músicas devem estar preparados para lidar com grandes bibliotecas de música. Alguns desses sofwares, contudo, começam a fcar muito lentos quando o usuário possui uma biblioteca com mais de 30 mil arquivos. O problema é ainda maior quando o sofware roda num dispositvo de baixo processamento. Por exemplo, o ipod oferece opção de 160gb de espaço para arquivos MP3. Considerando arquivos de MP3 com 4mb, o aparelho pode armazenar aproximadamente 40mil arquivos. Segundo sites não-ofciais (a Apple não fornece informações sobre processadores desses portáteis), os modelos classic desses aparelhos utlizam um processador de apenas 80mhz com dois núcleos e 32mb de RAM. Porém, verifcando aparelhos similares ou celulares que tocam mp3, notamos, mesmo que de forma empírica, que os aparelhos da Apple possuem velocidade muito maior no processo de busca por informações de música e acesso ao arquivo (reprodução da música). Considerando-se que celulares e outros tocadores de MP3 oferecem capacidade de armazenamento muito menor (16gb a 32gb em média), é interessante verifcar porque esses aparelhos que lidam com muito menos informação demoram muito mais para realizar as mesmas operações de busca e recuperação. O objetvo desse trabalho é aplicar técnicas de hashing e de ordenação de registros para organização fsica de arquivos MP3 e geração de relatórios para o usuário, simulando operações básicas de um software para carregamento de dados em aparelhos multmídia portáteis. Para tal, vamos simular a abordagem de armazenamento e busca do itunes/ipod/iphone. 2. Descrição do trabalho Dado um diretório parametrizado ou pré-determinado com caminho relatvo contendo somente arquivos do tpo mp3 com tags ID3 preenchidas, pede-se que seu programa seja capaz de organizar esses arquivos em pastas numeradas de 0 a 99, onde cada pasta representa uma entrada de uma tabela de hashing. O aplicatvo deve utlizar as informações do arquivo, como nome da música, álbum ou artsta, e, através de uma função hash, determinar em qual diretório o arquivo mp3 deve ser movido. Os diretórios numerados devem ser criados somente sob demanda. O aplicatvo deve criar um arquivo auxiliar para agilizar a consulta sobre músicas adicionadas no repositório. Cada música inserida em seu diretório correto deve gerar um novo registro em um arquivo music.dat, o qual contém registros no seguinte formato: struct { char *titulo, *artista, *album; } regmusic; Para evitar o gasto de espaço em disco (e de memória) é PROIBIDO armazenar outras informações do arquivo. Note, então, que o nome do arquivo não foi armazenado. Assim, como o sistema fará para encontrar o arquivo? Para tal, iremos criar uma segunda função de hash, a qual será responsável por alterar o nome do arquivo para uma sequência de 10 caracteres (podendo conter números e letras). Assim, para buscar uma dada música, o sistema usará uma função de hash para descobrir em qual diretório a música se encontra e, depois, usará uma segunda função de hash (diferente da primeira) para descobrir qual o nome da música dentro do diretório. Essa segunda função de hash deverá tratar colisões (ou seja, músicas com mesmo nome). PS: numa aplicação real, espera-se que a segunda função de hash seja perfeita. Mas no nosso trabalho, como o objetvo é treinar os conceitos vistos em sala, não nos preocuparemos se a função for imperfeita.

2 3. Funcionalidades a serem implementadas 1. O sistema deve importar músicas para o repositório. O usuário pode, a qualquer momento, importar novas músicas para o repositório. 2. O usuário pode visualizar relatórios sobre as músicas existentes na biblioteca. Este relatório pode ser gerado ordenado por: Artsta Álbum Artsta + Álbum 3. Não serão armazenadas no arquivo music.dat informações sobre o caminho relatvo ou absoluto do arquivo mp3! Isso permite que o usuário ou outro aplicatvo possam alterar o nome dos arquivos mp3s mesmo depois de já armazenados no repositório sem conhecimento do aplicatvo a ser implementado. 4. Relatório Deve-se fazer testes com o sistema utlizando 6 diferentes funções de hashing, sendo 3 para alocação em diretórios e 3 para alteração do nome da música. Estas funções devem ser avaliadas através da Quantdade Média de Colisões Totais e a Distribuição Média das Colisões (veja Apêndice II). Para a primeira função de hash, ou seja, a função que aloca em diretórios, deve-se considerar que as colisões c correspondem a exatamente n-1, sendo n a quantdade de arquivos em uma dada pasta. Ou seja, se uma pasta possui 3 arquivos, então foram geradas duas colisões nesta pasta. Das funções a serem implementadas, quatro devem ser baseadas em técnicas vistas em sala de aula e as outras devem ser técnicas totalmente novas (pesquise ou use a imaginação). Para a primeira função de hash (alocação em diretório): faça testes e registre o resultado dos índices de colisões pedidos para inserção de 100, 200, 300 e 500 arquivos mp3s (sempre músicas distntas). Para a segunda função de hash (alteração do nome do arquivo): faça testes e registre o resultados dos índices de colisões para alteração de nomes de 100, 200, 300 e 500 arquivos. Para contabilizar as colisões, considere que todos os arquivos irão para a mesma pasta (ou seja, não use a primeira função de hash). PS: esse trabalho vai servir, no mínimo, para você atualizar a sua biblioteca de músicas no celular :) 5. Entrega O grupo deverá ser formado por 4 alunos e as responsabilidades de cada aluno deve ser dividida nos seguintes grupos, onde cada aluno deve escolher um dos 4 papéis abaixo: Papel 1: Definição das 3 funções de hash para alocação em pastas, testes com as funções e geração dos gráficos Papel 2: Definição das 3 funções de hash para alteração do nome dos arquivos, testes com as funções e geração dos gráficos Papel 3: Códigos para inserção da música no sistema: leitura das tags ID3 dos arquivos, criação do arquivo music.dat, renomeação da música e alocação na pasta correta. Papel 4: Códigos para geração dos relatórios ordenados solicitados pelo usuário. Deve ser entregue um relatório com os seguintes itens: 1. Descrição das atvidades realizadas por cada membro do grupo 2. A implementação dos algoritmos (código documentado informando o que faz e quais os autores de cada função); 3. A explicação sobre as 6 funções de hash implementadas, com exemplos didátcos; 4. Gráfcos com os resultados dos índices de colisões pedidos na seção 4; 5. Análise dos resultados resultados obtdos nos gráfcos; O grupo deve agendar um horário com o professor para entrega pessoal do trabalho e apresentação oral no DCC. O sistema deverá rodar em Ubuntu. Principalmente se fzer em C ou C++, nem comece a programar no Windows.

3 Atenção para a data de entrega dos trabalhos: caso você deixe para o últmo dia, não espere que o professor estará disponível para te atender (outro grupo já pode ter reservado o horário!). Se não tver espaço vago para a sua apresentação, será considerado entrega com atraso. Atenção de novo: todo semestre os alunos perdem muito tempo com problemas na implementação que os alunos que fazem no Linux ou OSX não tveram. Então, se não usa linux, instale AGORA. 6. Pontuação Os membros da equipe serão avaliados pelo produto fnal do trabalho e pelos resultados individuais alcançados. Assim, numa mesma equipe, um membro pode fcar com nota 90 e outro com nota 50, por exemplo. Dentre os pontos que serão avaliados, estão: Execução do programa (caso o programa não funcione, a nota será zero) Corretude do programa (se todas as funções geram resultados esperados) Código documentado e boa prátca de programação (o mínimo necessário de variáveis globais, variáveis e funções com nomes de fácil compreensão, soluções elegantes de programação, código bem modularizado, etc) Sistema visualmente bem apresentado (interface com usuário) Pontualidade (quanto mais atrasada for a entrega do trabalho, mais pontos o trabalho perde) Relatório bem redigido Considerações finais: O trabalho pode ser feito em C, C++ ou Java O trabalho deve ser feito em grupo, mas o código deve ser feito individualmente. Trabalhar em grupo não significa sentar 4 na frente de um computador. Trabalhar em grupo significa dividir tarefas, assumir responsabilidades e cada um implementar seu código. Reuniões serão necessárias para juntar o código de cada um. Se cada um assumir as responsabilidades do seu Papel, o trabalho individual de cada membro será MUITO reduzido. Evite dependência do trabalho do colega. Por exemplo: se você escolheu o Papel 1 ou 2, não depende do trabalho dos demais. Se você escolheu o Papel 3 ou 4, combine com os Papéis 1 e 2 como o nome da função de hash e, durante a sua implementação, crie uma função fictícia que retorna um valor constante (ou aleatório), de forma que você não dependa do trabalho dos demais. Se você terminar o seu código e os demais membros do grupo não terminarem, o professor irá considerar o seu código. Se um membro abandonar o grupo, alguém terá que herdar as tarefas faltantes. No final, tudo terá que ser implementado para que o trabalho seja aceito com nota máxima. Apêndice I: como ler tags ID3 Para manipular tags ID3, baixe a biblioteca para C chamada libid3tag. É necessário compilar a biblioteca para o seu sistema operacional. As instruções de instalação estão no site da biblioteca (pesquise no google). Para usuários do Ubuntu, pode-se baixar a biblioteca já compilada no repositório da Canonical (digite libid3tag0-dev na Central de Programas do Ubuntu). Para usuários Windows, boasorte... :-) Para compilar o seu projeto, será necessário setar a biblioteca id3tag.so no CodeBlocks. Para tal, vá em Project Build optons Linker settings Add e adicione o caminho completo da biblioteca. No Ubuntu, a biblioteca estará em /usr/lib/libid3tag.so. A documentação do libid3tag pode ser encontrada em Trabalhe com músicas com nome de artstas e de faixas sem acentos, para facilitar o seu trabalho. Exemplo de código para recuperação de tags ID3: #include <stdio.h> #include <stdlib.h> #include <id3tag.h>

4 /** * Esta função retorna uma string contendo a informação de alguma tag do MP3, como nome do artista, album, musica, etc. * O nome do campo a ser retornado é passado pela variável frameid, a qual contém valores das enumerações ID3_FRAME_TITLE, ID3_FRAME_ARTIST, etc, vide documentação da biblioteca libid3tag em * * Autor: Jairo Francisco de Souza (#jairofsouza) **/ char *getlabel(struct id3_file *arquivo, char const *frameid) { } struct id3_tag *tagid3 = id3_file_tag(arquivo); struct id3_frame *frame = id3_tag_findframe(tagid3, frameid, 0); union id3_field field = frame->fields[1]; id3_ucs4_t const *ptemp = id3_field_getstrings(&field,0); id3_latin1_t *pstrlatinl = id3_ucs4_latin1duplicate(ptemp); char *texto = pstrlatinl; return texto; int main() { // Abre o arquivo mp3 struct id3_file *arquivo = id3_file_open("teste.mp3", ID3_FILE_MODE_READONLY); // coleta informação do nome da música char *titulo = getlabel(arquivo, ID3_FRAME_TITLE); printf("%s\n", titulo); // coleta informação do nome do artista char *artista = getlabel(arquivo, ID3_FRAME_ARTIST); printf("%s\n", artista); // coleta informação do nome do album char *album = getlabel(arquivo, ID3_FRAME_ALBUM); printf("%s\n", album); // fecha o arquivo (não esquecer de fechar todo arquivo aberto!) int x = id3_file_close(arquivo); if (x!=0) printf("erro ao fechar arquivo"); } return 0; Apêndice II: como calcular os índices de colisão O programa deve gerar para cada função: A Quantdade Média de Colisões Totais = (Total de Colisões) / n. A Distribuição Média das Colisões = (Total de Colisões) / (Total de pastas que colidiram ao aplicar h(k) Imagine que, ao inserir registros em uma tabela utlizando duas funções distntas de hashing (h1 e h2), são gerados os seguintes resultados: h1 gerou 5 colisões totais na tabela, porém todas as 5 colisões aconteceram em somente 2 posições da tabela (ou seja, 5 chaves distntas, ao aplicar h1(k), foram direcionadas para uma das duas posições de colisão). h2 gerou 7 colisões totais na tabela, porém as 7 colisões aconteceram em 5 posições distntas na tabela. Sendo assim, temos (para somente 1 execução do algoritmo): Quantdade de Colisões Totais de h1 = 5 Quantdade de Colisões Totais de h2 = 7 Distribuição das Colisões de h1 = 5 / 2 = 2,5 Distribuição das Colisões de h2 = 7 / 5 = 1,4 Analisando os resultados, verifcamos que a função h1 gera menos colisões do que a função h2. Contudo, as colisões geradas pela função h2 são melhor distribuídas que as colisões geradas pela função h1. Em algumas situações, pode ser mais interessante escolher uma função que distribua melhor as colisões, mesmo que ela gere algumas colisões a mais que outra função qualquer, pois permite um

5 resultado melhor ao aplicar técnicas de tratamento de colisões como, por exemplo, na abordagem de encadeamento.