Indexação de Dados Biológicos baseado em Vetores de Sufixo Generalizados para Disco

Transcrição

1 Indexação de Dados Biológicos baseado em Vetores de Sufixo Generalizados para Disco Felipe Alves da Louza 1, Profa. Dra. Cristina Dutra de Aguiar Ciferri 1 1 Pós-Graduação em Ciências de Computação e Matemática Computacional Instituto de Ciências Matemáticas e de Computação (ICMC) Universidade de São Paulo (USP) São Carlos, SP, Brasil {louza, cdac}@icmc.usp.br Nível: Mestrado Ano de ingresso no programa: 2012 Exame de qualificação: Junho de 2012 Época esperada de conclusão: Julho de 2013 Resumo. Com o avanço tecnológico, a quantidade de dados biológicos coletados, armazenados e disponíveis para análise tem aumentado exponencialmente. Esses dados referem-se às sequências biológicas de DNA, RNA e de proteínas e são armazenadas em bancos de dados biológicos (BDBs) como cadeias de caracteres. O casamento exato de cadeias de caracteres desempenha um papel importante em pesquisas por similaridade em BDBs, atuando como um filtro na etapa de alinhamento de sequências biológicas. Além disso, para auxiliar essas pesquisas, existem os índices e, dentro desse contexto, o vetor de sufixo é uma estrutura de dados muito utilizada. Desafios relacionados ao uso de vetores de sufixo na indexação de BDBs referem-se à construção do índice para grandes cadeias, ao armazenamento e à manipulação eficiente de sua estrutura em memória externa (ou seja, disco), e à indexação de conjuntos de cadeias por meio de vetores de sufixo generalizados. Na literatura, trabalhos correlatos que usam vetores de sufixo apresentam as seguintes limitações. Por um lado, trabalhos que usam vetores de sufixo generalizados são direcionados apenas à memória primária. Por outro lado, trabalhos voltados à manipulação de vetores de sufixo em disco não enfocam vetores de sufixo generalizados. Essas limitações motivam o desenvolvimento deste projeto de mestrado, o qual tem por objetivo investigar a indexação persistente de dados biológicos baseado em vetores de sufixo generalizados. Palavras-Chave bancos de dados biológicos, índices, vetores de sufixo para disco, vetores de sufixo generalizados. Os autores agradecem o apoio financeiro das seguintes agências de fomento à pesquisa do Brasil: FAPESP, CNPq, CAPES. 87

2 1. Introdução A quantidade de dados biológicos coletados, armazenados em banco de dados biológicos (BDBs) e disponíveis para análise tem aumentado exponencialmente devido ao avanço tecnológico. Esses dados referem-se às sequências biológicas de DNA, RNA e de proteínas e são armazenados nos bancos de dados biológicos (BDBs) como cadeias de caracteres. Diversos avanços na medicina têm sido obtidos por meio da pesquisa por similaridade em sequências biológicas [Gusfield 1997]. Surge, então, o desafio de pesquisar eficientemente BDBs. Em geral, pesquisas por similaridade em sequências biológicas são realizadas por meio do alinhamento dessas sequências. No entanto, métodos para alinhamento são computacionalmente caros, e raramente aplicados diretamente a BDBs. O casamento exato de cadeias de caracteres desempenha um papel importante em pesquisas por similaridade em BDBs, atuando como um filtro na etapa de alinhamento de sequências biológicas. Por exemplo, essa estratégia é utilizada pela ferramenta BLAST [Altschul et al. 1990], uma das mais importantes ferramentas de pesquisa por similaridade em BDBs. Para auxiliar pesquisas por similaridade, existem os índices, os quais conduzem as buscas a porções do conjunto de dados nas quais as sequências armazenadas têm maior probabilidade de serem similares à consulta. Na literatura, diferentes estruturas de dados têm sido usadas para indexação de cadeias de caracteres, entre elas, destaca-se a tabela hash, aárvore de sufixo e o vetor de sufixo [Gusfield 1997]. Nesse trabalho, enfoca-se o uso de vetores de sufixo, desde que essa estrutura é mais econômica em termos de espaço do que árvore de sufixo, e não é limitada à indexação de subcadeias de tamanho específico como a tabela hash. Um vetor de sufixo A T para uma cadeia T [1,n], com n caracteres, é um vetor de inteiros i [1,n] com todos os sufixos T [i] ordenados lexicograficamente [Manber and Myers 1993]. Uma vez construído A T, consultas por subcadeias em A T podem ser realizadas eficientemente. Adicionalmente, vetores de sufixo podem ser generalizados para indexar conjuntos de cadeias. Um vetor de sufixo generalizado G C para um conjunto C = {T 1,..., T r }, com r cadeias, possibilita a busca por similaridade em subcadeias de C e também a comparação entre todas as cadeias T i C [Gusfield 1997]. Este projeto de mestrado visa investigar a indexação persistente de dados biológicos baseado em vetores de sufixo generalizados. Mais detalhadamente, o projeto pretende desenvolver algoritmos relacionados à manipulação dos vetores de sufixo em disco e considerar extensões de suas estruturas de dados para indexar conjuntos de cadeias armazenadas em BDBs, por meio de vetores de sufixo generalizados. Pretendese investigar, portanto, a construção e a manipulação de vetores de sufixo generalizados armazenados em disco, e a realização de pesquisa por similaridade sobre esses vetores de sufixo generalizados persistentes. Este artigo está organizado como segue. Na Seção 2 são descritos fundamentos relacionados aos vetores de sufixo. Na Seção 3 são descritos trabalhos correlatos. Na Seção 4 é apresentada a proposta deste trabalho junto com os objetivos e a validação. Na Seção 5 são discutidas as atividades em andamento. O artigo é finalizado na Seção 6 com as considerações finais e as próximas atividades. 88

3 2. Vetor de Sufixo Sejam Σ= {α 1,α 2,..., α σ } um alfabeto com σ caracteres e uma ordem linear α 1 < α 2 <... < α σ definida, Σ o conjunto das cadeias construídas a partir de Σ, e$ / Σ um caractere que representa o final de uma cadeia, com $ <α i, α i Σ. Seja S Σ uma cadeia de carecteres, S[i, j] (1 i j n) é uma subcadeia de S que começa na posição i e termina na posição j. Dessa forma, S = S[1,n]=s 1 s 2... s n. Em particular, S[i, n] é um sufixo de S que começa na posição i, denotado por S[i]. Seja T Σ, a cadeia S é menor (lexicograficamente) que T, denotado por S T, se existir um índice j min{n, m} tal que: s 1... s j 1 = t 1... t j 1, e s j <t j. Um vetor de sufixo para um texto T [1,n], denotado por A T, é um vetor de n inteiros, pertencentes ao intervalo [1,n], com todos os sufixos T [i] ordenados lexicograficamente (1 i n) [Manber and Myers 1993]. O vetor de sufixo A T pode ser visto como a permutação de todos os elementos {1, 2,..., n}. O vetor de sufixo é definido formalmente na Definição 1. Definição 1 Um vetor de sufixo A T, para um texto T [1,n] Σ, é um vetor de inteiros A T =[j 1,j 2,..., j n ], de forma que : T [j 1 ] T [j 2 ]... T [j n ] A etapa de consulta em um vetor A T pode ser realizada por meio de uma busca binária em A T, uma vez que A T contém todos sufixos de T [1,n] ordenados. Por exemplo, considere o vetor de sufixo A T, para T = GAT AGA$ ilustrado na Figura 1. A busca pelo padrão P [1, 3] = AGA em A T é realizada em 3 passos, representados pelas setas ao lado direito de A T. No passo i =1, compara-se P com A T [4], e no caso, P T [A T [4]]. Com isso, no passo i =2, compara-se P com A T [2] e, como P T [A T [2]], no passo i =3 compara-se P com A T [3] e P = 3 T [A T [3]] = AGA$, encontrando-se a ocorrência de P em A T [3], isto é, P ocorre em T [4]. i A T [i] T [A T [i]] 1 7 $ 2 6 A$ AGA$ ATAGA$ GA$ 6 1 GATAGA$ 7 3 TAGA$ Figura 1. Busca por P [1, 3] = AGA em A T para T = GAT AGA$ Vetores de sufixo podem ser generalizados para indexar conjuntos de cadeias de caracteres [Gusfield 1997]. Seja C = {T 1,..., T n } um conjunto com n cadeias, o vetor de sufixo generalizado para o conjunto C, denotado por G C, é um vetor com todos os sufixos T j [i] de todas as cadeia T j C ordenados lexicograficamente. Cada sufixo é representado por um par de inteiros (i, j), denotando o sufixo i da cadeia T j, isto é, o sufixo T j [i]. Vetores de sufixo generalizados podem ser utilizados para encontrar subcadeias em comum e determinar a maior subcadeia entre todas as cadeias T j C. 3. Trabalhos Correlatos Na literatura, diversos trabalhos tem sido propostos voltados à melhoria do desempenho da etapa de construção de vetores de sufixo em memória, sendo que uma revisão des- 89

4 ses trabalhos pode ser encontrada em Puglisi et al. (2007). Já trabalhos relacionados à etapa de consulta, com destaque para Abouelhoda et al. (2004) e Choi e Park (2004), utilizam estruturas auxiliares para melhorar essa etapa. Por fim, trabalhos que enfocam indexação por meio de vetores de sufixo generalizados, tais como as propostas de Pinho et al. (2009) e Arnold e Ohlebusch (2011), consideram a estrutura apenas em memória primária. No entanto, trabalhos correlatos que enfocam a memória primária, em sua maioria, executam muitos acessos aleatórios à memória, o que impossibilita sua adaptação direta para manipulação de vetores de sufixo em disco. Assim, vetores de sufixo em memória primária são raramente utilizados para o processamento de grandes cadeias de entrada [Dementiev et al. 2008]. Diferentemente desses trabalhos correlatos, este projeto de mestrado visa a proposta de um índice biológico persistente, ou seja, para disco. Com relação aos trabalhos correlatos voltados à construção de vetores de sufixo em disco, o trabalho de Gonnet et al. (1992) descreve a primeira proposta para construir vetores de sufixo em disco. O trabalho de Crauser e Ferragina (2002) estende e compara soluções já existentes de construção em memória primária para a construção em disco. Entretanto, essas soluções não são eficientes e os testes realizados consideram apenas pequenas cadeias de entrada. Em contrapartida, o trabalho de Dementiev et al. (2008) introduz algoritmos mais eficientes, considerando cadeias de entrada de até 4GB. Por fim, o trabalho de Ferragina et al. (2012) propõe um algoritmo que utiliza pouca memória auxiliar e é mais rápido, na prática, do que os investigados posteriormente. A etapa de consulta torna-se ainda mais importante em vetores de sufixo em disco. Desde que a pesquisa sobre vetores de sufixo envolve busca binária, há o problema do grande número de acessos a disco durante essas consultas. Trabalhos que tratam da eficiência do processamento de consultas sobre vetores de sufixos em disco são descritos por Baeza-Yates et al. (1996), Sinha et al. (2008) e Moffat et al. (2009). Esses trabalhos buscam prover uma melhor organização da estrutura de dados em disco para favorecer leituras sequenciais. No entanto, no contexto de bioinformática, trabalhos correlatos que enfocam vetores de sufixo para disco limitam-se à indexação de apenas uma sequência biológica pertencente ao BDB. Esse projeto de mestrado visa suprir essa limitação, por meio da proposta de um índice biológico generalizado persistente. 4. Proposta 4.1. Descrição Este projeto de mestrado visa a indexação persistente de conjuntos de cadeias utilizando vetores de sufixo. Pretende-se propor algoritmos relacionados aos vetores de sufixo para disco considerando extensões de suas estruturas de dados para indexar conjuntos de sequências armazenadas em BDBs. Em detalhes, pretende-se investigar a construção e a manipulação de vetores de sufixo generalizados armazenados em disco, e a realização de pesquisa por similaridade sobre esses vetores de sufixo generalizados persistentes Validação A validação dos resultados obtidos será realizada por meio de testes de desempenho visando comparar as estratégias propostas com trabalhos correlatos existentes na literatura, em especial os trabalhos de Ferragina et al. (2012) e Moffat et al. (2009), os quais constituem, respectivamente, o estado da arte na etapa de construção e de consulta em vetores 90

5 de sufixo em disco. Quatro aspectos devem ser considerados nos testes de desempenho do índice proposto: (i) tempo gasto para construir o índice; (ii) quantidade de memória auxiliar utilizada pelo algoritmo de construção; (iii) espaço necessário em disco para armazenar a estrutura de dados construída; e (iv) tempo gasto para realizar consultas. Os tipos de dados a serem usados serão dados relacionados às sequências biológicas armazenadas em BDBs. Os tipos de dados a serem usados serão dados relacionados às sequências biológicas armazenadas em BDBs. Os dados serão reais, obtidos em BDBs públicos disponíveis na WEB, como os obtidos em nih.gov/. Os testes realizados sobre o índice enfocarão aspectos de construção do índice e de realização de consultas. Com relação à construção do índice, será coletado o espaço em bytes ocupado pelo índice, o espaço utilizado como memória auxiliar, e o tempo gasto em segundos para a sua construção. Com relação ao processamento de consultas, as análises serão realizadas em termos do tempo gasto em segundos e do número de acessos a disco. 5. Atividades em Andamento As atividades de mestrado em andamento estão concentradas na etapa de construção do índice e na proposta de sua estrutura de dados. A etapa de construção está sendo desenvolvida considerando a indexação de conjuntos com grandes cadeias de entrada, as quais excedem a capacidade da memória primária disponível. O algoritmo de construção preliminar proposto é composto pelas seguintes etapas: (i) divisão das cadeias de entrada em partições que caibam em memória primária; (ii) construção de índices parciais referentes a cada partição; e (iii) união dos índices gerados. Em especial, a etapa de união dos vetores parciais vislumbra a incorporação da abordagem external memory two-phase multi-way merge-sort (2PMMS) [Garcia-Molina et al. 1999], considerando otimizações específicas para ordenação de sufixos. Três aspectos importantes estão sendo enfocados no desenvolvimento do algoritmo de construção proposto. O primeiro refere-se a minimizar a quantidade de memória auxiliar utilizada com o objetivo de maximizar a quantidade de memória primária disponível e, consequentemente, diminuir o número de partições, além de reduzir o número de I/Os ao disco. O segundo refere-se à incorporação de um buffer-pool para armazenar estruturas auxiliares, como as propostas nos trabalhos correlatos, com o objetivo de manipular tais estruturas em memória primária e em disco. O terceiro aspecto corresponde ao aumento do tamanho da estrutura para armazenar o vetor de sufixo generalizado em disco. Em vetores de sufixo convencionais, não-generalizados, usa-se apenas uma variável inteira para cada sufixo indexado. Em contrapartida, vetores de sufixo generalizados devem considerar o armazenamento de duas variáveis inteiras para cada sufixo, as quais representam o sufixo e sua respectiva cadeia. 6. Considerações Finais e Próximas Atividades O vetor de sufixo é uma estrutura de dados muito utilizada em problemas que envolvem indexação e casamento exato de cadeias de caracteres. Entretanto, no contexto de indexação de BDBs, seu uso é limitado devido ao fato de que trabalhos que envolvem vetores de sufixo para disco consideram a indexação de apenas uma cadeia, e trabalhos que envolvem indexação de conjuntos de cadeias consideram apenas a estrutura em memória 91

6 primária. Dessa forma, este projeto de mestrado concentra-se na proposta de um índice para BDBs baseado em vetores de sufixo generalizados para disco. As próximas atividades a serem realizadas envolvem a finalização da proposta do algoritmo de construção do índice, a implementação desse algoritmo e a validação por meio de comparação com os trabalhos correlatos. Em seguida, será focada a etapa de consulta, juntamente com a elaboração de uma proposta otimizada à indexação de BDBs, além da implementação e validação dessa proposta. Referências Abouelhoda, M. I.Kurtz, S. and Ohlebusch, E. (2004). Replacing suffix trees with enhanced suffix arrays. Journal of Discrete Algorithms, 2(1): Altschul, S. F., Gish, W., Miller, W., Myers, E. W., and Lipman, D. J. (1990). Basic local alignment search tool. Journal of Molecular Biology, 215(3): Arnold, M. and Ohlebusch, E. (2011). Linear Time Algorithms for Generalizations of the Longest Common Substring Problem. Algorithmica, 60(4): Baeza-yates, R., Barbosa, E. F., and Ziviani, N. (1996). Hierarchies Of Indices For Text Searching. Rockefeller University, 21: Crauser, A. and Ferragina, P. (2002). A Theoretical and Experimental Study on the Construction of Suffix Arrays in External Memory. Algorithmica, 32(1):1 35. Dementiev, R., Kärkkäinen, J., Mehnert, J., and Sanders, P. (2008). Better external memory suffix array construction. ACM Journal of Experimental Algorithmics, 12:1 24. Ferragina, P., Gagie, T., and Manzini, G. (2012). Lightweight Data Indexing and Compression in External Memory. Algorithmica, 63(3): Garcia-Molina, H., Widom, J., and Ullman, J. D. (1999). Database System Implementation. Prentice-Hall, Inc., Upper Saddle River, NJ, USA. Gonnet, G. H., Baeza-yates, R., and Snider, T. (1992). New indices for text: PAT Trees and PAT arrays, pages Prentice-Hall, Inc., Upper Saddle River, NJ, USA. Gusfield, D. (1997). Algorithms on strings, trees, and sequences: computer science and computational biology. Cambridge University Press, New York, NY, USA. Manber, U. and Myers, E. W. (1993). Suffix Arrays: A New Method for On-Line String Searches. SIAM Journal on Computing, 22(5): Moffat, A., Puglisi, S. J., and Sinha, R. (2009). Reducing Space Requirements for Disk Resident Suffix Arrays. In Proceedings of the 14th International Conference on Database Systems for Advanced Applications, pages Pinho, A., Ferreira, P., Garcia, S., and Rodrigues, J. (2009). On finding minimal absent words. BMC Bioinformatics, 10(1):137. Puglisi, S. J., Smyth, W. F., and Turpin, A. H. (2007). A taxonomy of suffix array construction algorithms. ACM Computing Surveys, 39(2):1 31. Sinha, R., Puglisi, S. J., Moffat, A., and Turpin, A. (2008). Improving suffix array locality for fast pattern matching on disk. In Proceedings of the ACM SIGMOD International Conference on Management of Data, pages