Programar será assim tão difícil?

Transcrição

1 Programar será assim tão difícil? Ernesto Costa Departamento de Engenharia Informática Universidade de Coimbra 17 de Novembro de 2007 Resumo Para muitos não informáticos programar parece ser algo de extremamente difícil. É uma actividade a meio caminho entre a ciência e a arte. Ciência, porque exige disciplina e rigor, arte, porque motiva para (e potencia) a actividade criativa. Para uns um programador é como um escultor que passo a passo transforma uma pedra numa estátua esbelta. Para outros o programador é alguém quem brinca com blocos de diferentes formas e funcionalidades como se fossem peças de Lego. Realmente programar não é fácil. Temos que por em jogo simultaneamente conhecimentos (1) sobre o domínio do problema, (2) sobre a linguagem de programção a usar e (3) sobre o processo de construção da solução. Mas toda esta complexidade pode ser dominada. O texto que a seguir apresentamos resulta da dificuldade que alunos da cadeira de Bioinformática da Licenciatura de Biologia da Universidade de Coimbra sentiram ao passar para um universo, uma linguagem e um método de pensar a que não estavam habituados. Trata-se de um pequeno exercício de programação que abre o caminho para que se perca o receio do desafio que é a programação. 1 O Problema Comecemos pelo problema. Em Biologia existe algo que se chama sequência de consenso. Em termos simples (simplistas?) uma sequência de consenso é um padrão de ADN presente na região dos promotores de uma extensa cadeia de ADN e que determina a possibilidade de ligação com determinadas enzimas para se dar início ao processo de transcrição do ADN ele próprio uma das etapas da transcrição genética. Dizemos padrão pois o que efectivamente ocorre na região do promotor não é exactamente a sequência de consenso 1

2 mas uma sequência muito parecida. Um Informático diria simplesmente que uma sequência de consenso é uma palavra (ou cadeia de caracteres) sobre um alfabeto de quatro letras Σ = {A, T, C, G}. Cada uma dessas letras simboliza uma base azotada: Adenina, Timina, Citosina e Guanina. O nosso exercício de programação pode ser especificado de modo simples: dada um conjunto de sequências de ADN, todas de igual tamanho, construir uma nova sequência do mesmo tamanho em que a base presente numa dada posição será a base que aparece com maior frequência nessa posição em todas as sequências iniciais. Vamos chamar a essa sequência, sequência de consenso. Para clarificar apresentamos um exemplo. Para a entrada: S 1 ='ATTC' S 2 ='ACTG' S 3 ='GGGG' S 4 ='ATCG' a saída correspondente deve ser: S='ATTG' 2 A solução Dissemos no resumo que um programador tanto é visto como um escultor como alguém que brinca com Legos. Isso corresponde a dois estilos de programação: do topo para a base, por vezes designada por Programação Descendente ou da base para o topo, e aqui falamos de Programação Ascendente. Com o tempo e a experiência um programador socorre-se das duas abordagens. Referimos ainda que programar pressupõe três aspectos: Conhecimento sobre o domínio do problema Conhecimento sobre a linguagem de programação 2

3 Conhecimento sobre o processo de programação Para este problema o primeiro aspecto é pouco relevante. Trata-se de cadeias de caracteres que representam pedaços de ADN. Já os outros dois são fundamentais. Iremos começar por nos concentrar no último: o processo. A primeira coisa em que um programador pensa, conhecida a especificação, é se pode construir uma descrição abstracta da solução. Nessa tarefa o programador deve tentar afastar ao máximo o seu pensamento da linguagem de programação concreta que vai usar. Admitamos que decidimos construir a sequência de consenso, posição a posição 1 Por cada posição teremos que analisar todas as sequências e determinar a base mais frequente. Sabido qual é ac resecentamos à nossa solução parcial. Podemos descrever este processo de modo simples. Figura 1: O primeiro esboço Avancemos um pouco mais tornando claro que vamos trabalhar para uma dada posição por análise das sequências, uma a uma. Vejamos como podemos detalhar o cálculo da base mais frequente. Do código resulta fácil ver quais foram as opções tomadas: usar contadores para as bases que vão sendo actualizados à medida que determinamos qual a base presente numa dada posição de cada sequência. 1 Não esquecer que se trata de uma sequência, logo existe uma ordem. 3

4 Figura 2: A base mais frequente 4

5 Podemos começar a escolher a forma de guardar os objecto manipulados. A sequência de consenso será uma cadeia de caracteres. Ao olharmos para a figura 3 o leitor dirá que avançámos pouco. É verdade. Mas estamos a vançar de forma segura. Figura 3: Vamos lidar com cadeias de caracteres Qual deve ser o nosso próximo passo? O mais importante é o decidirmos usar um dicionário para guardar a informaçao sobre o número de ocorrências de cada base azotada numa dada posição para todas as sequências. Porquê um dicionário? Bem, sabíamos que precisávamos de estabelecer uma correspondência entre as bases e o seu número de ocorrências. A única estrutura em Python que nos permite fazer isso de modo eficiente e elegante são os dicionários. Aqui entra em jogo claramente o nosso conhecimento da linguagem (ponto (2) dos pré-requisitos para bem programar). Noutra linguagem poderia ser outra a opção. Isto porque esta opção faz com que a noção de ordem desapareça o que pode (e vai) tornar o problema de encontrar a base mais frequente uma questão mais delicada. Vejamos então como ficamos. Tudo agora se precipita. Fica fácil a actualização do dicionário. No entanto deixamos ainda por resolver o problema de saber como é que retiro 5

6 Figura 4: Recurso a um dicionário 6

7 do dicionário a base mais frequente. Fica para tratarmos a seguir. Figura 5: À beira do fim! Vamos então tratar agora da questão em falta. Aqui o conhecimento da linguagem uma vez mais pode facilitar (ou dificultar, depende do ponto de vista) a nossa última tarefa. O Problema que temos entre mãos é na realidade o de ordenar um dicionário por ordem decrescente dos valores para depois ir extrair a chave respectiva? Mas como se os dicionários são objectos sem ordem? Bom, a solução mais simples é converter o dicionário para outro tipo de objecto onde a ordem seja relevante e manipular esse outro objecto. É o que fazemos com a instrução items=dicio.items(). E como calculamos o elemento de maior valor? Bem, assumimos que o primeiro é o de maior valor e depois comparamo-lo de modo ordenado com os elementos do tuplo. Cada vez que o que pensamos ser o maior é ultrapassado actualizamos o resultado parcial. No final de percorrer toda a estrutura temos o maior determinado. Fácil, certo?! 7

8 Figura 6: O maior é nosso... Juntemos agora tudo. Et voilá! def consensus(lseq): """Constrói a sequeência de consenso a partir de uma lista de sequências de ADN de igual comprimento. """ # 1. inicializa sequência de consenso cons = # vai ser uma string # 2. por cada posição da sequência for pos in range(len(lseq[0])): # entrada uma lista # 2.1 calcula qual a base mais frequente para a posição corrente # inicializa contadores das bases dicio_bases={ A :0, C :0, T :0, G :0} # uso um dicionário para contar # para cada sequência for seq in lseq: # determina a base por cada sequência e actualiza o seu contador dicio_bases[seq[pos]]=dicio_bases[seq[pos]] + 1 # determina a base que ocorre mais vezes base=max_ocorre(dicio_bases) # 2.2 actualiza a sequência de consenso na posição corrente 8

9 cons = cons + base # a base será um caracter # 3. Devolve a sequência de consenso completa return cons def max_ocorre(dicio): """A chave cujo valor associado é o maior. A solução depende muito do que se sabe de Python! Vamos ver a solução mais ignorante.""" # Vamos buscar os pares (chave, valor) items=dicio.items() max_val=items[0][1] max_ch=items[0][0] for par in items: if par[1] > max_val: max_val=par[1] max_ch=par[0] return max_ch Listagem 1: Cálculo da sequência de consenso 3 Que alternativas? 3.1 A base mais frequente Tendo agora o programa a funcionar podemos dedicar a nossa atenção à sua análise e eventual alteração. Já dissemos que o uso de dicionários está relacionado com as potencialidades da linguagem Python. Mas será que há outros modos de resolver a questão de ordenar um dicionário por valor? A resposta é afirmativa! Vejamos como. from operator import itemgetter # ---- # ordena um dicionário por valor lista=sorted(dict_freq.items(),key=itemgetter(1),reverse=true) # retira a chave do maior maximo=lista[0][0] Listagem 2: Ordenar um dicionário por valor 9

10 O comando sorted() tem três argumentos. O objecto a ordenar do tipo sequência, a chave que vai ser usada para ordenar e a indicação se o ordenamento é ascendente ou descendente. No nosso caso dada a estrutura do objecto com que lidamos, uma sequência de tuplos em que cada tuplo é um par (chave,valor) o ordenamento faz-se comparando o segundo elemento do par. Daí o argumento key=itemgetter(1). Como queremos o maior à cabeça colocamos o terceiro argumento como reverse=true. Claro que se não soubermos que existe o comando sorted() e o módulo operator com o método itemgetter não conseguimos chegar a esta solução que numa linha apenas resolve uma questão aparentemente complexa. Isto chama a atenção de que a programação é uma actividade árdua e que obriga ao conhecimentyo profundo da linguagem e das suas potencialidades. O que só se consegue... praticando! Mas ainda podíamos fazer diferente e talvez mais claro pois não precisamos de ordenar de modo inverso. Usando a função pré-definida max() teremos: def max_ocorre_1(dicio): maior=max(dicio.items(),key=itemgetter(1)) return maior[0] Listagem 3: O maior valor Se calhar agora o leitor já percebe porque também falamos de arte quando nos referimos à programação! Mais algumas observações. Estamos condenados a usar uma cadeia de caracteres para guardar a solução? Não. Podíamos por exemplo usar uma lista de caracteres e depois no final usar o método join(). Os dados têm que ser introduzidos na forma de lista de sequências? Mais uma vez a resposta é negativa. Podíamos por exemplo usar a possibilidade de uma função ter um número de argumentos variável para introduzir os dados. Iríamos no entanto ter na mesma uma sequência pois no final todos os argumentos iriam ser agrupados num tuplo. Eis um exemplo simples da uilização de argumentos em número variável. def teste1(*num): return Máximo de %s é %d % (num,max(num)) def teste2(*num): return sum(num) 10

11 if name == main : print MAX print teste1(1) print teste1(1,3,2) print teste1(7,3,6) print SOMA print teste2(1) print teste2(1,3,2) print teste2(7,3,6) Listagem 4: Argumentos variáveis PyMate r8111 running Python (/usr/bin/env python) >>> argvar.py MAX Máximo de (1,) é 1 Máximo de (1, 3, 2) é 3 Máximo de (7, 3, 6) é 7 SOMA Program exited. Listagem 5: Resultado da Execução O leitor atento terá notado que o tuplo só com um elemento aparece como (1,). Uma vírgula a seguir ao elemento! Também não passou despercebido como se consegue este truque : colocar um asterisco * antes do nome do argumento. Se calhar está na hora de ir ao manual da linguagem e ver o que são os objectos a que vimos chamando tuplos e as operações que com eles podemos fazer e o que é isso de argumentos variáveis. Lá o aguardarão outras surpresas. 3.2 Mais do que as quatro bases Qunado se resolve o problema do alinhamento de sequências pode acontecer que apareçam símbolos como - conhecido em inglês por gap. Numa base de dados sobre sequências de ADN podemos encontrar o símbolo N. Que fazer ao nosso programa para não se deixar impressionar por estes símbolos? É simples. 11

12 def consensus(lseq): """Constrói a sequeência de consenso a partir de uma lista de sequências de ADN de igual comprimento. """ assert mesmo_tam(lseq) == True, CUIDADO: as sequências têm que ter o mesm o tamanho # 1. inicializa sequência de consenso cons = # vai ser uma string # 2. por cada posição da sequência for pos in range(len(lseq[0])): # entrada uma lista # 2.1 calcula qual a base mais frequente para a posição corrente # inicializa contadores das bases dicio_bases={ A :0, C :0, T :0, G :0} # uso um dicionário para contar # para cada sequência for seq in lseq: # determina a base por cada sequência e actualiza o seu contador # ignora o que não interessa if seq[pos] in [ -, N ]: continue else: dicio_bases[seq[pos]]=dicio_bases[seq[pos]] + 1 # determina a base que ocorre mais vezes base=max_ocorre(dicio_bases) # 2.2 actualiza a sequência de consenso na posição corrente cons = cons + base # a base será um caracter # 3. Devolve a sequência de consenso completa return cons Listagem 6: Filtra símbolos Uma boa construção do programa torna a sua manutenção mais fácil! Outra prova disso? Alterar de modo a que os caracteres possam ser maiúsculos ou minúsculos. Apenas uma linha adicional de código!! def consensus(lseq): """Constrói a sequeência de consenso a partir de uma lista de sequências de ADN de igual comprimento. 12

13 """ assert mesmo_tam(lseq) == True, CUIDADO: as sequências têm que ter o mesm o tamanho # 1. inicializa sequência de consenso cons = # vai ser uma string # 2. por cada posição da sequência for pos in range(len(lseq[0])): # entrada uma lista # 2.1 calcula qual a base mais frequente para a posição corrente # inicializa contadores das bases dicio_bases={ A :0, C :0, T :0, G :0} # uso um dicionário para contar # para cada sequência for seq in lseq: # determina a base por cada sequência e actualiza o seu contador # ignora o que não interessa seq=seq.upper() if seq[pos] in [ -, N ]: continue else: dicio_bases[seq[pos]]=dicio_bases[seq[pos]] + 1 # determina a base que ocorre mais vezes base=max_ocorre(dicio_bases) # 2.2 actualiza a sequência de consenso na posição corrente cons = cons + base # a base será um caracter # 3. Devolve a sequência de consenso completa return cons Listagem 7: O tamanho não é importante Pode testar à vontade. Já agora e antes de abandonar esta parte: porque é que usamos a instrução seq=seq.upper() e não apenas seq.upper() Pense um pouco antes de ir ver a nota de rodapé 2 4 Protecções A especificação diz-nos que as sequências têm que ter todas o mesmo comprimento. E se não tiverem, o que acontece? Depende. Devido ao modo como 2 Porque as cadeias de carateres são objectos imutáveis! 13

14 está implementado só se dá conta do problema se existir uma sequência com menos bases do que a primeira! if name == main : print consensus([ ATTCG, AGCTTT, TTCCTT ]) print consensus([ ATTCG, AGCT, TTCC ]) ### Execu\c cão PyMate r8111 running Python (/usr/bin/env python) >>> programar.py ATCCT IndexError: string index out of range module body in programar.py at line 58 function consensus in programar.py at line 28 Program exited. Listagem 8: Um bug?? Isto chama a atenção para duas coisas: devemos testar e proteger os programas. Para testar uma técnica simples é conhecida por tests unitários. Python tem mesmo um módulo para isso, inspirado na linguagem Smalltalk e chamado de unittest. Está fora de questão falarmos agora dele. Vamos por um caminho mais simples refugiando-nos no comando assert(). if name == main : assert(consensus([ ATTCG, AGCTTT, TTCCTT ]) == ATCCT ) # G é o que ocorre mais: na realidade é o único! assert(consensus([ ATTCG, AGCT, TTCC ]) == ATCCG ) #--- Correr e apanhar o erro PyMate r8111 running Python (/usr/bin/env python) >>> protege.py IndexError: string index out of range module body in protege.py at line 61 function consensus in protege.py at line 30 14

15 Program exited. Listagem 9: Uso de assert A mensagem de erro não é famosa mas podemos alterar isso. if name == main : assert(consensus([ ATTCG, AGCTTT, TTCCTT ]) == ATCCT ) # G é o que ocorre mais: na realidade é o único! try: consensus([ ATTCG, AGCT, TTCC ]) except IndexError: print *** ERRO *** \nas sequências têm que ter os mesmo comprimento #--- Correndo PyMate r8111 running Python (/usr/bin/env python) >>> protege.py *** ERRO *** As sequências têm que ter os mesmo comprimento Program exited. Listagem 10: Um pouco melhor Sempre é uma mensagem mais inteligível. Além disso podemos verificar que os testes também podem servir de documentação do programa. Mas podemos colocar a protecção no interior do programa. Admitamos que temos uma fiunção que nos diz se numa sequência todos os elementos têm o mesmo comprimento 3. Basta altera o códido do seguinte modo. def consensus(lseq): """Constrói a sequeência de consenso a partir de uma lista de sequências de ADN de igual comprimento. """ # Estou protegido... assert mesmo_tam(lseq) == True, CUIDADO: as sequências têm que ter o mesmo tamanho # 1. inicializa sequência de consenso cons = # vai ser uma string # 2. por cada posição da sequência 3 Pode ser um bom exercício

16 for pos in range(len(lseq[0])): # entrada uma lista # 2.1 calcula qual a base mais frequente para a posição corrente # inicializa contadores das bases dicio_bases={ A :0, C :0, T :0, G :0} # uso um dicionário para contar # para cada sequência for seq in lseq: # determina a base por cada sequência e actualiza o seu contador dicio_bases[seq[pos]]=dicio_bases[seq[pos]] + 1 # determina a base que ocorre mais vezes base=max_ocorre(dicio_bases) # 2.2 actualiza a sequência de consenso na posição corrente cons = cons + base # a base será um caracter # 3. Devolve a sequência de consenso completa return cons # -- Correr if name == main : print consensus([ ATTCG, AGCTTT, TTCCTT ]) print consensus([ ATTCG, AGCT, TTCC ]) #-- Resultado PyMate r8111 running Python (/usr/bin/env python) >>> protege.py AssertionError: CUIDADO: as sequências têm que ter o mesmo tamanho module body in protege.py at line 63 function consensus in protege.py at line 20 Program exited. Listagem 11: Protega-se... 16

17 5 Conclusão O que podemos dizer para terminar? Que a programação pode ser mais fácil se soubermos dominar a complexidade dos problemas de forma metódica. Será mais produtiva se conhecermos a linguagem. Além disso para nós foi um modo diferente passar uma tarde de sábado de Outono! E aprendemos mais alguma coisa sobre Python. 17