Luciano Iteráveis, geradores & cia: o caminho pythonico

Transcrição

1 Luciano Ramalho Iteráveis, geradores & cia: o caminho pythonico

2

3 Luciano Ramalho Arquiteto de soluções Web desde º diretor técnico do Brasil Online, na Abril S/A Muitos clientes e alguns empregos desde então, quase sempre atuando na Web (server-side) Hoje: Oficinas Turing Computação para programadores Sócio do Garoa Hacker Clube

4 Iteração em C #include <stdio.h> int main(int argc, char *argv[]) { } int i; for(i = 0; i < argc; i++) printf("%s\n", argv[i]); return 0; $./args2 alfa bravo charlie./args2 alfa bravo charlie

5 Iteração em Python import sys for arg in sys.argv: print arg $ python args2.py alfa bravo charlie args2.py alfa bravo charlie

6 Comparando: C e Python #include <stdio.h> int main(int argc, char *argv[]) { int i; for(i = 0; i < argc; i++) printf("%s\n", argv[i]); return 0; } import sys for arg in sys.argv: print arg

7 Iteração em Java class Argumentos { public static void main(string[] args) { for (int i=0; i < args.length; i++) System.out.println(args[i]); } } $ java Argumentos alfa bravo charlie alfa bravo charlie

8 Iteração em Java 1.5 ano: 2004 Enhanced for (for melhorado) class Argumentos2 { public static void main(string[] args) { for (String arg : args) System.out.println(arg); } } $ java Argumentos2 alfa bravo charlie alfa bravo charlie

9

10 ano: 1984!

11 Contraste laço for em BASIC, Pascal, C muito bons para incrementar inteiros! foreach em JavaScript, Bash parecidos com o de Python, mas limitados aos tipos primitivos dessas linguagens foreach em Java enhanced for no Java 5

12 Exemplos de iteração Iteração em Python não se limita a tipos primitivos Exemplos string arquivo Django QuerySet Baralho (em: OO em Python sem Sotaque )

13 Em Python o comando for itera sobre... iteráveis Definicão preliminar informal: iterável = que pode ser iterado assim como: desmontável = que pode ser desmontado Iteráveis podem ser usados em outros contextos além do laço for

14 List comprehensions Expressões que consomem iteráveis e produzem listas qualquer iterável resultado: uma lista List comprehension Compreensão de lista ou abrangência Exemplo: usar todos os elementos: L2 = [n*10 for n in L] >>> s = 'abracadabra' >>> l = [ord(c) for c in s] >>> [ord(c) for c in s] [97, 98, 114, 97, 99, 97, 100, 97, 98, 114, 97]

15 Set & dict comprehensions Expressões que consomem iteráveis e produzem sets ou dicts >>> s = 'abracadabra' >>> {c for c in s} set(['a', 'r', 'b', 'c', 'd']) >>> {c:ord(c) for c in s} {'a': 97, 'r': 114, 'b': 98, 'c': 99, 'd': 100}

16 Tipos iteráveis embutidos basestring str unicode dict file frozenset list set tuple xrange

17 Funções embutidas que consomem iteráveis all any filter iter len map max min reduce sorted sum zip

18 Operações com iteráveis Desempacotamento de tupla em atribuições em chamadas de funções >>> def soma(a, b):... return a + b... >>> soma(1, 2) 3 >>> t = (3, 4) >>> soma(t) Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: soma() takes exactly 2 arguments (1 given) >>> soma(*t) 7 >>> a, b, c = 'XYZ' >>> a 'X' >>> b 'Y' >>> c 'Z' >>> g = (n for n in [1, 2, 3]) >>> a, b, c = g >>> a 1 >>> b 2 >>> c 3

19 Em Python o comando for itera sobre... iteráveis E como se faz um objeto iterável em Python? forma legada: protocolo de sequência forma moderna: interface Iterable

20 Interface? Em Python? Interface é um conceito essencial em OO Em Smalltalk: protocolo The interface provides a boundary between the implementations of an abstraction and its clients. It limits the amount of implementation detail visible to clients. It also specifies the functionality that implementations must provide. P. S. Canning, W. R. Cook, W. L. Hill, and W. G. Olthoff Interfaces for strongly-typed objectoriented programming. In Conference proceedings on Object-oriented programming systems, languages and applications (OOPSLA '89). ACM, New York, NY, USA, DOI= /

21 Interface? Em Python? Interface é um conceito essencial em OO Em Smalltalk: protocolo A interface fornece uma separação entre a implementação de uma abstração e seus clientes. Ela limita os detalhes de implementação que os clientes podem ver. Também especifica a funcionalidade que as implementações devem prover. P. S. Canning, W. R. Cook, W. L. Hill, and W. G. Olthoff Interfaces for strongly-typed objectoriented programming. In Conference proceedings on Object-oriented programming systems, languages and applications (OOPSLA '89). ACM, New York, NY, USA, DOI= /

22 Interface em Python Conceitualmente, sempre existiram Não havia maneira formal de especificar interfaces em Python até a versão 2.5 C++) usava-se termos como uma sequência ou a file-like object Agora temos ABC (Abstract Base Class) com herança múltipla, como em

23 Em Python, um iterável é... Um objeto a partir do qual a função iter consegue obter um iterador. A chamada iter(x): invoca x. iter () para obter um iterador ou, se x. iter não existe: fabrica um iterador que acessa os itens de x sequenciamente fazendo x[0], x[1], x[2] etc.

24 Protocolo de sequência >>> t = Trem(4) >>> len(t) 4 >>> t[0] 'vagao #1' >>> t[3] 'vagao #4' >>> t[-1] 'vagao #4' >>> for vagao in t:... print(vagao) vagao #1 vagao #2 vagao #3 vagao #4 len getitem getitem

25 Protocolo de sequência collections.sequence class Trem(object): def init (self, num_vagoes): self.num_vagoes = num_vagoes def len (self): return self.num_vagoes def getitem (self, pos): indice = pos if pos >= 0 else self.num_vagoes + pos if 0 <= indice < self.num_vagoes: # indice 2 -> vagao #3 return 'vagao #%s' % (indice+1) else: raise IndexError('vagao inexistente %s' % pos)

26 Interface Iterable Iterable provê um método iter O método iter devolve uma instância de Iterator

27 Iterator é... um padrão de projeto Design Patterns Gamma, Helm, Johnson & Vlissides Addison-Wesley, ISBN

28 Head First Design Patterns Poster O'Reilly, ISBN

29 O padrão Iterator permite acessar os itens de uma coleção sequencialmente, isolando o cliente da implementação da coleção. Head First Design Patterns Poster O'Reilly, ISBN

30 Trem com iterator iter(t) class Trem(object): def init (self, num_vagoes): self.num_vagoes = num_vagoes def iter (self): return IteradorTrem(self.num_vagoes) class IteradorTrem(object): def init (self, num_vagoes): self.atual = 0 self.ultimo_vagao = num_vagoes - 1 def next(self): if self.atual <= self.ultimo_vagao: self.atual += 1 return 'vagao #%s' % (self.atual) else: raise StopIteration() for vagao in t: >>> t = Trem(4) >>> for vagao in t:... print(vagao) vagao #1 vagao #2 vagao #3 vagao #4 invoca iter(t) devolve IteradorTrem invoca itrem.next() até que ele levante StopIteration

31 Em Python, um iterável é... Um objeto a partir do qual a função iter consegue obter um iterador. A chamada iter(x): interface Iterable invoca x. iter () para obter um iterador ou, se x. iter não existe: fabrica um iterador que acessa os itens de x sequenciamente fazendo x[0], x[1], x[2] etc. protocolo de sequência

32 Iteração em C (exemplo 2) #include <stdio.h> int main(int argc, char *argv[]) { } int i; for(i = 0; i < argc; i++) printf("%d : %s\n", i, argv[i]); return 0; $./args2 alfa bravo charlie 0 :./args2 1 : alfa 2 : bravo 3 : charlie

33 Iteração em Python (ex. 2) import sys for i, arg in enumerate(sys.argv): print i, ':', arg $ python args2.py alfa bravo charlie 0 : args2.py 1 : alfa 2 : bravo 3 : charlie

34 Iterator x generator Gerador é uma generalização do iterador Por definição, um objeto iterador produz itens iterando sobre outro objeto (alguma coleção) Um gerador é um iterável que produz itens sem necessariamente acessar uma coleção ele pode iterar sobre outro objeto mas também pode gerar itens por contra própria, sem qualquer dependência externa (ex. Fibonacci)

35 >>> fib = fibonacci() >>> fib <generator object fibonacci at 0x104cf4c30> >>> fib.next() 0 >>> fib.next() 1 >>> fib.next() 1 >>> fib.next() 2 >>> fib.next() 3 >>> fib.next() 5 >>> fib.next() 8 >>> fib.next() 13 Gerador de def fibonacci(): Fibonacci a, b = 0, 1 while True: yield a a, b = b, a+b

36 Gerador de Fibonacci 2 >>> for i in fibonacci(7):... print i >>> def fibonacci(qtd): a, b = 0, 1 contador = 0 while contador < qtd: yield a a, b = b, a + b contador += 1

37 Gerador de Fibonacci 2 def fibonacci(qtd): a, b = 0, 1 contador = 0 >>> fib = fibonacci(3) >>> fib.next() 0 >>> fib.next() 1 >>> fib.next() 1 >>> fib.next() Traceback (most recent call last): File "<stdin>", line 1, in <module> StopIteration >>> while contador < qtd: yield a a, b = b, a + b contador += 1

38 Função geradora Quando invocada, devolve um objeto gerador O objeto gerador é um iterável >>> def g123():... yield 1... yield 2... yield 3... >>> for i in g123(): print i >>> g = g123() >>> g <generator object g123 at 0x10e385e10> >>> g.next() 1 >>> g.next() 2 >>> g.next() 3 >>> g.next() Traceback (most recent call last): File "<stdin>", line 1, in <module> StopIteration

39 Trem c/ função geradora iter(t) class Trem(object): def init (self, num_vagoes): self.num_vagoes = num_vagoes def iter (self): for i in range(self.num_vagoes): yield 'vagao #%s' % (i+1) for vagao in t: >>> t = Trem(4) >>> for vagao in t:... print(vagao) vagao #1 vagao #2 vagao #3 vagao #4 invoca iter(t) devolve gerador invoca gerador.next() até que ele levante StopIteration

40 Iterador clássico 12 linhas de código Função geradora 3 linhas class Trem(object): def init (self, num_vagoes): self.num_vagoes = num_vagoes def iter (self): return IteradorTrem(self.num_vagoes) class IteradorTrem(object): def init (self, num_vagoes): self.atual = 0 self.ultimo_vagao = num_vagoes - 1 def next(self): if self.atual <= self.ultimo_vagao: self.atual += 1 return 'vagao #%s' % (self.atual) else: raise StopIteration() mesma funcionalidade e desempenho! class Trem(object): def init (self, num_vagoes): self.num_vagoes = num_vagoes def iter (self): for i in range(self.num_vagoes): yield 'vagao #%s' % (i+1)

41 Expressão geradora Quando avaliada, devolve um objeto gerador O objeto gerador é um iterável >>> g = (n for n in [1, 2, 3]) >>> for i in g: print i >>> g = (n for n in [1, 2, 3]) >>> g <generator object <genexpr> at 0x109a4deb0> >>> g.next() 1 >>> g.next() 2 >>> g.next() 3 >>> g.next() Traceback (most recent call last): File "<stdin>", line 1, in <module> StopIteration

42 Trem c/ expressão geradora iter(t) class Trem(object): def init (self, num_vagoes): self.num_vagoes = num_vagoes def iter (self): return ('vagao #%s' % (i+1) for i in range(self.num_vagoes)) for vagao in t: >>> t = Trem(4) >>> for vagao in t:... print(vagao) vagao #1 vagao #2 vagao #3 vagao #4 invoca iter(t) devolve gerador invoca gerador.next() até que ele levante StopIteration

43 Construtores embutidos que consomem e produzem iteráveis dict enumerate frozenset reversed set tuple list

44 Módulo itertools geradores (potencialmente) infinitos count(), cycle(), repeat() geradores que combinam vários iteráveis chain(), tee(), izip(), imap(), product(), compress()... geradores que selecionam ou agrupam itens: compress(), dropwhile(), groupby(), ifilter(), islice()... Iteradores que produzem combinações product(), permutations(), combinations()...

45 Exemplo prático de função geradora Funções geradoras para desacoplar laços de leitura e escrita em uma ferramenta para conversão de bases de dados semi-estruturadas

46 Funções geradoras como co-rotinas Segundo David Beazley, co-rotinas não tem a ver com iteração, e sim com pipelines então esse tema nem deveria ser tratado nesta palestra mas como são implementadas como funções geradoras, merece ser mencionado

47 Exemplo prático de co-rotina Função geradora como co-rotina para preservar o contexto de callback em programação assíncrona com o framework Tornado

48 Luciano Ramalho curso online interativo ao vivo: Objetos Pythonicos POO e padrões de projeto como devem ser em Python Pré-inscrição: pre-oopy.turing.com.br

49