Introdução ao Yocto Project e como usá-lo em seu próximo projeto

Transcrição

1 padtec.com

2 Introdução ao Yocto Project e como usá-lo em seu próximo projeto João Freitas jfreitas@padtec.com padtec.com

3 padtec.com

4 Linux Embarcado Aplicação Aplicação Fim específico Conjunto reduzido Autonomia Biblioteca Biblioteca Biblioteca Toolchain Biblioteca C Linux Kernel Hardware 4

5 Imagem do Sistema Bootloader Tamanho reduzido Particionamento Linux Kernel rootfs1 rootfs2 data 5

6 Sistema com Linux Embarcado Opções para construção: Distribuição pronta Gerar uma distribuição manualmente Usar um sistema de build 6

7 Sistema com Linux Embarcado Usar uma distribuição pronta Red Hat Ubuntu Suse Archlinux Slackware Debian Android, Emdebian, Tizen

8 Sistema com Linux Embarcado Gerar uma distribuição manualmente Controle Total Flexibilidade Trabalhoso Reprodutibilidade Linux From Scratch: vale a experiência!

9 Sistema com Linux Embarcado Ferramenta de Build Automatização do processo de geração Conjunto de pacotes validados Frameworks para extensão e desenvolvimento Buildroot, PTXdist, LTIB, BaseRock, OpenEmbedded, Poky

10 Yocto Project Unidade SI de medição, igual a 10^24

11 O que é? Projeto Open Source Build System para Linux OS Coleção de projetos, métodos e ferramentas Fácil customização Um lugar para a Indústria publicar BSPs Fundado em 2010 Gerenciado por membros da Linux Foundation Cadência de releases: 6 meses

12 O que é? The Yocto Project is not an Embedded Linux Distribution It creates a custom one for You! The Yocto Project is not Single Open Source Project It is an Ecosystem The Yocto Project combines the convenience of a ready-to-run Linux Distribuition with the flexibility of a custom Linux operation system stack... to bring some order to the chaos of embedded Linux development

13 Quem faz? Comunidade de usuários Organizações Desenvolvedores individuais Embeded Hardware Semicondutores OS Vendors Linux Foundation

14 Quem faz? Adivisory Board LSI, Freescale, Wind River, OpenEmbedded TI, Intel, LTSI, Juniper Networks, AMD Mentor Graphics, LG, Dell, Broadcom, Renesas, OS Systems, MontaVista, Huawei, Enea

15 Quem faz? Participantes Membros Colaboradores

16 Quem usa? Distros Comerciais Wind River Linux Carrier Grade Profile 5 Wind River Linux 6 Enea Linux 4.0 MontaVista Linux Carrier Grade Edition 7 Mentor Embedded Linux Distros Angstron ( Shr (

17 Quem usa? BSP (Board Support Package) Intel Freescale Texas Instruments Renesas AMD

18 O que eu preciso para usar? Para começar... PC padrão 50Gb de disco Um distro recente (debian, ubuntu, fedora, opensuse, centos) Pacotes de desenvolvimento (gcc,make,git) Uma release do Yocto Project ml

19 O que eu preciso para usar? Se quiser brincar profissionalmente: Processador Xeon, 16Gb RAM, 1Tb Disco, controlador RAID com cache alto Em casa: i5 terceira geração com 16Gb RAM e 1Tb HD 7200 SATA Um bom processador e disco com controladora rápida vai fazer a diferença.

20 Como funciona? Build System: Poky reference system Bitbake: build engine OpenEmbedded Core: receitas e classes bases Core BSPs e layers

21 Como funciona? Ferramentas de desenvolvimento Application Development Toolkit Hob Toaster Eclise IDE Plugin: integração entre ADT e Eclipse AutoBuilder: build tests e QA cross-prelink, pseudo, swabber

22 Como funciona? Tarefa (task): etapas executadas pelo build engine Receita (recipe): conjunto de tarefas necessárias para compilar determinado software (.bb,.bbappend) Classes (classes): herança e encapsulamento da lógica para a execução de tarefas comuns (.bbclass)

23 Como funciona? Configuração (conf): arquivos com definições globais (.conf) Pacote (package): resultado do processamento da receita de um componente de software Camada (layer): conjunto de receitas, classes, arquivos de configuração que podem ser agregados ao sistema de build para estendê-lo ou modificar comportamentos

24 Como funciona? Composição de layers

25 Como funciona? Layers são blocos de construção

26 Como funciona? Layer é o modo de extender o build system Adicionar, remover, modificar Classes, receitas, configurações São adicionadas no sistema

27 Como funciona? Agrupe as layers por funcionalidade, exemplo: Toolchains BSP/Machine Áreas funcionais (database, networking, languages) Especificidades do projeto Pilhas de software de terceiros Componente usados em outros projetos Configurações

28 Como funciona? Máquina (machine): plataforma de hardware alvo da distribuição. Implementado através de uma layer BSP Imagem (image): imagem final do rootfs do sistema gerado Distribuição (distro): regras e políticas de geração da imagem do sistema

29 Como funciona?

30 Tem interface gráfica? Bitbake: linha de comando $ bitbake <receita> $ bitbake <receita> -c <task> $ bitbake <receita> -k $ bitbake -s

31 Tem interface gráfica? HOB

32 Tem interface gráfica? Toaster

33 Distro YP X Distro customizada por mim? Distribuição Pronta, vantagens Simplicidade de uso Facilidade na instalação (pacotes) Framework de desenvolvimento Pronto e funcional Base de usuários Suporte comercial

34 Distro YP X Distro customizada por mim? Distribuição Pronta, desvantagens Falta de flexibilidade Pode não estar otimizada Experiência Para adaptação e customização Tempo de boot pode ser alto Requisitos de licença Requer tempo

35 O que o Yocto Project permite configurar numa distribuição? Versão dos componentes de sw Subsistemas Features adicionais: alsa, wayland, x11, usb, pci Toolchain Systemv, systemd Interna ou externa Versão de Linux Kernel

36 Há alguma restrição de licença nas distribuições geradas? Não há restrição de licenças Há preocupação do YP em gerar distros legais Opções para não permitir determinada licença Manifesto de licenças Exportação de código fonte, scripts, patches erous

37 Caso: 1 distro 4 plataforma Plataformas: 2 EVKs (ppc e x86-64) plataforma alvo do produto máquina virtual para integração Solução YP: Distro e Linux Kernel comum A mesma SDK MACHINE=<plataforma alvo>

38 Caso: Fabricante sumiu, cadê o BSP? BSP antigo (2002) Fabricante não oferecia suporte ($$$) Necessidade de evolução kernel e userland Plataforma não otimizada Solução YP: Redução do footprint Toolchain otimizado Bugfixes gerais e críticos solucionados Controle de todos os componentes do produto

39 Caso: Toolchains Geração de SDKs Podem ser instaladas em qualquer workstation linux Mesma versão de GCC Target para diferentes plataformas

40 Qual o resultado da construção? Imagem: ext2, ext3, cpio, directdisk, jffs2, ubi, cramfw, brtfs, live Linux kernel image (bz2, uimage) Pacotes (rpm, ipk, deb, tar) Manifesto das licenças de softwares usadas Histórico de build (buildhistory) Código fonte de todos os softwares usados Scripts de build e patches aplicados

41 Quais plataformas são suportadas? Arquiteturas: ARM, PPC, MIPS, x86 e x86-64 Machines: qemuarm, qemumips64, qemumips, qemuppc, qemux86, qemux86-64 Vendor BSPs: TI, FSF, Intel, AMD, LSI org/

42 Quais softwares podem rodar nestas distribuições? Servidores web? Banco de dados? Controladores de hardware? Qualquer sw pode ser buildado e adicionado na imagem final Alguns sw são mais complicados de empacotar Requerem buildtools exóticos ou scripts que não seguem padrões Como regra geral: qualquer artefato que o bitbake consiga empacotar, pode ser usado Qualquer Linux Kernel pode ser usado /layers/ Todos os Direitos Reservados

43 Como desenvolver para plataformas que receberão distribuições do Yocto Project? Defina uma imagem base para a distro Use a SDK gerada pelo YP Máquinas de desenvolvimento Servidores de build Mesmo não tendo definido a arquitetura alvo escolha uma MACHINE virtual mais próxima do seu alvo Assim você já pode iniciar as primeiras validações antes do hw final chegar

44 Posso ver uma distribuição do Yocto Project funcionando aqui ao vivo? Não $ git git://git.yoctoproject.org/poky -b dizzy $ source oe-init-build-env $ bitbake core-image-minimal $ runqemu qemux86

45 O que eu preciso fazer para produzir uma nova distribuição? Requisitos muito bem definidos Aderência a padrões: LSB, CGL Footprint Qual versão de Linux Kernel atende? sdcard, HD, flash, netboot, nfs LTSI, mainline, old kernel, vendor kernel Vendor de hw possui BSP?

46 O que eu preciso fazer para produzir uma nova distribuição? Comece gerando imagens usando as distros de referência: Depois defina uma imagem base poky, poky-lsb, poky-tiny core-image-minimal Crie uma ou várias layer(s) para as suas modificações sempre modifique a layer

47 O que eu preciso fazer para produzir uma nova distribuição? Analise os resultados buildhistory bitbake -g -u depexp Adicione aos poucos novos pacotes e layers

48 Posso gerar atualizações para uma distribuição já construída e instalada? As atualizações podem ser feitas usando Gerenciador de pacotes Imagem YP não oferece uma solução para atualização da distro. Ele suporta os mecanismos para que isso seja implementado

49 Posso inserir meu software na distribuição gerada pelo Yocto Project? Empacotado? A intenção é que todos os softwares sejam construídos e empacotados pelo YP Cada aplicação ou o conjunto de aplicações precisam ter uma receita Descrição de onde baixar Compilar Instalar Cada receita ganha uma versão: my-app_0.1.2.bb

50 Posso inserir meu software na distribuição gerada pelo Yocto Project? Empacotado? SUMMARY = Test app SECTION = tests LICENSE = CLOSED LIC_FILES_CHKSUM = SRC_URI = git.my.com S = ${WORKDIR} do_compile() { ${CC} test.c o test } do_install() { install -d ${D}${bindir} install -m 0755 test ${D}/${bindir} } A receita precisa ficar dentro de uma layer Uma layer pode alterar uma receita de outra layer: bitbake-layers

51 Como gerenciar o desenvolvimento da distribuição? Controle de versões? Patches? Defina uma versão estável do YP para usar Sincronize o upstream com um repositório interno Monitore atualizações na branch estável Crie repositórios internos para as várias layers que serão criadas Escolha uma política de versionamento Faça builds contínuas para garantir a integridade durante o desenvolvimento

52 Como gerenciar o desenvolvimento da distribuição? Controle de versões? Patches? Patches de componentes Podem ser mantidos, num diretório, junto com os meta-dados

53 O que faço se sair uma nova versão? Versões do YP são feitas a cada 6 meses As últimas duas releases são mantidas Cada versão deve ser encarada como uma linha de desenvolvimento diferente Se sair uma nova versão de um branch estável, então atualize Correções de segurança e bug críticos Se for uma nova release do YP e o seu produto ainda não saiu para campo, então migre de versão São feitos backports das correções Supondo que todo o seu trabalho esteja nas layers a migração não terá dores de cabeça

54 Posso atualizar sem quebrar minha distribuição já feita? Se houver quebras, os motivos são YP ficou mais criterioso, não tolerando erros triviais nas receitas Pacotes que não existem mais no OE-Core.bbappends feitos usando a versão da receita Receitas removidas Tenha builds contínuas no master branch Assim você pode consertar o seu projeto ao longo do ciclo de desenvolvimento

55 O que ganho se atualizar? Você ganha: Melhorias no desempenho da build Atualizações da base de pacotes e toolchain Novas features Melhorias e correções feitos ao longo de 6 meses Pense um pouco: O seu produto suporta atualização em campo? Como você cuida da atualização de software? Quais são os seus componentes críticos?

56 Posso manter a versão de alguns componentes para manter compatibilidade com meu software? Tenha em mente que cada release do YP é testada e validada com um conjunto de versões Você pode manter a versão de alguns componentes enquanto atualiza a base do sistema. Vai depender da sua análise entre os componentes Exemplo prático: Yocto 1.7 com gcc 4.8 e libc 2.20

57 Mais informações? Projeto Open Source com excelente documentação: Bitbake User Manual Application Development Guide Board Support Package Development Guide Development Manual Linux Kernel Development Manual Profilling and Tracing Manual Quick Start Reference Manual

58 Mais informações? Lista de discussão IRC #yocto #poky Vídeos Apresentações

59 Mais informações? Leia a documentação Pergunte na Lista de discussão Entre no IRC Leia o código fonte Leia os commits (git log)

60 Quem pode dar treinamento? Não existe um treinamento oficial Linux Foundation LF405 Building Embedded Linux with the Yocto Project LF404 Building Embedded Linux with the Yocto Project: Crash Course Free Electrons Embedded Labworks Yocto Project and OpenEmbedded development training Yocto Project

61 Não quero treinamento, existe livros? Embedded Linux Development with Yocto Project, by Otavio Salvador e Daiane Angolini The Architecture Of Open Source Applications, Volume II Escrito por Brasileiros. Capítulo 22: Yocto, by Elizabeth Flanagan Open Software Stack for the Intel AtomTM Processor, by Sean D. Liming e John R. Malin

62 Grato (a)! padtec.com