Processamento Digital de Imagens de Códigos de Barras usando Telefones Celulares

Transcrição

1 Processamento Digital de Imagens de Códigos de Barras usando Telefones Celulares Tiago Henrique Tudisco dos Santos 1 Almir Olivette Artero 1,2 1 Faculdade de Informática de Presidente Prudente FIPP Unoeste/SP Rua José Bongiovani, CEP Presidente Prudente - SP, Brasil 2 Faculdade de Ciências e Tecnologia FCT Unesp/SP Caixa Postal Presidente Prudente - SP, Brasil tiagohts@unoeste.edu.br, almir@unoeste.br Abstract This paper proposes the use of mobile telephones equipped with cameras, for reading and interpreting bar codes. With the wide dissemination of such appliances and extensive use of bar codes, it is expected that this application have a very useful in several areas such as business, industry and others. With a memory and processing power increasing, mobile devices are small portable computers that can be used in numerous applications. Thus, at the time the user enters with the portable system in a commercial or industrial establishment, the data bases can be download by Wireless and the information read from the bar code may be easily interpreted by the user, supporting its immediate decision on these data obtained. 1. Introdução Os aparelhos usados atualmente na telefonia celular estão, cada vez mais, se tornando sistemas completos de computação. O uso de CPUs com razoável capacidade de processamento aliado a uma boa capacidade de armazenamento e também de telas gráficas e coloridas com uma boa resolução têm possibilitado a execução nestes dispositivos de sistemas operacionais gráficos, antes usados apenas nos computadores pessoais. O uso destes sistemas operacionais gráficos tem proporcionado uma interação mais simples, através da interface de ícones e botões, muitas vezes acessada por meio de telas sensíveis ao toque (touch-screen). Dotados ainda de câmeras fotográficas digitais, capazes de obter imagens com uma resolução gráfica razoável (em torno de oito mega pixels) e usando lentes cada vez mais elaboradas, estes aparelhos estão se tornando muito interessantes para várias aplicações em diversas áreas do processamento digital de imagens, principalmente, em tarefas de campo, pois embutem em um pequeno dispositivo, a capacidade de aquisição, armazenamento e processamento das imagens. Também existe a possibilidade de se fazer uso das informações do sistema de posicionamento global (GPS), já que diversos modelos destes aparelhos também embutem um receptor de sinais de satélites, com uma resolução que pode atender diversas aplicações. Embora os resultados obtidos ainda não possam ser, de modo algum, comparados aos obtidos por sistemas profissionais de aquisição de imagens e também de recepção de sinais de GPS, a forte concorrência na área dos aparelhos celulares tem proporcionado um grande avanço entre eles. Com o desenvolvimento da linguagem de programação Java [8][5][6][3], o desenvolvimento de programas para os telefones celulares [4] tem se tornado uma tarefa simples, tal como ocorre no desenvolvimento de programas para os computadores pessoais. A aquisição e a análise imediata de imagens é uma aplicação bastante útil em vários trabalhos de campo, onde se torna difícil o transporte de equipamentos maiores, mesmo quando são usados computadores portáteis. Entre estas aplicações estão: A identificação de espécies de plantas, na área da Biologia; O cadastro (imagens e coordenadas) de caixas de conexão da rede subterrânea de água e esgoto, energia ou telefonia; A leitura de códigos de barras na indústria e no comércio; Reconhecimento de pessoas em ambientes congestionados, e muitas outras áreas. Assim, este trabalho propõe uma aplicação de processamento de imagens em um telefone celular, contemplando as etapas de aquisição e o processamento, até a obtenção da informação codificada nas barras, para que se possa apoiar as tomadas de decisões imediatas. Com o carregamento prévio do banco de dados que contém as informações cadastradas em um comércio é possível, por exemplo, obter uma grande quantidade de informações sobre os produtos, como: prazos de validade, fornecedores, informações nutricionais extras, etc. 186

2 As demais seções deste trabalho estão organizadas da seguinte maneira: Na Seção 2 é apresentada uma breve descrição dos códigos de barras mais usados, incluindo o formato EAN-13 [9], usado neste trabalho; Na Seção 3 é apresentado uma breve introdução da linguagem Java [3] e de sua variante J2ME, destinada ao desenvolvimento de aplicativos para dispositivos móveis; Na Seção 4 é apresentada a aplicação do processamento de imagens na identificação dos códigos de barras; Na Seção 5, são discutidos alguns resultados obtidos com o sistema implementado, sendo executado em um aparelho celular da marca Nokia modelo N95, que possui uma câmera fotográfica com 5 mega pixels (lentes Carl Zeiss) e CPU Dual ARM MHz; Por fim, na Seção 6 são apresentadas algumas conclusões e sugestões para trabalhos futuros. 2. Códigos de Barras O código de barras é uma representação gráfica de dados em barras claras (zero) e escuras (um), formando combinações binárias utilizadas pelo computador. Essa representação tem sido intensamente utilizada, sendo dividida em vários tipos, entre eles os mais comuns o EAN-13 [9], EAN-8, UPC-A e UPC-E. Por sua ampla utilização, o tipo utilizado neste trabalho é o EAN13, porém, todos os demais tipos existentes podem ser usados, bastando cadastrar suas tabelas de codificação. 2.1 EAN-13 O modelo utilizado neste trabalho é definido por 13 dígitos, dos quais os três primeiros representam o código do país, os quatro seguintes representam o código da empresa fabricante, que deve ser filiada a GSI, órgão internacional de logística, responsável pelo cadastro e emissão de prefixos numéricos no sistema EAN. Os próximos cinco dígitos representam o item comercial dentro da empresa e o último número, é um dígito verificador usado para se confirmar que a leitura do código foi feita de forma correta. O código EAN-13 possui início meio e fim, identificados pelas duas barras mais compridas. Essas barras não entram na contagem de identificação do código numérico. Os dígitos são divididos em três grupos; o primeiro dígito, o primeiro grupo de seis dígitos e o último grupo de seis dígitos. O primeiro grupo de seis dígitos está codificado através de um sistema que pode ter duas codificações distintas, e depende do 1º dígito, conforme ilustra a Tabela 1. As barras possuem quatro tipos diferentes de espessura, devendo ser lidas as barras e os espaços. A cada quatro barras, um dígito é identificado. As barras delimitadoras (mais compridas) são identificadas como na Figura1. início meio fim Figura 1 - Marcação de início, meio e fim de um código de barras. Neste exemplo, o primeiro dígito é o número 5, assim, de acordo com a codificação exibida na Tabela 1, os primeiros seis dígitos são codificados usando os códigos L e G (LGGLLG), apresentados na Tabela 2. Enquanto que os seis dígitos seguintes são codificados usando o código R (RRRRRR) (Tabela 2). Tabela 1 - Sistema a ser adotado conforme o 1º dígito. 1º Dígito 1º Grupo de seis dígitos Último grupo de seis dígitos 0 LLLLLL RRRRRR 1 LLGLGG RRRRRR 2 LLGGLG RRRRRR 3 LLGGGL RRRRRR 4 LGLLGG RRRRRR 5 LGGLLG RRRRRR 6 LGGGLL RRRRRR 7 LGLGLG RRRRRR 8 LGLGGL RRRRRR 9 LGGLGL RRRRRR Usando a codificação L (Tabela 2), o número 9 é enquanto usando a codificação G que o número 0 é , e o número 1 é Usando a codificação L em seguida, o número 2 é Tabela 2 - Codificação dos dígitos. Dígito L-code G-code R-code Dígito Verificador O dígito verificador é usado para verificar se o código foi lido corretamente, devendo ser obtido com alguns cálculos. O método utilizado neste projeto multiplica 187

3 alternadamente os doze primeiros dígitos por 1 e 3 e, em seguida, soma todas as parcelas. Em seguida divide o resultado da soma por dez, pegando o resto desta divisão. Caso o resto da divisão seja zero, este será o dígito verificador, caso contrário, o resto deverá ser subtraído de dez, sendo o resultado igual ao dígito verificador. No Brasil, o código do país definido pela GS1 é o Java A linguagem de programação Java foi criada na década de 90 pela Sun Microsystems e baseia-se no paradigma Orientado a Objeto [6], tendo como principal característica a sua compilação para um bytecode, diferenciando das demais linguagens que compilam para um código nativo. Deste modo o Java pode ser executado em qualquer plataforma que contenha uma máquina virtual Java (JVM) instalada. Esta portabilidade tem possibilitado a sua aplicação em diversos dispositivos, mesmo usando conjunto bastante variado de processadores (CPUs). 2 mostra as plataformas Java existentes atualmente, para os diversos tipos de hardware disponíveis. Para que um dispositivo móvel execute um aplicativo com o perfil MIDP ele deve possuir as características a seguir: Fornecer agendamento mínimo, tratamento de exceções, processamento de interrupções e recursos suficientes para a execução de uma JVM; Deve suportar escrita de elementos gráficos bitmap na tela; Deve aceitar a entrada e a repassar para a JVM, em qualquer que seja os requisitos de hardware; Deve existir recurso para ler e gravar em memória não voláteis; Deve haver acesso para os recursos de interligação de rede no dispositivo. O MIDP é a definição de uma arquitetura e APIs associadas necessárias para prover um ambiente de desenvolvimento aberto para MIDs (Móbile Information Devices) [5]. 3.1 J2ME (Java Micro Edition) O Java Micro Edition (J2ME) é a versão da linguagem Java projetada para dispositivos com pouca memória, baixo poder de processamento e vídeo limitado, como é o caso dos dispositivos móveis (telefones celulares, pads, etc.) [6]. O J2ME é composto por uma coleção de API s do Java, definida pela Java Community Process (JCP). Esta comunidade definiu o ambiente de execução e um conjunto de classes básicas que operam sobre cada dispositivo. Essas configurações definem a máquina virtual Java (JVM) para os pequenos dispositivos computacionais. Foram definidas duas configurações, sendo uma para dispositivos com maio poder computacional CDC [6] e a outra para aparelhos com uma menor capacidade, chamada de CLDC (Connected Limited Device Configuration) [5]. O conjunto de classes que possibilita o desenvolvimento de softwares para as configurações específicas de cada aparelho foi denominado MIDP (Mobile Information Device Profile). Um aplicativo utilizando o perfil MIDP em sua implementação deve ser destinado a dispositivos móveis com as seguintes características descritas a seguir: MIDP kb de memória não volátil; 32 kb para heap; 8 kb para persistência de dados; Tela de 96x54 pixels; Entrada de dados; Conexões de rede (intermitentes); Segurança conceito de sandbox das applets; MIDP Segurança: baseado em permissões do J2SE; Novas API s para aprimorar o desenvolvimento: Game API; Media API; Secure Connection API. A Figura Figura 2 - Plataformas Java [6]. O MIDP foi projetado para rodar em cima do CLDC. A Figura 3 mostra como o MIDP se encaixa em uma arquitetura MID. Figura 3 - Arquitetura MIDP. 188

4 No nível mais abaixo está o hardware (MID) e, logo acima dele, o seu sistema nativo. Após, vem o CLDC, que é onde está a Máquina Virtual K (KVM). A KVM permite que APIs Java de alto nível sejam construídas. As APIs MIDP rodam em cima do CLDC. As classes OEM são classes não definidas pelo MIDP e podem ser utilizadas para funcionalidades específicas em cada aparelho, o que significa que elas podem ou não ser portáveis para outros MIDs. 3.2 Midlets Quanto aos aplicativos, um MIDlet é aquele que usa APIs definidas pelo MIDP e CLDC, e são portáveis entre vários aparelhos. Aplicações OEM são aquelas que não fazem parte da especificação. Já as nativas são aquelas implementadas diretamente no sistema (não escritas em Java). Um aplicativo Java projetado para ser executado em um dispositivo móvel é denominado Midlet, tendo como classes Java básicas a CLDC e o MIDP [5]. Os estágios de uma Midlet podem ser vistos na Figura Obtenção de Imagens em Tons de Cinza O primeiro processamento a ser realizado na imagem é a sua transformação para tons de cinza, o que é feito calculando o valor de brilho c em cada pixel da imagem, a partir das suas componentes de cor R, G e B, por exemplo, aplicando a Equação 1. R + G + B c = (1) Determinação da Orientação das Barras Uma importante tarefa para a leitura do código de barras é identificar a sua orientação. Pois, as imagens capturadas com um aparelho celular nem sempre estarão devidamente alinhadas com a tela do aparelho, como mostra a Figuras 5. (a) (b) Figura 5 Código de barras: (a) com 0º de inclinação; (b) com inclinação de 45º Mapa de Direções de Bordas Figura 4 - Estágios de um Midlet. Start Onde é feita a Aquisição de recursos inicializando a execução (startapp); Pause Liberação de recursos em um modo de espera, ou seja, pausado utilizado ao atender telefone, receber SMS dentre outra aplicação (pauseapp); Destroy Liberação de todos os recursos (destroyapp). 4 - Processamento das Imagens de Código de Barras Quando a imagem contendo o código de barras é capturada pelo dispositivo móvel, ela pode conter ruídos, cores em excesso e nem sempre estar com uma orientação adequada para a identificação das barras, assim, antes que o código de barras possa ser obtido é preciso aplicar algumas técnicas de processamento digital de imagens (pré-processamento). Esta proposta parte do princípio de que se as barras estão alinhadas (paralelas entre si), a aplicação de um detector de bordas deverá resultar em uma grande quantidade de pixels de bordas com as direções perpendiculares à direção a ser percorrida para a leitura do código de barras. Deste modo, após a obtenção das direções de todas as bordas relevantes da imagem (com magnitude acima de um valor mínimo), fica fácil encontrar a direção mais comum na imagem. Esta direção é exatamente a procurada neste caso Detectores de Borda A premissa básica de todo detector de borda é encontrar as fronteiras entre objetos existentes na imagem. As bordas são caracterizadas por transições de tons de cinza em uma imagem monocromática (claro para escuro e vice-versa) [2][7] Operador de Sobel Usando uma derivada no local, o operador de Sobel, fornece a direção e as intensidades das bordas. Para as 189

5 diferenciações nas direções x e y, o operador de Sobel utiliza duas máscaras de convolução para encontrar o gradiente vertical (G Y ) e horizontal (G Y ) das bordas. As máscaras usadas no operador de Sobel são definidas na Figura 6. no caso é α=45, assim, a direção de varredura β será α - 90º. y α x G x G y Figura 6 Máscaras usadas pelo filtro de Sobel. Para que se obtenha a informação das magnitudes das bordas da imagem, as componentes horizontais e verticais são combinadas, como mostra a Equação ( x, G x G y magnitude = + (2) A direção do gradiente da borda, perpendicular a direção da borda pode ser encontrada através da Equação 3. G y direção( x, = arctan (3) Gx Uma importante característica do operador de Sobel, é que além da diferenciação, ele também suaviza a imagem atenuando os efeitos negativos de ruídos. Vários outros operadores podem ser usados no lugar do operador de Sobel, como por exemplo: Prewitt, Roberts, e outros, também baseados em gradientes Binarização Após a identificação das magnitudes de todos os pixels da imagem, é conveniente eliminar os pixels que possuem magnitude muito pequena, evitando um excessivo processamento de locais onde não existem bordas relevantes. A binarização pode ser realizada aplicando a Equação 4, que gera uma imagem com apenas dois níveis (branco e preto). 0 se f ( x, < 128 g ( x, = (4) 1 se f ( x, 128 (a) (b) Figura 7 Imagem com direção predominante α=45º e direção de varredura β = α - 90º. O passo a seguir consiste em identificar as larguras das barras, o que é feito percorrendo a imagem em linha reta com a equação reduzida, apresentada na Equação 5. y = ax + b (5) onde a é a direção obtida no histograma e b é uma constante. Para se percorrer adequadamente a linha de varredura, usa-se o algoritmo de Bresenham [1], que garante que todos os pixels da linha de varredura serão contados, ao mesmo tempo, impedindo que um mesmo pixel seja contado mais de uma vez. Este algoritmo também é muito importante para melhorar o tempo de processamento, que é crítico em dispositivos com menor capacidade de processamento. 5 - Resultados Os experimentos realizados com este trabalho mostraram que as maiores dificuldade para se fazer a leitura do código de barras pelo celular se devem às limitações de hardware encontradas no aparelho móvel, tal com a qualidade de sua câmera fotográfica e, também as condições das imagens. Quando as imagens são capturadas alinhadas horizontalmente à tela, são mais fáceis de serem codificadas, como mostra a Figura 8. β 4.3 Histograma de Direções e Linha Varredura Após a obtenção das direções das bordas é construído o histograma de direções, objetivando encontrar a direção de borda mais comum na imagem, que deve corresponder exatamente às direções das barras do código. Para a imagem apresentada na Figura 7(a), o histograma de direções retorna a direção mais freqüente na imagem, que Figura 8 - Leitura do código de barras com sucesso. 190

6 Como as imagens com bordas inclinadas sofrem com os efeitos do aliasing (um leve serrilhado), que dificulta a leitura dos pixels e interfere diretamente na leitura de algumas barras, o sistema proposto neste trabalho sugere repetir a varredura (múltiplas linhas de varredura) até que o código obtido consiga satisfazer a autenticação feita pelo dígito verificador, como mostra a Figura 9. Figura 9 Leitura do código de barras usando múltiplas linhas de varredura. 6 - Conclusões Com a facilidade em se adquirir os dispositivos móveis e com os seus recursos cada vez mais avançados, além do intenso uso de códigos de barras em estabelecimentos comerciais, chega-se a conclusão que este trabalho pode ser aplicado em diversas áreas (indústria, comércio, etc.), a fim de agilizar as tomadas de decisões. Embora a proposta deste trabalho tenha focado principalmente o processamento de imagens de códigos de barras, existem muitas tarefas envolvendo a análise de imagens que seriam bastante melhoradas, caso este processamento pudesse ser feito no local das aquisições das imagens, o que inclui aplicações na botânica, por exemplo, com um sistema para o reconhecimento de espécies no próprio local de pesquisa. Embora se verifique uma certa dificuldade em se processar imagens em dispositivos com pouca memória, como é o caso dos celulares, este é um problema que tende a se resolver com o tempo, pois em um mercado competitivo como este, a capacidade dos aparelhos cresce muito rapidamente. De fato, alguns aparelhos já possuem um poder de processamento superior a computadores de mesa usados em um passado não muito distante. O aparelho usado nos experimentos deste trabalho foi o Nokia N-95, que possui uma câmera de 5 mega pixels e uma capacidade de processamento razoável. Em trabalhos futuros, deverá ser adicionada ao sistema a capacidade de carregar os bancos de dados disponibilizados pelos estabelecimentos, o que poderá ser feito pela rede sem fio do estabelecimento. De posse do banco de dados, ao se realizar a leitura do código de barras de um produto, o usuário poderá visualizar, além do preço do produto, outras informações, como origem do produto, data de fabricação, validade, informações nutricionais, contra-indicações, etc. 7 Referências Bibliográficas [1] J.E. Bresenham, Algorithm for Computer Control of a Digital Plotter, IBM Systems Journal, Vol. 4, No.1, January 1965, pp [2] R.C. Gonzales, R.E. Woods, R. E., Processamento de Imagens Digitais, Edgard Blucher, [3] Harvey M. Deitel, P. J. Deitel, Java: Como Programar, Prentice-Hall, [4] B.B. Medina, Manipulação de Imagens em Sistemas Móveis, Trabalho de Conclusão de Curso, Universidade do Oeste Paulista, Faculdade de Informática de Presidente Prudente, [5] J.W. Muchow, Core J2ME Tecnologia & MIDP, Pearson Education, [6] Oracle Corporation, Java ME Technology API Documentations, apis.jsp, [7] M. Sonka, V. Hlavac, R. Boyle, Image Processing, Analysis, and Machine Vision, [8] J. Zukowski, Java AWT Reference, O'Reilly Media, [9] D. Chai, F. Hock, Locating and Decoding EAN-13 Barcodes from Images Captured by Digital Cameras. Addendum to Proceedings ICIS2005,