Topolino: Software Livre para Automatização do Experimento do Campo Aberto

Topolino: Software Livre para Automatização do Experimento do Campo Aberto Bruno Brandoli Machado, Jonathan de Andrade Silva, Wesley Nunes Gonçalves, Hemerson Pistori, Albert Schiaveto de Souza 1 Universidade Católica Dom Bosco UCDB, Av. Tamandaré, 6000, Jardim Seminário, Campo Grande, MS, Brasil, 79117 900 {bmachado,jsilva,wnunes}@acad.ucdb.br, {pistori,albert}@ucdb.br Resumo. A análise do comportamento de camundongos é um procedimento bastante comum em estudos fisiológicos e farmacológicos. Nesse artigo, é apresentado um software livre baseado em visão computacional e aprendizagem de máquina para a automatização dos experimentos realizados com camundongos no teste do campo aberto. Para a análise dos comportamentos de exploração foi utilizado aprendizagem de máquina. Os algoritmos de subtração de fundo, subtração de fundo adaptativo e segmentador baseado em modelo gaussiano foram utilizados para a segmentação das imagens. Para o rastreamento dos camundongos foram implementados os algoritmos filtro de Kalman e filtro de partículas. O software é capaz de executar os experimentos em tempo real e suporta o rastreamento de múltiplos camundongos. 1. Introdução O estudo do comportamento animal é extremamente importante para se obter o conhecimento sobre a diversidade de seus costumes [Morrow-Tesch et al. 1998]. Tais estudos fornecem dados importantes para o desenvolvimento de terapias e novos fármacos. O uso de animais de laboratório em pesquisas, em particular os camundongos, serve de modelos simplificados do comportamento humano [Fagundes and Taha 2004, Carvalho and Lopes 2006]. Com isso, os camundongos tornaram-se fundamentais em estudos etológicos e permitem que os novos fármacos sejam avaliados antes de serem testados em seres humanos. Em diversas pesquisas, o estudo do comportamento animal é feito de forma manual. Os registros manuais e a observação visual em experimentos podem ser realizados com um investimento relativamente baixo em relação à observação automática. Porém, deve se considerar que o observador possui a necessidade de presenciar todo o experimento para obter as informações relevantes nas pesquisas. Dessa forma, o registro manual exige um trabalho exaustivo dos pesquisadores, que pode ser influenciado pela fadiga, o que compromete o registro de comportamentos de interesse. Com a automatização dos sistemas no monitoramento animal é possível fornecer uma estrutura mais confiável na aquisição de dados. A observação automática é particularmente apropriada para registrar os comportamentos que ocorrem momentaneamente após períodos longos, em que o observador humano é incapaz de estimar com exatidão

as informações espaciais, como por exemplo distância percorrida e velocidade. Um outro ponto significativo é possibilitar a gravação digital dos experimentos em vídeo. Assim, o pesquisador pode analisar os comportamentos realizados pelos animais reproduzindo a gravação. A proposta deste trabalho é apresentar um sistema computacional para automatizar a análise de determinados comportamentos de camundongos no teste do campo aberto. O sistema é capaz de processar as imagens capturadas através de um dispositivo de baixo custo, como uma webcam, podendo proporcionar a gravação digital dos experimentos em vídeo. Uma etapa de processamento das imagens realiza a extração automática dos parâmetros de interesse, utilizando técnicas de visão computacional e aprendizagem de máquina. Uma das principais contribuições deste trabalho é apresentar uma alternativa multiplataforma, e de códigos-fonte abertos, aos sistemas atualmente disponíveis no mercado, muitas vezes caros e pouco flexíveis. Além disso, o pesquisador pode utilizar diversos dispositivos de captura de imagens digitais de baixo custo. O sistema Topolino foi desenvolvido com fontes na linguagem Java visando portabilidade. Foram utilizados alguns pacotes livres, como o ImageJ 1 para o pré-processamento das imagens alimentadas pela etapa de captura de imagens. Para capturar e manipular vídeos foi utilizado o JMF. O Weka 2, outro pacote livre, foi utilizado para classificação baseada em aprendizagem de máquina. Para o gerenciamento de informações utilizou-se o banco de dados relacional PostgreSQL e o JFreeChart para visualização dos gráficos. Para o controle de versões no desenvolvimento de fontes do sistema utilizou-se o repositório Subversion, integrado com o Trac, um sistema baseado em web para o gerenciamento de projetos. Este artigo está estruturado em cinco seções. A Seção 2 descreve algumas ferramentas existentes que realizam a análise do comportamento animal. Na Seção 3, é descrito o teste do campo aberto e as características de interesse selecionadas para a execução dos experimentos com camundongos. Na próxima seção, são descritos os módulos desenvolvidos e as características do sistema. Finalmente, na Seção 5 são discutidas as limitações e os pontos positivos do sistema. 2. Trabalhos Correlatos O Ethovision [Noldus et al. 2001] é uma ferramenta proprietária para análise do comportamento animal. Este sistema foi desenvolvido pela Noldus, uma empresa que atua na área de tecnologia de informação. O software foi implementado em Visual C++, podendo ser executado somente em ambiente Microsoft Windows TM. A aquisição de imagens do Ethovision é realizada por um hardware dedicado que conecta um dispositivo de captura de imagens ao computador para a execução do sistema. Pelo sistema ser limitado a este hardware, o usuário fica dependente de um dispositivo específico para a sua utilização. O rastreamento do Ethovision é iniciado após a etapa de aquisição das imagens. O módulo de rastreamento utiliza três técnicas que possuem limitações quanto à eficiência e aplicação. A primeira técnica é baseada em limiarização nos níveis de cinza. O limiar pode ser definido pelo usuário ou através do próprio sistema. A segunda técnica consiste na subtração de imagens. O usuário define uma imagem de referência, geralmente 1 http://rsb.info.nih.gov/ij/ 2 http://www.cs.waikato.ac.nz/ml/weka/

o fundo sem a presença do animal, para realizar a subtração das imagens seguintes que contêm o animal. O resultado da subtração é uma outra imagem possuindo somente o camundongo. A terceira técnica é baseada em cores, onde são utilizadas as componentes matiz e saturação do modelo de espaço de cores HSI (hue, saturation, intensity). Esta técnica é empregada para rastrear múltiplos camundongos, entretanto, possui a necessidade de pintar parte dos camundongos com uma tinta recomendada pelo sistema. Ghozland e Granon [Ghozland et al. 2002, Granon et al. 2003] utilizaram o VideoTrack, um sistema desenvolvido pela ViewPoint que analisa o comportamento de exploração dos camundongos. A captura das imagens é feita por uma câmera analógica. Existem outras ferramentas que não são baseadas em visão computacional, como em [Galsworthya et al. 2005, Kritzler et al. 2006, Kramer and Kinter 2003, Metris 2005], e que empregam dispositivos de rádio-frequência, infravermelho e sistemas elétricos para a identificação do animal. Estes métodos intrusivos podem alterar o equilíbrio emocional do animal, influenciando nos resultados dos experimentos. 3. Campo Aberto O teste do campo aberto ou open field é amplamente utilizado para quantificar movimentos locomotores e de exploração dos animais. Os movimentos locomotores são os deslocamentos entre um ponto a outro da arena. Os movimentos de exploração ou não locomotores são aqueles que o animal pode realizar sem a necessidade de deslocamento, como por exemplo elevação vertical, cheirar o ambiente e autolimpeza. Em experimentos com roedores, estes comportamentos são essenciais para compreender o efeito de diferentes drogas psicoestimulantes e ansiolíticas [Prut and Belzung 2003, Eilam 2003]. Os experimentos do campo aberto ocorrem em uma arena de formato variável, geralmente circulares ou retangulares. Neste trabalho foi utilizada uma arena circular contendo uma circuferência interna com o mesmo centro. A circunferência interna possui raio igual a 11,5cm e a circunferência da arena possui raio de 20cm, como mostra a Figura 1(a). O piso da arena é revestido de fórmica de cor branca ou preta para que haja um contraste entre o camundongo e o piso, facilitando a observação do pesquisador e os algoritmos de segmentação. O piso da arena está dividido em 12 regiões regulares de 104,7cm 2 cada. A arena é circundada por um material em acrílico transparente de forma cilíndrica, com 30cm de altura, conforme mostra a Figura 1(b). Para realização dos experimentos é aplicada a droga a ser avaliada nos camundongos. Posteriormente, os camundongos são inseridos no centro da arena, a príncipio um ambiente desconhecido. No decorrer do teste, o pesquisador pré-determina o tempo em que o animal permanecerá na arena. Em seguida é verificada e registrada a região em que o animal se encontra. As Figuras 2(a), 2(b) e 2(c) apresentam exemplos de camundongos realizando atividade motora em uma região demarcada. Após o término do tempo pré-definido, retira-se o animal. A execução do teste é feita sucessivamente com todos animais do grupo do experimento. No teste do campo aberto são utilizados mais de 30 parâmetros que avaliam as atividades motoras e de exploração dos animais. Para a sua realização, foram selecionadas as características de interesse do experimento juntamente com os especialistas. Os parâmetros relativos aos comportamentos locomotores, neste caso, são: distância percorrida, velocidade de deslocamento e o tempo de permanência em cada região. Nas

(a) (b) Figura 1. (a) Formato e limites das regiões demarcadas. (b) Material do piso e das paredes da arena. (a) (b) (c) Figura 2. (a) (c) Movimento motor do animal sobre áreas demarcadas. (b) Múltiplos camundongos realizando explorações pela arena. atividades exploratórias foi analisada a exploração vertical [Gonçalves et al. 2006]. A exploração vertical consiste na elevação das patas posteriores do camundongo, conforme apresentado nas Figuras 3(a), 3(b) e 3(c). Neste caso, é registrado o número de ocorrências destes comportamentos ao longo do experimento. Um outro fator importante é conhecer a trajetória que o camundongo percorreu ao longo do experimento. 4. Topolino O sistema Topolino 3 é um projeto que foi desenvolvido na UCDB entre a parceria do Grupo de Pesquisa em Engenharia e Computação (GPEC 4 ) e do Centro de Ciências Biológicas e da Saúde (CCBS 5 ). Este sistema visa desenvolver soluções tecnológicas que beneficiam significativamente pesquisas na área da saúde, em particular as de comportamento animal. Este trabalho está dividido em cinco módulos: interface, banco de dados, captura de imagens digitais, rastreamento e aprendizagem supervisionada para 3 http://www.gpec.ucdb.br/topolino 4 http://www.gpec.ucdb.br 5 http://www.ucdb.br/cursos/ccbs/

(a) (b) (c) Figura 3. (a) (b) (c) Comportamento de exploração vertical realizado pelo camundongo. classificação de comportamentos de exploração. O módulo da interface foi desenvolvido com base nos conceitos de HCI (Human Computer Interaction) [Myers et al. 1996]. A aplicação destes estudos proporcionam ao usuário a fácil interação na execução de tarefas. Desse modo, as funcionalidades do sistema tornam-se intuitivas para a realização dos experimentos. O usuário ainda possui a opção de salvar e acessar os resultados quantificados através de dados tabulados e gráficos. Para isso, foi utilizado o módulo de banco de dados responsável para o armazenamento e o gerenciamento das informações provenientes dos experimentos. Estas informações podem fornecer aos usuários uma forma de comparar outros experimentos realizados anteriormente. A Figura 4 mostra a tela de configuração do sistema. A captura de imagens digitais alimenta o sistema de visão computacional da ferramenta. Para isso, é necessário um dispositivo de aquisição de vídeo e um software de rastreamento para o processamento das imagens. O dispositivo possibilita ao usuário gravar ou executar em tempo real os experimentos. O sistema manipula vídeos em formatos avi ou mov. O vídeo capturado é fragmentado em quadros a uma taxa de 30 por segundo (fps). Em seguida, de cada quadro são processadas as imagens e extraídas as características dos comportamentos locomotores. Para os comportamentos de exploração é realizada a etapa de treinamento antes dos quadros serem processados. A etapa de treinamento permite realizar a classificação dos comportamentos de interesse utilizando o módulo de aprendizagem supervisionada. Este módulo é capaz de realizar a classificação automática a partir de experiências em casos de sucesso. As regras de classificação inferidas pelo módulo de aprendizado são analisadas pela complexidade das próprias regras e o erro de classificação sobre novos conjuntos de imagens. Neste módulo, foram utilizados momentos estatísticos [Souza and Pistori 2005] para a extração de atributos aplicados ao treinamento. Para o treinamento é escolhido um conjunto de imagens do vídeo que melhor representam estes comportamentos, descritos na Seção 3. Realizada a seleção dos quadros, são extraídos os atributos do conjunto de imagens utilizados para a classificação. O software de rastreamento utiliza métodos de segmentação em imagens para extrair o objeto de interesse, neste caso o camundongo. Os métodos de segmentação utilizados foram subtração de fundo, subtração de fundo adaptativo e segmentador baseado em

Figura 4. Configurações do sistema Topolino. modelo gaussiano. A subtração de fundo [Piccardi 2004] é uma das técnicas mais utilizadas devido a sua simplicidade de implementação e seu baixo custo de processamento. O princípio básico é subtrair cada imagem do quadro fragmentado de uma imagem de referência, obtida a partir de um fundo estático e sem o objeto de interesse. A grande dificuldade apresentada pela subtração de fundo é não se adaptar a modificações no fundo da cena, como mudança de iluminação ou objetos que entram em cena e em seguida ficam estáticos e sem relevância. Para contornar esse problema, existem técnicas de subtração de fundo mais sofisticadas, como a subtração de fundo adaptativo [Collins et al. 2000]. Essa técnica possui a vantagem de se adaptar a pequenas modificações, sendo útil em longos períodos de tempo, como experimentos com muitas horas de duração. O modelo gaussiano utiliza a cor como principal característica [Terrillon et al. 2000]. O espaço de cor utilizado neste trabalho é o HSV. As cores no padrão HSV são divididas em matiz (H) definindo a cor dominante, saturação (S) representando a pureza da cor e intensidade (V) representando a luminosidade da cor. Para este caso, a componente (V) foi descartada para que o sistema seja mais robusto em relação a mudança na intensidade de iluminação. Para o rastreamento dos camundongos nas imagens foram implementados dois algoritmos baseados em filtros preditivos: filtro de Kalman [Funk 2003] e filtro de partículas [Hue et al. 2001, Morais et al. 2005]. Estes filtros usam um modelo de dinâmica e incerteza para propagar os estados do sistema, em seguida o estado predito é corrigido através de um modelo de observação. Os filtros preditivos apresentam muitas vantagens como eficiência em aplicações em tempo real e habilidade de tratar a sobreposição de objetos. O filtro de Kalman apresenta uma limitação por considerar

que as variáveis aleatórias são gaussianas e o modelo de dinâmica linear. Em algumas aplicações, essa restrição de linearidade não é aplicável e o filtro não pode estimar corretamente o estado do objeto sobre o tempo. Uma aproximação possível para contornar essa limitação é empregar uma representação não-paramétrica baseada em amostras ou partículas, como o filtro de partículas. Os algoritmos dos filtros e os segmentadores implementados possuem parâmetros que podem ser alterados pelo usuário e visualizados em tempo real de processamento. A Figura 5 mostra a execução do módulo de rastreamento. O sistema Topolino, além de analisar um camundongo por vídeo, suporta o rastreamento de múltiplos camundongos, podendo ser observado o nível de socialização entre eles. Após esta etapa é possível extrair as características das imagens. Com base no treinamento são classificados os comportamentos apresentados pelos camundongos durante o experimento. A integração com o software Weka tornou disponível para os usuários do Topolino dezenas de algoritmos de aprendizagem supervisionada, entre eles o C4.5, as máquinas de vetores de suporte e a redes neurais artificiais. Figura 5. Módulo de rastreamento do sistema Topolino. 5. Conclusão e Trabalhos Futuros O resultado deste trabalho é um sistema com fontes livres para auxiliar pesquisadores no registro de parâmetros comportamentais relevantes durante experimentos com camundongos. Outro ponto a ser destacado, é que o pesquisador possui a flexibilidade de utilizar diversos dispositivos de captura de imagens digitais. Além disso, é possível executar o sistema para rastrear até quatro camundongos através de gravações de vídeo ou até mesmo

em tempo real. A ferramenta mostrou ser útil em estudos etológicos, facilitando ao pesquisador a avaliação do efeito de determinados fármacos. A ferramenta implementada automatizou o teste do campo aberto. Porém, é importante agora expandir os experimentos para outros tipos de testes que também medem a atividade locomotora de camundongos, como o teste do labirinto aquático de morris [Grossmann and Skinner 1996] e o labirinto em cruz [Boguszewski and Szmagalska 2002]. Neste caso, poderia ser expandido o número de variáveis a serem analisadas. Ainda vale ressaltar que uma maneira de ampliar a utilização do sistema seria realizar os experimentos com diferentes animais e em ambientes diversos. Agradecimentos Este trabalho recebeu apoio financeiro da Universidade Católica Dom Bosco, UCDB, da Fundação de Apoio ao Desenvolvimento do Ensino, Ciência e Tecnologia do Estado de Mato Grosso do Sul, FUNDECT. Alguns dos acadêmicos que participaram no desenvolvimento do sistema citado nesse artigo receberam bolsas PIBIC/CNPQ. Referências Boguszewski, P. and Szmagalska, J. Z. (2002). Emotional changes related to age in rats a behavioral analysis. Behavioural Brain Research, 133:332 332. Carvalho, T. H. F. and Lopes, O. U. (2006). O emprego de camundongo geneticamente modificado como modelo de estudo para doenças cardiovasculares. In X Simpósio Brasileiro de Fisiologia Cardiovascular, volume 39, pages 110 116, Ribeirão Preto,Brasil. Collins, R., Lipton, A., Kanade, T., Fujiyoshi, H., Duggins, D., Tsin, Y., Tolliver, D., Enomoto, N., and Hasegawa, O. (2000). A system for video surveillance and monitoring. Technical Report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University, Pittsburgh, PA. Eilam, D. (2003). Open-field behavior withstands drastic changes in arena size. Behavioural Brain Research, 142:53 62. Fagundes, D. J. and Taha, M. O. (2004). Modelo animal de doença: critérios de escolha e espécies de animais de uso corrente. Acta Cirúrgica Brasileira, 19:59 65. Funk, N. (2003). A study of the kalman filter applied to visual tracking. Technical report, University of Alberta. Galsworthya, M. J., Amreina, I., Kuptsovb, P. A., Poletaevab, I. I., Zinna, P., Raua, A., Vyssotskia, A., and Lippa, H.-P. (2005). A comparison of wild-caught wood mice and bank voles in the intellicage: assessing exploration, daily activity patterns and place learning paradigms. Behavioural Brain Research, 157:211 217. Ghozland, S., Matthes, H. W. D., Simonin, F., Filliol, D., Kieffer, B. L., and Maldonado, R. (2002). Motivational effects of cannabinoids are mediated by micro-opioid and k-opioid receptors. The Journal of Neuroscience, 22:1146 1154. Gonçalves, W. N., de Andrade Silva, J., Machado, B. B., de Ruchkys, D. P., and Pistori, H. (2006). Software de auxílio no reconhecimento de padrões em animais de laboratório

utilizando cadeia de código. In Proceedings of the VII Workshop on Free Software - WSL (VII International Forum on Free Software), Porto Alegre, Brasil. Granon, S., Faure, P., and Changeux, J.-P. (2003). Executive and social behaviors under nicotinic receptor regulation. Proceedings of the National Academy of Sciences, pages 9596 9601. Grossmann, M. and Skinner, M. H. (1996). A simple computer based system to analyze morris water maze trials on-line. Journal of Neuroscience Methods, 70(2):171 175. Hue, C., Cadre, J.-P. L., and Pérez, P. (2001). A particle filter to track multiple objects. In IEEE Workshop on Multi-Object Tracking, pages 61 68, Vancouver, Canada. Kramer, K. and Kinter, L. B. (2003). Evaluation and applications of radiotelemetry in small laboratory animals. Proceedings of the American Philosophical Society, 13:197 205. Kritzler, M., Lewejohann, L., Kruger, A., Raubal, M., and Sachser, N. (2006). An rfidbased tracking system for laboratory mice in a semi natural environment. In PTA Workshop, PERVASIVE - Pervasive Technology Applied Real-World Experiences with RFID and Sensor Networks, Dublin, Ireland. Metris, B. V. (2005). High-quality measurements of rodent behavior tracking and ultrasounds using laboras and sonotrack. Business Briefing, Future Drug Discovery. Morais, E. F., Campos, M. F. M., Padua, F. L. C., and Carceroni, R. L. (2005). Particle filter-based predictive tracking for robust fish counting. In SIBGRAPI 05: Proceedings of the XVIII Brazilian Symposium on Computer Graphics and Image Processing, page 367, Washington, DC, USA. IEEE Computer Society. Morrow-Tesch, J., Dailey, J. W., and JIang, H. (1998). A video data base system for studying animal behavior. Journal of Animal Science, 76(10). Myers, B., Hollan, J., Cruz, I., Bryson, S., Bulterman, D., Catarci, T., Citrin, W., Glinert, E., Grudin, J., Hollin, J., Ioannidis, Y., et al. (1996). Strategic directions in humancomputer interaction. ACM Computing Surveys, 28(4):794 809. Noldus, L. P., Spink, A. J., and Tegelenbosch, R. A. J. (2001). Ethovision: A versatile video tracking system for automation of behavior experiments. Behav Res Methods Instrum Comput, 33(3):398 414. Piccardi, M. (2004). Background subtraction techniques: a review. In Proc. of IEEE SMC 2004 International Conference on Systems, Man and Cybernetics. Prut, L. and Belzung, C. (2003). The open field as a paradigm to measure the effects of drugs on anxiety-like behaviors: a review. European Journal of Pharmacology, pages 3 33. Souza, K. P. and Pistori, H. (2005). Implementação de um extrator de características baseado em momentos da imagem. In Proceedings of SIBGRAPI 2005 - XVIII Brazilian Symposium on Computer Graphics and Image Processing, Natal, RN, Brazil. SBC, IEEE Press. Terrillon, J.-C., Fukamachi, H., Akamatsu, S., and Shirazi, M. N. (2000). Comparative performance of different skin chrominance models and chrominance spaces for the

automatic detection of human faces in color images. In FG 00: Proceedings of the Fourth IEEE International Conference on Automatic Face and Gesture Recognition 2000, page 54, Washington, DC, USA. IEEE Computer Society.