A Realidade Aumentada na Engenharia Biomédica: Estado da Arte

Transcrição

1 A Realidade Aumentada na Engenharia Biomédica: Estado da Arte José M. L. Braz Pereira Escola Superior de Tecnologia / IPS Rua do Vale de Chaves Estefanilha Setúbal jbraz_home@clix.pt Instituto Superior Técnico Mestrado em Engenharia Electrotécnica e de Computadores Engenharia Biomédica RESUMO: Apresenta-se um estudo prévio conducente à especificação de requisitos para uma actualização do VIDA: Visualizador Interactivo de Dados biomecânicos Animados. Os resultados são apresentados como um estado da arte na aplicação de técnicas de Realidade Aumentada (RA) à Engenharia Biomédica (EB). Neste âmbito, começa-se por enquadrar o trabalho definindo os conceitos de RA e EB. Em seguida, descrevem-se 5 das mais representativas aplicações de RA e apresentam-se as conclusões possíveis quanto às técnicas actualmente utilizadas. O presente trabalho termina com uma discussão sobre possíveis futuras aplicações de técnicas de RA à EB, acompanhadas da enumeração dos factores evolutivos considerados necessários para que essas aplicações possam tornar-se realidade. Palavras Chave: Engenharia Biomédica, Imagem Médica, Biomecânica, Realidade Aumentada; Visualização de Dados. INTRODUÇÃO Em resposta ao interesse manifestado pelo Laboratório de Biomecânica da Faculdade de Motricidade Humana da Universidade Técnica de Lisboa, numa aplicação para visualização da actividade muscular de atletas, foi já desenvolvida uma primeira versão do VIDA - Visualizador Interactivo de Dados biomecânicos Animados [1]. Actualmente o VIDA permite visualizar os dados biomecânicos respeitantes à actividade muscular de um individuo em movimento através da animação de um humanóide com os dados cinemáticos referentes ao movimento desse indíviduo e colorindo os músculos com os respectivos dados fisiológicos. A próxima versão do VIDA deverá permitir visualizar a actividade muscular através da sobreposição de modelos virtuais dos músculos às imagens de vídeo do indíviduo em movimento, utilizando para isso técnicas de Realidade Aumentada (RA). Para especificar os requisitos da próxima versão do VIDA foi necessário executar um estudo prévio sobre as actuais aplicações de técnicas de RA na área da Engenharia Biomédica (EB). ENQUADRAMENTO Engenharia Biomédica Logo na Introdução de [2] é-nos apresentada uma sucinta definição dos objectivos e campo aplicacional da EB. Aí se pode ler que a EB aplica <<princípios de engenharia eléctrica, mecânica, química, óptica e outras para compreender, modificar ou controlar sistemas biológicos (i.e. humanos e animais) assim como projecta e produz produtos que podem monitorizar funções fisiológicas e apoiar o diagnóstico e o tratamento de pacientes>>. Realidade Aumentada A RA é consensualmente definida na literatura [3] como uma área de investigação que pretende desenvolver mundos que combinem o mundo real observado pelo utilizador com uma cena virtual gerada por computador e que aumente o mundo real com informação adicional. De salientar que em RA se pretende que o utilizador possa interagir em tempo real com esse mundo aumentado. No entanto, devido à adequabilidade do termo [4], actualmente é comum empregar o termo Realidade Aumentada para caracterizar qualquer tipo de apresentação em que um mundo, de outra forma real, é aumentado com informação virtual. Integram-se nesta classe os sistemas em que os objectos virtuais são sobrepostos a imagens de vídeo do mundo real, captadas por uma câmara estática ou não e apresentadas num ecran plano, assim como os sistemas de chroma keying comuns no universo televisivo. Autores mais preocupados em respeitar a semântica comumente aceite, optam por denominar esta última classe de sistemas como sistemas de Realidade Melhorada (enhanced reality), no entanto, e para o que é relevante neste trabalho, optou-se por não diferenciar esses sistemas englobando-os no que se pode chamar: sistemas que recorrem a técnicas de RA. Um sistema de RA típico Num sistema de RA típico, ( ver figura 1) o mundo real é observado por um Dispositivo de Captação de Imagem (DCI). O DCI tanto pode ser uma câmara de

2 Figura 1.3.1: Um sistema típico de Realidade Aumentada vídeo estereoscópica como o próprio olho humano [4]. De notar aqui que, segundo a definição restrita de RA [3], apenas os últimos (HMD Optical See Through) poderiam ser legitimamente considerados sistemas de RA [4] uma vez que apenas nesse caso o utilizador do sistema estaria a ver de facto o mundo real ao passo que no caso da câmara de vídeo estereoscópica (HMD Vídeo See Through) o que o utilizador está a ver é já, não o mundo real, mas uma imagem vídeo desse mundo. O DCI executa a projecção perspectiva do mundo 3D num plano 2D. Os parâmetros intrínsecos (distância focal e distorção da lente) e extrínsecos (posição e pose) da câmara determinam o que é projectado no plano de visualização. A geração da imagem virtual é executada por um sistema gráfico normal. Cada objecto virtual é modelado no sistema de coordenadas do objecto. O sistema gráfico necessita de informação sobre a imagem do mundo real por forma a reproduzir correctamente cada objecto. Essa informação vai controlar a câmara virtual/sintética usada para gerar a imagem dos objectos virtuais que são, finalmente, misturados com a imagem do mundo real para formar a imagem de realidade aumentada. A Imagem na Engenharia Biomédica: um Historial Para a grande maioria das aplicações de RA à EB a fidelidade com que o modelo virtual de uma anatomia reproduz a anatomia real de um indíviduo em particular é absolutamente fundamental. Considerando que a construção do modelo virtual é feita com base em imagens das anatomias a modelar compreende-se o papel central que a aquisição de imagens médicas ocupa na aplicação de técnicas de RA à EB. APLICAÇÕES MÉDICAS DE REALIDADE AUMENTADA Walter J. Greenleaf, em [5], aponta 7 áreas aplicacionais para a Realidade Virtual na área da EB: 1) Treino e planeamento Cirúrgicos; 2) Educação, Modelação e treino não cirúrgicos 3) Fusão de objectos virtuais com imagens reais 4) Reabilitação facilitada por RA 5) Soluções para diminuições físicas 6) TeleCirúrgia e telemedicina 7) Testes de pacientes e intervenção comportamental Destas sete áreas a 3ª corresponde precisamente à RA. No entanto, nada impede a utilização de técnicas de RA nas restantes 6 áreas, uma vez que, sendo a RA uma área da RV que se distingue daquela pela mistura de objectos virtuais com mundos de outra forma reais, parece-me lógico assumir que todas as possíveis aplicações de RV à medicina só podem ter a ganhar com a utilização de técnicas de RA. Claro que esta afirmação é discutível em termos de engenharia, uma vez que temos sempre de considerar, pelo menos, os aspectos relacionados por um lado, com optimizações de custo/desempenho e, por outro com a evolução dos possíveis campos aplicacionais proporcionada pela constante e crescente evolução tecnológica. Na realidade, o que se observou neste estudo é que diferentes projectos de EB em diferentes áreas de investigação, particularmente no treino, planeamento e execução cirúrgicos e na telemedicina, recorrem a técnicas de RA. Além disso, um olhar crítico sobre a classificação citada nota que 5 das restantes 6 classes se referem a áreas da medicina enquanto a 3ª (e a 6ª) se refere a uma tecnologia usada. Considerando este dois argumentos, parece-nos que seria preferível retirar esta categoria da anterior classificação e considerá-la ortogonal a essa classificação. De salientar ainda que a utilização de técnicas de RA permite introduzir a RV directamente na sala de operaçõe,s e usá-la, em tempo real, na área da cirúrgia guiada por imagem, área aplicacional que não se encontra referida na citada classificação. Através de uma vasta pesquisa bibliográfica em publicações tanto da área da Computação Gráfica como da Imagem Médica e através da Internet, foi possível identificar 8 diferentes projectos de investigação e desenvolvimento na área da Engenharia Biomédica e que recorrem a técnicas de RA. Apresentam-se em seguida cinco dos oito projectos identificados como sendo os mais representativos, tanto pela abrangência de técnicas de RA utilizadas como pelas opções tomadas no que toca a Sistemas de Seguimento, Dispositivos de Apresentação e resultados finais. MIT: Remoção de Tumores Cerebrais Introdução O projecto de investigação conjunto entre o Laboratório de Inteligência Artificial do MIT e o Laboratório de Planeamento Cirúrgico do Hospital Feminino Brigham permitiu desenvolver uma série de ferramentas para suporte à cirúrgia guiada por imagens [6] com aplicação prática e resultados económicos significativos em intervenções cirúrgicas para remoção de tumores cerebrais. A utilização do sistema passa por 4 etapas: construção de um modelo rígido 3D segmentado de toda a área craniofacial do paciente, determinação da posição exacta do paciente na mesa de operações, alinhamento do modelo virtual segmentado do

3 cérebro do paciente com o próprio paciente e apresentação, num ecran 2D, da área craniofacial do paciente (mundo real) aumentada com a sua estrutura interna (modelo virtual). Construção do Modelo 3D A construção do modelo 3D é executada na fase pré-operatória do planeamento cirúrgico e passa por três fases: a) obtenção da imagem volumétrica da área craneo-facial do paciente; b) segmentação dos tecidos/elementos constituintes do cérebro; c) e finalmente construção do modelo virtual do cérebro do paciente no sistema de coordenadas da Ressonância Magnética, que é assim considerado o sistema de coordenadas do objecto virtual. A imagem volumétrica do cérebro do paciente é obtida por Ressonância Magnética e Tomografia Axial Computarizada. As estruturas anatómicas apresentadas numa Ressonância Magnética ou numa Tomografia Axial Computarizada têm de ser explicitamente extraídas (segmentadas) para poderem ser usadas para alinhamento de superfície ou visualização tridimensional. Por segmentação de orgãos/tecidos entende-se o processo de etiquetagem dos voxels individuais no scan volumétrico por tipo de tecido e com base tanto nas propriedades das intensidades observadas como em informação anatómica sobre sujeitos normais. Determinação da posição do paciente na mesa de operações A fim de possibilitar o alinhamento da pele do paciente com a pele do modelo virtual, têm de se obter as coordenadas 3D de vários pontos na superficie da pele do paciente. Para tal, recorre-se a um sistema de triangulação por laser. A pele do paciente na mesa de operações é varrida por um feixe laser de baixa potência que deixa aí uma série de pontos luminosos captados pela câmara de vídeo. A metodologia de aquisição de dados sobre a posição do paciente evita o contacto directo com o paciente e funciona com elevada precisão (erro < 1mm) Alinhamento Após um rude alinhamento inicial, o processo de alinhamento automático executa uma optimização em duas etapas para localizar com precisão o melhor feixe de laser para a transformação do sistema de coordenadas do objecto virtual no sistema de coordenadas da sala de operações. Executado o alinhamento, conhece-se com precisão a localização de todos os pontos do objecto virtual no sistema de coordenadas da sala de operações e é possivel sobrepor a pele do modelo à pele do paciente. Apresentação Aumentada Uma vez sobreposta a pele do objecto virtual à pele do paciente na sala de operações é então possível remover a pele do objecto virtual e apresentar a estrutura interna do cérebro no ecran presente na sala de operações, oferecendo ao cirurgião visão de raio x sobre a estrutura interna do cérebro do paciente. 1) Para obtenção da imagem médica da área craneo facial do paciente recorre-se a Ressonância Magnética. 2) A segmentação de tecidos é feita com recurso a técnicas automáticas e semiautomáticas. 3) As técnicas automáticas baseiam-se nas diferentes intensidades apresentadas pelos diferentes tecidos. 4) Usam-se técnicas tradicionais de rendering de superfícies para construir o modelo 3D de cada um dos volumes segmentados. 5) A posição [ do volume craneo facial ] do paciente na mesa de operações é determinada através de um sistema de triangulação por laser que permite determinar a posição de uma série de pontos 3D na superficie da pele do paciente com um erro inferior a 1mm. 6) O alinhamento do modelo virtual com o volume craneo facial do paciente é feito automaticamente. 7) A vista aumentada do volume craneo facial do paciente é apresentada num ecran plano presente na sala de operações. O presente sistema foi já usado em mais de 200 Cirúrgias e é actualmente usado rotineiramente em um ou dois casos por semana. Estimativas inicias calculam que o uso do sistema reduza o custo de cada operação neurocirurgica em entre $1000 e $5000. Um Ambiente de RA Oftalmológico Introdução Estão a ser investigadas técnicas que permitam sobrepor dados angiográficos às imagens obtidas em tempo real por um biomicroscopio (no orignial: biomicroscopic slitlamp fundus) a fim de guiar o tratamento de doenças do olho [7]. A imagem do biomicroscopio será aumentada com dados angiográficos disponíveis. No ecran de realidade aumentada serão ainda incluídos texto e um apontador virtual para facilitar o ensino, telemedicinia e medição em tempo real e análise da imagem. Além disso a sobreposição de imagens permitirá julgar sobre a evolução da doença e a identificação em tempo real de anteriores áreas sujeitas a tratamento. Considerações técnicas A implementação do sistema descrito implica a solução de uma série de problemas. Antes de mais o sistema deve ser robusto, tolerar a iluminação de apenas pequenas áreas do fundus e responder rapidamente a alterações moderadas na posição do olho durante a avaliação e tratamento. Aborda-se esta problemática obtendo imagens fotográficas múltiplas e parcialmente sobrepostas e montando-as sem ser em tempo real. Os dados angiográficos e fotográficos são alinhados com o conjunto de dados previamente montados para permitir um rápido rendering. Uma vez que os dados angiográficos e fotográficos podem variar consideravelmente em intensidade os algoritmos baseados na intensidade dos tecidos não são apropriados, sendo por isso usados algoritmos de

4 alinhamento baseados na extracção de contornos e thresholding. A imagem de fundo em tempo real será depois alinhada em quase tempo real com o conjuntos de dados montados. Em seguida, os dados armazenados terão de ser sobrepostos à imagem do biomicroscópio. A geração de imagem pelo computador deve ser rápida e ergonomicamente bem tolerada. Finalmente serão desenvolvidas tecnologias para interactividade. Um observador remoto verá a apresentação em tempo real da imagem do biomicroscópio e poderá comunicar por texto ou voz com o operador. O observador remoto controlará um ponteiro virtual para identificar de forma objectiva as regiões de interesse. O operador local controlará também um apontador que permita medir áreas de interesse cujos resultados serão apresentados numa janela de texto. Deve ser escolhida uma métrica de similaridade apropriada que permita o alinhamento e montagem. A distância de Hausdorff é apropriada uma vez que: a) funciona bem com imagens de contornos detectados, b) tolera erros assim como a presença de excesso ou ausência de pontos entre conjuntos de dados; e c) opera sobre uma função de tranformação arbitrariamente definida pelo utilizador. Para alinhar as duas imagens procura-se apenas no espaço de translações, rotações e redimensionamentos. Sobreposição das imagens Actualmente utiliza-se um microscópio Zeiss OPM1-DFC modificado que permite a sobreposição de dados anteriormente armazenados à imagem em tempo real do biomicroscópio. O microscópio está ligado a uma câmara CCD, cuja imagem é enviada para um sistema de digitalização e captura de frames. A imagem é processada numa estação de trabalho Sun Ultra I onde os cálculos de alinhamento são executados. A workstation controla um ecran de vídeo feito por medida de elevada intensidade com resolução VGA e brilho e contraste ajustáveis e apresenta as imagens em cores falsas (verde) para maximizar a visibilidade. Resultados Os métodos baseados na distância de Hausdorff modificada mostraram-se efectivos para uma rápida e precisa montagem das imagens do fundus parcialmente sobrepostas. As funções de transformação derivadas das imagens binárias com contornos extraídos permitem construir um só conjunto de dados O pré-processamento com suavização, thresholding e extracção de contornos das imagens fototográficas e angiográficas, em que os níveis de cinzento das veias variam no claro-escuro, e onde os métodos baseados na correlação de intensidades dos tecidos falham, facilita o alinhamento. Após o pré-processamento da imagem o software de análise Matrox permite a identificação das regiões correspondentes nas imagens fotográficas e angiográficas. São então definidas apenas funções de translacção e a utilidade dos métodos de alinhamento, baseados na detecção de contornos, fica assim demonstrada. O alinhamento em não tempo real (desfasamento entre -0.4 e 4.0 segundos de CPU) consegue-se com a aplicação de algoritmos (translação, rotação e redimensionamento) baseados na distância de Hausdorff não optimizada aplicados às imagens fotográficas angiográficas. A sobreposição de imagens foi demonstrada através da superimposição num ecran de computador. Além disso, a sobreposição foi ainda conseguida no sistema de microscópio anteriormente descrito. As imagens fotográficas de um olho modelo foram obtidas e tratadas em termos de detecção de contornos. As imagens com contornos extraídos foram em seguida apresentadas em verde e sobrepostas a uma imagem do biomicroscopio em tempo real. Desta forma, a visão em tempo real, através das objectivas binoculares do micrscópio, é assim uma fusão da imagem dos contornos verdes e da imagem do olho em tempo real ficando demonstrada a possibilidade de desenvolver o sistema descrito. 1) Para obtenção da imagem médica do olho recorre-se a Angiografia e Fotografia. 2) Não há lugar a segmentação de tecidos mas apenas à detecção dos contornos das veias. 3) O modelo virtual é uma imagem com os contornos das veias apresentados a verde. e construído através da concatenação de várias vistas (fotográficas e angiográficas) parciais do olho. 4) O alinhamento do modelo virtual das veias com a imagem em tempo real do olho observado no biomicroscópio é feito automaticamente. 5) O seguimento do mundo real é feito geometricamente por translacções no espaço de coordenadas do modelo virtual. 6) A vista aumentada do olho é apresentada num ecran plano e na objectiva binocular de um biomicroscópio. UNC: Biopsia Guiada por Ultrasons Introdução O objectivo do projecto é desenvolver e operar um sistema que permita ao médico ver directamente a anatomia interna de um paciente [8]. O projecto explora a aplicação de RA com este objectivo. O UNC Ulstrasound Research usa imagens ecográficas de ultrasons, um HMD vídeo see through e uma plataforma gráfica de elevado desempenho para criar imagens vivas que combinam as imagens de ultrasons geradas por computador com a imagem vídeo de um paciente. Os ultrasons foram escolhidos como fonte de imagens médicas devido ao seu carácter não invasivo, a não envolverem radiações perigosas para o paciente e à rapidez de obtenção de imagens. Novas imagens podem ser adquiridas com taxas de refrescamento comparáveis ao vídeo (30Hz ou seja 30 actualizações por segundo). Um sistema de visão aumentada por computador, que apresenta imagens ecográficas em tempo real e devidamente alinhadas à

5 área do paciente que está a ser varrida, pode ser uma poderosa e intuitiva ferramenta. Tal sistema pode ser usado em obstectricia, procedimentos de diagnóstico tais como biopsias guiadas por agulhas, cardiologia e outros. Estes estudos servem como problemas piloto para a melhoria de técnicas de RA como sejam o seguimento, sistemas HMD e representação visual. Biópsia dos seios guiada por ultrasons A biópsia dos seios guiada por ultrasons tem sido usada com fins diagnósticos substituindo parcialmente a intervenção cirúrgica. A orientação por ultrasons é também usada para localização de algumas lesões antes da biópsia assim como para aspiração de quistos. No entanto, a orientação por ultrasons de tais intervenções é de difícil aprendizagem e execução. É necessária grande coordenação entre a visão e o movimento da mão e experiência de visualização tridimensional para guiar a agulha da biópsia até aos tecidos alvo com ajuda das imagens de ultrasons. Sistema de tempo real SGI Foi construído um protótipo de um sistema de visão de RA baseado numa estação de trabalho Silicon Graphics Onyx com Reality Engine 2 (RE2) equipado com uma unidade de captura de vídeo em tempo real Sirius vídeo. Este sistema usa intensivamente as rápidas capacidades de texturas baseadas em imagens do RE2. O sistema de captura de imagem capta tanto as imagens da câmara de vídeo como o vídeo de ultrasons. O vídeo da câmara é reproduzido em fundo; as imagens de vídeo dos ultrasons são transferidos para a memória de texturas e apresentadas como poligonos emitidos pela sonda de ultrasons para dentro de uma abertura sintética aberta dentro do paciente varrido. O actual sistema consegue manter uma taxa de refrescamento de 10Hz tanto para a apresentação da imagem como para a captura do vídeo dos ultrasons. [...] O sistema usa um seguidor Flock of Birds da Ascenbsion technology para seguir a cabeça do utilizador. No entanto, o ambiente metálico interfere com este sistema magnético e a calibração da distorção nas leituras do seguidor revelaram-se insuficientes. Desta forma o sistema usa uma técnica experimental para corrigir o alinhamento das imagens seguindo alvos coloridos estrategicamente colocados na imagem de vídeo. As fatias de ultrasons não são reconstruídas num volume mas antes apresentadas directamente como poligonos translúcidos com as imagens de vídeo dos ultrasons mapeadas neles. Os poligonos desaparecem com o tempo, controlado por um parâmetro de meia-vida definido pelo utilizador. Um grande número de tais fatias de ultrason apresentadas directamente podem dar a aparência de um conjunto de dados volumétricos. O seguimento da sonda de ultrasons é executado com elevada precisão por um braço mecânico fabricado pela FARO Technologies e que oferece uma sincroniação perfeita entre fatias individuais. Estado actual do sistema Apesar de todos os esforços de alinhamento ainda não foi possível atingir consistentemente a elevada precisão requerida para a execução de procedimentos cirúrgicos. Estão a ser conduzidos trabalhos na área dos sistemas de seguimento e de sistemas de aquisição de imagens ecográficas mais precisos. 1) Para obtenção da imagem médica do interior do seio recorre-se a ecografia. 2) Não há lugar a segmentação de tecidos mas apenas à apresentação da imagem vídeo dos ultrasons convertida para o sistema de coordenadas do mundo. 3) O modelo virtual é um conjunto de fatias translúcidas de imagens vídeo dos ultrasons projectadas numa abertura virtual. 4) O alinhamento do modelo virtual do interior do seio com a imagem em tempo real da câmara de vídeo é feito automaticamente. 5) O seguimento da posição e orientação da cabeça do utilizador é feito através de técnica mista: por um seguidor magnético Flock of Heads da Ascension Technology constantemente recalibrado por técnicas de visão computacional aplicadas a alvos coloridos da imagem de vídeo. 6) O seguimento da sonda de ultrasons é feito pelo braço mecânico da FARO Technologies. 7) A vista aumentada do seio é apresentada num HMD vídeo see through. Eurodoc: Telemedicina Introdução O objectivo do projecto é a visualização remota de conhecimento médico em diagnóstico e terapia, especialmente durante a Cirúrgia. Transmissão de conhecimentos pela internet A tecnologia de RA permite transferir este conhecimento através de redes de computadores, nomeadamente pela internet. Parte-se dos pressupostos (razoavelmente fundamentados) de que: 1) com o aumento dos procedimentos minimamente invasivos a forma de apresentação de imagens do campo operatório é já o monitor de vídeo. 2) a informação disponível para o cirurgião na sala de operações está já em formato digital. 3) a transferência da informação digital através da rede (i.e. da internet) é possível com a actual infraestrutura. Todo o conhecimento médico é visualizado como uma sobreposição de estruturas virtuais a sequências de vídeo gravadas ou como a fusão de imagens em tempo real com fontes de vídeo ao vivo. Pela rede só são transmitidas as coordenadas tridimensionais que definem os movimentos de corpos rígidos, definindo a posição estereostática de instrumentos relativos à anatomia do paciente. Além disso é também transmitida pela rede, uma sequência de quadros de vídeo que oferece uma visão do campo operatório, mas esta deve ser encarada como um suplemento aos dados básicos transmitidos pelos sensores 3D. Em qualquer computador remoto a sobreposição gráfica é computada localmente, com diferentes graus

6 de complexidade dependendo das capacidades disponíveis. É importante notar que a imagem médica apresentada no computador remoto pode ser completamente diferente da visualizada na sala de operações. Desta forma o perito pode avaliar o progresso do procedimento cirúrgico visualizando a posição estereóstática dos instrumentos relativamente à informação imagética da sua preferência. Vantagens para a telenavegação Os gráficos são calculados no computador local. Só os dados de posição dos sensores 3D são transmitidos pela rede, juntamente com os dados do vídeo ao vivo. Desta forma as actuais redes com fraca largura de banda podem ser usados. A complexidade dos gráficos apresentados pode ser redimensionada de acordo com os recursos computacionais existentes remotamente. Esta apresentação é independente da visualização na sala de operações. Toda a informação apresentada ao cirurgião na sala de operações está já em formato digital pelo que o conteúdo apresentado no computador remoto é praticamente igual. O planeamento de um procedimento cirúrgico ou a alteração de uma simulação existente, como seja o caminho de acesso a um tumor, pode ser executado independentemente da localização física do procedimento cirúrgico. 1) Para obtenção das imagens médicas recorre-se a Tomografia Axial Computarizada, Ressonância Magnética e Interventional Vídeo Tomography [9]. 2) Pode não ser executada segmentação de tecidos mas uma simples sobreposição de uma fatia da TAC ou da IVT no plano apropriado. 3) Quando há lugar a segmentação de tecidos ele é executado por técnicas automáticas e semiautomáticas. 4) É transmitido pela rede a sequência de quadros de vídeo captada na sala de operações e as coordenadas 3D dos sensores seguidos. 8) A construção do modelo virtual é feita no computador remoto. 9) O alinhamento do modelo virtual com os quadro de vídeo é feito no computador remoto. 10) O mundo aumentado é apresentado num visor Vídeo See Through Epidaure: Cirúrgia Hepática Objectivos Neste projecto de investigação pretende-se criar um Simulador para Cirúrgia Laparoscópica. A laparoscopia é uma técnica cirurgica minimamente evasiva que faz uso de longos instrumentos cirúrgicos introduzidos no abdómen através de aberturas de 1cm. Para ver o interior do abdómen o cirurgião introduz um endoscópio ligado a uma câmara por sua vez ligada a um monitor. A maior limitação desta técnica é a aprendizagem de novos movimentos operativos, problema que pode ser resolvido com recurso a um simulador computarizado. Para ser útil este simulador deve obedecer a três grandes critérios: imagens simuladas de elevado realismo, uma interface interactiva, modelos computarizados volumétricos deformáveis. 1) Utilizados para simulação 2) Não se pretende obter um sistema de RA mas de manipulação de um modelo do fígado de um paciente específico 3) As imagens médicas para construção do modelo são obtidas por Tomografia Axial Computarizada. 4) O fígado é segmenteado em todos os seus constituintes. 5) O modelo virtual 3D do fígado é deformável 6) Foi desenvolvido um complexo sistema de feedback de forças que permite uma simulação mais realística. 7) O sistema permite interacção em tempo real com o modelo do fígado. 8) Não se tratando de um sistema de RA não há lugar à sobreposição do modelo virtual ao mundo real. 9) A investigação na área de RA continua no subprojecto Recalage 2D-3D pour la realité augmentée. CONCLUSÕES: A REALIDADE ACTUAL DA RA NA EB Aplicabilidade Ao longo do presente estudo foram identificadas duas aplicações de RA que estão de facto a funcionar na sala de operações: 1) O projecto de Cirúrgia guiada por imagem na remoção de temores cerebrais desenvolvido pelo Laboratório de IA do MIT e usado no Brigham and Women's Hospital. 2) O projecto de telemedicina na área da telecirúrgia da European Initiative for Remote Knowledge Visualization usado em diversos serviços clínicos da Universidade de Vienna. Foram ainda identificados três outros projectos, estes ainda na fase de desenvolvimento, que pretendem usar técnicas de RA: 3) Aplicação de RA ao diagnóstico e tratamento de doenças dos olhos. 4) Aplicação de RA a biópsias guiadas por ultrasons. 5) Aplicação de RA à Cirúrgia hepática. É no entanto de considerar que a curto médio prazo todo o tipo de informação médica venha a ser visualizado directamente sobre o paciente, como sobreposição de estruturas geradas por computador ao paciente real [9] Construção de modelos 3D Obtenção de imagens médicas As principais técnologias de obtenção de imagem médica utilizadas para a construção de modelos volumétricos de anatomias de paciente são:

7 1) Tomografia Axial Computarizada 2) Ressonância Magnética 3) Ecografia No projecto de desenvolvimento de um ambiente de RA oftalmológico recorre-se a Angiografia para obter a imagem da superficie do olho. Segmentação de orgãos A segmentação de orgãos e tecidos a partir das imagens médicas é ja rotineiramente executada através de técnicas automáticas e semiautomáticas. Quando é necessário recorrer a edição manual de imagens médicas para segmentação de orgãos o único caso documentado aponta para tempos de edição entre 60 e 180 minutos. Modelos virtuais deformáveis Todos os casos identificados neste estudo usam modelos volumétricos rígidos das anatomias reconstruídas. Notou-se uma clara predominância, de 1997 para cá, nos artigos dedicados à investigação da construção de modelos deformáveis (não rígidos) dos orgãos e tecidos. Esta área não é abordada neste trabalho por carecer de interesse para o desenvolvimento do VIDA. Sistemas de apresentação Os elevados requisitos no alinhamento (sincronização espacial ou registration) que exigem um erro inferior a 1mm entre a posição do objecto virtual e a correspondente anatomia do paciente real ainda não permitem a utilização de verdadeiros capacetes de RA como sejam os sistemas de apresentação tipo Video See Trough (VST) ou Optical See Trough (OST). No entanto já são atingíveis desde que o mundo real seja observado por uma câmara de vídeo fixa a um braço robótico e as imagens real e virtual sobrepostas num ecran 2D, o que constitui um sistema de apresentação do tipo Janela Sobre o Mundo (JSM). Os elevados requisitos na latência (sincronização temporal) foram já cumpridos estando os actuais sistemas gráficos capazes de gerar as anatomias virtuais apropriadas com taxas de refrescamente da ordem dos 30Hz A apresentação do mundo aumentado na sala de operações fazse actualmente com recurso a sistemas do tipo JSM. Foram no entanto identificados 3 projectos de investigação que pretendem usar sistemas de visualização VST e o projecto de telemedicina desenvolvido no âmbito do EURODOC recorre indiscriminadamente a sistemas VST ou JSM para visualização do campo operatório no local remoto. Evolução nas temáticas abordadas As temáticas abordadas tanto na literatura da área da Imagem Médica como da Computação Gráfica revelam uma clara evolução no que toca a resolução dos vários problemas técnicos que a RA enfrenta, assim é de notar que: 1) nas referências bibliográficas entre 1994 e 1997 é dada substancial atenção aos problemas genéricos da RA (seguimento do mundo real, construção de modelo virtuais rígidos, alinhamento destes com o mundo real). 2) nas referências bibliográficas posteriores a 1997 nota-se uma clara predominância pela construção de modelos virtuais de corpos elásticos e semielásticos. 3) durante a elaboração deste relatório pelo menos um projecto (EURODOC) de investigação foi alvo de um elevado investimento privado deixando os seus resultados de estar disponíveis na internet. Estado tecnológico actual das aplicações Como principais conclusões do actual estado da arte são de salientar: - Foi já atingida uma grande fidelidade do modelo virtual de uma anatomia em relação à anatomia modelada com base nas técnologias de captação de imagens médicas existentes. - Os elevados requisitos no alinhamento (sincronização espacial ou registration) que exigem um erro inferior a 1mm entre a posição do objecto virtual e a correspondente anatomia do paciente real ainda não permitem a utilização de verdadeiros capacetes de RA como sejam os sistemas de apresentação tipo VST ou OST. - No entanto já são atingíveis desde que o mundo real seja observado por uma câmara de vídeo fixa a um braço robótico e as imagens real e virtual sobrepostas num ecran 2D (sistema de apresentação do tipo JSM - Os elevados requisitos na latência (sincronização temporal) foram já cumpridos estando os actuais sistemas gráficos capazes de gerar as anatomias virtuais apropriadas com taxas de refrescamente da ordem dos 30Hz - A área da Engenharia Biomédica onde a RA encontra maior número de aplicações tanto comercializadas como em fase de desenvolvimento é o da cirurgia guiada por imagem. - Não foram identificados trabalhos na área da Biomecânica. PROVAVEIS DESENVOLVIMENTOS A evolução da área de visualização de dados cientificos trará certamente importantes contributos para a RA e portanto às diferentes possíveis aplicações da RA na Engenharia Biomédica. De acordo com [10] alguns dos desafios centram-se na possibilidade de juntar num mesmo mundo imersivo, através da internet de segunda geração, diferentes colaboradores dispersos por diferentes pontos do globo, mas para isso os ambientes e objectos virtuais terão de melhorar muito a sua qualidade. Um dos desafios é conseguir incluir a realidade virtual na realidade física sem que os utilizadores necessitem de óculos ou luvas virtuais.

8 Dois aspectos chave da RA carecem ainda de uma boa resolução [11]: 1) o alinhamento espacial da informação real e da gerada por computador e 2) o mapeamento da informação, isto é, a utilização efectiva do reduzido espaço disponível nos ecrans transparentes. O alinhamento exige conhecimento da posição e orientação do utilizador. A posição pode ser obtida no exterior através de receptores de GPS e em interiores usando câmaras ou sistemas de sensores embutidos nas paredes. Sensores inerciais e magnéticos manterão as posições aproximadas as quais poderão ser afinadas usando algoritmos de visão computacional para processar os dados das câmaras e de vídeo. O ambiente de redes concêntricas exigido pela RA móvel depende do desenvolvimento de outras tecnologias. Serão desenvolvidos grandes esforços no sentido de entregar a informação aos utilizadores em qualquer localização. A geração de arquitecturas de agentes inteligentes que se seguirá á próxima oferecerá ferramentas automáticas adaptadas ao perfil de cada utilizador para procurar informação em bases de dados sediadas na web. As bases de dados serão interactivamente alteráveis. O hardware necessário já está a ser desenvolvido. Actualmente os computadores portáteis não dispõem de gráficos de elevado desempenho devido às limitações de dissipação. Este problema será resolvido levando a sistemas gráficos altamente transportáveis que permitirão a RV e a RA em qualquer lugar e em qualquer momento. Além dos agentes inteligentes, ajudas de conhecimento melhorarão o ambiente aumentado. Por exemplo, o seguimento do movimento do olho pode indicar items ou tópicos que o utilizador considera especificamente interessantes. De forma semelhante a interacção perceptual e multimodal do utilizador pode ser analisada para tirar pistas. Tal como antes já foi assinalado a obtenção de imagens médicas ocupa um lugar central nas aplicações de RA à EB, é por isso interessante analisar um pouco a evolução esperada para esta área. Parvati Dev da Universidade de Stanford apresenta [12] uma antecipação rasoavelmente crível desta área para os próximos cinco anos, considerando as principais vertentes de investigação actual e os resultados obtidos e esperados. Assim, segundo Parvati, é de esperar que por volta de 2005 uns US$ sejam suficientes para criar o seguinte cenário: <<A cargo do radiologista está a tarefa de preparar as imagens obtidas para que o cirurgião as use tanto durante a preparação como durante a execução da operação. O volume tridimensional integra, num só modelo em que a informação visual está perfeitamente alinhada, as imagens das ressonâncias magnéticas e da TAC previamente executadas. O HMD do cirurgião apresenta esta informação da anatomia interna sobreposta à visão directa do paciente na sala de operações, apresentado claramente as estruturas a evitar e as que se podem cortar sem perigo. Os assistentes removem os tecidos e limpam o campo operatório enquanto o cirurgião experimenta os instrumentos assistidos roboticamente. A interacção entre a informação visual e as ferramentas robóticas evitam incursões inadvertidas em tecidos críticos, e a assistência robótica reduz o tremor humano aumentando a precisão desta delicada Cirúrgia.>> BIBLIOGRAFIA: [1] José Braz Pereira, VIDA: Visualizador Interactivo de Dados biomecânicos Animados Relatório Técnico ; [2] Joseph D Bronzino et Al., The Biomedical engineering handbook, CRC Press Inc.; EUA, [3] Ronald T. Azuma, A Survey of Augmented Reality ; Hughes Research Laboratories; Teleoperators and Virtual Environments 6, 4 (August 1997), [4] Paul Milgram et Al, A Taxonomy of Mixed Reality Visual Displays ; IEICE Transactions on Information Systems, Vol E77-D, nº12 December 1994; IEICE; EUA, [5] Walter J. Greenleaf; Chapter 71 - Medical Applications of Virtual Reality Technology, in The Biomedical engineering handbook ; CRC Press Inc.; EUA, [6] Nakajima et al. 3D MRI Reconstruction for Surgical Planning and Guidance. In Advanced Neurosurgical Navigation. Eds E. Alexander III and R.J. Maciunas Thieme Medical Publishers, Inc, New York, pp , [7] Berger et al. Design Considerations for a Computer-Vision-Enabled Ophthalmic Augmented Reality Environment. Proc. CVRMed/MRCAS'97, March 1997, Grenoble, France. [8] Henry Fuchs et Al, "Augmented Reality Visualization for Laparoscopic Surgery.", in Proceedings of First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI '98), October 1998, Massachusetts Institute of Technology, Cambridge, MA, USA. [9] Michael Truppe, Interventional Vídeo Tomography], in proceedings of Laser in Surgery, vol San Jose, CA: SPIE, 1995, pp [10] Theresa-Marie Rhyne, Scientific Visualization in the Next Millenium, in IEEE Computer Graphics and Applications, Vol 20, Nº1, January/February 2000; IEEE Computer Society; USA [11] Lawerence Rosenblum, Virtual and Augmented Reality 2020, in IEEE Computer Graphics and Applications, Vol 20, Nº1, January/February 2000, pgs 38/39; IEEE Computer Society; USA [12] Parvati Dev, Graphics and Imaging in Medicine, in IEEE Computer Graphics and Applications, Vol 20, Nº1, January/February 2000, pgs 24/25; IEEE Computer Society; USA [13] L. Soler et Al, "Automatic Segmentation of Portal Vein in CT-Scans of the Liver". MPBE, Nice 97, September 1997.