Aprendizagem dos Números para Crianças com o Uso do Kinect

Transcrição

1 111 Aprndizagm dos Númros para Crianças com o Uso do Kinct Klbr M. Msquita 1 Robson S. Siquira 1 1 Instituto Fdral d Educação Ciência Tcnologia do Cará (IFCE) Maracanaú CE Brasil {klbr099siquira.robson.dasilva}@gmail.com Abstract. Dvlopmnt of nw tchnologis to human-computr intraction has rciv th most intrst of rsarchrs in dvloping nw tchniqus and applications that facilitat and qualify popl's livs. Th popularization of dpth snsors such as Microsoft Kinct has nabld progrss in tchniqus that had many rstrictions on th us of RGB imags minimizing occlusion problms lik skin rcognition. This papr prsnts a tchniqu to idntify numbrs with hand gsturs applid to intractiv taching childrn. Th prsntd mthod aims to assist profssionals in arly childhood ducation to dsign programs that can gt information about th larning progrss. Rsumo. Com o rápido surgimnto d novas tcnologias a intração hommmáquina tm rnovado o intrss d psquisadors no dsnvolvimnto d novas técnicas aplicaçõs qu facilitm qualifiqum a vida das pssoas. A popularização d snsors d profundidad como o Microsoft Kinct tm prmitido voluir m técnicas qu possuíam muitas rstriçõs com o uso d imagns RGB minimizando problmas como oclusão rconhcimnto d padrõs d pl. Est artigo aprsnta uma técnica para idntificar númros com os gstos das mãos aplicado ao nsino intrativo d crianças. O método aprsntado tm por objtivo auxiliar os profissionais m ducação infantil a projtar programas qu possam obtr informaçõs sobr o andamnto do aprndizado. 1. Introdução Rconhcimnto d gstos das mãos é d grand importância para a intração hommmáquina (HCI) por causa d suas inúmras aplicaçõs na ralidad virtual rconhcimnto d linguagm d sinais jogos d computador [2]. Apsar d muitos trabalhos antriors métodos d rconhcimnto d gstos d mão tradicionais com bas na visão [7 8] ainda stão long d sr satisfatórios para aplicaçõs na vida ral. Dvido às limitaçõs dos snsors ópticos a qualidad das imagns capturadas é snsívl às condiçõs d iluminação d fundo ofuscado assim não é capaz d dtctar idntificar as mãos d forma robusta o qu afta m grand mdida o dsmpnho do rconhcimnto d gstos [1]. Graças ao rcnt dsnvolvimnto d câmras d profundidad d baixo custo por xmplo o Kinct novas oportunidads para o rconhcimnto d gsto surgm ss trabalho propõ rconhcr gstos das mãos utilizando o Kinct vrificando quantos ddos stão sndo mostrados nas cnas capturadas possibilitando ralizar a quantificação idntificação d formas atribuir postriormnt a xcução d açõs ao rconhcr cada padrão stablcido. Tornando possívl grar indicadors por xmplo sobr o procsso d aprndizagm d númros para crianças qu stão no nívl adquado ss tipo d conhcimnto bm como para crianças ou adultos qu

2 112 stjam raprndndo após procssos traumáticos d prda total ou parcial d mmória ou d outras faculdads cognitivas. A gração dsss indicadors sob a coordnação d um profissional da ára pod sr obtida com tsts não suprvisionados aos usuários finais d manira a auxiliá-los na avaliação do nívl d cognição visual auditiva motora ou tmpo d ração dntr outras informaçõs qu possam sr disponibilizadas sjam importants para os spcialistas. Todo ss trabalho srá ralizado com procssamnto anális das imagns d profundidad do Kinct com o intuito d idntificar a quantidad d ddos dos gstos das mãos aprsntar um modlo para aplicaçõs no aprndizado infantil. 2. O Kinct sua utilização na Educação Infantil O procsso d aprndizagm vai além do ambint da sala d aula stá prsnt m todos os momntos m qu uma troca d xpriência não ncssariamnt ntr profssor aluno possa vir a acrscntar conhcimnto ao indivíduo [3]. Dvm-s criar difrnts formas d organização da class dos tmpos spaços didáticos dos objtos rcursos stratégias pdagógicas [5]. Difrnciar é organizar as intraçõs as atividads d modo qu cada aluno sja constantmnt confrontado com as situaçõs mais fcundas para l qu sjam do su intrss ou qu sja um obstáculo à construção do conhcimnto. Assim o nsino difrnciado implica a utilização d divrsas stratégias didáticas [4]. Através da NUI (Natural Usr Intrfac) pod s criar um ambint d forma mais natural por qu s basia m um ambint fito por intraçõs. Muitas dssas intraçõs são rotiniras conhcidas por usuários no caso crianças. A intrfac qu proporciona a NUI é um dsign d aplicação qu prmit xplorar do usuário a mlhor forma d intragir com o objto m qustão fazndo com qu a xpriência d uso do produto s aproxim do mais confortávl intuitivo simpls possívl para o usuário qu stá utilizando a aplicação [6]. Em pouco tmpo Kinct pouco a sr utilizado como objto d studo dsnvolvimnto d aplicaçõs m Ralidad Aumntada (RA) dvido a sua capacidad d rconhcimnto d movimnto comando d voz sm a ncssidad d algum outro dispositivo adicional. Dssa forma prmit pssoas intragirm com os jogos sistmas dispositivos utilizando s do movimnto do próprio corpo [3]. Além disso é capaz d prcbr a trcira dimnsão (profundidad). Uma das grands vantagns d utilizar imagns d profundidad no lugar d imagns RGB são as rstriçõs ligadas principalmnt à iluminação do ambint. A dtcção d pl utilizada para dtctar as mãos é muito dpndnt da iluminação qu pod altrar os parâmtros d rconhcimnto pré-dfinidos plo sistma [9]. O snsor d profundidad não prcisa d luz para funcionar por isso não sofr com problmas d sombramnto s houvr uma font luminosa prdominant d forma similar à imagm m tons d cinza tm um canal qu possui uma janla com largura altura caractrísticas. A difrnça stá no significado do valor do pixl no caso da imagm m tons d cinza la quival ao tom da cor cinza; já no caso da imagm d profundidad diz rspito à distância ntr o snsor a suprfíci do objto dtctado. Outra difrnça important é qu a imagm m tons d cinza possui 8 bits corrspondndo à 256 tons; no caso da imagm d profundidad são 11 bits dos quais 10 corrspondm à distância

3 113 da suprfíci do objto ao snsor o outro indica s o ponto é válido ou não. No caso a distância pod variar d 0 a 1023 caso contrário o pixl é dsconsidrado. 3. Rconhcimnto d Gstos da Mão 3.1. Ambint d Psquisas Tsts O ambint d dsnvolvimnto tsts dss trabalho foi ralizado m sistma opracional Linux distribuição Dbian Whzy. Os algoritmos na psquisa foram inscritos nas linguagns C/C++ utilizando a bibliotca OpnCv afim d manipular tratar procssar as imagns. Divrsos usuários ralizaram gstos com as mãos na frnt do Kinct as imagns gradas foram utilizadas plos algoritmos dsta psquisa a fim d rconhcr obtr informaçõs importants a crca das mãos. (O uso da aplicação dvrá sr utilizado m computadors conctados com o Kinct.) 3.2. Método d Rconhcimnto da Mão A Fig. 3.1 mostra o fluxograma das tapas qu foram ncssárias no procsso d rconhcimnto da mão qu foi composto da aquisição da imagm plo o kinct até a dlimitação das rgiõs qu são ddos xtração das informaçõs importants a crca da mão. Figura 3.1. Fluxograma d rconhcimnto da mão Como foi mncionado na sção 2 o snsor d profundidad do Kinct atribui valors conform a distância dos objtos na cna. Para capturar somnt as mãos foi utilizada uma janla com intrvalo ntr na coordnada d profundidad isto quival à uma distância ntr cm do snsor qu pod sr modificada d acordo com o ambint ond srá ralizado o tst. Foi construído um algoritmo qu atribui para atribuir cors aos objtos idntificados d acordo com a distância qu ncontra os objtos stão do snsor A próxima tapa constitui m binarizar a imagm capturada do Kinct para qu somnt dois nívis d cors fossm utilizados. Caso o objto stivss no intrvalo d janla stablcido sria atribuída à cor branca (valor 255) s não stivss sria atribuída à cor prta (valor 0). Com isso foi possívl sparar as mãos do rstant dos outros objtos qu stavam prsnts na cna. A Fig. 3.2 aprsnta a imagm após o procsso d binarização.

4 114 Figura 3.2. Imagm após a aplicação do algoritmo d divisão por janlas binarização da imagm Em sguida foi aplicado o filtro da média na imagm utilizando o tamanho 5x5. Com isso foi possívl suavizar as imagns adquiridas rtirar os divrsos ruídos qu o snsor do Kinct dtctou. A imagm tratada com o filtro da média pod sr visualizada na Fig. 3.3.a. (a) (b) (c) Figura 3.3. (a): Comparação ntr a imagm binarizada aplicação do filtro da média. (b): Idntificação do contorno da mão. (c): Cntro gométrico do contorno Após o tratamnto com o filtro da média foi possívl idntificar o contorno das mãos ncssário para obtr informaçõs qu ajudarão a dmarcar a rgião ond s ncontram os ddos na imagm a quantidad dsts qu stá sndo mostrada m cada mão. O contorno d uma mão pod sr visualizado na Fig. 3.3.b. Com o contorno d cada mão ncontrado a próxima tapa foi ncontrar a cntroid (ou cntro gométrico) d cada um. Cntroid é o ponto cntral d uma forma gométrica qualqur caso a forma gométrica sja homogêna ntão o cntroid coincid com o cntro d massa. Nos casos m qu ssa forma não é homogéno ntão ss ponto coincid com o cntro gravitacional. O Cntro gométrico do contorno da mão pod sr visualizado na Fig. 3.3.c. Foi utilizado o ponto cntral da mão para ncontrar a distância ntr cada ponto do contorno m rlação ao su cntro gométrico. Para calcular ssa distância foi usado distância Euclidiana ntr dois pontos dada por: O ponto rprsnta cada ponto qu faz part do contorno é o ponto cntral qu stá dntro do contorno. A partir dsss dois pontos é possívl calcular a distância. Em sguida foram construídos gráficos para rprsntar as formas adquiridas plo Kinct. A Fig. 3.4.a aprsnta o gráfico d uma mão ond é rprsntada a distância ntr o cntro gométrico m rlação a cada ponto do contorno. Os pontos do contorno mais distants do cntro gométrico stão concntrados nos picos do gráfico os pontos com mnor distância m rlação ao cntro stão nas rgiõs mais infriors no gráfico. Os picos são as pontas d cada ddo. A imagm 3.4.a contém cinco picos rfrnts aos cinco ddos da mão squrda caso sja dtctado mnos ddos mnos picos srão aprsntados conform Fig. 3.4.b.

5 115 (a) Figura 3.4. (a): Gráfico da distância ntr cada ponto do contorno o cntro da mão. (b): Gráfico da mão com três ddos Para idntificar a quantidad d ddos dfiniu-s um limiar qu idntifiqu a prsnça d ddos nas imagns adquiridas. Limiar é um valor limit qu divid duas ou mais classs. Para ss trabalho objtivou-s ncontrar um qu dividiss as rgiõs qu contivss ddos daqulas qu não contivss. Um aspcto important d dfinição dst limiar é qu l dv srvir para tamanhos d mãos difrnts pois o algoritmo pod sr aplicado a crianças jovns ou adultos. Isso somnt é possívl s for utilizado um valor adimnsional com bas m alguma caractrística da mão. Nst caso foi utilizado como parâmtro o raio inscrito na mão como sugrido por Zou-Zang[1]. Para ncontrar o círculo inscrito dntro do contorno foi calculada a mnor distância ntr o cntroid o contorno d cada mão. Essa distância calculada é o raio do círculo inscrito d cada contorno o qual pod sr visualizado na Fig. 3.5.a. Com o raio do círculo inscrito ao contorno utilizou-s o valor d a fim d stablcr um qu vai idntificar a prsnça d ddos nos contornos obtidos. Ao utilizar uma constant qualqur stablcu-s uma fórmula para ncontrar um valor para dada por. Dntro do univrso d 1000 imagns adquiridas para tst d 10 usuários difrnts o valor d para mostrou s o mais adquado. Pla Fig. 3.5.b prcb-s qu ao utilizar ss limiar o círculo da figura intrcpta todos os ddos do contorno ntão as distâncias rprsntam as rgiõs qu são ddos no contorno ncontrado. Em sguida foi dlimitada a squência d pontos d cada ddo dtctando o limit inicial o final d cada um dls assim foram obtidas informaçõs importants como por xmplo a ára quantidad d pontos m cada ddo stablcidos critérios para classificar s as rgiõs ncontradas ram ralmnt ddos. A Fig. 3.5.c aprsnta os pontos qu fazm intrcssão ntr o contorno o círculo d raio os quais dlimitam o início fim d cada ddo. Ao obtr os limits d cada ddo juntos com sus pontos d contorno calculou-s a ára plo númro d pixls xistnts dntro do contorno. Na Fig. 3.5.d pod-s visualizar as rgiõs da imagm qu foram dtctadas como ddos dnotados plas áras pintadas pla cor branca. São justamnt os pontos cujo caso tais pontos não prtncm a ddos suas rgiõs não srão idntificados como tal. (b) (a) (b) (c) (d) Figura 3.5. (a): Circulo inscrito no contorno d raio. (b): Circulo com (c): Pontos qu dlimitam cada ddo. (d): Dtcção d ddos

6 Anais do EATI - Encontro Anual d Tcnologia da Informação Tsts Como visto na sção 3.2 é possívl obtr informaçõs importants a crca da mão. Para os tsts foi utilizado a ára da mão as áras d cada ddo: polgar indicador médio anlar mindinho ; a quantidad d pontos d cada ddo: polgar indicador médio anlar mindinho ; a distância da ponta d cada ddo m rlação ao cntro: polgar indicador médio anlar mindinho a xcntricidad d cada ddo: polgar indicador médio anlar mindinho. Foram utilizados os valors acima para calcular dados statísticos das caractrísticas das mãos à média o dsvio padrão para stablcr um intrvalo d confiança. A média das áras d cada ddo m rlação à ára da mão: corrspondu à ; a média da quantidad d pontos d cada mão: ; a média da distância da ponta d cada ddo ao cntro: a média da xcntricidad d cada ddo:. Sjam todos os valors obtidos das formas ou rgiõs capturadas s é uma caractrística d uma mão ntão a forma ou rgião é d uma mão. Caso os valors não stjam no intrvalo d confiança as formas ou rgiõs não podm sr considradas como mão. 5. Rsultados A Tabla 5.1 mostra os valors calculados das statísticas das imagns adquiridas d uma bas d dados com amostras d 1000 imagns qu tnha somnt mãos. Tabla 5.1 Valors statísticos das caractrísticas da mão Polgar Indicador Médio Anlar Mindinho Nos divrsos tsts ralizados m 95% dos casos os valors stavam dntro do intrvalo d confiança os dmais casos não foram classificados como mãos Anais do EATI Frdrico Wstphaln - RS Ano 4 n. 1 p Nov/2014

7 117 pois ls stavam fora do intrvalo d confiança. A Tabla 5.2 mostra alguns valors obtidos nos tsts ralizados. Tabla 5.2 Valors das caractrísticas da mão Polgar Indicador Médio Anlar Mindinho Obsrva-s pla tabla qu cada ddo tm caractrísticas próprias ss valors statísticos pod sr utilizados para idntificar um ddos particular pois a faixa d valors d cada caractrística stá m intrvalo difrnt d valors para cada ddo. 6. Aplicação d Aprndizagm d Númros Conform o usuário vai ralizando gstos m frnt do snsor do Kinct o aparlho vai capturando sus movimntos. É important qu a mão do usuário stja m dstaqu na frnt do snsor. À mdida qu o usuário vai ralizando gstos a aplicação vai rconhcndo os ddos aprsntados. Ao rconhcr crta quantidad d ddos é mostrado o númro corrspondnt como mostra a Fig Figura 6.1. Contagm dos ddos A aplicação rconhc no máximo cinco ddos m cada mão. A taxa d acrto chga a 95% sndo a maioria dos rros dvido a fusão d dois ddos adjacnts. 7. Conclusão Trabalhos Futuros Embora o algoritmo funcion ralizando a contagm dos ddos aprsntados a aplicação pod funcionar d outras formas como a aprsntação alatória d númros na tla aguardando qu o usuário rproduza o msmo com os ddos das mãos. O msmo pod sr fito com o uso d voz aprsntando um comando com o som do númro ou msmo ralizando uma opração d soma simpls. O uso contínuo do algoritmo plo usuário faz com qu l naturalmnt obsrv os casos m qu há rro d dtcção raliza o corrto posicionamnto abrtura ntr os ddos das mãos diminuindo a oclusão. O rro na dtcção pod sr rduzido com o tratamnto d vários

8 118 frams sguidos com uma máquina d stado qu consiga assgurar o stado stávl mais provávl. Trabalhos futuros dvm ralizar a idntificação da posição das mãos na cna tirando a rstrição d o usuário star m dtrminada distância do snsor. Sm ssa rstrição pod-s idntificar mais d um usuário no cnário o qu possibilitaria o uso intrativo para aplicação m tornios cooprativos. 8. Rfrências R Zhang and Y Junsong. (2011) Robust Hand Gstur Rcognition Basd on Fingr- Earth Movr s Distanc with a Commodity Dpth Camra. In: Procdings of th 19th ACM intrnational confrnc on Multimdia pags J. P. Wachs M. Kölsch H. Strn and Y. Edan. (2011) Vision-basd hand-gstur applications. In Communications of th ACM v.54: A. Rodrigo A. Jffrson & M. Francisco. (2012) AlfabtoKinct: Um aplicativo para auxiliar na alfabtização d crianças com o uso do Kinct. In SBIE Anais. Prrnoud P. (2011) A pdagogia na scola das difrnças: fragmntos d uma sociologia do fracasso. In Porto Algr: Artmd. Amaro D. G. and Macdo L. (2011) Da lógica da xclusão à lógica da inclusão: rflxão sobr uma stratégia. In Sminário Intrnacional Socidad Inclusiva Anais. Blo Horizont. Jnsn M. B. (2011) Natural usr intrfacs from all angls: An invstigation of intraction mthods using dpth snsing camras. Aalborg Univrsity. C. Chua H. Guan and Y. Ho. (2002) Modl-basd 3d hand postur stimation from a singl 2d imag. Imag and Vision Computing 20: B. Stngr A. Thayananthan P. Torr and R. Cipolla. (2003) Filtring using a trbasd stimator. In Proc. of IEEE ICCV. S. Jaiswal S. Bhadauria R. S. Jadon and T. Divakar. (2011) Brif dscription of imag basd 3d fac rcognition mthods. 3D Rsarch 1(4):1-14.