Recoñecemento de lingua de signos

As persoas xordas conviven con severas barreiras de comunicación que dificultan a súa plena inclusión social e laboral e que son invisíbeis, en moitas ocasións, para o resto da sociedade. Os implantes cocleares non están ao alcance de todas e teñen graves limitacións técnicas que os fan ineficaces para algunhas persoas e situacións. A lectura de labios é só unha axuda parcial para algunhas e resulta imposíbel se usamos máscaras. A lingua de signos, un medio de comunicación natural para quen non oe, é descoñecida para a maioría de oíntes, e a dispoñibilidade de intérpretes é, a día de hoxe, insuficiente. Na última década, os sistemas de recoñecemento automático de linguas de signos progresaron moito. As posibilidades que estes sistemas ofrecerán nuns anos son comparábeis ás que xa ofrece o recoñecemento de voz. Ferramentas de ditado e comunicación con asistentes virtuais son só dous exemplos de como estas tecnoloxías nos facilitan a comunicación con ordenadores. Por outro lado, as ferramentas de tradución empezan a ser fiábeis para varios idiomas e en breve axudarannos a comunicarnos entre falantes de diferentes linguas. Non é xusto que estas ferramentas estean dispoñíbeis tamén para persoas xordas? O recoñecemento automático de linguas de signos baséase no procesamento de imaxe e na intelixencia artificial, e por iso require grandes coleccións de vídeos, que non existen aínda para a Lingua de Signos Española. O proxecto Speech&Signs, desenvolvido no centro atlanTTic da Universidade de Vigo por un equipo interdisciplinario de persoas expertas en lingua de signos e en TIC, ten entre os seus obxectivos paliar esta carencia. Coa axuda das Asociacións de Persoas Xordas da Galiza estamos gravando vídeos de signos illados, palabras deletreadas co alfabeto dactilolóxico, e frases completas, repetidas por moitas persoas diferentes. A base de datos de Speech&Signs contén gravacións realizadas con distintos dispositivos: cámaras de vídeo de alta calidade, sensores de profundidade, cámaras web, smartphones e incluso capturas de programas de TV. O procesamento que require cada un destes materiais é diferente, e o impacto que a calidade do vídeo ten no resultado final do sistema de recoñecemento tamén é algo que nos interesa estudar. Ademais, é imprescindíbel anotar as gravacións e sinalar en cada instante de cada vídeo non só que signo está presente, senón posíbeis modificacións no seu significado indicadas con xestos da cara, a cabeza e o torso. En paralelo ás gravacións, deseñamos e adestramos sistemas de recoñecemento baseados en intelixencia artificial que identifican os signos contidos en cada vídeo. A complexidade e a fiabilidade destes sistemas dependen de factores como o número de signos distintos a recoñecer, a variabilidade de realizacións ou se estes signos están illados ou concatenados con outros e forman parte dunha frase. Co obxecto de comparar as prestacións do noso sistema de intelixencia artificial cos desenvolvidos por outros grupos de investigación, acabamos de participar nunha competición internacional na que 132 equipos de distintos países pugnaban por ver cal dos seus sistemas era máis fiábel no recoñecemento de 226 signos illados de Lingua de Signos Turca, realizados por 43 persoas diferentes. A taxa de acertos que obtivimos é do 96%, o que nos situou na cuarta posición da clasificación. Esta porcentaxe de acertos indícanos que somos quen de resolver o problema cando a súa complexidade está acoutada. Agora hai que seguir traballando para abordar tarefas máis útiles e difíciles: vocabularios más extensos e frases completas, en vídeos de calquera calidade, e, sobre todo, en Lingua de Signos Española. Cando veremos un recoñecedor automático de lingua de signos que sirva para derrubar as barreiras de comunicación coas persoas xordas? Grazas á colaboración das Asociacións de Persoas Xordas, e coa financiación adecuada das administracións, esperamos que pronto