CONSIGNOS - Conversor y reproductor automático de lengua de signos

Descripción del proyecto

El proyecto CONSIGNOS es un proyecto de desarrollo experimental.
El objetivo del proyecto CONSIGNOS es contribuir a la inclusión de las personas con discapacidad auditiva en la sociedad. Para el cumplimiento del objetivo, se propone utilizar tecnologías innovadoras para realizar una traducción automática de información a Lengua de Signos Española (LSE). Estas tecnologías incluyen reconocimiento de voz, traducción a LSE y generación de los signos mediante un agente animado.
En este proyecto se plantea el desarrollo de un primer prototipo de traducción de voz o texto a LSE. Con el desarrollo de este proyecto se pretende:

• Facilitar el acceso del colectivo sordo a las TIC, tanto el puro acceso a contenidos como la interacción con los mismos.
• Permitir su comunicación a través del agente animado con todo tipo de usuarios sin precisar de un conocimiento de habilidades especiales por parte de las mismas.
• Investigar en las nuevas posibilidades que el nuevo producto ofrece para intentar proporcionar diferentes alternativas de comunicación.

Compañías u organizaciones colaboradoras

Papel de Indra

• Coordinador del proyecto, integrador de tecnología.

Universidades y centros tecnológicos

Tecnologías usadas

• Reconocimiento automático del habla en modelos ocultos de Markov combinados con modelos de lenguaje estadísticos.
• Algoritmos de traducción automática basados en:
  • Lista de ejemplos traducidos.
  • Reglas sintáctico-semánticas.
  • Algoritmos estadísticos basados en subsecuencias de frases y traductores de estados finitos.
• Algoritmo de Integración de las diferentes estrategias de traducción. Esta integración se puede hacer a la salida (considerando cada uno de los sistemas de traducción como cajas negras) o mediante la integración de las traducciones en fases intermedias (como cajas blancas).
• Técnicas de Animación No Lineal para la composición de acciones independientes.
• Descripción de las acciones de forma independiente del avatar empleando descriptores basados en cuaternios y métodos de cinemática inversa (como CCD).
• Métodos de deformación de malla (Vertex Blending) y nivel de detalle adaptativo.
• Generación de representación realista de salida como caja negra para el resto de módulos. Incorporación transparente de síntesis realista distribuida basada en GRID computacionales.

Más información

Este Proyecto ha sido financiado por Ministerio de Industria, Turismo y Comercio dentro del Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica 2008-2011.