Proyecto de Lectura y Reproducción de Texto con Boca Animada en Español

Primera Parte del Proceso de Desarrollo del Proyecto

Empezamos por el estudio del código fuente del programa en inglés (Microsoft Mouth), para descubrir su funcionamiento. Después de su estudio llegamos a las siguientes conclusiones (estas son las explicaciones del proceso básico, sin entrar en las múltiples opciones seleccionables y demás):

- Primero viene una inicialización de las variables globales e inicia la parte del OLE.

- El siguiente paso es llamar al engine (motor) para renderizar el texto introducido. Esto se hace a partir de los valores almacenados en el registro de Windows, que nos dan datos como velocidad de habla, tono,... que la propia aplicación almacena al finalizar para que estén disponibles en la siguiente sesión.

- El programa está preparado. Se puede enviar cualquier cadena de texto al motor, que este la reproducirá por la salida estándar (altavoces).

- El motor tiene una representación fonética propia. Cada fonema que pronuncia lo va introduciendo en una cola junto con otros datos (como por ejemplo la posición de la boca para la pronunciación de ese fonema).

- Cada vez que hay un dato en la cola, se produce una notificación del propio motor, que indica la presencia del dato. El programa usa esa notificación para ver la posición en que debe estar la boca y dibujarla. Dependiendo de la velocidad del ordenador el retraso entre la reproducción del sonido (fonema dispuesto en la cola) y su representación gráfica es mayor o menor.

- Al finalizar, libera el motor y guarda los datos que deben ser recordados en la próxima ejecución en el registro de Windows.

Como uno de los objetivos del proyecto es intentar conseguir el mayor sincronismo (para acercarnos a la realidad) entre sonido y movimiento de la boca, intentamos buscar cómo se envía la notificación, para estudiar otras posibilidad que sincronicen los dos actos (como pueden ser semáforos, esperas, ...), pero entre el código fuente suministrado no viene la implementación de las funciones, sólo su definición, en el fichero speech.h. Falta el fichero speech.cpp, y sólo se suministra el fichero compilado speech.dll.

El siguiente paso ha sido coger diferentes frases y hacer que el programa escriba en un fichero el fónema que está reproduciendo junto con los parámetros que le pasa a la boca, para estudiar estos datos y como inciden después en la representación final de la boca. Estos valores son de tipo BYTE, es decir, de 0 a 255. A modo de ejemplo incluimos los resultados obtenidos para la palabra:

El primer fonema y el último son los que corresponden a la boca cerrada (posición inicial y final).

Después hemos intentado controlar la imagen de la boca, para lo cual hemos hecho un programa que leyera los valores de los parámetros desde teclado o desde un fichero y a partir de estos mostrase el visema, para ver su semajanza con el fonema intentado imitar sin sonido (sólo los visemas), para a partir de estos datos y los obtenidos anteriormente comprender mejor el fichero que se encarga de dibujar la boca a ver si conseguimos obtener como a partir de estos representa la boca. Si quieres descargarlo pulsa aquí (48 Kb).

Para ver como afectan los distintos parámetros a la visualización de la boca, primero definimos todos los parámetros a 123, que es el punto medio. La imagen resultante fue:

Esta imagen (como las posteriores) depende también del hablante que tengamos seleccionado. Cada hablante viene identificado por valores como velocidad de habla, anchura de labios, tono... que el programa almacena en una constante a la que llama GUID del motor, aunque el cambio producido en todas ellas al cambiar los parámetros es el mismo.

El siguiente paso fue ir cambiando sólo uno de los parámetros, al nivel mínimo y máximo para ver el cambio producido:

Valor 000	Parámetro	Valor 255
	Mouth Height
	Mouth Width
	Mouth Upturn
	Jaw Open
	Teeth Upper Visible
	Teeth Lower Visible
	Tongue Position
	Lip Tension

Como conclusión de esto sacamos que:

• Mouth Height : Controla la apertura vertical de la boca (altura).
• Mouth Width: Controla la longitud horizontal de la boca (anchura)
• Mouth Upturn: Controla el estado de ánimo del hablante, ya que nos da la curvatura de los labios (sonreir, seriedad, tristeza o enfado), es decir la posición vertical de la comisura de los labios.
• Jaw Open: Con estas imágenes no hemos sacado ninguna conclusión. La imagen coincide con la inicial. No se aprecian cambios visibles. Haremos otro estudio
• Teeth Upper Visible: Da la longitud de diente superior que se debe visualizar. Para ello sube el labio superior dejando ver los dientes superiores ocultos debajo.
• Teeth Lower Visible: En este caso no se ven los dientes, pero se aprecia una bajada del labio inferior para intentar mostrar estos. Se necesita un posterior estudio para averiguar si estos se llegan a ver dependiendo de otros parámetros.
• Tongue Position: Nos da la posición de la lengua. Al aumentar el valor esta se eleva hasta tocar el paladar.
• Lip Tension: Nos da el ángulo de los labios en la comisura. A menor valor menor ángulo. Este valor incide sobre otros como Mouth Height

Empezamos el segundo estudio, para sacar conclusiones sobre los parámetros anteriores que no han quedado suficientemente claros:

Para el estudio sobre la visibilidad de los dientes inferiores, hemos intentado encontrar unos parámetros que nos permitan ver si se pueden apreciar los dientes inferiores o no. Esos parámetros han sido:

Las imágenes obtenidas han sido:

Valor 000	Parámetro	Valor 255
	Teeth Lower Visible

En conclusión, si que se pueden apreciar los dientes inferiores, siempre que la posición de los labios lo permita.

Ahora pasamos al estudio del Jaw Open. Despues de probar no hemos encontrado ninguna posición en la que se aprecien cambios al variar este parámetro. Entonces, mirando el código fuente del fichero paint.h de Microsoft, vemos que este parámetro no se utiliza para nada, por lo que sólo se suministra por si empleas otro modelo visual en el que se aprecien más detalles de la cara.

Resumiendo gráficamente los parámetros visuales:

Para la finalización de esta parte y aprovechando que teníamos instalado el programa IBM ViaVoice 98, que utiliza la Speech API 3.0 y que instala un motor en español, utilizamos el programa que nos da los valores de los fonemas para ver una aproximación a los parámetros de los fonemas en español. Esto es temporal, ya que nuestra intención es constrastar estos valores con los que nos ofrezca un estudio más pormenorizado con la ayuda de un foniatra. Estos valores no son incluidos en esta página ya que son de carácter temporal.

Retroceder hacia: Introducción al Microsoft Speech API SDK 4.0

Volver al Menú

Avanzar hacia: Introducción a Linux y las Xlib

Universidad de Valladolid

Ingeniería Técnica en Informática de Gestión