La tecnología de inteligencia artificial nos permite "escuchar" y comprender a las personas sordas.
Yuan, vicedecano de la Facultad Técnica para Sordos de la Universidad Tecnológica de Tianjin, es profesor de estos estudiantes universitarios con discapacidad auditiva y miembro del Centro de Tecnología Inteligente Accesible. Ella presentó: "El Centro de I+D de Tecnología Inteligente Accesible proporcionará soporte de corpus de lenguaje de señas humano digital de lenguaje de señas AI para la transmisión en vivo de los Juegos Olímpicos de Invierno. Los estudiantes y yo hemos estado ocupados durante más de dos meses. Nos sentimos profundamente honrados de poder servir los Juegos Olímpicos de Invierno."
Enseñar inteligencia artificial a reconocer el lenguaje de señas
2021 En la conferencia del 30.º aniversario de la Educación Especial para Sordos de Ingeniería Superior de China, un "rincón de lenguaje de señas" atrajo a muchas personas para detener. Siempre que firme frente a la cámara, habrá una traducción de texto coherente en la pantalla detrás de usted. El proyecto presentado por Yuan "Whale Language", un sistema multimodal de reconocimiento automático de marcas en lenguaje de señas continuo (en adelante, "Whale Language"), se denomina "sistema de traducción de lenguaje de señas chino en tiempo real en escenarios complejos". Según los informes, en una habitación con iluminación suficiente y estable, la tasa de reconocimiento del lenguaje de señas del sistema puede alcanzar el 95% y se puede lograr una "traducción sincrónica" en algunas escenas. Este sistema fue desarrollado para hacer que el lenguaje de señas sea fácilmente accesible para todas las personas oyentes. Su sistema automático de etiquetado y reconocimiento "Whale Talking" también ganó la medalla de oro en la pista principal en el 7º Concurso Internacional de Innovación y Emprendimiento para Estudiantes Universitarios "Internet +" de China el año pasado.
Wang Jianyuan es miembro del equipo de I+D. Es un niño sordomudo que creció en una familia sordomuda y tiene una pérdida auditiva grave. Las palabras y los sonidos son difíciles de pronunciar. El lenguaje de signos fue su primera y más eficaz forma de relacionarse con el mundo. En los últimos 22 años, ser sordo no le ha hecho sentirse inferior; su incapacidad para hablar no le ha impedido convertirse en un "estudiante" serio pero si le preguntan qué inconvenientes ha encontrado desde niño, lo será; Muy tranquilamente escribí cuatro palabras en mi teléfono móvil: todo, porque hay muy poca gente que entienda el lenguaje de signos.
Un ejemplo típico es acudir al médico. Si no hay un intérprete de lengua de signos, incluso si es sólo un dolor de cabeza o fiebre, será difícil para Wang Like, un "nativo de la lengua de signos", ver a un médico solo; la mayoría de los médicos no conocen la lengua de signos.
Desde que el primer grupo de 6 estudiantes sordos fue admitido el 5438+0991 de junio el 11 de septiembre, los profesores de la Facultad de Sordos de la Universidad Tecnológica de Tianjin han acumulado mucha experiencia en la comunicación con personas sordas.
Yuan se especializó en informática. Inmediatamente después de graduarse de la escuela de posgrado en 2006, trabajó en el Departamento de Ciencias y Tecnología de la Computación en la Escuela Técnica para Sordos. En su primer día de trabajo, su desafío fue aprender el lenguaje de señas. Al leer palabras y labios, los estudiantes pueden entender las palabras del maestro, pero el maestro no puede entender las palabras de los estudiantes rápidamente. Yuan aprendió el lenguaje de señas a trompicones. No podía recordar cuántas veces acompañó a los estudiantes a ver a los médicos a la una o las dos de la mañana y ayudó con la interpretación del lenguaje de señas.
Hay 27,8 millones de personas sordas en China. ¿Cómo confían las personas sanas en el poder de la tecnología para entrar en su mundo? Yuan, y otros iniciaron la investigación y el desarrollo del sistema de traducción en tiempo real del lenguaje de señas "Whale Language".
La traducción al lenguaje de señas en tiempo real de "Whale Language" es similar a la versión en lenguaje de señas del "Pinyin Input Method". Es solo que este último es para ingresar voz, y la máquina lo reconoce y lo convierte en texto, mientras que el primero es para ingresar movimientos y expresiones en lenguaje de señas, y la máquina los reconoce.
Para convertir la inteligencia artificial en un intérprete cualificado de lengua de signos, tenemos que convertir gestos, expresiones y grandes movimientos corporales de vídeos en datos y luego "enseñarlos" a la computadora. Por lo tanto, los estudiantes con discapacidad auditiva que pueden comprender y demostrar completamente la belleza del lenguaje de señas son las personas más adecuadas para ser "maestros" de inteligencia artificial.
Los conjuntos de datos de lengua de signos establecidos por muchos equipos extranjeros no pueden respaldar la traducción de lengua de signos en escenarios complejos. Una razón inmediata es que no hay suficientes personas para recopilar la lengua de signos en su estado natural. "Nuestro equipo cuenta con el respaldo del Colegio Técnico para Sordos y muchos miembros son usuarios del lenguaje de señas, por lo que tienen ventajas en la recopilación del lenguaje de señas natural", dijo Yuan Dui:
Dejemos que las personas con discapacidad auditiva ". "Entender" a las personas con discapacidad auditiva es más importante.
En los Juegos Olímpicos de Invierno, la persona digital en lenguaje de señas con inteligencia artificial de Yuan puede ayudar a las personas sordas a comprender mejor sus expresiones. El reconocimiento y la traducción del lenguaje de señas del "lenguaje de las ballenas" utiliza la ciencia y la tecnología para ayudar a las personas sordas a comprender mejor las expresiones de las personas sordas. ¿Cuál es la diferencia entre los dos?
Ser un humano digital con lenguaje de signos con IA es permitir que las personas sordas comprendan las expresiones de las personas sanas de una manera familiar. El punto central de I + D es la generación de lenguaje de señas, mientras que el punto central de I + D del reconocimiento de lenguaje de señas y la traducción del "lenguaje de ballenas" es el reconocimiento del lenguaje de señas. El "lenguaje de ballenas" es más difícil desde el punto de vista técnico. "Las ballenas pueden hablar" requiere dos tecnologías: visión por computadora y reconocimiento del lenguaje natural. El lenguaje de señas de las personas sordas, incluidas las expresiones, los movimientos de las manos y los movimientos del cuerpo, requieren reconocimiento de fusión por computadora. Esta es la tecnología de reconocimiento por computadora. Es una tecnología de procesamiento de reconocimiento del lenguaje natural que utiliza programas informáticos para convertir información reconocida por computadora en patrones de lenguaje familiares para las personas con discapacidad auditiva. El lenguaje de señas digital humano con IA, hasta cierto punto, solo implica el proceso técnico de reconocimiento y procesamiento del lenguaje natural. Desde la perspectiva de la transformación tecnológica, el tiempo de implementación en la industria de las personas digitales en lenguaje de señas con IA será más corto, la inversión en datos será relativamente pequeña y será más fácil comercializar los resultados.
"¿Por qué necesitas interpretación en lengua de signos? Las personas sordas no pueden oírte. ¡Ahora existe el reconocimiento de voz! Algunas personas sordas no pueden hablar, así que ¿no pueden escribir en sus teléfonos móviles?" Una empresa le preguntó una vez a Yuan sobre el desarrollo. El sistema de traducción en tiempo real de lenguaje de señas quiere hablar de inversión.
Pero después de la conversación, cuestionaron la necesidad del proyecto y sintieron que la traducción al lenguaje de signos no tenía otro significado que "hacer cosas buenas". ¿Por qué estás comprometido con el desarrollo y transformación de "Whales Can Talk"?
"En el proceso de comunicación con los estudiantes, sé que la mayor preocupación para las personas con discapacidad es la igualdad. No son discapacitados, simplemente son diferentes a nosotros", dijo Yuan Dui:
La comunicación es siempre bidireccional. Enseñamos a las personas con discapacidad auditiva a escribir, leer y leer los labios, y ellos están tratando de integrarse en el mundo de las personas con discapacidad auditiva; nosotros, las personas con discapacidad auditiva, también deberíamos hacer algunos esfuerzos para comprender y aceptar a las personas con discapacidad auditiva.
Yuan dijo que hasta el día de hoy, el lenguaje de señas sigue siendo la forma de expresión más natural y eficiente para muchas personas con discapacidad auditiva, "más rápido que escribir y escribir a máquina". Sin embargo, para promover una comunicación sin barreras, obviamente no es realista exigir que todas las personas con audición normal aprendan la lengua de signos. El sistema de traducción de lengua de signos en tiempo real "Whale Talks" utiliza alta tecnología para permitir que personas sanas intenten acercarse a personas con discapacidad auditiva.