Los sistemas de reconocimiento de gestos de la mano humana han avanzado mucho durante la última década. Hoy en día, la tecnología se presta a muchas aplicaciones de vanguardia, como robots quirúrgicos en el campo de la salud. Sin embargo, la precisión del reconocimiento de gestos puede verse obstaculizada por la baja calidad de los datos que llegan de los sensores portátiles, a menudo debido a su tamaño y al mal contacto que tienen con la persona que los lleva.
Ahora, científicos de la Universidad Tecnológica de Nangyang, Singapur (NTU Singapur) dicen que han desarrollado un sistema de inteligencia artificial (IA) que es capaz de reconocer los gestos de las manos mediante la combinación de sensores de tensión extensibles similares a la piel con tecnología de visión por computadora.


El sensor de deformación transparente y estirable se muestra aquí adherido a la piel del usuario. En las imágenes de la pantalla, el sensor no se puede ver en absoluto. Imagen utilizada por cortesía de NTU Singapore

Un sistema de fusión de datos "bioinspirado"

Para hacer frente a este desafío, el equipo de NTU Singapur ha creado un sistema de fusión de datos "bioinspirado" que utiliza sensores de tensión extensibles similares a la piel junto con un sistema de inteligencia artificial. Juntas, estas tecnologías se asemejan a la forma en que el cerebro humano maneja juntos los sentidos y la visión de la piel.
El sistema bioinspirado, que se explica con más detalle en Nature Electronics, se compone de tres enfoques de redes neuronales. Una red neuronal convolucional, que es una red de aprendizaje automático para el procesamiento visual temprano, una red neuronal multicapa para el procesamiento de información somatosensorial y una red neuronal de reserva que fusiona la información visual y somatosensorial.

El marco de aprendizaje inspirado en respuestas somatosensoriales-visuales bioinspiradas
El marco de aprendizaje inspirado en respuestas bioinspiradas somatosensoriales-visuales. Imagen (modificada) utilizada por cortesía de Nature Electronics

Combinado, esto crea un sistema que es capaz de reconocer los gestos humanos de manera más precisa y eficiente.

Sensor de deformación estirable

Para capturar datos sensoriales confiables, el equipo de NTU Singapur fabricó un sensor de deformación transparente y estirable hecho de nanotubos de carbono de pared simple. El sensor, que es flexible y se puede adherir fácilmente a la piel, no se puede ver en las fotografías.

Diagrama de flujo para la recolección de datos somatosensoriales-visuales
Diagrama de flujo para la recolección de datos somatosensorial-visuales. Imagen (modificada) utilizada por cortesía de Nature Electronics

Esto, dicen los investigadores, es una mejora importante en comparación con los sensores portátiles rígidos que no pueden hacer suficiente contacto con la piel para una recopilación de datos precisa. Debido a que los sensores del equipo de Singapur se asientan al ras de la piel, el dispositivo tiene una adquisición de señal de alta calidad, vital para el reconocimiento de alta precisión.

Guiar un robot a través de un laberinto

Como prueba de concepto, el equipo probó su sistema de inteligencia artificial bioinspirado controlando un robot y guiándolo a través de un laberinto con solo gestos con las manos. Este sistema de reconocimiento de gestos con las manos guió al robot a través del laberinto sin errores, en comparación con los seis errores de reconocimiento cometidos por los sistemas de reconocimiento basados ​​únicamente en la visión.
La precisión del sistema de inteligencia artificial del equipo se mantuvo incluso cuando se probó en malas condiciones, como altos niveles de ruido de fondo y poca iluminación. En la oscuridad, el sistema logró una precisión de reconocimiento de casi el 97%.

Los científicos de NTU Singapur combinaron visión por computadora y electrónica similar a la piel para guiar a un robot a través de un laberinto
Los científicos de NTU Singapur combinaron la visión por computadora y la electrónica similar a la piel para guiar a un robot a través de un laberinto. Imagen utilizada por cortesía de NTU Singapore

El equipo de investigación ahora está explorando la posibilidad de construir un sistema de realidad virtual y realidad aumentada basado en su sistema de inteligencia artificial en una variedad de aplicaciones que abarcan atención médica, entretenimiento y rehabilitación en el hogar.

Dejar respuesta

Please enter your comment!
Please enter your name here