Investigadores de Cornell y la Universidad de Wisconsin han desarrollado FingerTrak, un dispositivo montado en la muñeca que puede cuantificar y registrar el posicionamiento completo y complejo de toda la mano humana sin la necesidad de ver los dedos directamente.
En cambio, el contorno o el contorno de la mano se infiere de la muñeca mediante el uso de cuatro pequeñas cámaras térmicas de baja resolución ayudadas por inteligencia artificial.


FingerTrak. Imagen utilizada por cortesía de la Universidad de Cornell.

El sistema transmite las imágenes obtenidas de las cámaras térmicas a una red neuronal profunda personalizada para "unir" las imágenes juntas para estimar 20 posiciones conjuntas en el espacio 3D.
"Este fue un descubrimiento importante por parte de nuestro equipo: al observar los contornos de su muñeca, la tecnología podría reconstruirse en 3D, con gran precisión, dónde están sus dedos", según el profesor asistente Cheng Zhang, director de Interfaces de computadora inteligente de Cornell para Laboratorio de interacciones futuras (SciFi).
Si bien el laboratorio SciFi está involucrado en múltiples proyectos relacionados con las interacciones hombre-máquina relacionadas con la mano humana, FingerTrak es un hito notable. Lo que hace que este sistema sea único es que es la primera vez que se utilizan los contornos de la muñeca para reconstruir la postura de la mano completa.
Un artículo que describe los resultados del trabajo, "FingerTrak: Seguimiento continuo de pose de mano en 3D mediante siluetas de mano de aprendizaje profundo capturadas por cámaras térmicas en miniatura en la muñeca", se publicó en las Actas de la Asociación de Maquinaria de Computación en Interactivo, Móvil, Usable y Ubicuo Tecnologías

Implementaciones anteriores de cámaras montadas en la muñeca

Las implementaciones anteriores de cámaras montadas en la muñeca para rastrear los movimientos de las manos han dependido del uso de cámaras para capturar directamente la posición de los dedos. Estos resultaron ser demasiado voluminosos para ser de uso práctico, y de todos modos solo pudieron capturar información limitada. Por el contrario, FingerTrak emplea una diada de imágenes térmicas y aprendizaje automático para reconstruir virtualmente la mano.
El dispositivo está construido alrededor de cuatro cámaras térmicas del tamaño de un guisante, cada una ligeramente más grande que un tercio de pulgada, toma múltiples imágenes de "silueta" para formar un contorno de la mano. Estas imágenes se envían a una red neuronal profunda personalizada que reconstruye una representación virtual en 3D de toda la mano. A través de FingerTrack, se puede capturar la imagen 3D de toda la pose de la mano, incluso cuando la mano sostiene un objeto físico real.

Resultados del estudio

FingerTrak demostró ser capaz de reconstruir continuamente posturas de manos enteras, que consisten en 20 posiciones de articulaciones de los dedos, sin necesidad de obtener imágenes de todos los dedos. Más bien, el sistema pudo estimar la postura completa de la mano al observar solo el contorno de la mano, desde el punto de vista de la muñeca, utilizando cámaras térmicas de baja resolución (32 x 24).
FingerTrak logró un error angular promedio de 6.46 ° cuando se probó bajo el mismo fondo, y 8.06 ° cuando hubo un cambio de fondo.

Video utilizado por cortesía de la Universidad de Cornell

La imagen de arriba está tomada de un video que explica la función de FingerTrack. Las imágenes en la parte inferior izquierda son las imágenes reales capturadas por las cámaras térmicas. La mano con las articulaciones rojas es la postura estimada de la mano dada por el sistema y superpuesta a la mano humana real.
Finalmente, la mano artificial azul ilustrada en la esquina inferior derecha está siendo controlada por FingerTrack. Los espectadores del video notarán la manera asombrosamente precisa en que la mano artificial copia el movimiento, en tiempo real, de la mano humana.

Usos potenciales de la tecnología FingerTrack

Las aplicaciones potenciales para FingerTrak incluyen comunicaciones, dispositivos médicos y reconocimiento de gestos.
El profesor Zhang ve la traducción del lenguaje de señas como un potencial importante para este trabajo.
Además, según Yin Li, uno de los autores del artículo, "La forma en que movemos nuestras manos y dedos a menudo informa sobre nuestra condición de salud". Las condiciones como las enfermedades de Parkinson y Alzheimer se pueden identificar antes al estudiar cómo se manifiestan los signos y síntomas tempranos en los movimientos de la mano.
Y, por supuesto, FingerTack tiene grandes implicaciones para los juegos y todo tipo de aplicaciones de realidad alternativa y virtual.

Dejar respuesta

Please enter your comment!
Please enter your name here