Lenguaje del comportamiento con la captura de video artificialmente inteligente

Podrías haber visto estrellas de Hollywood con trajes de «captura de movimiento», actuando con trajes de cuerpo completo salpicados de sensores que captan el movimiento y que permiten que una computadora los transforme dentro de un  en un Hulk o un dragón o una bestia encantada.

Ahora, una colaboración entre los laboratorios de los profesores de Princeton Mala Murthy y Joshua Shaevitz ha dado un paso más, utilizando los últimos avances en inteligencia artificial (IA) para rastrear automáticamente las partes individuales del cuerpo de los animales en el video existente.

Su nueva herramienta, LEAP Estimates Animal Pose (LEAP), se puede entrenar en cuestión de minutos para rastrear automáticamente las partes individuales del cuerpo de un animal a lo largo de millones de cuadros de video con alta precisión, sin tener que agregar marcadores físicos o etiquetas.

El documento que detalla la nueva tecnología se publicará en la edición de enero de 2019 de la revista Nature Methods , pero su versión de acceso abierto, lanzada en mayo, ya ha llevado a que el software sea adoptado por otros laboratorios.

Cuando los investigadores combinan el LEAP con otras herramientas cuantitativas desarrolladas en sus laboratorios, pueden estudiar lo que llaman «el lenguaje del comportamiento»

Observando patrones en los movimientos del cuerpo animal, dijo Shaevitz, profesor de física y el Instituto Lewis-Sigler para Genómica Integrativa. .

«Esta es una herramienta flexible que, en principio, se puede utilizar en cualquier video», dijo Talmo Pereira, un estudiante graduado de PNI que es el primer autor del artículo.

«La forma en que funciona es etiquetar algunos puntos en unos pocos videos y luego la red neuronal hace el resto. Proporcionamos una interfaz fácil de usar para que cualquiera pueda aplicar LEAP a sus propios videos, sin tener ningún conocimiento previo de programación. »

Cuando se le preguntó si LEAP funcionaba tan bien en mamíferos grandes como en las moscas y ratones que componían la mayoría de los sujetos iniciales, Pereira creó rápidamente.

Un video etiquetado con el movimiento de una jirafa tomada de la alimentación en vivo del Centro de Investigación Mpala en Kenia. una estación de investigación de campo para la cual Princeton es socio gerente.

«Tomamos un video de una jirafa andante de la estación de investigación de Mpala (…) y etiquetamos los puntos en 30 cuadros de video, lo que llevó menos de una hora», dijo Pereira. «LEAP pudo seguir el movimiento del resto del video (aproximadamente 500 fotogramas) en segundos».

Los esfuerzos anteriores para desarrollar herramientas de IA que podrían rastrear el movimiento humano se han basado en grandes conjuntos de entrenamiento de datos anotados manualmente.

Eso permitió que el software funcionara de manera robusta en diversos tipos de datos, con fondos o condiciones de iluminación muy diferentes.

«En nuestro caso, optimizamos métodos similares para trabajar con los datos recopilados en un entorno de laboratorio, en el que las condiciones son consistentes en todas las grabaciones», dijo Murthy.

«Construimos un sistema que permite al usuario elegir una red neuronal adecuada para el tipo de datos que el usuario recopiló en lugar de estar limitado por lo que otros investigadores o compañías han trabajado».

Este proyecto surgió de una colaboración única entre un estudiante senior de tesis en el laboratorio Murthy, Diego Aldarondo de la Clase de 2018, y su mentor de estudiantes graduados, Pereira, quien cuenta con el asesoramiento conjunto de Murthy y Shaevitz.

«Diego estaba explorando el uso de redes neuronales profundas para anotar datos de comportamiento animal a través de una de sus clases de informática en Princeton, y durante las charlas nocturnas en el laboratorio con Talmo, se dio cuenta de que estos métodos.

Podrían aplicarse poderosamente a sus propios datos. : videos de moscas de la fruta interactuando durante su ritual de cortejo «, dijo Murthy. «La colaboración despegó de allí, y fue increíblemente divertido trabajar juntos. Diego y Talmo demostraron cuán efectivos pueden ser estos métodos de IA».

El trabajo también tiene un gran potencial fuera de la neurociencia, dijo Monica Daley, profesora principal del Laboratorio de Estructura y Movimiento del Royal Veterinary College en el Reino Unido, que no participó en esta investigación.

«Gran parte de mi investigación apunta a comprender cómo los animales se mueven de manera efectiva en diferentes terrenos y condiciones ambientales», dijo Daley.

«Uno de los mayores desafíos en curso en el campo es extraer información significativa sobre el movimiento de animales a partir de secuencias de video. O bien procesamos videos manualmente, requerimos muchas horas de trabajo tedioso, o nos enfocamos en un análisis muy simplista y limitado que puede automatizarse.

Los algoritmos presentados En este documento, tenemos el potencial de automatizar la parte de nuestro trabajo que requiere mucha mano de obra más de lo que ha sido posible anteriormente, lo que podría permitirnos estudiar una mayor variedad de comportamientos locomotores de los animales «.

Una vez que tienen una base de datos de movimientos y comportamientos, los neurocientíficos del equipo pueden establecer conexiones con los procesos neuronales que se encuentran detrás de ellos.

Esto permitirá a los investigadores «no solo obtener una mejor comprensión de cómo el cerebro produce comportamientos», dijo Shaevitz, «sino también explorar futuros diagnósticos y terapias que se basan en una computadora que interpreta las acciones de alguien».

Un equipo de investigadores de Harvard compartió una herramienta similar durante el verano y utilizó la arquitectura de red neuronal existente, mientras que el equipo de Princeton creó la suya propia.

«Nuestro método y los suyos tienen diferentes ventajas», dijo Murthy. «Este es un campo increíblemente emocionante en este momento con mucha actividad en el desarrollo de herramientas de inteligencia artificial para los estudios de comportamiento y actividad neuronal».

«Usamos un enfoque diferente, donde las redes más pequeñas y más eficientes pueden lograr una alta precisión al especializarse en nuevos conjuntos de datos rápidamente», dijo Pereira.

«Lo que es más importante, mostramos que ahora hay opciones fáciles de usar para el seguimiento de posturas de animales a través de la IA, y esperamos que esto aliente a que el campo comience a adoptar enfoques más cuantitativos y precisos para medir el comportamiento».

«En los últimos cinco años, la neurociencia ha hecho enormes avances en la tecnología para observar y manipular la actividad cerebral», dijo el coautor Samuel Wang, profesor de biología molecular y PNI.

«Ahora, la clasificación automática de comportamiento agrega un complemento crítico a esa tecnología. Princeton se está convirtiendo en un centro central en el campo de la neuroetología computacional en ciernes».

Leave a Reply