Ingenieros crean una holocubierta virtual con la ayuda de ChatGPT
Un equipo de científicos de Estados Unidos recrea la holocubierta o holodeck de Star Trek utilizando ChatGPT y elementos de videojuegos.
Por Ian Scheffler
Utilizando el lenguaje cotidiano, los usuarios pueden hacer que Holodeck genere una variedad prácticamente infinita de espacios 3D, lo que crea nuevas posibilidades para entrenar robots para navegar por el mundo. Crédito: Yue Yang
En Star Trek: La nueva generación, el capitán Picard y la tripulación del U.S.S. Enterprise utilizan la holocubierta —la Holodeck, en ingles— , una habitación vacía capaz de generar entornos en 3D, para preparar misiones y entretenerse, simulando desde exuberantes selvas hasta el Londres de Sherlock Holmes.
Profundamente inmersivos y totalmente interactivos, los entornos creados en la holocubierta son infinitamente personalizables, sin usar nada más que el lenguaje: la tripulación de Star Trek solo tiene que pedir al ordenador que genere un entorno, y ese espacio aparece en la holocubierta.
Hoy en día, los entornos interactivos virtuales también se utilizan para entrenar robots antes de su despliegue en el mundo real, en un proceso llamado Sim2Real. Sin embargo, los entornos interactivos virtuales han sido sorprendentemente escasos. "Los artistas crean manualmente estos entornos— dice Yue Yang, estudiante de doctorado en los laboratorios de Mark Yatskar y Chris Callison-Burch, profesores ayudante y asociado de Informática y Ciencias de la Información (CIS), respectivamente. Y añade—: Esos artistas pueden pasarse una semana construyendo un solo entorno”. Yang, señala, además, que han de sopesar todas las decisiones que intervienen, desde la distribución del espacio hasta la colocación de los objetos o los colores empleados en el renderizado.
La holocubierta de Star Trek: La nueva generación.
Esa escasez de entornos virtuales es un problema si se quiere entrenar a robots para que naveguen por el mundo real con todas sus complejidades. Las redes neuronales, los sistemas que impulsan la revolución actual de la inteligencia artificial (IA), requieren cantidades ingentes de datos, lo que en este caso significa simulaciones del mundo físico.
"Los sistemas de IA generativa como ChatGPT se entrenan con billones de palabras, y los generadores de imágenes como Midjourney y DALL-E, con miles de millones de imágenes— explica Callison-Burch. Y continúa—: Solo tenemos una fracción de esa cantidad de entornos 3D para entrenar la llamada IA encarnada. Si queremos utilizar técnicas de IA generativa para desarrollar robots que puedan desenvolverse con seguridad en entornos del mundo real, tendremos que crear millones o miles de millones de entornos simulados."
Holodeck es un sistema de generación de entornos 3D interactivos creado por Callison-Burch, Yatskar, Yang y Lingjie Liu, catedrático adjunto de CIS Aravind K. Joshi, junto con colaboradores de Stanford, la Universidad de Washington y el Instituto Allen de Inteligencia Artificial (AI2).
Holodeck genera una gama prácticamente ilimitada de entornos interiores.
Holodeck, que toma el nombre de su antecesor en Star Trek, genera una gama prácticamente ilimitada de entornos interiores, utilizando la IA para interpretar las peticiones de los usuarios. "Podemos utilizar el lenguaje para controlarlo— explica Yang. Y añade—: Puedes describir fácilmente los entornos que quieras y entrenar a los agentes de IA incorporados".
Holodeck aprovecha los conocimientos incorporados en los grandes modelos de lenguaje (LLM), los sistemas subyacentes a ChatGPT y otros chatbots. "El lenguaje es una representación muy concisa de todo el mundo”, comenta Yang. De hecho, los LLM resultan tener un grado sorprendentemente alto de conocimiento sobre el diseño de espacios, gracias a las ingentes cantidades de texto que ingieren durante el entrenamiento.
En esencia, Holodeck funciona entablando una conversación con un LLM, utilizando una serie cuidadosamente estructurada de consultas ocultas para desglosar las peticiones del usuario en parámetros específicos.
Al igual que el capitán Picard podría pedir a la holocubierta de Star Trek que simulara un bar clandestino, los investigadores pueden pedir a la holocubierta de Penn que cree "un apartamento 1b1b de un investigador que tiene un gato". El sistema ejecuta esta consulta dividiéndola en varios pasos: primero se crean el suelo y las paredes, y después la puerta y las ventanas.
A continuación, Holodeck busca en Objaverse, una vasta biblioteca de objetos digitales prefabricados, el tipo de mobiliario que cabría esperar en un espacio así: una mesa de café, una torre para gatos, etc. Por último, Holodeck consulta un módulo de disposición, que los investigadores diseñaron para restringir la colocación de objetos, de modo que no se acabe con un retrete sobresaliendo horizontalmente de la pared.
Básicamente, Holodeck involucra un modelo de lenguaje grande (LLM) en una conversación, y construye un entorno virtual pieza por pieza. Crédito: Yue Yang
Para evaluar las capacidades de Holodeck, en cuanto a su realismo y precisión, los investigadores generaron 120 escenas utilizando tanto Holodeck como ProcTHOR, una herramienta anterior creada por AI2, y pidieron a varios cientos de estudiantes de Ingeniería de Pensilvania que indicaran su versión preferida, sin saber qué escenas habían sido creadas por qué herramientas.
En todos los criterios (selección de recursos, coherencia del diseño y preferencia general), los estudiantes valoraron más positivamente los entornos generados por Holodeck.
Los evaluadores humanos prefieren las escenas creadas por Holodeck.
Los investigadores también probaron la capacidad de Holodeck para generar escenas menos habituales en la investigación robótica y más difíciles de crear manualmente que los interiores de apartamentos, como tiendas, espacios públicos y oficinas. Al comparar los resultados de Holodeck con los de ProcTHOR, que se generaron utilizando reglas creadas por humanos en lugar de texto generado por IA, los investigadores comprobaron una vez más que los evaluadores humanos preferían las escenas creadas por Holodeck.
Esta preferencia se mantuvo en una amplia gama de entornos interiores, desde laboratorios científicos a estudios de arte, vestuarios o bodegas.
Por último, los investigadores utilizaron escenas generadas por Holodeck para afinar un agente de IA encarnado. "La prueba definitiva de Holodeck es utilizarla para ayudar a los robots a interactuar con su entorno de forma más segura, preparándolos para habitar lugares en los que nunca han estado", asegura Yatskar.
En múltiples tipos de espacios virtuales, como oficinas, guarderías, gimnasios y salones recreativos, Holodeck tuvo un efecto pronunciado y positivo en la capacidad del agente para navegar por espacios nuevos.
Por ejemplo, mientras que el agente sólo encontró un piano en una sala de música un 6% de las veces cuando se le entrenó previamente con ProcTHOR (lo que supuso que el agente diera unos 400 millones de pasos virtuales), lo consiguió más de un 30% de las veces cuando se le entrenó con cien salas de música generadas por Holodeck.
"Este campo lleva mucho tiempo estancado en la investigación de espacios residenciales.Pero los entornos son muy variados: generar de forma eficiente muchos entornos para entrenar a los robots siempre ha sido un gran reto, pero Holodeck ofrece esta funcionalidad", concluye Yang.
Información facilitada por la Penn Engineering -Adaptación: Enrique Coperías / RexMolón Ediciones
