Descubre cómo Meta AI impactará en el Metaverso y la Realidad Virtual a través de la Inteligencia Artificial con Builderbot, el Proyecto CAIRaoke y TorchRec

El Director General de Meta, Mark Zuckerberg, subió una vez más al escenario virtual el miércoles para burlarse del público con nueva información sobre el compromiso de la empresa con la inteligencia artificial (IA) y cómo ayudará a desarrollar tecnologías de realidad extendida (RX) y, sobre todo, experiencias del Metaverso.

Durante el evento en línea, el director general y otros ejecutivos de Meta anunciaron una gran cantidad de nueva tecnología de IA para soluciones listas para probar hoy y para las venideras.

Muchos de los anuncios se enmarcan en la visión actual de la empresa de proporcionar una experiencia Metaverso líder con su plataforma Horizon Worlds.

Además, los desarrollos de Meta AI seguirán innovando la forma en que las personas y los grupos utilizan el hardware y el software de realidad aumentada, virtual y mixta (AR/VR/MR), introduciendo asistentes digitales contextuales impulsados por la IA.

Los avances se producen después de que Meta anunciara en enero su superordenador de IA Super Cluster, que aspira a convertirse en el superordenador más rápido del mundo, concretamente para el procesamiento del lenguaje natural, el procesamiento de la visión por ordenador y la investigación del aprendizaje profundo. Meta amplió gran parte de su investigación durante su evento en línea esbozando oportunidades para desarrolladores y posibles casos de uso público.

Relacionado: La realidad virtual y el metaverso transformarán las reuniones de equipo

¿Qué es Builderbot?

Builderbot es actualmente la mejor representación visual de cómo Meta AI creará el futuro del Metaverso. La herramienta emplea la plataforma de IA de autoaprendizaje de Meta para generar entornos virtuales instantáneos.

Las personas utilizan sistemas de reconocimiento de voz para sugerir entornos a Builder Bot para que los cree automáticamente, o los importe, sobre la marcha, como parques y playas. Builder Bot también puede añadir objetos más pequeños, como nubes o árboles, con una orden de voz del usuario.

Además de añadir objetos, el robot activado por voz también añade efectos de sonido y música para sumergir al usuario en entornos digitales.

El tráiler promocional del Builder Bot contiene gráficos similares a los de Horizon: Worlds, la plataforma Metaverse de la empresa con sede en Menlo Park que permite a los usuarios desarrollar mundos personalizados, como juegos inmersivos o espacios de reunión virtuales.

El año pasado, Meta lanzó Horizon Worlds como beta para usuarios de Estados Unidos (EE.UU.) y Canadá mayores de 18 años, ofreciendo acceso a un ecosistema de creación de contenidos de RV para desarrollar, distribuir y experimentar creaciones personalizadas.

¿Qué es el Proyecto CAIRaoke?

Hay mucho que desentrañar del Proyecto CAIRaoke, desde los emocionantes avances en el aprendizaje automático y la IA conversacional hasta sus casos de uso práctico en la vida cotidiana. Todo esto trabaja en conjunto para construir el futuro de los asistentes digitales, la visión de Meta para Horizon Worlds y las futuras funciones del Builder Bot.

El Proyecto CAIRaoke emplea un modelo neuronal integral que genera un sistema de IA conversacional fluido, marcando las primeras etapas de los objetivos de Meta para crear asistentes digitales.

CAIRaoke contiene cuatro plataformas clave de IA: comprensión del lenguaje natural (NLU), seguimiento del estado del diálogo (DST), gestión de la política de diálogo (DP) y generación del lenguaje natural (NLG).

Combinando las cuatro herramientas, el Proyecto CAIRaoke no utiliza diálogos guionizados, sino que genera flujos de conversación en tiempo real, contextualizados y personalizados, para ayudar a las personas en sus rutinas cotidianas.

Asistentes de IA en gafas inteligentes de Realidad Aumentada?

En términos de RX, Meta planea emplear los asistentes digitales del Proyecto CAIRaoke en sus próximas gafas inteligentes de RA del Proyecto Nazare; la empresa también sugiere su integración en futuros cascos de RV.

Meta se burló originalmente de los asistentes digitales de RA en su Evento Connect a finales del año pasado, revelando cómo los usuarios de las gafas inteligentes experimentales podían hablar con asistentes digitales y recibir visuales de RA.

Además, la plataforma de IA escanea el entorno del usuario para mejorar la identificación de los objetos del mundo real y el papel que cada uno desempeña en sus rutinas.

En julio del año pasado, Meta, entonces Facebook, se asoció con la empresa de IA y datos espaciales Matterport para “ayudar a cambiar la forma en que trabajamos y vivimos” con una base de datos de gemelos digitales de espacios interiores Habitat-Matterport 3D Research Dataset (HM3D).

La revolucionaria asociación entrena a la IA con HM3D para reconocer objetos y seguir instrucciones con mayor rapidez y precisión.

En aquel momento, Dhruv Batra, Investigador Científico de Meta AI, presagió los anuncios de esta semana, declarando,

“Ahora imagina un mundo en el que un asistente de RA pueda decirte: ‘Oye, te has olvidado las llaves en la mesita'”.

En un reciente comunicado de prensa, Meta explicó,

“En dispositivos como los cascos de RV y las gafas de RA, esperamos que este tipo de comunicación se convierta con el tiempo en el método omnipresente y sin fisuras para la navegación y la interacción, del mismo modo que las pantallas táctiles sustituyeron a los teclados en los teléfonos inteligentes”.

Meta ya está probando el Proyecto CAIRaoke en los dispositivos Portal, el dispositivo de videollamada y asistencia digital de la empresa.

Meta se pasa al código abierto

Para clausurar el evento, Meta presentó TorchRec, una plataforma gratuita de código abierto con una biblioteca de dominio público para construir y desplegar sistemas de recomendación basados en IA.

Los activos permiten a las personas que utilicen TorchRec observar y aprender de las últimas investigaciones, errores y correcciones de la IA de Meta, así como acceder a recursos. Los desarrolladores pueden acceder a los datos de IA bajo un único sistema, lo que permite a Meta y a su comunidad de desarrolladores resolver juntos los problemas de IA con transparencia.

Además, TorchRec permite a Meta proporcionar pruebas de referencia a gran escala, utilizando conjuntos de datos públicos, para mostrar el rendimiento de la IA a una escala mucho mayor para acelerar los tiempos de investigación y desarrollo (I+D) y mejorar la potencia contextual del Proyecto CAIRoake.

TorchRec se estrena como plataforma de código abierto, creando un espacio transparente que invita a los desarrolladores a construir el programa indefinidamente. Actualmente, existe una selección de plataformas RX de código abierto a disposición de los desarrolladores, como el Grupo Khronos, Open RX y la propia política de estándares abiertos del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE).