Lyra 2.0 es un __framework open source__ desarrollado por el Nvidia Spatial Intelligence Lab que transforma una sola imagen en __mundo 3D persistente y explorable__. El sistema se apoya en un modelo de difusión de video, genera una trayectoria de cámara controlada luego reconstruye el resultado en __3D Gaussian Splats__ y meshes. Distribuido bajo licencia Apache 2.0 con pesos y código disponibles en Hugging Face y GitHub, se puede usar para simulación robótica, storyboarding y creación inmersiva.
¿Qué es Lyra 2.0 (Nvidia)?
Lyra 2.0 es un framework de investigación open source dedicado a la generación de mundos 3D persistentes a partir de imágenes. Donde otros enfoques producen secuencias de video limitadas en tiempo, Lyra 2.0 apuesta por la coherencia espacial y temporal para ofrecer un entorno explorable en tiempo real, exportable hacia motores como NVIDIA Isaac Sim. El proyecto está pilotado por el Nvidia Spatial Intelligence Lab y publicado bajo licencia Apache 2.0, con todo el código y pesos disponibles en Hugging Face y GitHub. Esta apertura lo convierte en una referencia tanto para investigación académica como para la industria que quiere integrar generación 3D en productos.
Características principales
Lyra 2.0 propone varias innovaciones técnicas. El pipeline parte de una sola imagen fuente y genera un video de trayectoria de cámara usando un modelo de difusión de video basado en Wan 2.1-14B. Este video se reconstruye luego en 3D Gaussian Splats y meshes, permitiendo exploración en tiempo real y exportación hacia motores físicos. Para resolver problemas clásicos de coherencia, Lyra 2.0 introduce dos ideas fuertes: una geometría por imagen para el enrutamiento de información, que reduce la pérdida espacial, y un entrenamiento auto-aumentado que enseña al modelo a corregir sus propias derivas temporales. El resultado es un entorno más estable, más coherente y más utilizable que enfoques anteriores. El framework integra herramientas para exportar fácilmente escenas hacia Isaac Sim, abriendo el camino a entrenamientos robóticos basados en entornos generados. Lyra 2.0 se apoya en un pipeline modular que investigadores pueden extender, modificar o combinar con otros modelos. La distribución open source se acompaña de scripts de inferencia, modelos pre-entrenados y notebooks de ejemplo para facilitar la adopción.
Casos de uso
Lyra 2.0 aborda varios perfiles de creadores e investigadores. Los laboratorios de robótica la utilizan para entrenar sus agentes en entornos 3D generados a gran escala, reduciendo la dependencia de escaneos físicos costosos. Los estudios de videojuegos y realidad virtual la explotan para producir decorados preliminares o entornos experimentales. Los equipos de producción cinematográfica la utilizan para storyboarding inmersivo, transformando conceptos en escenas explorables antes del rodaje. Los investigadores en computer vision integran el framework en sus propios pipelines para estudiar coherencia espacial y temporal. Los creadores en realidad aumentada finalmente exploran la posibilidad de generar entornos personalizados desde imágenes de referencia.
Ventajas
Adoptar Lyra 2.0 aporta varios beneficios para usuarios avanzados. La rapidez de producción de escenas 3D explorables es radicalmente superior a pipelines tradicionales, que requieren modelado, texturizado e iluminación manuales. La licencia Apache 2.0 autoriza uso comercial sin restricción, lo que hace el framework atractivo para startups y editores. La compatibilidad con herramientas Nvidia como Isaac Sim simplifica la integración en cadenas existentes. La calidad espacial y temporal mejora la fiabilidad de entornos para simulación y entrenamiento de agentes IA. Finalmente, la apertura del código y pesos favorece una comunidad activa que contribuye a la evolución del framework y propone optimizaciones adaptadas a diferentes hardwares.
Precios
Lyra 2.0 es un proyecto open source distribuido gratuitamente bajo licencia Apache 2.0. El código está disponible en GitHub, los pesos en Hugging Face, y el uso local o cloud del framework no requiere licencia comercial adicional. Los costos asociados conciernen esencialmente los recursos GPU necesarios para inferencia o entrenamiento, que pueden ser importantes según los casos de uso. Para equipos sin su propia infraestructura, proveedores cloud como AWS, GCP o plataformas especializadas ofrecen GPUs H100 o equivalentes adaptadas a estas cargas.
Conclusión
Lyra 2.0 es un avance importante para generación de mundos 3D desde imágenes. Su apertura, calidad e integración en el pipeline Nvidia lo hacen un framework de referencia para investigación y algunos usos industriales. Para usuarios del público general, la herramienta seguirá siendo demasiado técnica, pero para estudios, laboratorios y equipos ML ambiciosos, es imprescindible.