Inferencia de IA
Plataforma NVIDIA Dynamo
Escale y Sirva a la IA Generativa Rápidamente.
Descripción General
El Sistema Operativo de la IA
NVIDIA Dynamo es una plataforma de inferencia de alto rendimiento y baja latencia, diseñada para servir a todos los modelos de IA en cualquier framework, arquitectura o escala de implementación. Ya sea que esté ejecutando el reconocimiento de imágenes en una sola GPU de nivel básico o implementando grandes modelos de razonamiento lingüístico con miles de millones de parámetros en cientos de miles de GPU en data centers, la plataforma NVIDIA Dynamo ofrece una inferencia de IA escalable y eficiente.
Una Mirada Más Profunda a la Plataforma
La Plataforma NVIDIA Dynamo incluye dos frameworks de inferencia de código abierto.
NVIDIA Dynamo sirve modelos de IA generativa en entornos distribuidos a gran escala. Cuenta con optimizaciones específicas de un gran modelo de lenguaje (LLM), como el servicio desagregado y el enrutamiento consciente de la caché KV, para permitir que las fábricas de IA maximicen la generación de ingresos de tokens y se ejecuten al menor costo posible. Los microservicios NVIDIA NIM™ incluirán capacidades de Dynamo, proporcionando una opción de implementación rápida y fácil. Dynamo también será compatible y estará disponible con NVIDIA AI Enterprise.
NVIDIA Dynamo-Triton, anteriormente el Servidor de Inferencia NVIDIA Triton™, estandariza la implementación y ejecución de modelos de IA en todas las cargas de trabajo. Es compatible con todos los backends de inferencia de IA y puede ejecutarse en GPU o CPU, lo que permite a empresas y ISV integrar la IA en sus productos y servicios de forma rápida y asequible. Dynamo-Triton está disponible hoy en los microservicios NVIDIA NIM y con NVIDIA AI Enterprise para brindar soporte, seguridad y estabilidad para empresas.
Por Solución
Encuentre la Mejor Solución para Usted
Funciones
Explore las Funciones de NVIDIA Dynamo
Servicio Desagregado
Separa las fases de contexto (prerellenado) y de generación (decodificación) de LLM en distintas GPU, lo que habilita el paralelismo de modelos personalizado y la asignación de GPU independiente para aumentar las solicitudes atendidas por GPU.
Planificador de GPU
Supervisa la capacidad de la GPU en entornos de inferencia distribuidos y asigna dinámicamente trabajadores de GPU en todas las fases de contexto y generación para resolver cuellos de botella y optimizar el desempeño.
Enrutador Inteligente
Enruta el tráfico de inferencia de manera eficiente, lo que minimiza el costoso recálculo de solicitudes repetidas o superpuestas para preservar los recursos de computación, a la vez que garantiza una distribución de carga equilibrada en grandes flotas de GPU.
Biblioteca de Comunicación de Baja Latencia de NIXL
Acelera el movimiento de datos en la configuración de inferencia distribuida, a la vez que simplifica las complejidades de transferencia en diversos tipos de hardware, como las GPU, las CPU, las redes y el almacenamiento.
Beneficios
Los Beneficios de NVIDIA Dynamo
Escale Sin Problemas Desde Una GPU a Miles de GPU
Optimice y automatice la configuración de clústeres de GPU con herramientas preconstruidas y fáciles de implementar y habilite el escalado automático dinámico con métricas específicas de LLM en tiempo real, lo que evita el aprovisionamiento excesivo o insuficiente de recursos de GPU.
Aumente la Capacidad de Servicio de Inferencia a la Vez que Reduce los Costos
Aproveche las optimizaciones avanzadas de servicio de inferencia de LLM, como el servicio desagregado, para aumentar el número de solicitudes de inferencia atendidas sin comprometer la experiencia del usuario.
Prepare Su Infraestructura de IA para el Futuro y Evite Costosas Migraciones
El diseño abierto y modular le permite seleccionar fácilmente los componentes de inferencia que se adaptan a sus necesidades únicas, lo que garantiza la compatibilidad con su pila de IA existente y evita costosos proyectos de migración.
Acelere el Tiempo para Implementar Nuevos Modelos de IA en la Producción
La compatibilidad de NVIDIA Dynamo con todos los principales frameworks, como TensorRT-LLM, vLLM, SGLang, PyTorch y más, garantiza su capacidad de implementar rápidamente nuevos modelos de IA generativa, independientemente de su backend.
Acelere la Inferencia Distribuida
NVIDIA Dynamo es totalmente de código abierto, lo que le brinda total transparencia y flexibilidad. Implemente NVIDIA Dynamo, contribuya a su crecimiento e intégrelo a la perfección en su pila existente.
¡Descúbralo en GitHub y únase a la comunidad!
Casos de Uso
Implementación de IA con NVIDIA Dynamo
Descubra cómo puede impulsar la innovación con NVIDIA Dynamo.
-
Servicio para Modelos de Razonamiento
-
Inferencia Distribuida
-
Agentes de IA Escalables
-
Generación de Código
Servicio para Modelos de Razonamiento
Los modelos de razonamiento generan más tokens para resolver problemas complejos, lo que aumenta los costos de inferencia. NVIDIA Dynamo optimiza estos modelos con funciones como el servicio desagregado. Este enfoque separa las fases de prerellenado y decodificación en distintas GPU, lo que les permite a los equipos de inferencia de IA optimizar cada fase de forma independiente. El resultado es una mejor utilización de los recursos, más consultas atendidas por GPU, y menores costos de inferencia.
Inferencia Distribuida
A medida que los modelos de IA se vuelven demasiado grandes para caber en un solo nodo, brindarles servicio de manera eficiente se convierte en un desafío. La inferencia distribuida requiere dividir modelos en múltiples nodos, lo que agrega complejidad en la orquestación, el escalado y la comunicación. Garantizar que estos nodos funcionen como una unidad cohesiva, especialmente en cargas de trabajo dinámicas, exige una administración cuidadosa. NVIDIA Dynamo simplifica esto al proporcionar capacidades preconstruidas en Kubernetes, que manejan sin problemas la programación, el escalado y el servicio para que pueda centrarse en la implementación de IA, no en la administración de infraestructura.
Agentes de IA Escalables
Los agentes de IA dependen de múltiples modelos (LLM, sistemas de recuperación y herramientas especializadas) que funcionan sincronizados en tiempo real. El escalado de estos agentes es un desafío complejo que requiere programación inteligente de GPU, administración eficiente de caché de KV y comunicación de latencia ultra baja para mantener la capacidad de respuesta.
NVIDIA Dynamo agiliza este proceso con un planificador de GPU inteligente, un enrutador inteligente y una biblioteca de comunicaciones de baja latencia integrados, lo que hace que el escalado de agentes de IA se realice sin problemas y sea eficiente.
Generación de Código
La generación de código a menudo requiere un refinamiento iterativo para ajustar indicaciones, aclarar requisitos o depurar salidas en función de las respuestas del modelo. Este proceso de ida y vuelta requiere recálculo de contexto con cada turno de usuario, lo que aumenta los costos de inferencia. NVIDIA Dynamo optimiza este proceso al habilitar la reutilización y la descarga de contexto a memoria rentable, lo que minimiza el costoso recálculo y reduce los costos generales de inferencia.
Testimonios de Clientes
Vea lo que los Líderes de la Industria Tienen para Decir sobre NVIDIA Dynamo
Cohere
“El escalado de modelos de IA avanzados requiere programación sofisticada de múltiples GPU, coordinación sin problemas y bibliotecas de comunicación de baja latencia que transfieren contextos de razonamiento de forma fluida en la memoria y el almacenamiento. Esperamos que Dynamo nos ayude a ofrecerles una experiencia de usuario de primer nivel a nuestros clientes empresariales”. Saurabh Baji, Vicepresidente Sénior de Ingeniería de Cohere
Perplexity AI
"Como manejamos cientos de millones de solicitudes mensualmente, confiamos en las GPU y el software de inferencia de NVIDIA para ofrecer el desempeño, la confiabilidad y la escala que exigen nuestro negocio y nuestros usuarios. Esperamos aprovechar Dynamo con sus capacidades de servicio distribuido mejoradas para impulsar aún más la eficiencia del servicio de inferencia y satisfacer las demandas de computación de nuevos modelos de razonamiento de IA". Denis Yarats, CTO de Perplexity AI.
Together AI
“El escalado de modelos de razonamiento de manera rentable requiere nuevas técnicas avanzadas de inferencia, como el servicio desagregado y el enrutamiento consciente del contexto. Together AI proporciona un rendimiento líder en la industria mediante nuestro motor de inferencia propietario. La apertura y la modularidad de Dynamo nos permitirán integrar sus componentes a nuestro motor para atender más solicitudes y optimizar la utilización de recursos, lo que maximiza nuestra inversión en computación acelerada. " Ce Zhang, CTO de Together AI.
Historias de Clientes
Cómo los Líderes de la Industria Están Mejorando la Implementación de Modelos con la Plataforma NVIDIA Dynamo
Recursos
Lo Último en Inferencia de NVIDIA
-
Blogs
-
Sesiones
-
Capacitación
-
Videos
Próximos Pasos
¿Listo para Comenzar?
¡Descargue en GitHub y únase a la comunidad!
Para Desarrolladores
Explore todo lo que necesita para comenzar a desarrollar con NVIDIA Dynamo, incluida la documentación, los tutoriales, los blogs técnicos más recientes, etc.
Contáctenos
Hable con un especialista en productos de NVIDIA sobre cómo pasar de la fase de pruebas a la de producción con la seguridad, la estabilidad de las API y el soporte de NVIDIA AI Enterprise.