Si bien la promesa de la IA generativa domina gran parte del panorama tecnológico actual, los grandes modelos lingüísticos (LLM) que sustentan estos sistemas continúan aumentando de tamaño. Como resultado, construir servicios LLM rentables y confiables requiere una potencia de cálculo, recursos energéticos y habilidades operativas especializadas significativas. Estos desafíos, en la práctica, ponen los beneficios de una IA personalizada, lista para implementar y más consciente de la seguridad fuera del alcance de la mayoría de las organizaciones.
Red Hat pretende abordar estos desafíos haciendo que la IA generativa sea más accesible para más organizaciones a través de la innovación abierta de vLLM. Desarrollado por la Universidad de California, Berkeley, vLLM es un proyecto de código abierto impulsado por la comunidad para open model serving (cómo los modelos de IA generativa infieren y resuelven problemas), con soporte para todas las familias de modelos clave, investigación avanzada en aceleración de inferencia y diversos backends de hardware, incluyendo GPUs AMD, AWS Neuron, TPUs de Google, Intel Gaudi, GPUs NVIDIA y CPUs x86. El liderazgo de Neural Magic en el proyecto vLLM, combinado con la sólida cartera de tecnologías de IA para nube híbrida de Red Hat, ofrecerá a las organizaciones una vía abierta para construir estrategias de IA que satisfagan sus necesidades únicas, dondequiera que estén sus datos.
Red Hat + Neural Magic: Haciendo posible un futuro de IA generativa lista para la nube híbrida
Neural Magic surgió del MIT en 2018 con el objetivo de construir software de inferencia de alto rendimiento para deep learning. Con la tecnología y la experiencia en ingeniería de rendimiento de Neural Magic, Red Hat busca acelerar su visión para el futuro de la IA, impulsada por el portfolio de tecnología de IA de Red Hat. Diseñada para superar los desafíos de la IA empresarial a gran escala, Red Hat utiliza la innovación de código abierto para una mayor democratización del acceso al poder transformador de la IA a través de:
●Modelos con licencia de código abierto, desde una escala de parámetros de 1B a 405B, que pueden ejecutarse en cualquier lugar necesario de la nube híbrida: en centros de datos corporativos, en múltiples nubes y en el edge.
●Capacidades de ajuste que permiten a las organizaciones personalizar más fácilmente los LLM a sus datos privados y casos de uso con una mayor seguridad.
●Experiencia en ingeniería de rendimiento de inferencia, lo que resulta en una mayor eficiencia operativa y de infraestructura.
●Un ecosistema de partners y de código abierto, y estructuras de soporte que permiten una mayor variedad de opciones para los clientes, desde LLM y herramientas hasta hardware de servidor certificado y arquitecturas de chips subyacentes.
El liderazgo en vLLM mejora Red Hat AI
Neural Magic utiliza su experiencia y conocimiento en vLLM para construir un stack de inferencia empresarial que permite a los clientes optimizar, desplegar y escalar cargas de trabajo LLM en entornos de nube híbrida con control total sobre la elección de la infraestructura, las políticas de seguridad y el ciclo de vida del modelo. Neural Magic también desarrolla investigación de optimización de modelos, construye LLM Compressor (una biblioteca unificada para optimizar LLM con algoritmos de vanguardia de dispersión y cuantización) y mantiene un repositorio de modelos preoptimizados listos para implementar con vLLM.
Red Hat AI tiene como objetivo ayudar a los clientes a reducir los costes y las barreras de conocimiento de la IA con potentes tecnologías, que incluyen:
●Red Hat Enterprise Linux AI (RHEL AI): una plataforma de modelos fundacionales para desarrollar, probar y ejecutar de forma más fluida la familia IBM Granite de LLM de código abierto para aplicaciones empresariales en despliegues de servidores Linux.
●Red Hat OpenShift AI: una plataforma de IA que proporciona herramientas para desarrollar, entrenar, servir y supervisar rápidamente modelos de aprendizaje automático en entornos Kubernetes distribuidos, ya sea en las instalaciones, en la nube pública o en el edge.
●InstructLab: un proyecto comunitario de IA de código abierto accesible, creado por Red Hat e IBM, que permite a cualquiera dar forma al futuro de la IA generativa mediante la mejora colaborativa de los LLM Granite con licencia de código abierto utilizando la tecnología de ajuste de InstructLab.
El liderazgo tecnológico de Neural Magic en vLLM mejorará la capacidad de Red Hat AI para admitir despliegues de LLM en cualquier lugar de la nube híbrida con un stack de inferencia listo para usar, altamente optimizado y abierto.
La transacción está sujeta a las revisiones regulatorias aplicables y otras condiciones de cierre habituales.
Matt Hicks, president and CEO, Red Hat: "Las cargas de trabajo de IA deben ejecutarse donde estén los datos del cliente en la nube híbrida; esto hace que las plataformas y herramientas flexibles, estandarizadas y abiertas sean una necesidad, ya que permiten a las organizaciones seleccionar los entornos, recursos y arquitecturas que mejor se adapten a sus necesidades únicas operativas y de datos. Estamos encantados de complementar nuestra cartera de IA centrada en la nube híbrida con la innovadora revolucionaria en IA de Neural Magic, impulsando nuestro objetivo de no solo ser el 'Red Hat' del código abierto, sino también el 'Red Hat' de la IA".
Brian Stevens, CEO, Neural Magic: "El código abierto ha demostrado una y otra vez que impulsa la innovación a través del poder de la colaboración comunitaria. En Neural Magic, hemos reunido a algunos de los mejores talentos de la industria en ingeniería de rendimiento de IA con la misión singular de construir capacidades de servicio LLM abiertas, multiplataforma y ultraeficientes. Unirnos a Red Hat no solo es una coincidencia cultural, sino que beneficiará a empresas grandes y pequeñas en sus viajes de transformación de IA".
Dario Gil, IBM senior vice president and director of Research: "A medida que nuestros clientes buscan escalar la IA en sus entornos híbridos, los LLM virtualizados y nativos de la nube construidos sobre bases abiertas se convertirán en el estándar de la industria. El liderazgo de Red Hat en código abierto, combinado con la opción de modelos eficientes de código abierto como IBM Granite y las ofertas de Neural Magic para escalar la IA en todas las plataformas, empodera a las empresas con el control y la flexibilidad que necesitan para implementar la IA en toda la empresa".