La experiencia de Neural Magic en ingeniería de rendimiento de inferencia y el compromiso con el código abierto se identifican con la visión de Red Hat:

Lograr cargas de trabajo de IA de alto rendimiento que se correspondan directamente con casos de usoy datos específicos del cliente en la nube híbrida.

El volumen de los modelos de lenguaje de gran tamaño (LLM) que sustentan los sistemas de IA generativa sigue en aumento.

Como resultado, crear servicios de LLM rentables y confiables requiere una gran potencia informática, recursos energéticos y habilidades operativas especializadas.

Para muchas empresas, esto hace que los beneficios de una IA personalizada, con mayor enfoque en la seguridad y lista para implementar, quede fuera de su alcance.

La especialización de Neural Magic en vLLM combinado con soluciones de IA en nube híbrida de Red Hat serán una alternativa real en el mercado. El objetivo es que sea una opción abierta para desarrollar estrategias de IA que satisfagan esas necesidades, donde se encuentren sus datos.

Red Hat + Neural Magic: el futuro de la IA generativa lista para la nube híbrida

Neural Magic surgió del MIT en 2018 con el objetivo de crear software de inferencia de alto rendimiento para el aprendizaje profundo.

Con Neural Magic, Red Hat pretende acelerar su visión del futuro de la IA impulsada por el portfolio de tecnologías de Red Hat AI.

Así, la empresa aprovecha la innovación open source, diseñada para superar los desafíos de la IA empresarial a gran escala. Con el fin de democratizar aún más el acceso al poder transformador de la IA a través de:

• Modelos con licencia open source.

• Capacidades de ajuste fino para personalizar más fácilmente los LLM.

• Experiencia en ingeniería de rendimiento de inferencia.

• Un partner, un ecosistema open source y estructuras de soporte que brindan al cliente mayor libertad de elección.

Liderazgo en vLLM para optimizar Red Hat AI

Neural Magic crea una pila de inferencia de nivel empresarial que permite a los clientes optimizar, implementar y escalar cargas de trabajo de LLM en entornos de nube híbrida.

Con pleno control sobre la elección de la infraestructura, las políticas de seguridad y el ciclo de vida del modelo.

Neural Magic también se dedica a la investigación de optimización de modelos. Crea LLM Compressor.(Biblioteca unificada para optimizar LLM mediante algoritmos de cuantificación y dispersión de vanguardia).

Y mantiene un repositorio de modelos preoptimizados listos para implementar con vLLM.

Red Hat AI tiene como objetivo ayudar a que los clientes reduzcan los costos de IA y el déficit de habilidades mediante tecnologías que incluyen:

• Red Hat Enterprise Linux AI (RHEL AI)

• Red Hat OpenShift AI

• InstructLab, un proyecto accesible de la comunidad de IA de código abierto creado por Red Hat e IBM.

Cabe señalar, que la operación está sujeta a las revisiones normativas aplicables y a otras condiciones de cierre habituales.

La entrada Neural Magic ya es de Red Hat y fortalece su oferta de gen AI se publicó primero en Reseller.