Los modelos grandes de lenguaje (LLMs, por sus siglas en ingl¨¦s) generalmente requieren una infraestructura significativa de GPU para funcionar, pero ha habido un fuerte impulso para que funcionen en un hardware m¨¢s modesto. La cuantizaci¨®n de un modelo grande puede reducir los requisitos de memoria, permitiendo que un modelo de alta fidelidad se ejecute en un hardware menos costoso o incluso en una CPU. Esfuerzos como hacen posible ejecutar LLMs en hardware que incluye Raspberry Pis, ordenadores port¨¢tiles y servidores de uso general.
Muchas organizaciones est¨¢n desplegando LLMs auto-hospedados. Esto se debe a menudo a preocupaciones de seguridad o privacidad, o a veces, a la necesidad de ejecutar modelos en dispositivos perif¨¦ricos. Ejemplos de c¨®digo abierto incluyen , y Llama. Este enfoque ofrece un mejor control del modelo al ajustarlo finamente para un caso de uso espec¨ªfico, una mayor seguridad y privacidad, as¨ª como acceso sin conexi¨®n. Aunque hemos ayudado a algunos de nuestros clientes a auto-hospedar LLMs de c¨®digo abierto para completar c¨®digo, te recomendamos que eval¨²es cuidadosamente las capacidades organizativas y el costo de operaci¨®n de tales LLMs antes de tomar la decisi¨®n de auto-hospedarlos.
Los Modelos de Lenguaje Grandes (LLMs por sus siglas en ingl¨¦s) suelen necesitar una infraestructura de GPU considerable para funcionar. Empezamos a ver conversores, como , que permiten ejecutar estos modelos en una variedad de hardware como Raspberry Pis, ordenadores port¨¢tiles y servidores b¨¢sicos. Por lo tanto, podr¨ªamos decir que el autohospedaje de Modelos de Lenguaje Grandes (LLMs) ya es una realidad. Actualmente hay algunos modelos de c¨®digo abierto que pueden autohospedarse, como , y . Este m¨¦todo tiene varias ventajas: un mejor control de ajuste para casos de uso espec¨ªficos, seguridad y privacidad mejorada, as¨ª como acceso sin conexi¨®n. Sin embargo, recomendamos evaluar con prudencia la capacidad dentro de la organizaci¨®n y el coste de ejecutar tales modelos antes de decidir autohospedar.
