El reciente anuncio de DeepSeek R1 es un gran ejemplo de por qu¨¦ los small language models (SLMs) siguen siendo interesantes. La versi¨®n completa de R1 tiene 671 mil millones de par¨¢metros y requiere alrededor de 1.342 GB de VRAM para funcionar, algo que solo se logra utilizando unmini cluster de ocho GPUs NVIDIA de ¨²ltima generaci¨®n. Pero DeepSeek tambi¨¦n est¨¢ disponible en versi¨®n en Qwen y Llama ¡ª modelos m¨¢s peque?os yopen-weight ¡ª, transfiriendo efectivamente sus capacidades y permitiendo que se ejecute en hardware mucho m¨¢s modesto. Aunque el modelo sacrifica algo de rendimiento en esos tama?os reducidos, a¨²n permite un gran salto en rendimiento respecto a los SLMs anteriores. El campo de los SLM sigue innovando en otros ¨¢mbitos, tambi¨¦n. Desde el ¨²ltimo Radar, Meta introdujo en tama?os de 1B y 3B, Microsoft lanz¨® , ofreciendo resultados de alta calidad con un modelo de 14B, y Google present¨® , un modelo de visi¨®n-lenguaje en tama?os de 3B, 10B y 28B. Estos son solo algunos de los modelos que se est¨¢n lanzando actualmente en tama?os m¨¢s peque?os y, sin duda, es una tendencia importante a seguir.
Los modelos de lenguaje de gran tama?o (LLM) han demostrado su utilidad en muchas ¨¢reas de aplicaci¨®n, pero el hecho de que sean grandes puede ser una fuente de problemas: responder a una consulta requiere muchos recursos de c¨®mputo, lo que hace que las consultas sean lentas y caras; los modelos son propietarios y tan grandes que deben ser alojados en una nube por un tercero, lo que puede ser problem¨¢tico para los datos sensibles; y entrenar un modelo es excesivamente caro en la mayor¨ªa de los casos. El ¨²ltimo problema puede resolverse con el patr¨®n RAG, que evita la necesidad de entrenar y afinar los modelos b¨¢sicos, pero los problemas de costo y privacidad suelen persistir. Por ello, cada vez hay m¨¢s inter¨¦s en los modelos de lenguaje peque?os (SLM). En comparaci¨®n con sus hermanos m¨¢s populares, tienen menos pesos y menos precisi¨®n, normalmente entre 3,5 y 10B par¨¢metros. sugieren que, en el contexto adecuado y si se configuran correctamente, los SLM pueden rendir o incluso superar a los LLM. Y su tama?o permite ejecutarlos en dispositivos perif¨¦ricos. Ya hemos mencionado el Gemini Nano de Google, pero el panorama est¨¢ evolucionando r¨¢pidamente, con Microsoft presentando su serie , por ejemplo.
