Las han sido un factor clave del auge de la IA; el principio de que modelos m¨¢s grandes, conjuntos de datos m¨¢s extensos y mayores recursos de c¨®mputo conducen a sistemas de IA m¨¢s potentes. Sin embargo, el hardware de consumo y los dispositivos perimetrales a menudo carecen de la capacidad para soportar modelos a gran escala, lo que crea la necesidad de la destilaci¨®n de modelos.
La transfiere conocimiento de un modelo m¨¢s grande y potente (maestro) a un modelo m¨¢s peque?o y eficiente en coste (estudiante). El proceso suele implicar la generaci¨®n de un conjunto de datos de muestra a partir del modelo maestro y el ajuste del modelo estudiante para que capture sus propiedades estad¨ªsticas. A diferencia de la poda o la , que se enfocan en la compresi¨®n de modelos suprimiendo par¨¢metros, la destilaci¨®n intenta retener conocimiento espec¨ªfico del dominio, minimizando la p¨¦rdida de precisi¨®n. Tambi¨¦n se puede combinar con la ³¦³Ü²¹²Ô³Ù¾±³ú²¹³¦¾±¨®²Ô para una optimizaci¨®n adicional.
por Geoffrey Hinton y otros, la destilaci¨®n de modelos ha sido ampliamente adoptada. Un ejemplo destacado es Qwen/Llama la versi¨®n destilada de DeepSeek R1, que mantiene s¨®lidas capacidades de razonamiento en modelos m¨¢s peque?os. Con su creciente madurez, la t¨¦cnica ya no se limita s¨®lo a los laboratorios de investigaci¨®n; ahora se aplica en una amplia variedad de proyectos, desde industriales hasta personales. Proveedores como y ofrecen gu¨ªas para ayudar a los desarrolladores a destilar sus propios modelos de lenguaje reducido (SLMs, small language model, por sus siglas en ingl¨¦s). Creemos que la adopci¨®n de la destilaci¨®n de modelos puede ayudar a las organizaciones a gestionar los costes de despliegue de los LLM al tiempo que libera el potencial de la inferencia LLM en dispositivos.
