Los modelos de lenguaje de gran tama?o o LLMs (siglas en ingl¨¦s para Large Language Model) ahora son capaces de correr en navegadores web y dispositivos de usuario final, como tel¨¦fonos inteligentes y computadores port¨¢tiles, permitiendo que aplicaciones de AI se ejecuten en el dispositivo. Esto permite el manejo seguro de datos sensibles sin necesidad de transferir datos hacia la nube, muy baja latencia en tareas como edge computing y procesamiento de imagen o video en tiempo real, costos reducidos al realizar c¨®mputos localmente y mantener funcionalidad incluso cuando no se cuenta con una conexi¨®n estable a internet. ?sta es un ¨¢rea de continua investigaci¨®n y desarrollo. En ediciones pasadas mencionamos MLX, un framework de c¨®digo abierto para machine learning eficiente en procesadores Apple silicon. Otras herramientas que est¨¢n emergiendo incluyen y . Transformers.js nos permite correr Transformers en el navegador usando el ONNX Runtime, soportando modelos convertidos desdecomo PyTorch, TensorFlow y JAX. Chatty se apalanca en WebGPU para correr LLMs de forma nativa y privada en el navegador, ofreciendo una experiencia de AI enriquecida dentro del mismo.
