Modelos de linguagem de grande porte (LLMs) agora podem ser executados em navegadores da internet e em dispositivos m¨®veis como smartphones e laptops, permitindo a constru??o de aplica??es de IA em dispositivos. Isso proporciona uma manipula??o segura de dados sens¨ªveis, eliminando a necessidade de transferi-los para a nuvem, a baixa lat¨ºncia para tarefas computacionais e processamento em tempo real de imagens e v¨ªdeo nos dispositivos, e a redu??o de custos pela execu??o computacional local e funcionamento das aplica??es mesmo quando a conectividade ¨¤ internet ¨¦ inst¨¢vel ou indispon¨ªvel. Esse ¨¦ um campo de pesquisa ativo e em crescimento. No passado, n¨®s destacamos MLX, uma ferramenta de c¨®digo aberto para aprendizado de m¨¢quina eficiente em processadores Apple. Outras ferramentas emergentes incluem e . Transformers.js possibilita a execu??o de Transformers em navegadores usando ONNX Runtime, dando suporte a modelos convertidos de PyTorch, TensorFlow e JAX. Chatty, por sua vez, roda LLMs de forma nativa e privada nos navegadores atrav¨¦s da WebGPU, enriquecendo a experi¨ºncia de IA com uma gama completa de funcionalidades.
