ha seguido evolucionando, a?adiendo m¨¢s funcionalidades centradas en LLM desde su ¨²ltima aparici¨®n en el Radar. Est¨¢n ampliando e introduciendo , una plataforma completa que va m¨¢s all¨¢ del seguimiento de sistemas basados en agentes LLM. Weave te permite crear evaluaciones de sistemas, definir m¨¦tricas personalizadas, usar los LLMs como jueces para tareas como hacer res¨²menes y guardar conjuntos de datos que capturan diferentes comportamientos para su an¨¢lisis. Esto ayuda a optimizar los componentes LLM y a hacer un seguimiento del rendimiento tanto a nivel local como global. La plataforma tambi¨¦n facilita el desarrollo iterativo y la depuraci¨®n efectiva de sistemas basados en agentes, donde los errores pueden ser dif¨ªciles de detectar. Adem¨¢s, permite la recopilaci¨®n de la valiosa retroalimentaci¨®n humana, que puede utilizarse posteriormente para reajustar los modelos.
es una plataforma de aprendizaje autom¨¢tico (ML por sus siglas en ingl¨¦s) para construir modelos r¨¢pidamente mediante el seguimiento de experimentos, versionado de conjuntos de datos, visualizaci¨®n del rendimiento del modelo y gesti¨®n de modelos. Puede integrarse con el c¨®digo de ML existente para obtener m¨¦tricas en vivo, registros de terminal y estad¨ªsticas del sistema transmitidas al tablero para un an¨¢lisis m¨¢s profundo. Recientemente, Weights & Biases ha expandido su alcance a la observabilidad de modelos de lenguaje de gran escala (LLM) con . Traces visualiza el flujo de ejecuci¨®n de cadenas de prompts, as¨ª como las entradas/salidas intermedias, y proporciona metadatos sobre la ejecuci¨®n de la cadena (como los tokens utilizados y el tiempo de inicio y finalizaci¨®n). Nuestros equipos lo encuentran ¨²til para depurar y obtener un mayor entendimiento de la arquitectura de secuencias de prompts.
es una plataforma de machine learning (ML) para construir modelos m¨¢s r¨¢pidamente a trav¨¦s del seguimiento de experimentos, el control de versiones del conjunto de datos, la visualizaci¨®n del rendimiento del modelo y la gesti¨®n del modelo. Se puede integrar con el c¨®digo de ML existente y obtener r¨¢pidamente m¨¦tricas en vivo, logs de terminal y estad¨ªsticas del sistema que se transmiten al dashboard para su posterior an¨¢lisis. Nuestros equipos han utilizado Weights & Biases, y nos gusta su enfoque colaborativo hacia la construcci¨®n de modelos.
