En la anterior edici¨®n del Radar presentamos BERT - un hito en el panorama de Procesamiento de Lenguaje Natural. El a?o pasado, Baidu public¨® que mejor¨® BERT en siete tareas de comprensi¨®n del lenguaje GLUE y en las 9 tareas NLP para el lenguaje chino. ERNIE, como BERT, ofrece modelos de lenguaje no supervisados pre-entrenados, que pueden ser ajustados agregando capas de salida para crear modelos en estado del arte para una variedad de tareas NLP. ERNIE se diferencia de los m¨¦todos pre-entrenados tradicionales en que es un framework de pre-entrenamiento continuo. En lugar de entrenar con un peque?o n¨²mero de objetivos de pre-entrenamiento, puede introducir constantemente una gran variedad de tareas de pre-entrenamiento para ayudar al modelo a aprender representaciones del lenguaje de manera eficiente. Estamos muy emocionados sobre los avances en NLP y estamos deseando experimentar con ERNIE en nuestros proyectos.
