Na edi??o anterior do Radar, inclu¨ªmos o BERT ¡ª que ¨¦ um marco importante no cen¨¢rio de PLN. No ano passado, a Baidu lan?ou o 2.0 (representa??o aprimorada pela integra??o do conhecimento, ou Enhanced Representation through kNowledge IntEgration), que superou o BERT em sete tarefas GLUE de compreens?o de linguagem e em todas as nove tarefas de PLN chinesas. O ERNIE, assim como o BERT, fornece modelos de linguagem pr¨¦-treinados n?o-supervisionados, que podem ser ajustados com a adi??o de camadas de sa¨ªda para criar modelos de ponta para uma variedade de tarefas de PLN. O ERNIE difere dos m¨¦todos tradicionais de pr¨¦-treinamento, pois ¨¦ uma estrutura de pr¨¦-treinamento cont¨ªnuo. Em vez de treinar com um pequeno n¨²mero de objetivos de pr¨¦-treinamento, ele pode introduzir constantemente uma grande variedade de tarefas de pr¨¦-treinamento para ajudar o modelo a aprender com efici¨ºncia as representa??es da linguagem. Estamos muito otimistas com os avan?os em PLN e esperamos experimentar o ERNIE em nossos projetos.
