基于Transformer模型的预训练模型综述

  • 打印
  • 收藏
收藏成功

摘 要:随着深度学习技术的快速发展,自然语言处理(NLP)领域的预训练模型已经取得了显著的成功。尤其是基于Transformer模型的预训练神经网络模型,已经成为了一种主导的技术。本文综述了基于 Transformer 模型的预训练模型的发展历程、原理和应用,重点讨论了Transformer模型。BERT、GPT模型以及Transformer模型的开源实现。(剩余6704字)

目录
monitor
客服机器人