AI Agent· 第四讲 大型语言模型训练方法

训练流程

• alignment：模型微调
  • 内容可以少，但质量很重要

Pretrain

不能直接使用

Alignment

• Knowledge Distillation

  利用已有的模型作为老师，能够用很少的data的得到很好的结果。