Ting

常规Pytorch训练

1
2
3
4
5
6
7
8
9

for epoch in range(num_epochs):
    for batch in dataloader:
        inputs, targets = batch
        outputs = model(inputs)
        loss = loss_fn(outputs, targets)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

LLM训练

推理和正确率

• 推理长度越长不一定会让正确率提高

后训练简介 Post training(Continual Learning)

• alignment和post training的区别
  • 后训练使用的fundation model可以是instruct model（已经经历过alignment的model），也可以是pre-training之后的。而alignment的只是pre-training后的
  • alignment的偏好调整是让模型的行为更符合人类或产品希望的偏好（不一定要训练，训练是实现的一个方法），post-training的偏好调整是对模型本身的再训练

• 后训练的例子（给某个模型训练另一种语言）

训练流程

• alignment：模型微调，偏好回答设置
  • 内容可以少，但质量很重要

Pretrain

不能直接使用

基础信息

• 会议/期刊：Journal of Machine Learning Research 27 (2026), 1-28
• 关键词：empirical likelihood, contextual bandit, off-policy evaluation, Bayesian inference, policy comparison

核心贡献：本文用 Bayesian empirical likelihood 构造 contextual bandit policy value 的联合后验和差值后验，使小样本 off-policy policy evaluation 与 policy comparison 能获得更稳健的不确定性量化。

基础信息

• 会议/期刊：IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 47, No. 5, May 2025
• 关键词：reinforcement learning, soft actor-critic, distributional RL, value overestimation, continuous control

核心贡献：本文在 DSACv1 基础上提出 DSAC-T/DSACv2，通过 expected value substitution、twin value distribution learning 和 variance-based critic gradient adjustment 降低 critic 梯度随机性与 Q-value 估计偏差，在连续控制基准和真实移动机器人任务中提升稳定性与性能。