RL Post-Training · Interview Deck

杨再润

Zairun Yang

大模型 RL 后训练算法 · LLM Post-Training · Agentic RL

25 岁 · 2027 届硕士 · 浙江大学大数据技术与工程（085411）· 方向 LLM RL 后训练

从方法到训练线：把序列级稀疏奖励做成可回传的 token 级稠密信号。研究侧 3 篇一作覆盖 RLVR 信用分配与后训练数据调度；工程侧在 100B A6B MoE、128 卡上支撑长周期全异步 RL 训练，并落地到代码生成与长程 Agent。

me@zairun.cv　·　show.zairun.cv　·　github.com/Ryaang

01定位与主线 02SIRAS 03数据调度 04EventRAG 05微信实习 06蚂蚁实习 07背景与技能

科研成果

NeurIPS 2026 录用 · 一作SIRAS · RLVR token 级信用分配
KDD 2026 发表 · 一作RL 后训练数据调度
ACL 2025 主会长文 · 一作EventRAG · 事件图谱检索生成
202410979805.9 发明专利 · 学生一作下游反馈驱动的数据清洗

实习经历

腾讯 · 微信事业群大模型后训练算法 · 2026.07 — 至今
蚂蚁 · 百灵大模型团队大模型后训练算法 · 2025.11 — 2026.06

01封面

Background

教育、荣誉与技能

教育经历

浙江大学

大数据技术与工程（085411）· 硕士 · 方向 LLM RL 后训练

专业综测 1/20（第一学年）· 国家奖学金

2024.09 — 2027.06

中国矿业大学

数据科学与大数据技术 · 本科 · 计算机学院

GPA 4.28（专业 1/99）· 课程均分 90.39 · CET-6 553 · CET-4 646

2020.08 — 2024.06

荣誉

国家奖学金（2025.12）
浙江大学优秀研究生（2025.12）　·　浙江大学五好研究生（2025.12）
中国矿业大学优秀本科毕业生（2024.06）
第 23 届中国大学生计算机设计大赛国家级二等奖（2022.08）

后训练算法

GRPO / GSPO / DAPO / RLVRtoken 级信用分配奖励塑形正向 advantage 软裁剪熵崩溃诊断与缓解课程与数据调度影响函数退化组梯度恢复

训练系统

VeRLMegatron 张量 / 流水 / 专家并行接口异步 rollout–update程序验证奖励流水线100B A6B MoE · 128 卡长周期训练长程 Agent 上下文与记忆管理

工程基础

PythonPyTorchLinuxNeo4j / Milvus实验对比设计论文写作英语 CET-6 553

算法上能独立设计与实验

从问题定位、方法设计、消融实验到投稿主稿，三篇一作都是自己走完一遍。

工程上能自己接

并行接口、权重转换、异步流水线，能把方法直接落到百 B 级 MoE 的真实训练线上。

基模研究与业务落地

基模研究与业务落地两手抓，既能做前沿研究，也能把方法真正落到真实业务场景中。

02背景与技能

Research & Experience

研究成果与实习经历：从方法创新到大规模训练落地

三项一作成果、两段大模型后训练实习；覆盖 RLVR 信用分配、训练稳定性、效率与长程 Agent

内容成果

问题逐步聚焦

01 · 结构化检索

EventRAG

长文本检索会丢失时间与因果结构，怎样让 Agent 找到真正相关的证据？

事件知识图谱 + 迭代检索，把“结构”变成可利用信号。

ACL 2025 主会长文 · 一作

→

02 · 数据级信号

自适应数据调度

策略能力持续变化，哪些训练数据在当前阶段最有价值？

影响函数估长期价值，UCB 跟踪不断迁移的能力边界。

KDD 2026 发表 · 一作

→

03 · token 级信号

SIRAS

RLVR 只有序列级 0/1 奖励，怎样知道一条轨迹里哪些 token 更关键？

从 sibling 的共享 / 发散结构中重塑优势，并救回退化组梯度。

NeurIPS 2026 录用 · 一作

共同方法 先找到被任务结构隐藏的信号 → 再控制它进入学习过程的粒度与强度 → 最后用真实训练验证是否可扩展

实习经历

从方法到系统与任务

蚂蚁 · 百灵大模型团队

2025.11 — 2026.06

把方法接进基模训练，并解决长程 Agent 的上下文饱和：不增加 rollout，信号来自已有结构。

SIRASNeurIPS 2026 录用一作；Qwen3-8B AIME25 15.56 → 27.78

长程 Agentfold / unfold 可逆压缩；DeepResearch +8pt，推理 −53%

系统落地VeRL–Ling 适配、Megatron 接口与权重转换

规模与效率100B A6B MoE · 128 卡 · 吞吐约 1.6×

→

腾讯 · 微信事业群

2026.07 — 至今

在真实任务中继续解决后训练约束：异构验证器难融合、奖励有噪声、程序检查会堵住 GPU。

代码 RLVR类型检查诊断 → token 优势；脚本验证准确率 +4pt

奖励融合视觉 / 编译 / 功能等异构验证器，Gibbs 饱和放权后自适应融合

稳定训练正 A 单侧软裁剪；熵崩溃斜率降至基线 18%

异步验证采样 / 验证 / 更新解耦，端到端吞吐约 +42%

数字口径：论文结果来自公开论文 / 预印本；实习训练效率与业务指标均为组内同设置对照。

03研究成果与实习

1 · NeurIPS 2026 录用 · 一作

SIRAS：GRPO 丢掉了什么，SIRAS 拿回了多少

Sibling-Relative Advantage Shaping for RLVR　·　预印本 cdn.zair.top/cvs/NeurIPS2026-preprint.pdf

01
GRPO / DAPO 把整段 response 的组相对优势摊到每个 token。失败轨迹里前面推对、最后一步算错，和正确轨迹里的冗余绕路，吃到的是同一条平坦优势。
02
组内全对或全错时组方差为 0，组相对优势消失。DAPO 直接丢掉这类退化组 —— 而 AIME 难度上它们约占训练组的 57%，第一步附近甚至到 78%。
03
过程奖励模型、逐步标注、VinePPO 式前缀续写都能补稠密信号，但分别要额外模型、人工标注或更多 rollout 预算。

真正的问题是：GRPO 已经采到的 sibling 里，能不能挖出一部分过程信号？同 prompt 的 rollout 不是独立标签，而是共享脚手架、在不确定处发散的多次尝试。

SIRAS 的最小改动：不加采样，只重分已有信用

看结构　混合分块 + banded DTW，对齐 sibling 的共享脚手架与发散决策。
改形状　共享块下权、发散块上权，再做均值对齐；每条 rollout 的 token 平均优势不变。
救零梯度　全对组偏好短成功路径；全错组压共享失败模式、轻推发散替代路径。

结果　Qwen3-8B pass@1（%）· 预印本 Table 1 摘录

方法	AIME25	AIME26	GSM8K	MATH
GRPO	15.56	20.00	93.10	87.20
GRPO + SIRAS	27.78	27.78	93.78	87.47

六个基准、三个 group-relative 基线；AIME 主证据是 14/14 格同向（sign-test p ≈ 1.2×10⁻⁴）。

+12.2

Qwen3-8B · AIME25

15.56 → 27.78

+23.3

GPT-OSS-20B · AIME26

骨干缩放最大单格

0

额外 rollout / PRM / 标注

同预算直接叠加

重塑权重与人工逐步信用标注的 Pearson 为 0.740（30 组 × 16 rollout，词级）。
关掉退化组残差后，AIME25 增益从 +12.2 降到 +6.7。
n=32 时增益收窄到 +3.3：主要补的是组均值最吵的区间。

结果怎么解读

最强区间　AIME 式高难推理、较小 group：组均值噪声大，sibling 分歧信息最值钱。
证据链　主表同向性 + 人工信用相关性 + 退化组消融，分别回答“有效、对位、来自哪里”。
适用边界　它是结构启发式，不声称识别因果正确步骤；group 变大后边际收益会收窄。

04SIRAS 问题与结果

1 · SIRAS

方法示意：重塑优势形状，但不改 token 平均优势

图 1　SIRAS。(a) 同 prompt 的 sibling 先经 banded DTW 对齐出共享前缀与发散段；(b) GRPO 给整段同一个平坦优势，SIRAS 按软发散权重重塑 —— 虚线为均值，两者完全重合，即每条 rollout 的 token 平均优势不变；(c) 非退化组梯度集中到发散块；(d) 全对 / 全错组方差为 0，GRPO/DAPO 无梯度，SIRAS 用同一结构补残差。

05SIRAS 方法图

1 · SIRAS

方法四步：分块 → 对齐 → 软权重 → 均值对齐

01

混合分块

结构标记 + log-prob surprise + 长度上限，把每条 rollout 切成推理块。纯结构标记会漏掉无标记的 thinking 区，纯定长会切开推理单元 —— 消融里 hybrid 是最大单项贡献。

02

banded DTW + 层次聚类

同 prompt 的块做 banded DTW 对齐，再按 pairwise 距离做平均连接聚类，得到共享 / 发散结构。AIME 轨迹前缀脚手架很长，位置对齐会把共享前缀误判为发散，所以 DTW 比 positional 更关键。

03

软发散权重 + 均值对齐

leave-one-out sibling-match 转成连续软发散权重：区分 sibling 的块上权、共享块下权。再 clip 并做 additive mean-matching，保证每条 rollout 的 token 平均优势与 GRPO 完全一致。

04

退化组残差

全对组奖励更短的成功路径，把信号集中到区分捷径与绕路的发散块；全错组惩罚共享失败模式，给发散替代路径小的探索加成。残差按同 batch 非退化优势幅度标定。

软发散权重：共享块下权，差异块上权

m_{c} = \frac{1}{n - 1} \sum_{k \neq j} s_{j \to k} (c), d_{c} = {(1 - m_{c})}^{γ}

ω_{c} = ε_{w} + (1 - ε_{w}) d_{c} g_{c}, u_{j t} = \frac{ω_{chunk (t)}}{{\bar{ω}}_{j}}

m_c 是 leave-one-out sibling 匹配度；共享越多，d_c 越接近 0。g_c 再用 surprise profile 的 JSD 做门控：只有内容与不确定性形状都不同的块才保留较大质量。

ω_c 除以 rollout 内按 token 加权的均值，得到均值为 1 的乘子；随后 clip 并 additive mean-match，避免少数错位块放大优势。

退化组残差：奖励相同，结构仍然可用

s_{batch} = 𝔼_{nondeg} [| {\tilde{r}}_{j} |]

\begin{array}{l} A_{j t}^{AC} = λ s_{batch} q_{j}^{AC} v_{j t}^{AC}, q_{j}^{AC} \propto - \frac{T_{j} - \bar{T}}{\max ({\hat{σ}}_{T}, ρ \bar{T})} \\ A_{j t}^{AW} = η s_{batch} (v_{j t}^{AW} - 1), \frac{1}{T_{j}} \sum_{t} A_{j t}^{AW} = 0 \end{array}

全对组（AC）：用组内中心化的负长度残差奖励更短成功路径，再由发散质量 v 把信用集中到“捷径 vs. 绕路”的区别处。

全错组（AW）：共享失败块给负优势，较发散替代块给小的探索加成；每条失败 rollout 的 token 均值严格为 0，不把失败轨迹整体当成正奖励。两者都由 s_batch 对齐普通 GRPO 梯度尺度。

开销：特征提取与对齐在异步实现里与 rollout 部分重叠，端到端 wall-clock 约 +20%（预印本 App. G Table 8）—— 不增加 rollout 预算，也不引入过程奖励模型或逐步标注。

06SIRAS 四步

2 · KDD 2026 发表 · 一作

数据调度：数据价值和能力边界是共演化的

Distribution-Value Coevolution for Adaptive RLHF Data Scheduling

图 2　数据调度。(a) 同一批簇在两个训练时刻的边际价值 —— c3 从最高跌到中位，c5/c6 反超，价值排序会反转，所以课程不能一次排好；(b) 在线闭环：聚类给跟踪单位，滑窗影响函数给非平稳信号，UCB 在利用高价值簇的同时探索估计不足的簇。

07数据调度

2 · 数据调度

四个零件对上三个问题，再看数字

01

分布价值定义

价值 = 影响函数期望：训练梯度与验证损失牛顿方向的对齐程度。Prop. 3.3 证明排序反转不可避免，Prop. 3.4 证明变化足够平滑、滑窗 UCB 能以次线性动态 regret 跟踪。

02

异构特征聚类

经验难度、词汇句法、可读性、BGE-M3 语义嵌入（1024→128，PCA 保 ≥95% 方差）拼成特征后 K-means++ 成簇。价值在分布级跟踪，而不是在单条噪声样本上跟踪。

03

滑窗影响函数

共轭梯度近似 Hessian-vector，不显式求逆；实例影响聚到簇级后在滑窗里更新，丢掉过期统计、保留足够历史。按簇抽样后间隔 5 step 大约只算 20% 样本。

04

UCB 调度

选簇做成多臂老虎机：利用高价值簇，同时探索估计不足的簇，避免塌成窄子集、丢掉对泛化关键的稀有分布。默认每 5 step 更新簇分，探索系数 1.0。

表 2　Llama3.2-3B-Instruct 测试准确率（%）· 论文 Table 1

方法	GSM8K	MATH	AIME24	MATH500
Random	81.931	16.487	23.333	45.333
AdaRFT	81.072	13.187	15.556	45.333
DUMP	82.739	19.080	22.222	49.667
Ours	83.422	19.360	24.444	46.667

最大相对增益在 AIME24 对 AdaRFT：15.6% → 24.4%（+57.1%）。MATH500 上 DUMP 更高（49.667 vs 46.667） —— 调度在最难的 AIME 上拉开，不是每张表都第一。

15.6% → 24.4%

Llama3.2-3B · AIME24 · 相对 AdaRFT

论文 Table 1 / §4.2，相对 +57.1%，绝对 +8.9

Llama3.2 与 Qwen2.5 的 1B–7B 四套骨干都有增益；训练目标仍是 GRPO，8 GPU，3 个 seed。
与 AdaRFT / DUMP 的差别：它们看近期奖励或即时 advantage，这里看的是对验证损失的长期影响。
簇训练中不重聚：簇是跟踪单位，重聚会让 bandit 的臂身份漂移 —— 这是设计选择，不是理论必然。
与 SIRAS 正交：调度决定「采哪簇」，SIRAS 决定「一条轨迹里梯度打在哪些 token」，可以叠着用。

08调度方法与结果

3 · ACL 2025 主会长文 · 一作

EventRAG：叙事文档上的 RAG 不该只检索扁平段落

aclanthology.org/2025.acl-long.830　·　代码 github.com/Ryaang/EventRAG

图 3　EventRAG。(a) 多文档抽事件、融合跨文档实体、补欠连接关系；(b) 事件节点沿时间轴排布，边显式区分先于 / 导致 / 参与；(c) Agent 按事件要素迭代查图并多跳，证据不足时反思重查 —— 而不是一次取回扁平段落。

09EventRAG

3 · EventRAG

两阶段：先把结构建出来，再让 Agent 沿结构查

01

事件知识图谱构建

LLM 抽事件、实体与关系，一路写入向量库做相似检索，一路做实体融合：余弦相似超阈值就建 similar 边并在后续构图替换为融合节点，保留出处、去掉重复。

02

知识扩展

用文档上下文与模型内知识补欠连接的节点和边，把同参与者、近时间的事件连上。把一部分分析前移到构图，减轻查询时的临场推理负担。

03

Agent 迭代检索

查询先拆成事件要素（参与者 / 时间 / 逻辑关系），在图上自动发查询，沿时间边与因果边多跳，而不是一次取回扁平片段。

04

反思与自纠

推理中途检查一致性与证据是否充分，不够或矛盾就回到相关事件节点重看时间关系，必要时再探图。最终生成由事件图谱接地，引用可回溯出处。

表 3　MultiHopRAG 平均指标 · 论文 Table 1

方法	Relevancy	Correctness	Similarity
NaiveRAG	0.3107	0.2407	0.8028
GraphRAG	0.4031	0.4730	0.8726
LightRAG	0.4832	0.5713	0.8487
EventRAG	0.5391	0.7158	0.8737

Answer Correctness 相对最强基线 LightRAG 绝对平均 +14pt；评测走 RAGAS，主实验 LLM 为 gpt-4o，比较的是 RAG 框架而非基座。

0.8786 vs 0.6170

Temporal 查询上的 Answer Correctness · 相对 LightRAG

论文 Table 1，时间类查询是事件图谱最吃结构的一类

UltraDomain 的农业 / 生物协议 / 烹饪 / 历史四域上，六维 pairwise win rate 中 Comprehensiveness 与 Logic 提升最明显。
实现走 Neo4j + Milvus；公开仓库 github.com/Ryaang/EventRAG，21★ / 4 fork（2026-05 统计）。
局限主动说：构图要多次调用 LLM，大语料上贵，论文 Limitations 已写明，不适合当实时主决策系统。
和现在做的后训练接得上：长轨迹里哪些信息该留、哪些该压，都需要结构而不是平坦拼接。

10EventRAG 结果

4 · 腾讯集团 · 微信事业群 · 2026.07 — 至今

代码 RLVR：奖励、稳训、吞吐三件事

大模型后训练算法实习　·　组内对照口径

4.1　奖励：信号回到 token

问题

整段 response 共用 0-1 奖励，编译 / 类型错误无法回传到具体 token，共享前缀与真正出错的片段吃同一优势。

做法

把类型检查器的诊断位置与错误级别接入奖励，按 token 重加权优势。独立负责奖励塑形与评估对比。

结果

内部代码基准脚本验证器准确率 +4pt，收敛提前约 10 步；过程与端到端评估同向。

4.2　稳训：挡住验证器噪声

问题

策略熵快速崩溃，Clip Higher 等常规熵控制作用有限；定位到验证器假阳性经组归一化被放大成整条序列的大正 advantage。

做法

sample-BN 后只对正 advantage 做单侧软裁剪（裁到 1.0），负侧不动，也不改 GSPO 的 ε。

结果

公平窗口内熵崩溃斜率降至基线的 18%；单位熵换来的性能提升 ×4.6（3010 vs 652 pp/H）。

4.3　吞吐：把等待拆掉

问题

程序验证奖励耗时远长于采样与更新，三者互相阻塞，GPU 在等验证。

做法

主导把验证链路拆成三阶段异步流水线，解耦采样、验证与更新；编译 / 功能奖励的动态加权仍在实验中。

结果

相对同步验证，端到端训练速度约 +42%。代价是奖励延迟带来的 off-policy，需限制验证积压。

报数习惯：系统数字和算法数字分开 —— +42% 是吞吐，+4pt 是质量；两者不合并成一个「整体提升」。

11微信实习

4.1 · 腾讯微信

类型检查反馈驱动的 token 级奖励重加权

图 4　类型检查奖励。(a) 类型检查把失败定位到具体 token，而不是只给整段一个可运行 / 不可运行；(b) 平坦 0-1 奖励对所有 token 一视同仁，重加权后梯度集中在出错 token 附近，共享前缀被下权。相对组内原配置：脚本验证器准确率 +4pt，收敛提前约 10 步。

12类型检查奖励

4.2 · 腾讯微信

噪声验证器下的正向 advantage 单侧软裁剪

图 5　正 advantage 软裁剪。(a) 噪声 verifier 的假阳性经组归一化后变成大正 A；GSPO 的 clip 作用在重要性比 r 上，挡不住已经被放大的 A。本方法在 sample-BN 后只把正 A 裁到 1.0，负侧不动，也不改 GSPO 的 ε。(b) 公平窗口 train 0–25 内熵崩溃斜率降到 baseline 的 18%；baseline 于 step 25 崩溃，此后曲线不再可比 —— 所以主结论停在 0–25，不用崩溃后的区间比快慢。

13正 A 软裁剪

4.3 · 腾讯微信

三阶段异步验证流水线

图 6　三阶段异步验证。程序验证耗时远长于采样与更新。(a) 同步下三阶段互相阻塞，GPU 在等验证；(b) 拆成异步流水线后三阶段重叠。两条时间轴同刻度，图中 t 是相对单位，只用于说明重叠关系；实测相对同步端到端约 +42%（组内对照）。代价是奖励延迟带来的 off-policy，需限制验证积压。

14异步验证

5 · 蚂蚁集团 · 百灵大模型团队 · 2025.11 — 2026.06

方法、训练系统、长程 Agent 各一条

大模型后训练算法实习　·　公开数字走预印本，内部数字只标组内对照

5.1　SIRAS 落地

职责

方法设计、实验验证与会议论文撰写全程负责，对应 NeurIPS 2026 录用一作。

做法

在 Ling 2.5 与 3.0 Flash 系列（100B A6B）上实现 sibling 结构解析、优势重塑与退化组补残差，并完成与 GRPO / DAPO 等 group-relative 基线的对照实验。

口径

公开数字只走预印本（见第 1 章）；同期另有基于类熵内在指标的内部改进，无公开表，只定性说。

5.2　VeRL 训练适配

职责

负责框架适配与吞吐。这是系统工作，不是基座预训练；上游框架是 VeRL，不计入论文贡献。

做法

Megatron 张量 / 流水并行接口对齐、训练权重格式转换，重构全异步采样-更新流水线以消除同步等待。

结果

相对同步 GRPO 端到端约 1.6×（非单步 MFU），稳定支撑 100B A6B 模型在 128 卡的长周期 RL 训练。

5.3　DeepResearch

职责

设计 fold / unfold 两个上下文管理工具，并完成 SFT 与 RL 两阶段训练，使 Agent 在长程检索中主动调用。

做法

fold 把选定轨迹压成结构化 Markdown 写入记忆（单步细压或子任务深归并），unfold 按结构展开；SFT 学调用格式与时机，RL 按任务成败强化压 / 展的决策。

结果

DeepResearch Bench II 上比 ReAct 基线平均 +8pt，达到 43 准确率，推理时间缩短 53%。

15蚂蚁实习

5.2 · 蚂蚁百灵

VeRL 适配 Ling：并行接口对齐与全异步流水线

图 7　VeRL 适配 Ling-2.0 / 2.5。(a) 同步 GRPO 下 rollout 与 update 互相等待；(b) 对齐 Megatron 并行接口、转换训练权重后改为全异步重叠。图中 t 为相对单位，仅示意重叠关系；实测端到端约 1.6×（组内对照）。这是系统适配工作，不是基座预训练；1.6× 来自 rollout 与 update 的重叠，是端到端训练速度而非单步 MFU。

16VeRL 适配

5.3 · 蚂蚁百灵

DeepResearch：长程检索的上下文与记忆管理

图 8　DeepResearch 长程上下文。(a) ReAct 全量堆积会撑满窗口；每步机械摘要占用低，但线索被不可逆地丢掉。fold / unfold 呈锯齿：折叠后回落，需要细节时再展开。(b) fold 写成结构化 Markdown 而非不可逆摘要；SFT 学调用格式与基本时机，RL 按任务成败学何时压、何时展开。DeepResearch Bench II 上比 ReAct 基线平均 +8pt，达到 43 准确率，推理时间缩短 53%。

17fold / unfold

6 · 发明专利 202410979805.9 · 学生一作 · 已授权

面向下游分析反馈的数据清洗方法及系统

本科阶段的方法专利。共同点是「信号要为下游目标服务」—— 现在把这件事做到 RL 的奖励与数据调度上

图 9　数据清洗专利（202410979805.9）。错误检测先定位问题单元格或记录，聚类集成稳定找出同模式错误，交叉注意力结合上下文完成修补，最后用下游分析任务的真实表现反向约束修复策略，避免出现「表更干净、分析指标反而下降」。

18专利