近年来，基于流匹配的 VLA 模型，特别是 Physical Intelligence 发布的 π0 和 π0.5，已经成为机器人领域备受关注的前沿技术路线。流匹配以极简方式建模多峰分布，能够生成高维且平滑的连续动作序列，在应对复杂操控任务时展现出显著优势。

尽管如此，VLA 模型在训练过程中严重依赖于大规模、高质量的人类演示数据，而收集和标注这些数据的成本高昂且周期漫长。强化学习允许智能体通过与环境的真实交互自行探索和迭代改进，可以减少 VLA 模型对大量数据的依赖，并进一步提升 SFT 的性能上限。

目前，针对流匹配 VLA 的 RL 研究仍较少，主流工作大多集中在 OpenVLA 和 OpenVLA-OFT 等自回归 VLA 上。其核心挑战在于：流匹配 VLA 通过迭代去噪生成动作，导致难以直接计算输出动作的对数似然——而这是 PPO、GRPO 等策略梯度方法更新的关键。

清华、北大、CMU 等机构联合推出了一套面向流匹配 VLA（π0, π0.5）的在线强化学习（PPO 和 GRPO）微调框架 πRL。该框架基于 RLinf（首个面向具身智能的大规模强化学习系统）实现，提出 Flow-Noise 和 Flow-SDE 两种微调方案，在公开测试平台 LIBERO 达到平均 97.6% (π0) 和 98.3% (π0.5)，验证了微调方案的有效性。

进一步，πRL 在涵盖 4,352 种抓取-放置任务组合中进行训练，成功率涨幅 40% 以上，最终成功率超 80%，验证了框架支持大规模任务训练的能力。目前，全部代码、模型和文档示例已完全开源。

论文链接： https://arxiv.org/pdf/2510.25889
开源代码： https://github.com/RLinf/RLinf
模型仓库： https://huggingface.co/RLinf
复现文档：https://rlinf.readthedocs.io/en/latest/rst_source/examples/pi0.html

图 1： 本框架分别支持 π0 和 π0.5 两个模型，并提出了 Flow-Noise 和 Flow-SDE 两种技术方案，在 LIBERO 和 ManiSkill 测试平台上分别实现了最高 40.0% 和 44.7% 的增幅。

πRL 核心原理

针对流匹配 VLA 难以直接计算输出动作对数似然问题，πRL 提出了两条技术路线：Flow-Noise 和 Flow-SDE。

图 2： Flow-Noise 通过将去噪过程建模为离散马尔可夫过程，能够直接计算去噪序列的联合概率密度；Flow-SDE 则将去噪与环境交互过程相结合，构建了双层 MDP。策略在 rollout 阶段收集完数据后，统一采用 PPO 进行策略梯度优化。

Flow-Noise

注入可学习噪声： 引入一个可学习的噪声网络，在去噪每一步均加入噪声，使去噪过程变为随机过程。
计算联合概率： 由于每一步噪声均可知（由噪声网络输出），整个去噪序列（从初始噪声至最终动作）的联合对数似然可精确计算。
策略梯度优化： 基于可精确计算的联合对数似然，可直接用标准策略梯度方法进行优化。

Flow-SDE

ODE-SDE 转化： 将原有确定性 ODE 去噪步骤，转化为等效 SDE，从而在策略中引入随机性。
构建两层 MDP： 把 SDE 去噪作为内层循环，与智能体-环境交互（外层循环）结合，构建双层 MDP 结构。
混合采样提速： 训练中大部分采用 ODE 确定性采样，小部分用 SDE 探索，以加速训练同时保证探索。
策略梯度优化： 在双层 MDP 中，策略输出由与环境交互的动作转为流匹配模型输出的速度场，可直接进行策略梯度优化。

Critic 设计

针对 π0 和 π0.5 模型，πRL 在应用 PPO 算法微调时，探索了两种 Actor-Critic 架构：

Action Expert Critic（适用于 π0）

VLM 仅包含图像和语言信息，机器人状态与噪声动作一同送入 Action Expert。

Critic 接 Action Expert 隐藏层输出，并通过对全部噪声步取平均获得稳定的估计。

VLM Critic（适用于 π0.5）

VLM 融合全部输入（图像、语言、机器人状态）。

Critic 直接接 VLM 隐藏层输出。

图 3： 我们系统性地探索了两种 Critic 设计思路：一种将 Critic 部署在动作模型（Action Expert）之后，另一种则将 Critic 直接接入视觉语言模型（VLM）后。

实验结果

πRL 在常用 VLA 评测集 LIBERO 及 ManiSkill 自建多任务集上验证了其有效性。

LIBERO：少样本 SFT+RL 范式超越全数据 SFT！

πRL 让 π0（few-shot）平均成功率从 57.6% 提高到 97.6%，π0.5（few-shot）从 77.1% 提高到 98.3%，超越全数据 SFT 训练的流匹配 VLA 表现。

图 4：LIBERO 测试平台下的性能对比

与此同时，在 LIBERO-Long 长时序任务上，πRL 使 π0.5 单样本 (one-shot) SFT 性能从 43.9% 提升到 94.0%！

图 5： LIBERO-Long 任务 one-shot SFT 的 RL 收敛曲线

ManiSkill：验证大规模多任务 RL 能力！

为了验证 πRL 对大规模多任务的支持能力，我们在 Maniskill 中构造了涵盖 4,352 种抓取-放置任务组合。结果表明，通过在320个并行环境中进行训练，πRL（Flow-Noise）将 π0 成功率从 38.42% 提升到 78.83%，π0.5 成功率从 40.06% 提升到 90.85%。

图 6：ManiSkill Main任务中Pi05的RL收敛曲线

此外，我们还设计了 12 个与训练环境不同的域随机化测试环境，用于考察模型的泛化能力。在这些环境中，我们改变语言指令、物体类型、桌面纹理，或者在执行过程中移动物体、添加多个物体，来考察模型的泛化能力，并在每个环境中进行了 256 次测试来排除统计涨落的结果的影响。结果表明，πRL 算法能够显著提升两类模型在新环境下的泛化性能。