Flow-GRPO 两种方向的 SDE 公式

x_{t+\Delta t}=x_t+\left\{v_t{\color{orange}+}\frac{\sigma_t^2}{2{\color{blue}t}}\left[{\color{red}x_t+\left(1-t\right)v_t}\right]\right\}\Delta t + \sigma_t \sqrt{\left|\Delta t\right|}\epsilon

注意此时去噪过程中 $\Delta t<0$

x_{t+\Delta t}=x_t+\left[v_t{\color{orange}-}\frac{\sigma_t^2}{2{\color{blue}\left(1-t\right)}}\left({\color{red}x_t-tv_t}\right)\right]\Delta t + \sigma_t \sqrt{\left|\Delta t\right|}\epsilon

注意标红的部分，这部分是基于时间 $t$ 预测的噪声端。方向不同，这块需要随着改动。

标蓝的部分：不考虑 $\sigma_t$ 是 $t$ 的函数的话，公式的奇异点会出现在目标端。

原文正向会令 $\sigma_t=a\sqrt{\frac{t}{1-t}}$ ，反向时为 $\sigma_t=a\sqrt{\frac{1-t}{t}}$ ，其中 $a$ 是噪声等级，一般取0.5到1.0。也见过让这个值一直为常数的工作。

注意公式里 $v_t$ 后面的正负号：如果是去噪过程的话，后面那一项是会让噪声减少（抵消引入随机噪声带来的漂移）。如果是正向过程， $\Delta t<0$ （去噪），那么中间会是加号。

菜单