RL取代所有MPC？

最近的热帖，Qiayuan Liao声称：任何的low-level control都应该被RL取代。

然后几天后，发布了supermimic，身体力行地支持了这一观点。

在这个背景下，书接上文：（简明控制理论：写在电磁悬挂国产化的2025年），继续讨论控制里面有趣的概念：波特图/系统带宽/相位裕度。

上次说到，一个系统的特性可以被两个周期性信号的映射所刻画，输入为了方便我们用特定频率的正弦信号，输出则是一个另外一个周期信号。

首先一个有趣的结论是，输入输出的信号的频率是一样的。所以我们主要关注输出信号的幅值和相位。

那么我们可以得到波特图：横轴是输入正弦信号的频率，纵轴是输出信号的幅值和相位。

对于一个典型的系统来说，随着控制信号越来越高频，输出信号的幅度越来越小。这个比较好理解，说明系统“跟不上”了。

我们约定，当系统跟不上的程度到达-3dB，也就是70.7%的时候，到达了这个系统的极限，这个频率叫作（闭环）控制带宽。

对应的，那么这个系统的延迟极限是什么呢。

先直观的理解一下，如果一个系统的延迟很大，大到驱动量往左的时候，系统在往右走，这个系统就变成正反馈系统了，自然也震荡起来。

对应到我们的正弦信号，这个延迟的极限就是180度相位。

更严格地说法是， \(T(j\omega) = \frac{Y(j\omega)}{R(j\omega)} = \frac{G(j\omega)}{1 + G(j\omega)}\)

如果\(G(j\omega) = -1\)，系统就发散了。$G(jω)$是复数，所以得到\(\angle G(j\omega) = -180^\circ\)。

那么我们系统的相位延迟离-180度越远越好，所以约定相位裕度是距离-180度的差异。

结论就是： 控制带宽 和 相位裕度 ，共同决定了系统对于输入信号的要求。

结语

其实今天早上在和AI讨论RL实验的时候，AI忽然说，有一个工作和你在解决的问题和方法都很像：PolicyIK。

本来计划下一篇说一下是怎么把whole body control换成RL，并且观察到提高了VLA的最终表现的，看来也不用写了。