庸俗还原论：曲线平坦之后，工作才开始

一直有点这种感觉，但是不知道用什么词去刻画，听到“庸俗还原论”之后，感觉找到答案了。

经常听到类似的话：“神经网络不过是模拟大脑神经元”，“知识到最后还是回归神学”，“本质上还是人的问题”。

一方面觉得这句话确实是真命题，但是又觉得说这么一句话不负责任，没什么信息量：神经网络确实是模拟神经元，但是20年前1B的MLP确实收敛不了啊。

用这样一句断言，有点磨灭在其中人做出的努力。

有点关联的就好像是证伪出现的背景：把一个东西说得通其实说明不了什么。

再举个例子，弗洛伊德的陷阱，他的理论可以解释一切：一个人童年有创伤，长大后抑郁是合理。一个人童年有创伤，长大后快乐是因为创伤的反作用。

正反说都是他对。但是对不是我们要的，我们要的是知识。

所以把一个事情说否，可能更有价值。类似，100层的MLP收敛不了是因为梯度没了。

警惕。