所以，Chollet 认为，不能简单地通过拟合大量数据(如游戏引擎渲染的图像或视频)来期望得到一个能够泛化到现实世界所有可能情况的模型。这是因为现实世界的复杂性和多样性远超过任何模型能够通过有限数据学习到的。
田渊栋：学习物理需要主动学习或者策略强化学习
针对 Jim Fan 的观点，一些研究者提出了更激进的反驳，认为 Sora 并不是学到了物理，只是看起来像是学到了罢了，就像几年前的烟雾模拟一样。也有人觉得，Sora 不过是对 2D 像素的操纵。
当然，Jim Fan 对「Sora 没有在学习物理，而只是操纵 2D 像素」这一说法进行了一系列反驳。他认为，这种观点忽略了模型在处理复杂数据时所展现出的深层次能力。就像批评 GPT-4 不是学习编码，只是随机挑选字符串一样，这种批评没有认识到 Transformer 模型在处理整数序列(代表文本的 token ID)时所表现出的复杂理解和生成能力。
对此，谷歌研究科学家 Kevin P Murphy 表示，他不确定最大化像素的可能性是否足以促使模型可靠地学到精确的物理，而不是看似合理的动态视觉纹理呢?是否需要 MDL(Minimum description length，最小描述长度)呢?
与此同时，知名 AI 学者、Meta AI 研究科学家田渊栋也认为，关于 Sora 是否有潜力学到精确的物理(当然现在还没有)，其背后的关键问题是：为什么像「预测下一个 token」或「重建」这样简单的思路会产生如此丰富的表示?
他表示，损失函数如何被激发的并不重要，损失函数的设计动机(无论多么哲学化或复杂)并不直接决定模型能否学习到更好的表示。事实上，复杂的损失函数可能与看起来很简单的损失函数实际上产生了类似的效果。
最后他称，为了更好地理解事物，我们确实需要揭开 Transformers 的黑匣子，检查给定反向传播的训练动态，以及如何学习隐藏的特征结构，并探索如何进一步改进学习过程。
田渊栋还表示，如果想要学习精确的物理，他敢打赌需要主动学习或者策略强化学习(无论如何称呼它)来探索物理的精细结构(例如物体之间的相互作用、硬接触)。
其他观点：Sora 被认为是「数据驱动的物理引擎」太荒谬
除了众多 AI 圈大佬之外，也有一些专业性的观点开始反驳 Sora 懂物理引擎这一说法。
比如下面这位推特博主，他认为 OpenAI 是数据驱动的物理引擎这一观点是荒谬愚蠢的， 就好像收集了行星运动的数据并将它们喂给一个预测行星位置的模型，然后就得出该模型内部实现了广义相对论的结论。
他称，爱因斯坦花了很多年时间才推导出了重力理论的方程。如果有人认为随机梯度下降(SGD)+ 反向传播仅凭输入输出对就能理解一切，并在模型训练中解决问题，那这个人对于机器学习的理解是有问题的，对机器学习的工作方式了解也不够。
爱因斯坦在理论推导中对现实做出了很多假设，比如光速恒定、时空是灵活的结构，然后推导出了微分方程，其解揭示了黑洞、引力波等重大发现。可以说，爱因斯坦利用因果推理将不同的概念连接了起来。
但是，SGD + 反向传播并不是这样，它们只是将信息压缩到模型权重中，并不进行推理，只是更新并转向实现具有最低误差的参数配置。
他认为，机器学习(ML)中的统计学习过程可能会显然低误差「盆地」，即无法探索不同的概念， 因为一旦陷入这些低误差「盆地」或者局部最小值就无法重新开始。
因此，SGD + 反向传播发现了看似有效但却很容易崩溃的、脆弱的解决方案捷径。这就是为什么深度学习系统不可靠并且实际训练起来很难，你必须在现实中不断更新和训练它们，这就很麻烦。
梯度下降的工作原理就像一只苍蝇寻找气味源一样，即苍蝇跟随空气中的化学浓度向下移动，从而引导它导向气味源。但如果仅依赖这种方式，则很容易迷路或陷入困境。
在机器学习中，模型的可调节参数就像苍蝇，训练数据就像气味源，目标函数测量的误差就像气味。而调整模型权重的目的是向着气味源(这里是低误差，相当于更浓的气味)移动。
最后，他得出结论，如果认为机器学习模型仅仅通过训练行星运动的视频就能在内部学到广义相对论，那就更荒谬了。这是对机器学习原理的严重误解。
此外，有网友指出 Sora 视频示例中充满了物理错误，比如一群小狗在雪中玩闹的场景就很糟糕，大块雪的运动就完全违反了重力(是否真如此，有待判断)。
Sora 到底懂不懂物理?将来会不会懂?「预测下一个 token」是不是通往 AGI 的一个方向?我们期待各路研究者进行进一步验证。
