与传统的基于下一个 token 预测的模型不同,o1 模型在给出最终答案之前,会花费大量的计算资源进行“内部推理”。这种被称为强化学习(RL)引导的思维链方法,极大地提升了它在逻辑密集型任务上的表现。
据内部消息透露,随着计算规模的不断扩大(Test-time compute scaling),未来我们会看到解决高阶科学研究问题(如 AlphaFold 级别突破)的更强大的推理模型。