成本不到150元，训练出一个媲美DeepSeek-R1和OpenAI o1的推理模型？！
这不是洋葱新闻，而是AI教母李飞飞、斯坦福大学、华盛顿大学、艾伦人工智能实验室等携手推出的新杰作：s1。
在数学和编程能力的评测集上，s1的表现比肩DeepSeek-R1和o1。
而训一个这样性能的模型，团队仅仅用了16个英伟达H100，训练耗时26分钟。
据TechCrunch，这个训练过程消耗了不到50美元的云计算成本，约合人民币364.61元；而s1模型作者之一表示，训练s1所需的计算资源，在当下约花20美元（约145.844元）就能租到。
怎么做到的？？？
s1团队表示，秘诀只有一个：蒸馏。
简单来说，团队以阿里通义团队的Qwen2.5- 32B-Instruct作为基础模型，通过蒸馏谷歌DeepMind的推理模型Gemini 2.0 Flash Thinking实验版，终得到了s1模型。
为了训练s1，研究团队创建了一个包含1000个问题（精心挑选那种）的数据集，且每个问题都附有答案，以及Gemini 2.0 Flash Thinking实验版的思考过程。
目前，项目论文《s1: Simple test-time scaling》已经挂上arXiv，模型s1也已在GitHub上开源，研究团队提供了训练它的数据和代码。
150元成本，训练26分钟
s1团队搞这个花活，起因是OpenAI o1展现了Test-time Scaling的能力。
即「在推理阶段通过增加计算资源或时间，来提升大模型的性能」，这是原本预训练Scaling Law达到瓶颈后的一种新Scaling。
但OpenAI并未公开是如何实现这一点的。
在复现狂潮之下，s1团队的目标是寻找到Test-time Scaling的简单方法。
过程中，研究人员先构建了一个1000个样本的数据集，名为s1K。
起初，在遵循质量、难度、多样性原则的基础上，这个数据集收集了来自MATH、AGIEval等诸多来源的59029个问题。
经去重、去噪后，通过质量筛选、基于模型性能和推理痕迹长度的难度筛选，以及基于数学学科分类的多样性筛选，终留下了一个涵盖1000个精心挑选过的问题的数据集。
且每个问题都附有答案，以及谷歌Gemini 2.0 Flash Thinking实验版的模型思考过程。
这就是终的s1K。
研究人员表示，Test-time Scaling有2种。
第1种，顺序Scaling，较晚的计算取决于焦躁的计算（如较长的推理轨迹）。
第2种，并行Scaling，be like计算独立运行（如多数投票任务）。
s1团队专注于顺序这部分，原因是团队“从直觉上”认为它可以起到更好的Scaling——因为后面的计算可以以中间结果为基础，从而允许更深入的推理和迭代细化。
基于此，s1团队提出了新的顺序Scaling方法，以及对应的Benchmark。
研究过程中，团队提出了一种简单的解码时间干预方法budget forcing，在测试时强制设定大和/或小的思考token数量。
具体来说，研究者使用了一种很简单的办法：
直接添加“end-of-thinking token分隔符”和“Final Answer”，来强制设定思考token数量上限，从而让模型提前结束思考阶段，并促使它提供当前思考过程中的佳答案。
为了强制设定思考过程的token数量下限，团队又禁止模型生成“end-of-thinking token分隔符”，并可以选择在模型当前推理轨迹中添加“wait”这个词，鼓励它多想想，反思反思当前的思考结果，引导佳答案。
以下是budget forcing这个办法的一个实操示例：
团队还为budget forcing提供了baseline。
一是条件长度控制方法（Conditional length-control methods），该方法依赖于，在提示中告诉模型它应该花费多长时间来生成输出。
团队按颗粒度将它们分为Token-conditional控制、步骤条件控制和类条件控制。
Token-conditional控制：在提示词中，指定Thinking Tokens的上限；
步骤条件控制：指定一个思考步骤的上限。其中每个步骤约100个tokens；
类条件控制：编写两个通用提示，告诉模型思考短时间或长时间。
二是拒绝抽样（rejection sampling）。
即在抽样过程中，若某一生成内容符合预先设定的计算预算，就停止计算。
该算法通过其长度来捕捉响应的后验分布。
而s1模型的整个训练过程，只用了不到半个小时——
团队在论文中表示，他们使用Qwen2.532B-Instruct模型在s1K数据集上进行SFT，使用16个英伟达H100，训练耗时26分钟。
s1研究团队的Niklas Muennighoff（斯坦福大学研究员）告诉TechCrunch，训练s1所需的计算资源，在当下约花20美元就能租到。
研究新发现：频繁抑制思考会导致死循环
训出模型后，团队选用3个推理基准测试，把s1-32B和OpenAI o1系列、DeepSeek-R1系列、阿里通义Qwen2.5系列/QWQ、昆仑万维Sky系列、Gemini 2.0 Flash Thinking实验版等多个模型进行对比。
3个推理基准测试如下：
AIME24：2024年美国数学邀请考试中使用的30个问题
MATH500：不同难度的竞赛数学问题的基准
GPQA Diamond：生物、化学和物理领域的198个博士级问题
整体来说，采用了budget forcing的s1-32B扩展了更多的test-time compute。
评测数据显示，s1-32B在MATH500上拿到了93.0的成绩，超过o1-mini，媲美o1和DeepSeek-R1。
不过，如下图所示，团队发现，虽然可以用budget forcing和更多的test-time compute来提高s1在AIME24上的性能，在AIME24上比 o1-preview高提升27%。
但曲线终在性能提升6倍后趋于平缓。
由此，团队在论文中写道：
过于频繁地抑制思考结束标记分隔符，会导致模型进入重复循环，而不是继续推理。
而如下图所示，在s1K上训练Qwen2.5-32B-Instruct来得到s1-32B，并为它配备了简单的budget forcing后，它采用了不同的scaling范式。
具体来说，通过多数投票在基础模型上对test-time compute进行Scale的方法，训出的模型无法赶上s1-32B的性能。
这就验证了团队之前的“直觉”，即顺序Scaling比并行Scaling更有效。
此外，团队提到，s1-32B仅仅使用了1000个样本训练，在AIME24上的成绩就能接近Gemini 2.0 Thinking，是“样本效率高的开源数据推理模型”。
研究人员还表示，Budget forcing在控制、缩放和性能指标上表现佳。
而其它方法，如Token-conditional控制、步骤条件控制、类条件控制等，均存在各种问题。
One More Thing
s1模型，是在一个1000个精挑细选的小样本数据集上，通过SFT，让小模型能力在数学等评测集上性能飙升的研究。
但结合近期刷爆全网的DeepSeek-R1——以1/50成本比肩o1性能——背后的故事，可以窥见模型推理技术的更多值得挖掘之处。
模型蒸馏技术加持下，DeepSeek-R1的训练成本震撼硅谷。
现在，AI教母李飞飞等，又一次运用「蒸馏」，花费低到令人咋舌的训练成本，做出了一个能媲美顶尖推理模型的32B推理模型。
一起期待大模型技术更精彩的2025年吧～
本文链接：http://www.lverk.com/news43569.html成本不到150元！26分钟训出个推理模型 媲美o1和R1
