# S1模型

## 概述
以**不足50美元的云计算成本**完成训练，在数学推理和代码生成等任务中展现出与OpenAI的o1、DeepSeek的R1等顶尖模型相媲美的性能。

---

## 实现流程
### 数据来源
16 个不同的来源收集59029个问题，主要包括数学问题。
通过Google Gemini Flash Thinking API生成推理轨迹，得到三元组（问题，推理，答案）（蒸馏Gemini，之后使用DeepSeek r1重新生成轨迹，性能进一步提升）
### 数据处理
1、质量过滤：剔除调用API报错的样本，保留54116个，剔除格式有问题的样本，保留51,581个\
2、 研究人员筛选出高质量且无需进一步筛选的数据共384个样本作为最终1,000 个样本的一部分\
3、难度过滤：Qwen2.5-7B-Instruct 和 Qwen2.5-32B-Instruct生成问题答案，Claude 3.5 Sonnet评估正确性，去除模型回答正确和推理轨迹短的样本，保留24496个\
4、Claude 3.5 Sonnet将数据按数学主题分类（MSC），覆盖50个领域。随机选择一个领域，按照推理链长短进行排序，优先选择长度较长的，不断迭代，直到得到1000个样本（加上之前的384个）
### 微调
使用1000条数据微调Qwen2.5-32B-Instruct
### 测试时扩展
**预算强制**控制模型思考过程，进一步提升模型的性能