Qwen2-Math：阿里巴巴最新开源的数学推理大模型

AIHubAI布道师

文章目录

Qwen2-Math是什么？

Qwen2-Math是阿里巴巴最新开源的数学推理大模型，是基于 Qwen2 LLM 构建的专门用于数学解题的一系列语言模型。Qwen2-Math 提供了基础和指令微调两种版本，分别有1.5B（15亿）、7B（79亿）和72B（720亿）三种参数规模，以适应不同的应用需求。

在多项数学基准测试中，Qwen2-Math展现出卓越的性能，超越了包括GPT-4o、Claude-3.5-Sonnet和Gemini-1.5 Pro在内的当前市场上一些领先的开闭源模型，跻身全球顶尖数学推理模型行列。

虽然Qwen2-Math目前仅支持英文，但阿里巴巴已宣布即将推出中英双语版本，这将助力更广泛的用户群体开发和利用生成式AI应用。

Qwen2-Math的主要特性

支持多版本： Qwen2-Math 提供了基础和指令微调两种版本，分别有1.5B、7B和72B三种参数规模，适应不同的应用需求。
卓越的数学推理能力： 该模型在多个数学基准测试上表现出色，包括 GSM8K、Math、MMLU-STEM 以及中国的高考数学题目，尤其是在数学竞赛题目的解答上表现优异。
先进的训练方法： Qwen2-Math 在高质量的数学专用语料库上进行预训练，并结合密集的奖励信号与二元信号进行微调优化，确保模型的高准确性和自我校正能力。
去污染处理： 为了确保测试结果的公正性，模型在训练和微调过程中对重叠样本进行了去污染处理，特别是清除了与知名基准测试数据集有重叠的污染样本。
未来发展： 目前，Qwen2-Math 仅支持英文版本，阿里巴巴计划很快推出中英双语版本，以支持更多用户开发生成式 AI 应用。

Qwen2-Math的性能评测

在一系列数学基准评测上评估了我们的数学专用模型 Qwen2-Math。在 Math 上的评测结果表明，我们最大的数学专用模型 Qwen2-Math-72B-Instruct 超越了最先进的模型，包括 GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro 和 Llama-3.1-405B。