Qwen2

Qwen2官网,通義千問開源超闭源！Qwen2發布即爆火

Qwen2是什么？

Qwen2是阿里云通義千問團队開源的新一代大语言模型，推出了5个尺寸的预訓练和指令微调模型，在中文英语的基礎上，訓练資料中增加了27种语言相關的高质量資料；代碼和數学能力顯著提升；增大了上下文长度支持，最高达到 128K tokens (Qwen2-72B-Iinstruct）。多个評测基准上的领先表现。现已在Hugging Face和ModelScope開源。

如何使用Qwen2？

目前，Qwen2已在Hugging Face和ModelScope上同步開源

相關資源地址如下：

• ModelScope模型地址：https://modelscope.cn/organization/qwen

• Qwen2專案部落格：https://qwenlm.github.io/zh/blog/qwen2
• 在线体验地址：https://huggingface.co/spaces/Qwen/Qwen2-72B-Instruct
• GitHub地址：https://github.com/QwenLM/Qwen2
• Hugging Face模型地址：https://huggingface.co/Qwen

Qwen2系列包含5个尺寸的预訓练和指令微调模型，其中包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B- A14B和Qwen2-72B。如下表所示：

AI 社区不应忽視中国机器学習生態系統

HuggingFace 平台和社区负责人 Omar Sanseviero 曾表示，全球 AI 社区在一定程度上忽視了中国机器学習生態系統的創新和成就。他指出，中国的研究人员和開發團队正在大语言模型、視觉模型、音频模型和擴散模型领域做出許多令人驚嘆的工作，湧现出了如 Qwen、Yi、DeepSeek、Yuan、WizardLM、ChatGLM、CogVLM、Baichuan、InternLM、OpenBMB、Skywork、ChatTTS、Ernie、HunyuanDiT 等一系列杰出模型。

Qwen2 大模型開源，引發行業關注

近日，阿里云通義千問團队宣布了 Qwen2 大模型的開源訊息，这一訊息迅速在 AI 開發者社区引起了广泛關注。Qwen2-72B 大模型的性能超越了許多業内知名的開源模型，包括 Llama3-70B。此外，Qwen2-72B 也在性能上超过了中国国内的許多闭源大模型，如文心 4.0、豆包 pro、混元 pro 等。

 Qwen2-72B 的優势

Qwen2-72B 是阿里云通義千問團队最新研發的大语言模型，其在多个關键指标上的表现均優于现有的頂尖模型。以下是 Qwen2-72B 的几大亮点：

1. **超高性能**：Qwen2-72B 在處理自然语言理解和生成任務时表现出色，其性能顯著優于 Llama3-70B 以及其他許多国際领先的模型。

2. **广泛适用性**：Qwen2-72B 适用于多种应用場景，包括但不限于自然语言處理、机器翻译、對话系統等，能够為各类 AI 專案提供强大的技術支持。

3. **開源和社区支持**：Qwen2-72B 作為一个開源模型，所有人均可在魔搭社区和 Hugging Face 平台免費獲取。这种開放策略不仅促进了技術的普及和应用，还鼓勵了全球開發者的共同进步与合作。

中国 AI 模型的崛起

近年来，中国的 AI 研究和開發取得了顯著的进步，許多團队在国際上崭露頭角。以下是一些備受瞩目的中国 AI 模型：

– **Yi**：專注于視觉模型领域，表现優異。
– **DeepSeek**：在音频處理和擴散模型方面展现了卓越的技術實力。
– **Yuan** 和 **WizardLM**：在大语言模型方面具有极高的准确性和生成能力。
– **ChatGLM** 和 **CogVLM**：在對话系統和視觉语言模型方面取得了重大突破。
– **Baichuan**、**InternLM** 和 **OpenBMB**：在不同的 AI 应用場景中展现了广泛的应用潛力。

这些模型不仅在技術指标上表现優異，还在實際应用中展现了强大的功能和靈活性，為各行各業的智能化升級提供了有力支持。

Qwen2 大模型發布：引领AI新时代

今年2月，阿里云通義千問團队推出了Qwen1.5，迅速引起了广泛關注。如今，Qwen2的發布再次實现了性能的飛跃，进一步鞏固了其在人工智能领域的领先地位。在上海人工智能實验室推出的權威模型测評榜單OpenCompass中，Qwen1.5-110B已领先于文心4.0等眾多国内闭源模型。Qwen2的表现更加令人期待。

Qwen2 系列模型概述

Qwen2系列包括五种尺寸的基礎和指令调優模型，分别為Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B。这些模型均采用了GQA（Grouped-Query Attention）技術，不仅提升了推理速度，还顯著降低了顯存占用，使得用户能够更方便地体验到其優越性能。

多样化尺寸，滿足不同需求

Qwen2系列在模型尺寸上进行了多样化設计，以滿足不同用户的需求。無論是需要轻量化解决方案的小型模型，还是追求高性能的大型模型，Qwen2都能提供合适的選择。

小尺寸模型

针對小尺寸模型，由于embedding参數量較大，Qwen2系列采用了Tie Embedding方法，使输入和输出層共享参數，增加了非embedding参數的占比，从而在保持模型性能的同时，降低了计算資源的需求。

长上下文處理能力

所有Qwen2系列的预訓练模型均在32K tokens的資料上进行訓练，并在128K tokens时依然能在PPL（Perplexity）評测中取得優異表现。针對指令微调模型，Qwen2-7B-Instruct和Qwen2-72B-Instruct在长达128K tokens的上下文长度上表现出色，这對于长序列理解任務具有重要意義。

多语言支持与優化

研究團队在多语言预訓练和指令微调資料的規模和质量上投入了大量精力，提升了模型的多语言能力。除了中英文之外，Qwen2还增强了對27种其他语言的支持，并针對多语言場景中常見的语言轉换（code switch）問题进行了優化，顯著降低了语言轉换的發生概率。

性能与優化

Qwen2-72B在多个基准测試中表现優異，包括自然语言理解、知識、代碼、數学及多语言等方面，均顯著超越当前领先的開源模型，如Llama-3-70B和Qwen1.5-110B。这主要得益于其预訓练資料及訓练方法的優化。

预訓练与微调

大規模预訓练后，研究團队對模型进行了精細的微调，以提升其智能水平，使其表现更接近人类。微调过程遵循了規模化和減少人工标注的原则，采用多种自动方法獲取高质量、可靠、有創造力的指令和偏好資料。

創新訓练方法

團队結合了有监督微调、反馈模型訓练以及在线DPO（Dual-Path Optimization）等方法，并采用在线模型合并的方法減少對齊税。这些創新方法不仅提升了模型的代碼、數学、推理、指令遵循、多语言理解等能力，还使其在基准测試中表现出色。

代碼与數学能力提升

在代碼方面，Qwen2融入了CodeQwen1.5的成功經验，實现了在多种编程语言上的顯著效果提升。在數学方面，大規模且高质量的資料帮助Qwen2-72B-Instruct實现了數学解题能力的飛升。

模型表现与应用

Qwen2-72B-Instruct在16个基准测試中的表现優異，在基礎能力提升以及對齊人类价值觀方面取得了較好的平衡。相比Qwen1.5的72B模型，Qwen2-72B-Instruct在所有評测中均大幅超越，并取得了匹敌Llama-3-70B-Instruct的表现。

小模型的卓越表现

Qwen2系列的小模型也表现出色，能够超越同等規模的最優開源模型，甚至超过更大規模的模型。Qwen2-7B-Instruct在多个評测上取得顯著優势，尤其是在代碼及中文理解上。

全球開源社区的影响

自2023年8月開源以来，通義千問不仅在国内開源社区中影响巨大，更是在全球開源社区中占据重要位置。今日，Qwen2系列模型的API已第一时间登陸阿里云百煉平台。在Llama開源生態之外，全球開發者现在擁有了更多的選择。