ChatGLM

ChatGLM官网,清華技術,智谱AI開源的GLM系列的對话模型

什么是ChatGLM?

ChatGLM 是智谱AI公司基于清華技術成果轉化而開源的對话模型系列，支持中英两种语言。目前，该系列開源了規模為62亿参數的模型。这些模型在繼承了GLM的優势基礎上进行了架构優化，降低了部署和应用的門槛，使得大型模型可以在消費級顯卡上进行推理应用。

ChatGLM官网: https://chatglm.cn/

github專案网址: (安装和使用教程请看官方介绍)

https://github.com/THUDM/ChatGLM-6B

从技術路线的角度来看，ChatGLM 實现了强化学習人类對齊策略，使得生成的對话效果更加贴近人类的价值觀。目前，它的能力领域主要包括自我认知、提綱寫作、文案寫作、郵件寫作助手、信息抽取、角色扮演、評論比較、旅遊建議等。此外，ChatGLM 还開發了一个正在内测的超大模型，参數規模达到了1300亿，这在当前的開源對话模型中属于較大規模。

ChatGLM 的開源為研究人员和開發者提供了一个强大的工具，可以用于各种對话場景和应用。它的性能和規模使得它成為處理复雜對话任務和生成高质量對话的理想選择。随着ChatGLM的不斷發展和改进，我们可以期待更多創新和应用在對话系統领域的實现。

详細介绍

ChatGLM-6B 是一个開源的、支持中英双语的對话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参數。結合模型量化技術，用户可以在消費級的顯卡上进行本地部署（INT4 量化級别下最低只需 6GB 顯存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技術，针對中文問答和對话进行了優化。經过約 1T 标識符的中英双语訓练，辅以监督微调、反馈自助、人类反馈强化学習等技術的加持，62 亿参數的 ChatGLM-6B 已經能生成相当符合人类偏好的回答，更多信息请参考我们的部落格。

為了方便下遊開發者针對自己的应用場景定制模型，我们同时實现了基于 P-Tuning v2 的高效参數微调方法 (使用指南) ，INT4 量化級别下最低只需 7GB 顯存即可启动微调。

想让 ChatGLM-6B 更符合你的应用場景？歡迎参与 Badcase 反馈计劃。

ChatGLM-6B 開源模型旨在与開源社区一起推动大模型技術發展，恳请開發者和大家遵守開源协議，勿將開源模型和代碼及基于開源專案產生的衍生物用于任何可能给国家和社会帶来危害的用途以及用于任何未經过安全評估和備案的服務。目前，本專案團队未基于 ChatGLM-6B 開發任何应用，包括网页端、安卓、苹果 iOS 及 Windows App 等应用。

尽管模型在訓练的各个阶段都尽力确保資料的合規性和准确性，但由于 ChatGLM-6B 模型規模較小，且模型受概率随机性因素影响，無法保證输出内容的准确性，且模型易被誤導（详見局限性）。本專案不承担開源模型和代碼導致的資料安全、舆情風险或發生任何模型被誤導、滥用、传播、不当利用而產生的風险和责任。

使用方式

硬體需求

環境安装

使用 pip 安装依賴：pip install -r requirements.txt，其中 transformers 库版本推荐為 4.27.1，但理論上不低于 4.23.1 即可。

此外，如果需要在 cpu 上運行量化后的模型，还需要安装 gcc 与 openmp。多數 Linux 發行版默认已安装。對于 Windows ，可在安装 TDM-GCC 时勾選 openmp。 Windows 测試環境 gcc 版本為 TDM-GCC 10.3.0， Linux 為 gcc 11.3.0。在 MacOS 上请参考 Q1。

代碼调用

可以透過如下代碼调用 ChatGLM-6B 模型来生成對话：

>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
你好👋!我是人工智能助手 ChatGLM-6B,很高興見到你,歡迎問我任何問题。
>>> response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
>>> print(response)
晚上睡不着可能会让你感到焦慮或不舒服,但以下是一些可以帮助你入睡的方法:

1. 制定規律的睡眠时间表:保持規律的睡眠时间表可以帮助你建立健康的睡眠習慣,使你更容易入睡。尽量在每天的相同时间上床,并在同一时间起床。
2. 創造一个舒适的睡眠環境:确保睡眠環境舒适,安静,黑暗且温度适宜。可以使用舒适的床上用品,并保持房间通風。
3. 放松身心:在睡前做些放松的活动,例如泡个熱水澡,聽些轻柔的音樂,阅讀一些有趣的書籍等,有助于缓解紧張和焦慮,使你更容易入睡。
4. 避免飲用含有咖啡因的飲料:咖啡因是一种刺激性物质,会影响你的睡眠质量。尽量避免在睡前飲用含有咖啡因的飲料,例如咖啡,茶和可樂。
5. 避免在床上做与睡眠無關的事情:在床上做些与睡眠無關的事情,例如看電影,玩遊戏或工作等,可能会干扰你的睡眠。
6. 尝試呼吸技巧:深呼吸是一种放松技巧,可以帮助你缓解紧張和焦慮,使你更容易入睡。試着慢慢吸氣,保持几秒鐘,然后缓慢呼氣。

如果这些方法無法帮助你入睡,你可以考慮咨詢医生或睡眠專家,寻求进一步的建議。

模型的實现仍然處在變动中。如果希望固定使用的模型實现以保證兼容性，可以在 from_pretrained 的调用中增加 revision="v1.1.0" 参數。v1.1.0 是当前最新的版本号，完整的版本列表参見 Change Log。

从本地加载模型

以上代碼会由 transformers 自动下载模型實现和参數。完整的模型實现可以在 Hugging Face Hub。如果你的網路環境較差，下载模型参數可能会花費較长时间甚至失败。此时可以先將模型下载到本地，然后从本地加载。

从 Hugging Face Hub 下载模型需要先安装Git LFS，然后運行

git clone https://huggingface.co/THUDM/chatglm-6b

如果你从 Hugging Face Hub 上下载 checkpoint 的速度較慢，可以只下载模型實现

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b

然后从这里手动下载模型参數文件，并將下载的文件替换到本地的 chatglm-6b 目錄下。

將模型下载到本地之后，將以上代碼中的 THUDM/chatglm-6b 替换為你本地的 chatglm-6b 資料夾的路徑，即可从本地加载模型。

Optional 模型的實现仍然處在變动中。如果希望固定使用的模型實现以保證兼容性，可以执行

git checkout v1.1.0

Demo & API

我们提供了一个基于 Gradio 的网页版 Demo 和一个命令行 Demo。使用时首先需要下载本仓库：

git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B