LLaMa模型官网,github下载,Meta(Facebook)開放和高效的基礎语言模型
什么是LLaMa模型?
在2月25日，Meta官网發布了一款名為LLaMA（Large Language Model Meta AI）的新型大型语言模型。根据参數規模，Meta提供了70亿、130亿、330亿和650亿四种不同参數規模的LLaMA模型，并使用20种语言进行了訓练。与现有最佳的大型语言模型相比，LLaMA模型在性能上具有竞争力。
LLaMa模型官网:
https://github.com/facebookresearch/llama
論文地址: https://arxiv.org/abs/2302.13971
中文LLaMA&Alpaca大语言模型+本地CPU/GPU訓练部署 (Chinese LLaMA & Alpaca LLMs):
https://github.com/ymcui/Chinese-LLaMA-Alpaca
LLaMa模型怎么样?
LLaMA（Large Language Model Meta AI），由 Meta AI 發布的一个開放且高效的大型基礎语言模型，共有 7B、13B、33B、65B（650 亿）四种版本。其資料集来源都是公開資料集，無任何定制資料集，保證了其工作与開源兼容和可复现，整个訓练資料集在 token 化之后大約包含 1.4T 的 token。
關于模型性能，LLaMA 的性能非常優異：具有 130 亿参數的 LLaMA 模型「在大多數基准上」可以胜过 GPT-3（ 参數量达 1750 亿），而且可以在單块 V100 GPU 上運行；而最大的 650 亿参數的 LLaMA 模型可以媲美谷歌的 Chinchilla-70B 和 PaLM-540B。
關于訓练集，其来源都是公開資料集，無任何定制資料集，保證了其工作与開源兼容和可复现。整个訓练資料集在 token 化之后大約包含 1.4T 的 token。其中，LLaMA-65B 和 LLaMA-33B 是在 1.4万亿个 token 上訓练的，而最小的模型 LLaMA-7B 是在 1万亿个 token 上訓练的。
总体而言，LLaMA模型表现出色：擁有130亿参數的LLaMA模型在大多數基准测試中胜过了参數規模為1750亿的GPT-3，并且可以在單块V100 GPU上運行；而擁有650亿参數的LLaMA模型在性能上与谷歌的Chinchilla-70B和PaLM-540B相媲美。
Meta的首席执行官馬克·扎克伯格表示，LLaMA模型旨在帮助研究人员在生成文本、對话、总結書面材料、證明數学定理或预测蛋白质結构等更复雜的任務上取得进展，具有广闊的前景。
LLaMA模型相比Chinchilla、PaLM、GPT-3和ChatGPT等模型具有哪些優势和特点呢？
目前，Meta已經將相關論文上传至arXiv。
类似其他大型语言模型，LLaMA模型也存在一些問题，例如可能会產生偏見、有毒或虚假内容。Meta透過開源吸引更多研究人员的参与，以解决这些問题。
為了确保完整性和防止滥用，Meta將向非商業研究机构開放LLaMA的開源訪問權限，并根据具体情况授予学術研究人员訪問權限。这些權限將逐步授予政府、民间组織、学術界以及全球工業研究實验室的组織。
值得注意的是，LLaMA并非仅仅是一个聊天机器人，而是一种研究工具，可能用于解决与AI语言模型相關的問题。它是一套”更小、性能更好”的模型，并与谷歌的LaMDA和OpenAI的GPT模型不同，LLaMA是基于公開資料进行訓练的。LLaMA并非针對特定任務进行微调的模型，而是适用于許多不同任務的通用模型。
LLaMA模型將向整个AI研究社区開源，授予大学、非政府组織和工業實验室訪問權限。透過这种開源的方式，有助于解决大型语言模型中不可避免的偏見、有毒性和虚假内容的風险。
同时，小型模型透過使用更多的資料进行訓练，可以超越大型模型，例如LLaMA-13B在大多數基准测試中優于1750亿参數的GPT-3；而LLaMA-65B的性能与更大規模的Chinchilla-70B和PaLM-540B相媲美。
以ChatGPT、GPT-4等為代表的大语言模型（Large Language Model, LLM）掀起了新一輪自然语言處理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到業界广泛關注。然而，由于大语言模型的訓练和部署都极為昂貴，為构建透明且開放的学術研究造成了一定的阻碍。
中文LLaMA模型
為了促进大模型在中文NLP社区的開放研究，本專案開源了中文LLaMA模型和指令精调的Alpaca大模型。这些模型在原版LLaMA的基礎上擴充了中文词表并使用了中文資料进行二次预訓练，进一步提升了中文基礎语義理解能力。同时，中文Alpaca模型进一步使用了中文指令資料进行精调，顯著提升了模型對指令的理解和执行能力。详細内容请参考技術報告(Cui, Yang, and Yao, 2023)。
本專案主要内容：
- 🚀 针對原版LLaMA模型擴充了中文词表，提升了中文编解碼效率
- 🚀 開源了使用中文文本資料预訓练的中文LLaMA以及經过指令精调的中文Alpaca
- 🚀 開源了预訓练脚本、指令精调脚本，用户可根据需要自行进一步訓练
- 🚀 快速使用筆電電腦（个人PC）的CPU/GPU本地量化和部署体验大模型
- 🚀 支持🤗transformers, llama.cpp, text-generation-webui, LlamaChat, LangChain, privateGPT等生態
- 目前已開源的模型版本：7B（标准版、Plus版）、13B（标准版、Plus版）
💡 下圖是中文Alpaca-7B模型在本地CPU量化部署后的實際体验效果（GIF未加速，M1 Max下實测）。
数据评估
本站ai工具百寶箱提供的LLaMa都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由ai工具百寶箱实际控制，在2024年11月30日 下午4:02收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，ai工具百寶箱不承担任何责任。
相关导航
