llama2

llama2官网,開源部署教程,模型下载,中文,論文,Meta發布的大型语言模型

llama2简介

今年2月，Meta發布了第一版Llama大型语言模型，这是在ChatGPT發布仅三个月后的一次重要进展。与之前只能用于研究目的的Llama预訓练模型不同，新發布的Llama 2具備商業应用的能力。Meta發布了三种参數規模的模型，分别是70亿、130亿和700亿。他们公布了模型訓练資料、訓练方法以及資料标注等細節，充分展示了Llama 2的實力：在相同的参數規模下，Llama 2的能力超越了所有的開源大型模型；700亿参數的模型在推理能力上接近ChatGPT背后的GPT-3.5，但在编寫代碼方面还存在較大差距。

llama2官网: https://ai.meta.com/llama/

这里填寫表格獲取llama2模型:

https://ai.meta.com/resources/models-and-libraries/llama-downloads/

llama2怎么样?

許多開發者對Llama 2进行了测試，基本證實了Meta的說法：“在编寫代碼的環節，它表现不错”。70亿参數的模型可以在Mac上運行，每秒處理6个字符，比Google發布的PaLM 2中最小的模型“壁虎”慢70%。然而，Google并没有公布“壁虎”的具体参數。

根据Meta公布的信息，Llama 2的訓练資料来源于公開資料，总量达到了2万亿个Token（指常用單词、标点符号或數字），比第一代模型增加了40%。此外，Llama 2的上下文长度擴展到了4000个字符，對文本语義的理解更加准确。

与OpenAI类似，Meta还透過人类反馈强化学習（RLHF）机制，利用100万条人类标注資料訓练了类似ChatGPT的對话应用。这也是过去几个月開源社区微调Llama的常用方法。Meta表示，“大型语言模型的出色撰寫能力从根本上是由RLHF驱动的。”

訓练Llama 2可能需要巨大的成本。HuggingFace的机器学習科学家内森·兰伯特估计，Llama 2的訓练成本可能超过2500万美元，不比三年前訓练GPT-3的成本低。他表示，有足够的跡象表明，Meta仍在繼續訓练更强大的Llama模型。

自去年末ChatGPT的發布以来，它以其富有意義的回复和强大的代碼编寫能力等功能震撼了世界。許多公司都在努力寻找类似的產品。經过半年多的發展，从大公司到普通程式员，都能借助開源社区實现类似ChatGPT的应用。根据云端開發平台Replit的觀察，每个季度使用其服務的開源大模型專案數量都在翻倍增长。

在诸如Llama等開源大模型的基礎上，開發者们还創建了各种開源資料集，如基于人类反馈的强化学習資料集，不斷提升開源大模型的能力。

根据加州大学伯克利分校、卡耐基梅隆大学等高校的教授和学生創建的LMSYS Org的評估，过去几个月，開源大模型与GPT-4之间的差距明顯缩小，从191分減少到最近的115分。在趕超的过程中，開源社区甚至领先于大公司，提供了可在電腦和手机上運行的大模型，比谷歌早一个多月發布。

随着Meta開源Llama 2，開源大模型社区的實力將进一步增强。Meta表示，第一个不支持商業用途的開源模型版本發布后，他们收到了超过10万名研究人员的使用申请，这还不包括直接从网上下载模型的人。

大模型發展

“NVIDIA”的高級人工智能科学家Jim Fan表示：“由于開源許可問题，大公司的人工智能研究人员對第一个版本的Llama持谨慎態度，但我认為现在很多人会加入这个專案(Llama 2)并貢献他们的力量。”他还表示，即使当前Llama 2在编程能力方面还不强，但開源發布后很快会追趕上来。

Llama 2發布的最大開源参數版本(700亿)仍不及三年前訓练的GPT-3一半，但效果却優于GPT-3，这是最好的證明之一。

開源的邏輯是，当大型模型达到一定能力后，就擴大了新技術的应用范围，让更多人使用技術，并从广泛应用中改进模型。而闭源公司如OpenAI更注重技術的先进性，在開發强大模型后再推广给更多人。

就像iOS和Android在手机作業係統领域的竞争一样，開源和闭源的竞争并不都是在同一维度上直接竞争，大型模型领域也会出现类似的分化。

在这种新的竞争格局下，即使是谷歌也没能保持领先的信心。

今年5月，Google一位高級工程師在内部文章中表示，尽管Google在大型模型的质量方面仍略占優势，但開源產品与Google大型模型之间的差距正在以驚人的速度缩小，開源模型的迭代速度更快，用户可以根据不同的業務場景进行定制開發，更有利于保護隐私資料，并且成本更低。

他說：“他们只需要几周时间，就能用100美元和130亿参數的模型做到我们花費1000万美元和540亿参數的模型很难實现的事情。我们没有護城河，OpenAI也没有。”

昨天，Meta在宣布Llama 2開源后解釋說，對于当今人工智能模型的發展来說，開源是正确的選择，尤其是在技術迅速發展的生產领域。他们表示，“透過向公眾提供人工智能模型，使其惠及所有人，而不仅仅是少數几家大公司。”

在生成式人工智能领域，一場与过去不同的新型竞争正在展開。開源社区凭借開放协作的力量，正以驚人的速度追趕商業巨頭们建立的领先優势。而过去習慣于技術封闭和市場壟斷的大公司，也在逐步擁抱開源。