Guanaco原驼

Guanaco原驼官网,微调LLaMA模型框架,效果直逼GPT-4

什么是Guanaco原驼?

華盛顿大学的NLP小组提出了一种名為QLoRA的方法，可以在擁有48GB顯存的顯卡上微调擁有650亿参數的LLaMA模型，而且据称性能几乎没有損失。QLoRA是一种新的方法，可以在單个GPU上微调大型语言模型。最近，華盛顿大学的研究人员使用QLoRA方法開發了Guanaco，这是一个基于Meta的LLaMA模型的聊天机器人系列。其中最大的Guanaco變体擁有650亿个参數，并在与GPT-4进行基准测試时實现了超过99%与ChatGPT（GPT-3.5-turbo）相近的性能。

Guanaco参考网址:  https://github.com/artidoro/qlora

Guanaco技術細節

QLoRA方法是在LLaMA模型的框架下提出的，它包含了以下核心技術原理和与其他方法的区别：

1. 4位NormalFloat：这种理論上最優的量化資料类型用于處理正態分布的資料，優于4位整數和4位浮点數。
2. Double Quantization：透過對量化常數进行量化，可以減少平均記憶體占用，每个参數平均可以節省約0.37个bits（對于650亿参數的模型来說，大約節省3GB）。
3. Paged Optimizers：使用NVIDIA統一記憶體来避免處理小批量长序列时的梯度检查点記憶體峰值。

透過QLoRA方法，研究人员在测試中微调了數千个模型，結果顯示基于QLoRA方法微调的Guanaco模型在性能上超越了目前所有的開源模型，甚至比ChatGPT更强大，并接近GPT-4。Guanaco模型包括四个版本，从70亿参數到650亿参數，所有版本都將開源。

这项研究还包含了大量与大模型相關的資料和結論，建議阅讀原始論文以獲取更详細的信息。論文涵蓋了不同模型的顯存占用、当前大模型評测基准的偏差等内容。

QLoRA方法的提出是為了解决如何有效微调大型语言模型以優化其性能的問题。尽管大型模型具有强大的能力，但對于特定领域的資料集来說，微调仍然是必要的，因為企業和个人可能具有特定领域的專有資料和知識，而通用模型的零-shot能力难以擴展到这些特定领域中。

QLoRA方法為在48GB顯存的顯卡上微调大模型提供了解决方案，透過量化和其他優化方法，它降低了顯存要求并保持了原始模型的性能。

总之，QLoRA方法在大模型微调中具有潛力，可以提供更高效的顯存使用和優越的性能，进一步推动语言模型领域的研究和应用。

QLoRA是一种新的方法，可以在單个GPU上微调大型语言模型。最近，華盛顿大学的研究人员使用QLoRA方法開發了Guanaco，这是一个基于Meta的LLaMA模型的聊天机器人系列。其中最大的Guanaco變体擁有650亿个参數，并在与GPT-4进行基准测試时實现了超过99%与ChatGPT（GPT-3.5-turbo）相近的性能。

微调大型语言模型是提高性能和訓练效果的關键技術之一。然而，这个过程對于大型模型来說计算量非常庞大，例如LLaMA65B模型可能需要超过780GB的GPU顯存。尽管開源社区已經使用各种量化方法將16位模型压缩為4位模型，从而大大減少了推理过程所需的記憶體，但在微调过程中尚未采用类似的方法。

QLoRA方法填补了这一空白，使得在單个GPU上微调大型语言模型成為可能。它透過使用新的量化方法和記憶體優化技術，有效地降低了顯存需求，并保持了原始模型的性能。

Guanaco聊天机器人的發布进一步證明了QLoRA方法的可行性和實用性。Guanaco系列模型在性能上几乎与ChatGPT相当，而顯存占用明顯較低。这意味着開發人员和研究人员可以在相對較小的计算資源下訓练和微调性能强大的大型语言模型，从而加速自然语言處理和人工智能领域的創新。

需要注意的是，尽管QLoRA方法和Guanaco模型在研究和学術领域取得了顯著进展，但目前还不允許商業用途。然而，这一领域的不斷發展和優化為未来的商業应用打下了堅實的基礎。

QLoRA方法的提出為微调大型语言模型帶来了新的可能性，尤其是在資源受限的環境中。它為研究人员和開發者提供了更靈活、高效的工具，以加速自然语言處理和人工智能技術的發展，為未来的創新鋪平了道路。

研究人员透過QLoRA方法展示了一种將LLaMA等模型量化為4位并进行微调的方法，并引入了Guanaco模型作為示例。透過这种方法，他们成功地將650亿参數模型的記憶體需求从超过780GB降低到不到48GB的GPU記憶體，并獲得了与微调16位模型相当的結果。

QLoRA方法的出现标志着大型语言模型微调的可訪問性取得了重大突破，成為迄今為止在單个GPU上微调的最大公開可用模型。

该研究團队进行了多次實验，訓练了超过1000个模型，用于测試QLoRA和不同微调資料集的影响。他们的研究發现，資料的质量比任務的數量更為重要。在訓练聊天机器人时，使用OpenAssistant資料集上的人类样本訓练的模型比使用FLANv2資料集上的大量样本訓练的模型表现更好。因此，Guanaco模型主要依賴于OpenAssistant資料集。

透過QLoRA方法訓练的Guanaco模型系列表现出色，其中第二好的模型以330亿个参數在基准测試中實现了97.8%的ChatGPT性能，并且仅用不到12小时的时间在單个普通GPU上完成訓练。在專業級GPU上，具有650亿个参數的最大模型仅用24小时就达到了99.3%的ChatGPT性能。

最小的Guanaco模型只有70亿个参數，仅需要5GB的GPU記憶體，在Vicuna基准测試中表现出超过26GB羊驼模型20个百分点以上的性能。

除了QLoRA和Guanaco模型，该研究團队还發布了OpenAssistant基准测試，供模型之间相互竞争，并由人类或GPT-4對結果进行評分。

然而，该研究團队指出，數学能力和4位推理速度仍存在問题，他们希望能提高推理速度，预计速度將提高8至16倍。

微调是將大型语言模型轉變為像ChatGPT这样的聊天机器人的重要工具，研究人员相信QLoRA方法將使微调更加易于實现，特别是對于資源有限的研究人员而言。他们认為，这對于自然语言處理领域尖端技術的可訪問性是一个巨大的胜利。

除了微调当今最大的语言模型，研究人员还展望了在移动硬體上应用私有模型的可能性。他们表示，QLoRA还將在手机上實现隐私保護微调，预计每晚使用iPhone 12 Plus可微调300万个單词。这意味着，將来我们將能够在手机上運行针對每个应用程式的特定大型语言模型。

更多關于Guanaco-33B的信息和代碼可以在GitHub上查看。