StableLM

StableLM官网,Stability AI推出的类chatgpt大语言模型

StableLM是什么?

或許每一次歷史潮流的興起，都有着熱熱闹闹的場面。今年年初，AI大型语言模型（LLM）ChatGPT引爆了市場，而现在又有一位重磅選手加入这場竞争——Stability AI。Stability AI是一家推出火爆AI繪画领域Stable Diffusion開源模型的公司。在4月19日，他们宣布推出開源大语言模型StableLM，并發起了對ChatGPT的挑戰。当您进入Stability AI网站上的大语言模型介绍页面时，您会先看到一只绿鹦鹉，展现了Stable Diffusion XL的繪画特点，然后才是大语言模型的介绍。也許，这就是大语言模型“Stable Diffusion”不期而至的时刻吧。

StableLM官网

GitHub等開源平台上下载：https://github.com/stability-AI/stableLM/

Stability AI近期發布了大型语言模型StableLM，该网站介绍了该模型的相關参數和下载方式。目前，StableLM的Alpha版本已經可以从GitHub等開源平台上下载，包括30亿和70亿参數版本，而后續还將推出更高参數的版本。与Stable Diffusion类似，開發者可以在遵守协議的情况下，將该模型用于商業或研究活动。

Stability AI成立于2019年，是生成式AI领域中最知名的公司之一。在ChatGPT占据市場地位的大语言模型市場上，不少人期待着类似Stable Diffusion的開源模型能尽快出现。而Stability AI將其StableLM的發布比作Stable Diffusion，这预示着该模型也將像Stable Diffusion一样向公眾開放使用。这一訊息吸引了很多人的關注，AI軍備竞賽的開启或許就要開始了。

因此，Stability AI在今年年初与Hugging Face等几个初創公司一起資助了研究中心Eleuther AI，StableLM便是建立在Eleuther AI的開源模型之上。

这些模型包括GPT-J、GPT-NeoX和Pythia等等，而此次大模型的訓练则是在The Pile这个開源資料集上完成的，该資料集融合了PubMed、StackExchange和维基百科等多个网站的文本样本，規模是The Pile的三倍，共包含1.5万亿个内容标記。

尽管参數規模与GPT-3無法进行直接比較，但StableLM在交流和编程方面展现出了驚人的高性能，这正是多样的文本資料集帶来的好處。