grok 1

xai官网: https://x.ai/

xai github: https://github.com/xai-org/

grok 1發布时间

2024年3月19日凌晨，馬斯克旗下的大型模型公司xAl宣布正式開源擁有3140亿参數的混合專家（MOE）模型「Grok-1」，并公開了该模型的權重和網路架构。

这一舉动使得Grok-1成為当前参數量最大的開源大型语言模型。

grok 1怎么样?

關于Grok-1的模型細節包括：

– 基礎模型是基于大量文本資料进行訓练的，没有针對任何具体任務进行微调；
– 3140亿参數的MOE模型，在给定token上的激活權重為25%；
– 于2023年10月，xAl使用JAX库和Rust语言组成的客製化訓练堆棧从頭開始訓练。

xAl遵守Apache 2.0許可證来開源Grok-1的權重和架构。Apache 2.0許可證允許用户自由地使用、修改和分發軟體，無論是个人还是商業用途。專案發布仅四个小时，就已經獲得了3.4k个星标，熱度还在持續增加。

该存儲库包含用于加载和運行Grok-1開放權重模型的JAX示例代碼。在使用之前，用户需要确保已下载检查点，并將ckpt-0目錄放置在检查点中，然后運行以下代碼进行测試：

“`
pip install -r requirements.txt
python run.py
“`

專案說明明确强调，由于Grok-1是一个規模較大（314B参數）的模型，因此需要擁有足够GPU記憶體的机器才能使用示例代碼测試模型。此外，该存儲库中MOE層的實现效率并不高，選择该實现是為了避免需要客製化内核来验證模型的正确性。

可能需要一台擁有628GB GPU記憶體的机器（每个参數2字節）来運行模型。