零⼀万物

零⼀万物官网,千亿参數模型,技術願景驱动的ai2.0大模型公司

简介

零一万物致力于成為一家由技術願景驱动、擁有卓越中国工程底蕴的創新企業，推动以基座大模型為突破的A1 2.0掀起技術、平台到应用多个層面的革命。

零⼀万物官网: https://www.01.ai/

零一万物大模型開放平台: https://platform.lingyiwanwu.com/

万知ai官网: https://www.wanzhi.com/

详細介绍

Yi系列模型包含34B和6B两个版本。两者的区别在于，Yi-6B适合个人及研究用途，而Yi-34B已經具備大模型湧现能力，适合發挥于多元場景，滿足開源社区的刚性需求。两者目前都已開放免費商用申请。
圖片
其中，Yi-34B資料参數量达到340亿，可支持200K超长上下文窗口，可以處理約40万汉字超长文本输入，是目前全球最长版本。
相比之下，OpenAI的GPT-4上下文窗口只有32K，文字處理量約2.5万字。稍早前，由王小川創办的百川智能發布Baichuan2-192K大模型，其上下文窗口长度达192K，一度成為全球最长的上下文窗口。仅仅过去一周，这一記錄再次被刷新。
為何在这一领域的竞争如此激烈？實際上，上下文窗口长度是大模型的核心技術之一。通俗来講，上下文窗口越大，窗口所能容納的信息就越多，从而可以結合更多上下文内容獲取更丰富的语義信息，不仅生成的信息准确度更高，而且应用范围更為广泛。
所以，如何把上下文窗口做得更大，成為各家公司比拼的戰場。而Yi-34B的突破，相当于能一次處理两本《三体》小說、理解超过1000页的PDF文档等場景，將成為首家將超长上下文窗口在開源社区開放的大模型公司。
另一个突破则在于訓练成本大幅降低。零一万物给出一组資料：Yi-34B模型訓练成本實测下降40%，實際訓练完成达标时间与预测的时间誤差不到一小时，进一步模擬上到千亿規模訓练成本可下降多达50%。
截止目前，Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球開源社区平台正式上线，同时開放商用申请。这也是創立至今不到8个月时间里，零一万物交出的第一份答卷。

主要功能