palm2官网,Google的下一代大语言模型,3.6万亿token,3400亿参數

什么是palm2?

• 多语言性：PaLM 2在多语言文本上进行了更深度的訓练，涵蓋了100多种语言。这大大提高了它理解、生成和翻译各种语言中微妙文本的能力 —— 包括習语、詩歌和谜语 —— 这是一个难以解决的問题。PaLM 2还以“精通”級别透過了高級语言熟练度考試。 
• 推理：PaLM 2的广泛資料集包括科学論文和包含數学表达式的网页。因此，它在邏輯、常識推理和數学上展示出了提升的能力。 
• 编程：PaLM 2在大量公開可用的源代碼資料集上进行了预訓练。这意味着它在流行的编程语言如Python和JavaScript中表现優秀，但也能生成Prolog、Fortran和Verilog等语言的專業代碼。

谷歌推出PaLM 2，性能部分超过GPT-4, 全面升級Bard反擊ChatGPT

谷歌PaLM 2細節曝光：3.6万亿token，3400亿参數

PaLM（Pathways Language Model） 是一种大型语言模型，即 LLM，类似于OpenAI 創建的 GPT 系列或Meta 的 LLaMA 系列模型。谷歌于 2022 年 4 月首次宣布推出 PaLM，超过了5400亿个訓练参數。与其他 LLM 一样，PaLM 是一个靈活的系統，可以执行各种文本生成和编輯任務。例如，你可以將 PaLM 訓练成像 ChatGPT 这样的對话式聊天机器人，或者你可以將它用于诸如总結文本甚至编寫代碼等任務。（这类似于谷歌今天也為其 Workspace 应用程式（如 Google Docs 和 Gmail）宣布的功能。）