谷歌PaLM 2在训练中使用的文本数据是其前身的近五倍

(相关资料图)

据外媒报道，谷歌上周宣布的大型语言模型PaLM 2使用的训练数据几乎是其前身的五倍，使其能够执行更高级的编码、数学和创意写作任务。根据CNBC查看的内部文件，PaLM 2是谷歌在I/O大会上推出的新型通用大型语言模型，它接受了3.6万亿个token的训练。谷歌之前版本的PaLM于2022年发布，并接受了7800亿个token的训练。