2023-10-09   星期一

港中文贾佳亚团队联合MIT发布全球首个70B长文本大语言模型

36氪获悉，10月9日，港中文贾佳亚团队宣布联合MIT发布超长文本扩展技术LongLoRA，据介绍，两行代码、一台8卡A100机器，可以将7B模型的文本长度拓展到100k tokens，70B模型的文本长度拓展到32k tokens。同时，该研究团队还基于LongLoRA技术，发布全球首个拥有70B参数量的长文本对话大语言模型LongAlpaca。目前，LongLoRA技术和LongAlpaca已开源。