联发科AI研究小组发布全球首个繁体中文AI大型语言模型

【本站】4月30日消息，联发科 AI 研究小组日前发布了全球首个繁体中文 AI 大型语言模型(LLM)。据该公司介绍，这一多语言模型名为 BLOOM-zh，号称在大多数繁体中文基准测试中优于其前身，同时保持其英语能力。该模型经过额外的繁体中文和英文74亿个token的扩展预训练，覆盖了多个领域。

联发科 AI 研究小组在 ICLR 国际表征学习大会上发表了一篇论文，详细介绍了其使用 Fisher-Legendre(FishLeg)优化的新算法，可以比以前更快、更可靠地训练 AI 模型。该研究是与英国剑桥大学的神经动力学和控制组合作进行的。联发科 AI 研究小组将在 5 月 1 日的 ICLR 会议上展示这项成果。

据本站了解，联发科的 AI 研究小组表示，BLOOM-zh 起源于 BigScience 于 2022 年推出的开源 BLOOM 模型，团队对 BLOOM 进行了额外的繁体中文和英文 74 亿个 token 的扩展预训练，涵盖了新闻、书籍、百科全书、教材、口语等多个领域。为了展示 BLOOM-zh 的特性，现有的和新创建的基准场景都用于评估性能。联发科 AI 研究小组表示，BLOOM-zh 的发布将进一步推动繁体中文自然语言处理领域的发展，为各种应用场景提供更加精准和高效的语言处理能力。

综上所述，联发科 AI 研究小组的发布全球首个繁体中文 AI 大型语言模型 BLOOM-zh，将为繁体中文自然语言处理领域的发展注入新的活力。而其使用 Fisher-Legendre(FishLeg)优化的新算法，也将进一步提升 AI 模型的训练效率和可靠性。