ALLaM - 专为阿拉伯语设计的AI大语言模型

AIHubAI布道师

ALLaM是什么？

ALLaM是由沙特数据与人工智能局（SDAIA）开发的阿拉伯语大型语言模型，专为理解和生成标准阿拉伯语及沙特方言设计。它经过5.2万亿tokens的双语预训练，具备强大的语言能力，并支持自定义系统提示，广泛应用于自然语言处理和文本生成等领域，旨在推动阿拉伯语技术发展并提升其在全球AI领域的地位。

ALLaM的功能特性

多语言能力：ALLaM-7B-Instruct是一款双语模型，能够理解和生成标准阿拉伯语以及沙特方言，同时具备良好的英语能力。这种多语言设计使其在跨语言任务中表现出色。
大规模预训练：ALLaM模型经过5.2万亿tokens的预训练，其中包括4万亿英文标记和1.2万亿混合阿拉伯语/英语标记。这种双阶段训练方法避免了灾难性遗忘，有效迁移了语言知识。
灵活的系统提示：ALLaM优化设计为无需预定义系统提示，但支持用户添加自定义系统提示，例如“你是ALLaM，一款双语的英阿AI助手”。这种灵活性让用户可以根据需求定制模型的行为。
强大的生成能力：ALLaM在阿拉伯语MMLU基准测试中表现优异，被评为最佳生成性阿拉伯语语言模型。其生成的文本自然流畅，能够满足多种应用场景的需求。
本土化与文化适应性：由沙特数据与人工智能局（SDAIA）下属的国家人工智能中心开发，ALLaM充分考虑了阿拉伯语言和文化的特点，旨在提升阿拉伯语在全球人工智能应用中的地位。
高效训练与优化：模型基于NVIDIA/MegatronLM框架开发，训练期间的平均计算资源使用率（MFU）约为42%，使用bf16混合精度进行训练，确保了高效的计算性能。
易于使用和集成：用户可以通过HuggingFace transformers轻松访问ALLaM模型的检查点权重，并通过简单的代码示例快速加载和使用模型。