Apertus是什么
Apertus是瑞士EPFL、ETH Zurich和瑞士国家超级计算中心（CSCS）联合推出的瑞士首个大规模开放、多语言的大型语言模型，有70B和8B两个参数版本，用大规模语言进行训练，其中40%的数据为非英语，包括瑞士德语、罗曼什语等此前在LLM中被低估的语言。Apertus用解码器仅的Transformer架构，基于新的xIELU激活函数和AdEMAMix优化器。模型完全开放，模型权重、数据和训练细节，用户能在自己的服务器上使用，保持数据控制权。
Apertus的主要功能
-
文本生成：根据用户输入的提示生成连贯、相关的文本。
-
多语言支持：支持超过1811种语言，包括许多此前在LLM中被低估的小语种。
-
透明性和开放性：模型权重、数据和训练细节完全公开，用户能在自己的服务器上使用。
-
长上下文处理：支持长上下文处理，适用于复杂的任务。
Apertus的技术原理
- 模型架构：Apertus用仅密集解码器Transformer架构，模型有8B和70B两种规模，分别有32层/32个注意力头和80层/64个注意力头。使用xIELU激活函数、RMSNorm归一化、RoPE位置编码和分组查询注意力机制，提升模型效率和长上下文处理能力。
- 预训练目标：用Goldfish目标函数，通过随机掩盖部分标记，防止模型学习精确的上下文映射，有效抑制逐字回忆，同时保留下游任务性能。预训练数据完全来自公开可用的来源，尊重内容所有者的退出意愿，避免使用受版权保护、非许可、有毒或包含个人身份信息的内容。
- 预训练数据：Apertus在超过15万亿个标记的数据上进行预训练，涵盖超过1800种语言。数据来源多样，包括高质量的网络爬取数据、代码数据、数学数据等。通过多种过滤机制，如尊重robots.txt文件中的爬取限制、移除个人身份信息和毒性内容，确保数据的合规性。为提高模型的多语言能力和数据多样性，在预训练数据中分配大量非英语内容。
- 训练过程：用AdEMAMix优化器和WSD学习率调度进行训练，确保训练的稳定性和效率。通过逐步增加上下文长度，使模型能处理更长的文本序列，支持长达65,536个标记的上下文。
- 后训练（Post-Training）：通过指令微调和对齐训练，用QRPO算法优化模型的行为，使其在生成文本时更加安全、有用和符合人类价值观。后训练阶段使模型能更好地理解和生成符合指令的文本。
Apertus的项目地址
- 项目官网：https://www.swiss-ai.org/apertus
- HuggingFace模型库：https://huggingface.co/collections/swiss-ai/apertus-llm-68b699e65415c231ace3b059
- 技术论文：https://github.com/swiss-ai/apertus-tech-report
Apertus的应用场景
- 多语言对话系统：适用构建多语言聊天机器人、客服系统等，为用户提供跨语言的交流和信息获取服务。
- 代码生成与辅助：根据自然语言描述生成代码片段，帮助开发者快速实现编程任务，提高开发效率，适用于软件开发辅助工具。
- 教育与学习辅助：生成教育内容、解答学术问题、提供学习建议等，用于在线教育平台、智能辅导系统等教育场景。
- 内容创作：协助创作文本内容，如撰写文章、故事、新闻报道等，为内容创作者提供灵感和写作辅助。
- 翻译服务：用在翻译任务，提供文本翻译服务，支持跨语言的信息传播和交流。
