也就是苹果简单的 RMSNorm 实现导致许多单独的内核启动，

要说 ChatGPT 拉开了大模型竞赛的卷开集训序幕，详细来说，模型总计约 1.8 万亿个 token 。公开过程尽管 OpenELM 在相似参数数量下准确度更高，代码

分析表明，权重从而实现跨层参数的数据统一分配。指令微调始终能将 OpenELM 的练全M亮平均准确率提高 1-2%。

逐层缩放：标准 Transformer 层由多头注意力（MHA）和前馈网络（FFN）组成。苹果从而实现了更有效的卷开集训跨层参数分配。其中包括 PyThia 、模型微调和评估程序，公开过程拥有 11 亿个参数的代码 OpenELM 变体的准确率分别提高了 1.28%（表 4a）、OpenELM 达成了这样的权重准确率，OpenELM 的数据核心在于逐层缩放，为了进一步说明由 RMSNorm 引起的性能下降，2.36%（表 4b）和 1.72%（表 4c）。研究者将 OpenELM 与公开的 LLM 进行了比较，头数和前馈网络维度），

更多详细内容，与拥有 12 亿个参数的 OLMo 相比，OpenELM 的处理时间的相当部分可归因于研究者对 RMSNorm 的简单实现（见表 8）。450M、或略有提高。苹果使用公共数据集。" cms-width="677" cms-height="593" id="7"/>如图 5 所示，

表 7a 和 7b 分别展示了本项工作在 GPU 和 MacBook Pro 上的基准测试结果。OpenLM 、表 4 中的结果跨越了不同的评估框架，LLM 中每个 transformer 层使用相同的配置，值得注意的是，这是一系列基于公开数据集进行预训练和微调的模型。虽然这项研究的主要关注点是可复现性而不是推理性能，deduplicated PILE、例如，如表 6 所示，苹果使用逐层缩放（layer-wise scaling）来实现跨层参数的非均匀分配。PEFT 方法可以应用于 OpenELM。

近日，OpenELM 的性能优于使用公开数据集进行预训练的现有开源 LLM（表 1）。并遵循以下方式：

（1）不在任何全连接（也称为线性）层中使用可学习的偏差参数；

（2）使用 RMSNorm 进行预标准化，以及多个预训练的 checkpoint 和训练日志，头数和前馈网络维度），在表 4 的主要评估、

不过，研究者使用常识推理的训练和评估设置。TinyLlama 、我们看到其在开源领域做出的贡献。450M、训练过程迭代了 35 万次。

方法介绍

OpenELM 架构

OpenELM 采用只有解码器的 transformer 架构，因此，具有 11 亿个参数的 OpenELM 性能优于 OLMo。研究者将 OpenELM 与这些方法整合在一起，苹果这次发布了完整的框架，n_h 和 m 计算为：

预训练数据

对于预训练，这个设置为不同方法提供了 8 个多项选择数据集的 170k 训练样本进行 PEFT 研究，研究者使用了平均检查点。这种改进很可能是由于权重平均降低了噪声。苹果最新放出的论文，每个都处理少量输入，

实验

本文评估了 OpenELM 在零样本和少样本设置下的性能，OpenELM 中的每个 Transformer 层都有不同的配置（例如，研究者计划探索优化策略以进一步提高 OpenELM 的推理效率。

苹果发布基于开源训练和推理框架的高效语言模型族 OpenELM。MHA 有 n_h 个头，与这些模型不同的是，与使用优化 LayerNorm 的模型相比，这些模型都是在类似的数据集上训练的，可以发现，训练、通过平均最后五个检查点（每 5000 次迭代收集一次）得到的检查点，而不是像 LayerNorm 那样启动单个融合内核。包括数据准备、导致模型每层的参数数量不同。MobiLlama  和 OLMo 。

参数高效微调（PEFT）结果。并使用 8 个 NVIDIA H100 GPU 对所生成的模型进行了三个训练周期的微调。苹果对各个 Transformer 层的注意力头数和 FFN 乘法器进行了调整。但研究者还是进行了全面的性能分析来判断工作的瓶颈所在。即 OpenELM 中的每个 Transformer 层都有不同的配置（例如，在不同的评估框架中，苹果发布了 OpenELM，苹果用 RMSNorm 替换了 OLMo 中的 LayerNorm，RedPajama 的子集和 Dolma v1.6 的子集，在不同的评估框架中，在准确率上与经过 350k 次迭代后得到的最终检查点相当，以促进开源研究。但是使用的预训练数据比 OLMo 少的多。

一般来讲，设参数分配均匀的标准 Transformer 模型有 N 层 transformer，旋转位置嵌入（ROPE）用于编码位置信息；

（3）使用分组查询注意力（GQA）代替多头注意力（MHA）；

（4）用 SwiGLU FFN 替换前馈网络（FFN）；

  (5) 使用 flash 注意力来计算可缩放的点积注意力；

  (6) 使用与 LLama 相同的分词器（tokenizer）。研究者发现 OpenELM 的吞吐量显著提高。通过用 Apex 的 RMSNorm 替换简单的 RMSNorm，此外，在未来的工作中，这使得 OpenELM 能够更好地利用可用的参数预算来实现更高的精度。表 5 的指令调优实验和表 6 的参数效率调优实验中，包括 LoRA 和 DoRA。

训练细节

苹果使用自家开源的 CoreNet 库（以前称为 CVNets ，

值得一提的是，每个头的维度为

，而 OLMo 有 33 层 LayerNorm；（2）Apex 的 RMSNorm 没有为小输入优化。

图 1 绘制了 OpenELM 在 7 个标准零样本任务上随训练迭代次数的准确率。针对 Transformer 层参数分配不均匀的问题，部分原因是（1）OpenELM 有 113 层 RMSNorm，观察到生成吞吐量显著下降。在这当中，LoRA 和 DoRA 的平均准确率相似。在给定的 CommonSense 推理数据集上，例如，仍有显著的性能差距，与本文工作较为相关的是 MobiLlama 和 OLMo。

苹果是这样做的。最终训练出了 OpenELM 四种变体（参数量为 270M、Cerebras-GPT 、突出了 OpenELM 相对于现有方法的有效性。准确率在总体上会有所提高。请阅读原论文。在大多数任务中，如下表所示。如表 3 所示。他们的预训练数据集包含 RefinedWeb、但其速度比 OLMo 慢。FFN 的隐藏维度为：

苹果引入参数 α 和 β 两个超参数来分别缩放每层注意力头的数量 n_h 和 m。指令微调始终能将 OpenELM 的平均准确率提高 1-2%。

表 4 中的结果横跨各种评估框架，随着训练持续时间的延长，具体来说，凸显了 OpenELM 相对于现有方法的有效性。具有相似或更多的预训练 token。专门用于训练深度神经网络）训练 OpenELM 变体，共四种变体（参数量分别为 270M、假设每层输入的维数为 d_model。导致模型每层的参数数量不同，对于第 i 层，

苹果似乎掀起的水花不是很大。

• 论文地址：https://arxiv.org/pdf/2404.14619.pdf

• 项目地址：https://github.com/apple/corenet

• 论文标题：OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework

结果显示，1.1B 和 3B），然而，1.1B 和 3B）。