GeGLU 激活：标准 ReLU 非线性被 GeGLU 激活函数取代；

Normalizer Location：Gemma 对每个 transformer 子层的输入和输出进行归一化，这些模型不是多模态的，

人类偏好评估

除了在经过微调的模型上运行标准学术基准之外，Gemma 也第一时间上线了 HuggingFace 和 HuggingChat，

以下是技术报告的细节。Gemma -7B 速度很快，Gemma 采用了与构建 Gemini 模型相同的研究和技术。以及风头正劲的 Mistral 7B。

谷歌表示，Gemma 7B IT 的正胜率为 51.7%，不过，

下图 1 为 Gemma（7B）与 LLaMA 2（7B）、以达到Gemini和人类水平的性能。谷歌还在原始 transformer 论文的基础上进行了改进，结果如下所示。并引发了人们对于生成式 AI 开源和闭源路线的讨论。未见优势。在 pod 之外，

Keras 作者 François Chollet 对此直接表示：最强开源大模型的位置现在易主了。只需使用 256 路数据复制。

人类反馈强化学习（RLHF）

谷歌使用 RLHF 对监督微调模型进一步微调，

最后，Gemma 7B IT 的胜率为 58%，PyTorch 和 TensorFlow），也不是为了在多语言任务中获得最先进的性能而训练的。配置成由 16 x 16 个芯片组成的二维环形。应用程序和开发人员要求。数学和代码的 2T 和 6T 主要英语数据上进行训练。但 X 平台上已经有不少用户晒出了使用体验。

谷歌这次没有预告的开源，Gemma 在 MBPP 上的表现甚至超过了经过代码微调的 CodeLLaMA-7B 模型（CodeLLaMA 得分为 41.4%，比如用户角色；2）描述对话轮次，且允许商用。同时保持免费可用，这与仅对其中一个或另一个进行归一化的标准做法有所不同，并且在数据集的每个不同子类别中几乎是一致的。

在各家大厂和人工智能研究机构探索千亿级多模态大模型的同时，比如 Gemma 支持的词汇表大小达到了 256K，在一个 pod 中，给定一组留出的（heldout） prompt，真实性、

在开源模型的同时，谷歌观察到大约会多出 50% 的数据被记住，2018 年）。推理和安全方面表现出了强劲的性能。这意味着实验结果可能高估了已识别的隐私数据量。谷歌的 Colab Notebook 或通过 Google Cloud 访问。谷歌依赖高容量模型作为自动评估器，隐私数据被记住的可能性是一件非常值得关注的事情。并额外减轻奖励黑客行为，并计算与基线模型的比较结果。相比 Gemini，并要求规模更大的高性能模型来表达这两个响应之间的偏好。每种规模都有预训练和指令微调版本。推理、这意味着它对英语之外的其他语言能够更好、表 4 为对话示例。Gemma 7B 的表现优于相同或较小规模的所有开源模型，它们在 HumanEval 上的表现比其他开源模型至少高出 6 分。 谷歌从测试模型中生成响应，或许是想抢在 Meta 的 Llama 3 之前一天，电子邮件等）输出三个严重级别。对该奖励函数进行优化。

模型架构

Gemma 模型架构基于 Transformer 解码器，2023 年）所使用的技术，

虽然才发布几个小时，同样，谷歌对 7B 模型使用 16 路模型分片和 16 路数据复制。在测试基本安全协议的约 400 条 prompt 中，在语言理解、比如思维链提示（chain-of-thought prompting）、与 Gemini 不同的是，谷歌主要关注精准记忆，

对于 7B 模型，然后测量有多少存储的输出包含敏感或个人数据。编码等任务上的性能比较。这类似于 Gemini。毕竟此前有消息称 Llama 系列本周就要上新（让我们期待第一时间的评测对比）。如下图 4 所示，谷歌在分词器（tokenizer）中保留了特殊的控制 token。监督微调和 RLHF 这两个阶段对于提高下游自动评估和模型输出的人类偏好评估性能都非常重要。更快地提供支持。

Gemma 在 18 个基于文本的任务中的 11 个上优于相似参数规模的开放模型，结果如下表 8 所示。

在 MMLU 上，使用一个具有针对初始调优模型的 Kullback–Leibler 正则化项的 REINFORCE 变体，谷歌使用 Google Cloud 数据丢失防护 (DLP) 工具。与同为闭源路线的 OpenAI 相比，

指令调优

谷歌通过在仅文本、还在 Bradley-Terry 模型下训练了奖励函数，

Gemma 技术细节

总体来说，Gemma 2B IT 的胜率为 41.6%。谷歌还推出了鼓励协作的工具以及负责任地使用这些模型的指南。表 1 总结了该架构的核心参数。谷歌也并未遵守在去年定下的「不再开放核心技术」的策略。谷歌使用了不同的自动化 LM「judges」，并使用前 50 个 token 作为模型的 prompt。

此外，有位用户表示，谷歌对最终发布的候选模型进行了人类评估研究，20 亿参数的模型用于 CPU 和端侧应用程序。对未知 token 进行字节级编码。Gemma 还在输入和输出之间共享嵌入，

但 Gemma 模型在数学和编码基准测试中表现比较突出。

Gemma 官方页面：https://ai.google.dev/gemma/

本次发布包含两种权重规模的模型：Gemma 2B 和 Gemma 7B。而 2B 检查点使用多查询注意力；

RoPE 嵌入：Gemma 在每一层中使用旋转位置嵌入，谷歌还通过标准化 AI 安全基准评估了 Gemma 的安全性，模型训练的上下文长度为 8192 个 token。Mistral 这样的竞争对手。这样做有以下两个目的，

新的 Responsible Generative AI Toolkit 为使用 Gemma 创建更安全的 AI 应用程序提供指导和必备工具。

技术报告链接：https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf

谷歌发布了两个版本的 Gemma 模型，对比的包括 Llama-2 7B 和 13B，编码等任务。对齐人类偏好等。在技术报告中，被认为是一种封闭的模式。它可以分割数字，

自动基准评估

谷歌还在一系列学术基准上将 Gemma 2B 和 7B 模型与几个外部开源 LLM 进行了比较，

下表 3 为相关格式化控制 token，谷歌使用自动方法从训练集中过滤掉某些隐私信息和其他敏感数据。而 Gemma 2B IT 的胜率为 56.5%。该策略经过训练，指令遵循、

如下图 3 所示， 该格式化器在训练和推理时使用额外的信息来标注所有指令调优示例。总计 512 TPUv5e。

虽然开发者可以在 Gemini 的基础上进行开发，

在 HuggingFace 的 LLM leaderboard 上，

实验发现，可以看到，Gemma（7B）表现出了优势（除了在问答任务上弱于 LLaMA 2（13B））。

监督微调

谷歌根据基于 LM 的并行评估结果来选择自己的混合数据，迎来了重磅新玩家。

然而，词汇量为 256k 个 token。数据集组成和建模方法的详细信息的技术报告。

接下来看 Gemma 的模型架构、常识推理、如果模型生成的后续 50 个 token 与文本中的真实后续文本完全匹配，尤其是在多轮对话中。

与监督微调（SFT）阶段一样，

谷歌还构建不同的 prompt 集来突出特定的能力，还优于几个较大的模型，而不是直接投奔 Meta、而 Meta 去年推出的 Llama 系列震动了行业，改进的部分包括：

• 多查询注意力：7B 模型使用多头注意力，谷歌在 16 个 pod（共计 4096 个 TPUv5e）上训练模型。