Gemma
Google DeepMind 发布了 Gemma，这是一系列受用于创建 Gemini 的相同研究和技术启发的开放语言模型。Gemma 模型发布包括 2B（在 2T 令牌上训练）和 7B（在 6T 令牌上训练）模型，包括基础和指令调优的检查点。这些模型在 8192 个令牌的上下文长度上进行训练，通常在多个基准测试中优于 Llama 2 7B 和 Mistral 7B 模型。
Gemma模型架构基于transformer解码器，并进行了改进，包括多查询注意力（在新标签页中打开）（2B模型使用）、多头注意力（7B模型使用）、RoPE嵌入（在新标签页中打开）、GeGLU激活（在新标签页中打开）和归一化位置（在新标签页中打开）。
根据技术报告 (在新标签页中打开)，Gemma 2B和7B主要在2T和6T的标记上进行训练，这些标记主要由网页文档、数学和代码组成。与Gemini不同，这些模型没有明确训练以支持多语言或多模态能力。词汇表大小为256K标记，并使用Gemini的SentencePiece分词器的一个子集，在分割数字时保留空格，并依赖字节级编码来处理未知标记。
指令调优模型是通过在纯文本合成和人类生成的提示响应对的混合上进行监督微调，以及通过人类反馈的强化学习（RLHF）进行调优的，其中奖励模型是基于标记的偏好数据训练的，策略是基于一组高质量的提示。请注意，所有使用的数据集都是英文的。如下表所示，指令调优模型还使用特定的格式控制标记来指示对话中的角色和轮次。
结果
如下图所示，Gemma 7B 模型在数学、科学和代码相关任务上表现出色。这些分数对应于按能力分组的学术基准评估的平均分数。
Gemma 7B 在各种学术基准测试中表现优于 Llama 2 7B 和 Mistral 7B，特别是在 HumanEval、GSM8K、MATH 和 AGIEval 上表现显著，并在推理、对话、数学和代码方面有所提升。
Gemma 7B 指令调优模型在安全性和指令遵循方面也优于 Mistral-7B v0.2 Instruct 模型，这是由人类评估得出的结论。
Gemma 还在多个安全学术基准上进行了评估，并与 Mistral 进行了比较。技术报告还提到了使用去偏技术和红队测试，以潜在地减轻与大型语言模型（LLMs）相关的常见风险。您可以在模型卡（在新标签页中打开）和负责任生成式 AI 工具包（在新标签页中打开）中找到更多关于如何负责任地使用 Gemma 进行开发的信息。
Gemma 7B 提示格式
Gemma基础模型不使用任何特定的提示格式，但可以通过零样本/少样本提示来执行任务。Gemma Instruct模型使用以下格式：
<start_of_turn>user
Generate a Python function that multiplies two numbers <end_of_turn>
<start_of_turn>model以下是一个表格，显示了Gemma中可用的相关格式化控制标记：
| 上下文 | 相关令牌 |
|---|---|
| 用户回合 | user |
| 模型轮次 | model |
| 对话轮次的开始 | |
| 对话轮次结束 | |
您还可以在多轮用户提示的上下文中使用特殊控制令牌，如下所示：
<start_of_turn>user
What is a good place for travel in the US?<end_of_turn>
<start_of_turn>model
California.<end_of_turn>
<start_of_turn>user
What can I do in California?<end_of_turn>
<start_of_turn>model如何提示Gemma 7B
有效地提示Gemma 7B需要能够正确使用提示模板。在以下示例中，我们将介绍一些示例，展示如何有效使用Gemma 7B Instruct的提示模板来完成各种任务。
零样本提示
与任何模型一样，您可以通过以下方式简单地提示它来利用Gemma的零样本能力：
<start_of_turn>user
Explain why the sky is blue<end_of_turn>
<start_of_turn>model使用系统提示的零样本提示
添加系统角色或系统提示有助于更好地引导LLMs。虽然Gemma中没有明确的系统角色，但您可以按照以下方式将附加指令作为提示的一部分添加：
<start_of_turn>user
Answer the following question in a concise and informative manner:
Explain why the sky is blue<end_of_turn>
<start_of_turn>model在上面的例子中，我们添加了"Answer the following question in a concise and informative manner:"作为额外的指令或系统提示，以更好地引导模型。
角色扮演
我们还可以测试Gemma的角色扮演能力，这不仅有助于个性化模型响应，还能构建更复杂的特定领域LLM代理 (在新标签页中打开)。
提示：
<start_of_turn>user
You are a helpful 2nd-grade teacher. Help a 2nd grader to answer questions in a short and clear manner.
Explain why the sky is blue<end_of_turn>
<start_of_turn>model模型响应：
Sure, here is an explanation for why the sky is blue:
The sky appears blue because of a phenomenon called Rayleigh Scattering.
Here's the science behind it:
Sunlight is made up of different colors of light, like red, green, blue, and violet.
When sunlight hits the Earth's atmosphere, the different colors of light scatter in different directions.
Blue light scatters more easily than other colors because it has shorter wavelengths.
The scattered blue light travels in all directions, including towards your eyes.
That's why we see the sky as blue.
It's important to note that this explanation is simplified and does not account for all scientific details. However, it gives you a good understanding of the basic science behind why the sky appears blue.请注意，我们尚未检查响应的准确性或是否适合二年级学生。不过，您可以将上述响应与以下思维链提示获得的响应进行比较。
推理
你可以通过使用零样本思维链提示 (在新标签页中打开)来激发Gemma的推理能力，如下所示：
提示：
<start_of_turn>user
Think and write your step-by-step reasoning before responding.
Explain why the sky is blue.<end_of_turn>
<start_of_turn>model模型响应（为简洁起见已截断）：
Step 1: Scattering of Light
The sky appears blue due to the phenomenon of scattering of light. When sunlight hits the Earth's atmosphere, it interacts with the particles of air, primarily nitrogen and oxygen molecules.
Step 2: Rayleigh Scattering
Rayleigh scattering is the specific scattering mechanism that occurs when light interacts with particles much smaller than the wavelength of light. In this process, shorter wavelengths (blue light) are scattered more effectively than longer wavelengths (red light).
Step 3: Blue Scattered Light Travels in All Directions
...
Conclusion
The sky appears blue due to the scattering of light, specifically Rayleigh scattering. Shorter wavelengths of light are scattered more effectively, and this scattered light travels in all directions, with the scattered light that travels opposite to the sun's rays being most visible to our eyes.关于Gemma模型需要注意的是，它可以自动输出markdown格式。为了演示和简化目的，我们对文本格式进行了一些编辑，但内容完全是模型响应的内容。请注意，我们也没有评估响应的准确性或模型是否产生幻觉。
资源与集成
以下是Gemma发布中包含的几种资源和集成：
- Colab (在新标签页中打开) 和 Kaggle (在新标签页中打开) 笔记本
- Hugging Face 模型 (在新标签页中打开)
- MaxText (在新标签页中打开)
- NVIDIA NeMo (在新标签页中打开)
- TensorRT-LLM (在新标签页中打开)
- Gemma 7B 可在 NVIDIA AI Playground（在新标签页中打开） 中使用
根据官方的博客发布 (在新标签页中打开)，使用条款 (在新标签页中打开)允许所有组织，无论规模大小，进行负责任的商业使用和分发。