OLMo
在本指南中，我们将概述开放语言模型（OLMo），包括提示和使用示例。该指南还包括与OLMo相关的提示、应用、限制、论文和其他阅读材料。
OLMo简介
艾伦人工智能研究所已经发布了一种新的开放语言模型和框架，名为OLMo。这一努力旨在提供对数据、训练代码、模型、评估代码的完全访问，以加速对语言模型的集体研究。
他们的第一个发布包括了7B参数规模的四个变体和一个1B规模的模型，所有模型都至少训练了2T个标记。这标志着许多发布中的第一个，其中还包括即将发布的65B OLMo模型。
发布内容包括：
所有代码、权重和中间检查点均在Apache 2.0许可证下发布。
OLMo-7B
OLMo-7B和OLMo-1B模型都采用了仅解码器的变压器架构。它遵循了PaLM和Llama等其他模型的改进：
- 没有偏差
- 非参数化层归一化
- SwiGLU激活函数
- 旋转位置嵌入（RoPE）
- 50,280个词汇表
Dolma数据集
此发布还包括了一个名为Dolma的预训练数 据集，这是一个包含来自7个不同数据源的5B个文档中的3万亿标记的多样化、多源语料库。Dolma的创建包括语言过滤、质量过滤、内容过滤、去重、多源混合和标记化等步骤。
训练数据集包括来自Dolma的2T标记样本。这些标记在每个文档末尾附加一个特殊的EOS标记后连接在一起。训练实例包括2048个标记的连续块组，这些块也被洗牌。
有关训练模型的更多细节和硬件规格可以在论文中找到。
结果
使用Catwalk对模型进行了下游任务评估。OLMo模型与其他几个公开可用的模型（如Falcon和Llama 2）进行了比较。具体来说，该模型在一组旨在衡量模型常识推理能力的任务上进行了评估。下游评估套件包括像piqa和hellaswag这样的数据集。作者使用排名分类（即，完成根据可能性进行排名）进行了零-shot评估，并报告了准确性。OLMo-7B在2个最终任务上表现优异，并在8/9个最终任务中保持前三名。请参见下图中的结果摘要。
OLMo提示指南
即将推出...
图表来源：OLMo: 加速语言模型科学