Grok-1
Grok-1 是一个混合专家（MoE）大型语言模型（LLM），具有 314B 个参数，其中包括基础模型权重和网络架构的开放发布。
Grok-1 是由 xAI 训练的，由 MoE 模型组成，该模型在推断时激活给定标记 25% 的权重。Grok-1 的预训练截止日期为 2023 年 10 月。
正如在官方公告中所述，Grok-1 是预训练阶段的原始基础模型检查点，这意味着它尚未针对任何特定应用（如会话代理）进行微调。
该模型已根据 Apache 2.0 许可证进行了发布。
结果和能力
根据最初的公告，Grok-1 在推理和编码任务中展现出强大的能力。最后一次公开可用的结果显示，Grok-1 在 HumanEval 编码任务上达到了 63.2%，在 MMLU 上达到了 73%。它通常优于 ChatGPT-3.5 和 Inflection-1，但仍落后于改进的模型如 GPT-4。
据报道，与 GPT-4 在匈牙利国家中学数学期末考试上的 B（68%）相比，Grok-1 得分为 C（59%）。
在这里查看模型：https://github.com/xai-org/grok-1
由于 Grok-1 的规模较大（314B 参数），xAI 建议使用多 GPU 机器来测试该模型。