JetMoe
概述
JetMoe-8B 是由 Yikang Shen 和 MyShell 开发的8B专家混合(MoE)语言模型。 JetMoe项目旨在提供一种在有限预算下实现LLaMA2级别性能的高效语言模型。 为了实现这一目标,JetMoe采用了受 ModuleFormer 启发的稀疏激活架构。 每个JetMoe块由两个MoE层组成:注意力头混合和MLP专家混合。 给定输入标记,它会激活一部分专家来处理它们。 这种稀疏激活模式使JetMoe能够在类似规模的密集模型上实现更好的训练吞吐量。 在96个H100 GPU集群上,使用简单的3路管道并行策略,JetMoe-8B的训练吞吐量约为每天100B标记。
该模型由Yikang Shen贡献。
JetMoeConfig
类 transformers.JetMoeConfig
< source >( vocab_size = 32000 hidden_size = 2048 num_hidden_layers = 12 num_key_value_heads = 16 kv_channels = 128 intermediate_size = 5632 max_position_embeddings = 4096 activation_function = 'silu' num_local_experts = 8 num_experts_per_tok = 2 output_router_logits = False aux_loss_coef = 0.01 use_cache = True bos_token_id = 1 eos_token_id = 2 tie_word_embeddings = True rope_theta = 10000.0 rms_norm_eps = 1e-06 initializer_range = 0.01 attention_dropout = 0.0 **kwargs )
参数
- vocab_size (
int
, 可选, 默认为 32000) — JetMoe 模型的词汇表大小。定义了可以通过调用 JetMoeModel 时传递的inputs_ids
表示的不同标记的数量 - hidden_size (
int
, optional, 默认为 2048) — 隐藏表示的维度。 - num_hidden_layers (
int
, optional, 默认为 12) — Transformer 编码器中的隐藏层数量。 - num_key_value_heads (
int
, optional, defaults to 16) — Transformer编码器中每个键和值的注意力头数量。 - kv_channels (
int
, optional, defaults to 128) — 定义键和值张量的通道数。 - intermediate_size (
int
, optional, 默认为 5632) — MLP 表示的维度。 - max_position_embeddings (
int
, optional, 默认为 4096) — 此模型可能使用的最大序列长度。JetMoe 的注意力机制允许最多 4096 个标记的序列。 - activation_function (
string
, optional, defaults to"silu"
) — 定义MLP专家的激活函数。 - num_local_experts (
int
, optional, 默认为 8) — 定义 MoE 和 MoA 中的专家数量。 - num_experts_per_tok (`int, optional, defaults to 2) — 每个令牌和MoE及MoA的路由专家数量。
- output_router_logits (
bool
, 可选, 默认为False
) — 是否应由模型返回路由器logits。启用此选项还将允许模型输出辅助损失。 - aux_loss_coef (
float
, optional, defaults to 0.01) — 辅助损失的系数。 - use_cache (
bool
, 可选, 默认为True
) — 模型是否应返回最后的键/值注意力(并非所有模型都使用)。仅在config.is_decoder=True
时相关。 - bos_token_id (
int
, optional, defaults to 1) — “序列开始”标记的ID。 - eos_token_id (
int
, optional, defaults to 2) — “序列结束”标记的ID。 - tie_word_embeddings (
bool
, optional, defaults toTrue
) — 模型输入和输出的词嵌入是否应该绑定。 - rope_theta (
float
, optional, 默认为 10000.0) — RoPE 嵌入的基础周期。 - rms_norm_eps (
float
, 可选, 默认为 1e-06) — rms 归一化层使用的 epsilon 值。 - initializer_range (
float
, optional, 默认为 0.01) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - attention_dropout (
float
, optional, 默认为 0.0) — 注意力概率的丢弃比例。
这是用于存储JetMoeModel配置的配置类。它用于根据指定的参数实例化一个JetMoe模型,定义模型架构。使用默认值实例化配置将生成JetMoe-4B的配置。
配置对象继承自PretrainedConfig,可用于控制模型输出。阅读PretrainedConfig的文档以获取更多信息。
>>> from transformers import JetMoeModel, JetMoeConfig
>>> # Initializing a JetMoe 4B style configuration
>>> configuration = JetMoeConfig()
>>> # Initializing a model from the JetMoe 4B style configuration
>>> model = JetMoeModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
JetMoeModel
类 transformers.JetMoeModel
< source >( 配置: JetMoeConfig )
参数
- config (JetMoeConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重,只会加载配置。查看 from_pretrained() 方法以加载模型权重。
- 配置 — JetMoeConfig
裸的JetMoe模型输出原始的隐藏状态,没有任何特定的头部。 这个模型是PyTorch torch.nn.Module 的子类。将其用作常规的PyTorch模块,并参考PyTorch文档以获取与一般使用和行为相关的所有信息。
Transformer解码器由config.num_hidden_layers层组成。每一层都是一个JetMoeBlock
前进
< source >( input_ids: LongTensor = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Union[transformers.cache_utils.Cache, typing.List[torch.FloatTensor], NoneType] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None output_router_logits: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None )
参数
- input_ids (
torch.LongTensor
of shape({0})
) — Indices of input sequence tokens in the vocabulary.可以使用
AutoProcenizer
获取索引。详情请参见PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。 - attention_mask (
torch.FloatTensor
of shape({0})
, optional) — Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]
:- 1 for tokens that are not masked,
- 0 for tokens that are masked.
- position_ids (
torch.LongTensor
of shape({0})
, optional) — Indices of positions of each input sequence tokens in the position embeddings. Selected in the range[0, config.n_positions - 1]
. - inputs_embeds (
torch.FloatTensor
of shape({0}, hidden_dim)
, optional) — 可选地,您可以选择直接传递嵌入表示,而不是传递input_ids
。如果您希望对如何将input_ids索引转换为相关向量有更多控制,而不是使用模型的内部嵌入查找矩阵,这将非常有用。 - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量中的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量下的hidden_states
。 - output_router_logits (
bool
, optional) — 是否返回所有路由器的logits。它们对于计算路由器损失非常有用,并且在推理期间不应返回。 - return_dict (
bool
, 可选) — 是否返回一个ModelOutput而不是一个普通的元组。 - cache_position (
torch.LongTensor
of shape(sequence_length)
, optional) — 表示输入序列标记在序列中的位置的索引。与position_ids
不同, 这个张量不受填充的影响。它用于在正确的位置更新缓存并推断 完整的序列长度。
JetMoeModel 的前向方法,重写了 __call__
特殊方法。
尽管前向传递的配方需要在此函数内定义,但之后应该调用Module
实例而不是这个,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。
JetMoeForCausalLM
前进
< source >( input_ids: LongTensor = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[typing.List[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None output_router_logits: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None cache_position: typing.Optional[torch.LongTensor] = None num_logits_to_keep: int = 0 ) → transformers.modeling_outputs.MoeCausalLMOutputWithPast
或 tuple(torch.FloatTensor)
参数
- input_ids (
torch.LongTensor
of shape({0})
) — Indices of input sequence tokens in the vocabulary.可以使用
AutoProcenizer
获取索引。详情请参见PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。 - attention_mask (
torch.FloatTensor
of shape({0})
, optional) — Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]
:- 1 for tokens that are not masked,
- 0 for tokens that are masked.
- position_ids (
torch.LongTensor
of shape({0})
, optional) — Indices of positions of each input sequence tokens in the position embeddings. Selected in the range[0, config.n_positions - 1]
. - inputs_embeds (
torch.FloatTensor
of shape({0}, hidden_dim)
, optional) — 可选地,您可以选择直接传递嵌入表示,而不是传递input_ids
。如果您希望对如何将input_ids索引转换为相关向量有更多控制,而不是使用模型的内部嵌入查找矩阵,这将非常有用。 - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量下的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量下的hidden_states
。 - output_router_logits (
bool
, optional) — 是否返回所有路由器的logits。它们对于计算路由器损失非常有用,并且在推理期间不应返回。 - return_dict (
bool
, 可选) — 是否返回一个ModelOutput而不是一个普通的元组。 - cache_position (
torch.LongTensor
of shape(sequence_length)
, optional) — 表示输入序列标记在序列中的位置的索引。与position_ids
相反, 这个张量不受填充的影响。它用于在正确的位置更新缓存并推断 完整的序列长度。 - Args —
labels (
torch.LongTensor
of shape(batch_size, sequence_length)
, optional): Labels for computing the masked language modeling loss. Indices should either be in[0, ..., config.vocab_size]
or -100 (seeinput_ids
docstring). Tokens with indices set to-100
are ignored (masked), the loss is only computed for the tokens with labels in[0, ..., config.vocab_size]
.num_logits_to_keep (
int
, 可选): 计算最后num_logits_to_keep
个token的logits。如果为0
,则计算所有input_ids
的logits(特殊情况)。生成时只需要最后一个token的logits,仅计算该token的logits可以节省内存,这对于长序列或大词汇量来说非常重要。
返回
transformers.modeling_outputs.MoeCausalLMOutputWithPast
或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.MoeCausalLMOutputWithPast
或一个由 torch.FloatTensor
组成的元组(如果传递了 return_dict=False
或当 config.return_dict=False
时),包含各种元素,具体取决于配置(JetMoeConfig)和输入。
-
loss (
torch.FloatTensor
形状为(1,)
,可选,当提供labels
时返回) — 语言建模损失(用于下一个标记的预测)。 -
logits (
torch.FloatTensor
形状为(batch_size, sequence_length, config.vocab_size)
) — 语言建模头的预测分数(SoftMax 之前每个词汇标记的分数)。 -
aux_loss (
torch.FloatTensor
,可选,当提供labels
时返回) — 稀疏模块的辅助损失。 -
router_logits (
tuple(torch.FloatTensor)
,可选,当传递output_router_probs=True
和config.add_router_probs=True
或当config.output_router_probs=True
时返回) — 由torch.FloatTensor
组成的元组(每层一个),形状为(batch_size, sequence_length, num_experts)
。由 MoE 路由器计算的原始路由器 logits(softmax 后),这些项用于计算专家混合模型的辅助损失。
-
past_key_values (
tuple(tuple(torch.FloatTensor))
,可选,当传递use_cache=True
或当config.use_cache=True
时返回) — 由tuple(torch.FloatTensor)
组成的元组,长度为config.n_layers
,每个元组包含 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量。包含预计算的隐藏状态(自注意力块中的键和值),可用于加速顺序解码(参见
past_key_values
输入)。 -
hidden_states (
tuple(torch.FloatTensor)
,可选,当传递output_hidden_states=True
或当config.output_hidden_states=True
时返回) — 由torch.FloatTensor
组成的元组(一个用于嵌入层的输出,如果模型有嵌入层,+ 每层的输出),形状为(batch_size, sequence_length, hidden_size)
。模型每层输出的隐藏状态加上可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)
,可选,当传递output_attentions=True
或当config.output_attentions=True
时返回) — 由torch.FloatTensor
组成的元组(每层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。注意力 softmax 后的注意力权重,用于计算自注意力头中的加权平均值。
JetMoeForCausalLM 的前向方法,重写了 __call__
特殊方法。
尽管前向传递的配方需要在此函数内定义,但之后应该调用Module
实例而不是这个,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。
JetMoeForSequenceClassification
类 transformers.JetMoeForSequenceClassification
< source >( config )
参数
- config (JetMoeConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重,只会加载配置。查看 from_pretrained() 方法以加载模型权重。
JetMoe 模型变压器,顶部带有序列分类头(线性层)。
JetMoeForSequenceClassification 使用最后一个标记进行分类,与其他因果模型(例如 GPT-2)相同。
由于它对最后一个标记进行分类,因此需要知道最后一个标记的位置。如果在配置中定义了pad_token_id
,它会在每一行中找到不是填充标记的最后一个标记。如果没有定义pad_token_id
,它只需取批次中每一行的最后一个值。由于在传递inputs_embeds
而不是input_ids
时无法猜测填充标记,它会执行相同的操作(取批次中每一行的最后一个值)。
该模型是一个PyTorch torch.nn.Module 子类。将其作为常规的PyTorch模块使用,并参考PyTorch文档以获取与一般使用和行为相关的所有信息。
前进
< source >( input_ids: typing.Optional[torch.LongTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Union[transformers.cache_utils.Cache, typing.List[torch.FloatTensor], NoneType] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None )
参数
- input_ids (
torch.LongTensor
of shape({0})
) — Indices of input sequence tokens in the vocabulary.可以使用
AutoProcenizer
获取索引。详情请参见PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。 - attention_mask (
torch.FloatTensor
of shape({0})
, optional) — Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]
:- 1 for tokens that are not masked,
- 0 for tokens that are masked.
- position_ids (
torch.LongTensor
of shape({0})
, optional) — Indices of positions of each input sequence tokens in the position embeddings. Selected in the range[0, config.n_positions - 1]
. - inputs_embeds (
torch.FloatTensor
of shape({0}, hidden_dim)
, optional) — 可选地,您可以选择直接传递嵌入表示,而不是传递input_ids
。如果您希望对如何将input_ids索引转换为相关向量有更多控制,而不是使用模型的内部嵌入查找矩阵,这将非常有用。 - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量下的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量下的hidden_states
。 - output_router_logits (
bool
, optional) — 是否返回所有路由器的logits。它们对于计算路由器损失非常有用,并且 在推理期间不应返回。 - return_dict (
bool
, 可选) — 是否返回一个ModelOutput而不是一个普通的元组。 - cache_position (
torch.LongTensor
of shape(sequence_length)
, optional) — 表示输入序列标记在序列中的位置的索引。与position_ids
相反, 这个张量不受填充的影响。它用于在正确的位置更新缓存并推断 完整的序列长度。 - labels (
torch.LongTensor
形状为(batch_size,)
, 可选) — 用于计算序列分类/回归损失的标签。索引应在[0, ..., config.num_labels - 1]
范围内。如果config.num_labels == 1
,则计算回归损失(均方损失),如果config.num_labels > 1
,则计算分类损失(交叉熵)。
JetMoeForSequenceClassification 的前向方法,重写了 __call__
特殊方法。
尽管前向传递的配方需要在此函数内定义,但之后应该调用Module
实例而不是这个,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。