Transformers 文档

点唱机

点唱机

该模型目前处于维护模式，我们不接受任何更改其代码的新PR。 如果您在运行此模型时遇到任何问题，请重新安装支持此模型的最后一个版本：v4.40.2。 您可以通过运行以下命令来执行此操作：pip install -U transformers==4.40.2。

概述

Jukebox模型由Prafulla Dhariwal、Heewoo Jun、Christine Payne、Jong Wook Kim、Alec Radford和Ilya Sutskever在Jukebox: A generative model for music中提出。它引入了一种生成音乐模型，可以生成长达一分钟的样本，并且可以根据艺术家、流派和歌词进行条件生成。

论文的摘要如下：

我们介绍了Jukebox，这是一个在原始音频领域生成带有歌唱的音乐的模型。我们使用多尺度VQ-VAE来处理原始音频的长上下文，将其压缩为离散代码，并使用自回归Transformer对这些代码进行建模。我们展示了大规模的组合模型可以生成高保真且多样化的歌曲，其连贯性可达数分钟。我们可以根据艺术家和流派来引导音乐和声乐风格，并根据未对齐的歌词使歌唱更加可控。我们正在发布数千个未经挑选的样本，以及模型权重和代码。

如下图所示，Jukebox由3个priors组成，这些是仅解码器模型。它们遵循Generating Long Sequences with Sparse Transformers中描述的架构，并进行了修改以支持更长的上下文长度。 首先，使用自动编码器对歌词文本进行编码。接下来，第一个（也称为top_prior）prior会关注从歌词编码器提取的最后隐藏状态。priors通过AudioConditioner模块分别与前一个priors连接。AudioConditioner将前一个prior的输出上采样为每秒音频帧分辨率的原始标记。 元数据如艺术家、流派和时间以起始标记和时间数据的位置嵌入形式传递给每个prior。隐藏状态被映射到VQVAE中最接近的码本向量，以便将它们转换为原始音频。

JukeboxModel

该模型由Arthur Zucker贡献。 原始代码可以在这里找到。

使用提示

  • 该模型仅支持推理。这有几个原因，主要是因为它需要大量的内存来进行训练。欢迎提交PR并添加缺失的内容，以实现与hugging face trainer的完整集成！
  • 这个模型非常慢，使用V100 GPU上的5b顶级先验生成一分钟长的音频需要8小时。为了自动处理模型应执行的设备，请使用accelerate。
  • 与论文相反，先验的顺序从0到1，因为这感觉更直观：我们从0开始采样。
  • 原始采样（基于原始音频进行采样）比祖先采样需要更多的内存，并且应在fp16设置为True时使用。

该模型由Arthur Zucker贡献。 原始代码可以在这里找到。

JukeboxConfig

类 transformers.JukeboxConfig

< >

( vqvae_config = 无 prior_config_list = 无 nb_priors = 3 sampling_rate = 44100 timing_dims = 64 min_duration = 0 max_duration = 600.0 max_nb_genres = 5 metadata_conditioning = 真 **kwargs )

参数

  • vqvae_config (JukeboxVQVAEConfig, 可选) — JukeboxVQVAE 模型的配置。
  • prior_config_list (List[JukeboxPriorConfig], 可选) — 模型中每个JukeboxPrior的配置列表。原始架构使用了3个先验。
  • nb_priors (int, 可选, 默认为 3) — 将顺序采样标记的先前模型的数量。每个先前模型都是条件自回归 （解码器）模型，除了顶层先前模型，它可以包括一个歌词编码器。可用的模型是 使用顶层先前模型和2个上采样先前模型进行训练的。
  • sampling_rate (int, optional, defaults to 44100) — 原始音频的采样率。
  • timing_dims (int, optional, defaults to 64) — JukeboxRangeEmbedding层的维度，相当于传统的位置嵌入层。时序嵌入层将当前采样音频中的绝对和相对位置转换为长度为timing_dims的张量，该张量将被添加到音乐令牌中。
  • min_duration (int, optional, defaults to 0) — 生成音频的最小持续时间
  • max_duration (float, optional, defaults to 600.0) — 生成音频的最大时长
  • max_nb_genres (int, 可选, 默认为 5) — 可用于调节单个样本的最大流派数量。
  • metadata_conditioning (bool, optional, defaults to True) — 是否使用元数据条件，对应于艺术家、流派和最小/最大持续时间。

这是用于存储JukeboxModel配置的配置类。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。使用默认值实例化配置将产生类似于 openai/jukebox-1b-lyrics 架构的配置。

下采样和步幅用于确定输入序列的下采样。例如，下采样 = (5,3)，步幅 = (2, 2) 将音频下采样 2^5 = 32 以获得第一级代码，2**8 = 256 以获得第二级代码。这在训练顶级先验和上采样器时通常是正确的。

示例：

>>> from transformers import JukeboxModel, JukeboxConfig

>>> # Initializing a Jukebox configuration
>>> configuration = JukeboxConfig()

>>> # Initializing a model from the configuration
>>> model = JukeboxModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

from_configs

< >

( prior_configs: typing.List[transformers.models.deprecated.jukebox.configuration_jukebox.JukeboxPriorConfig] vqvae_config: JukeboxVQVAEConfig **kwargs ) → JukeboxConfig

返回

JukeboxConfig

配置对象的一个实例

从剪辑文本模型配置和剪辑视觉模型配置实例化一个JukeboxConfig（或派生类）。

JukeboxPriorConfig

类 transformers.JukeboxPriorConfig

< >

( act_fn = 'quick_gelu' level = 0 alignment_head = 2 alignment_layer = 68 attention_multiplier = 0.25 attention_pattern = 'enc_dec_with_lyrics' attn_dropout = 0 attn_res_scale = False blocks = 64 conv_res_scale = None num_layers = 72 emb_dropout = 0 encoder_config = None encoder_loss_fraction = 0.4 hidden_size = 2048 init_scale = 0.2 is_encoder_decoder = True lyric_vocab_size = 80 mask = False max_duration = 600 max_nb_genres = 1 merged_decoder = True metadata_conditioning = True metadata_dims = [604, 7898] min_duration = 0 mlp_multiplier = 1.0 music_vocab_size = 2048 n_ctx = 6144 n_heads = 2 nb_relevant_lyric_tokens = 384 res_conv_depth = 3 res_conv_width = 128 res_convolution_multiplier = 1 res_dilation_cycle = None res_dilation_growth_rate = 1 res_downs_t = [3, 2, 2] res_strides_t = [2, 2, 2] resid_dropout = 0 sampling_rate = 44100 spread = None timing_dims = 64 zero_out = False **kwargs )

参数

  • act_fn (str, optional, defaults to "quick_gelu") — 激活函数.
  • alignment_head (int, 可选, 默认为 2) — 负责歌词和音乐对齐的头部。仅用于计算歌词与音频的对齐
  • alignment_layer (int, optional, 默认为 68) — 负责歌词和音乐对齐的层的索引。仅用于计算歌词与音频的对齐
  • attention_multiplier (float, optional, 默认为 0.25) — 用于定义注意力层隐藏维度的乘数系数。0.25 表示将使用模型宽度的 0.25 倍。
  • attention_pattern (str, 可选, 默认为 "enc_dec_with_lyrics") — 解码器使用哪种注意力模式
  • attn_dropout (int, optional, defaults to 0) — 解码器中注意力层后的dropout概率。
  • attn_res_scale (bool, optional, defaults to False) — 是否在注意力调节器块中缩放残差。
  • blocks (int, 可选, 默认为 64) — 在 block_attn 中使用的块数。长度为 seq_len 的序列在 JukeboxAttention 层中被分解为 [blocks, seq_len // blocks]。
  • conv_res_scale (int, optional) — 是否在调节器块中缩放残差。由于顶层先验没有调节器，默认值为None，不应修改。
  • num_layers (int, optional, 默认为 72) — Transformer 架构的层数。
  • emb_dropout (int, optional, defaults to 0) — 歌词解码器中使用的嵌入dropout.
  • encoder_config (JukeboxPriorConfig, 可选) — 编码器的配置，用于建模歌词的先验。
  • encoder_loss_fraction (float, optional, defaults to 0.4) — 用于歌词编码器损失前面的乘法因子。
  • hidden_size (int, optional, defaults to 2048) — 注意力层的隐藏维度。
  • init_scale (float, optional, 默认为 0.2) — 用于初始化先验模块的初始比例。
  • is_encoder_decoder (bool, 可选, 默认为 True) — 先验模型是否为编码器-解码器模型。如果不是，并且 nb_relevant_lyric_tokens 大于 0，则应指定 encoder 参数以进行歌词编码。
  • mask (bool, optional, defaults to False) — 是否在注意力中屏蔽之前的位置。
  • max_duration (int, 可选, 默认为 600) — 生成歌曲的最大支持时长，单位为秒。
  • max_nb_genres (int, optional, 默认为 1) — 可用于调节模型的最大流派数量。
  • merged_decoder (bool, optional, 默认为 True) — 是否将解码器和编码器输入合并。这用于分离的编码器-解码器架构
  • metadata_conditioning (bool, optional, defaults to True) — 是否根据艺术家和流派元数据进行条件设置。
  • metadata_dims (List[int], 可选, 默认为 [604, 7898]) — 用于训练先验模型嵌入层的流派数量和艺术家数量。
  • min_duration (int, optional, defaults to 0) — 模型训练时生成音频的最小持续时间。
  • mlp_multiplier (float, optional, defaults to 1.0) — 用于定义MLP层隐藏维度的乘数系数。0.25表示将使用模型宽度的0.25倍。
  • music_vocab_size (int, optional, defaults to 2048) — 不同的音乐标记数量。应该与 JukeboxVQVAEConfig.nb_discrete_codes 相似。
  • n_ctx (int, optional, 默认为 6144) — 每个先验的上下文标记数量。上下文标记是在生成音乐标记时被关注的音乐标记。
  • n_heads (int, optional, defaults to 2) — 注意力头的数量。
  • nb_relevant_lyric_tokens (int, 可选, 默认为 384) — 在采样长度为 n_ctx 的单个窗口时使用的歌词标记数量
  • res_conv_depth (int, 可选, 默认为 3) — 用于在JukeboxMusicTokenConditioner中对先前采样的音频进行上采样的JukeboxDecoderConvBock的深度.
  • res_conv_width (int, 可选, 默认为 128) — 用于在JukeboxMusicTokenConditioner中对先前采样的音频进行上采样的JukeboxDecoderConvBock的宽度。
  • res_convolution_multiplier (int, optional, 默认为 1) — 用于缩放 JukeboxResConv1DBlock 的 hidden_dim 的乘数。
  • res_dilation_cycle (int, 可选) — 用于定义JukeboxMusicTokenConditioner的扩张周期。通常与VQVAE相应级别中使用的周期相似。第一个先验不使用它，因为它不受上层令牌的条件限制。
  • res_dilation_growth_rate (int, optional, defaults to 1) — 用于JukeboxMusicTokenConditioner的每个卷积块之间的扩张增长率
  • res_downs_t (List[int], 可选, 默认为 [3, 2, 2]) — 音频条件网络中使用的下采样率
  • res_strides_t (List[int], 可选, 默认为 [2, 2, 2]) — 音频条件网络中使用的步幅
  • resid_dropout (int, optional, defaults to 0) — 在注意力模式中使用的残差丢弃率。
  • sampling_rate (int, optional, defaults to 44100) — 用于训练的采样率。
  • spread (int, optional) — 用于 summary_spread_attention 模式的扩展
  • timing_dims (int, optional, defaults to 64) — 时间嵌入的维度。
  • zero_out (bool, 可选, 默认为 False) — 是否在初始化时将卷积权重置零。

这是用于存储JukeboxPrior配置的配置类。它用于根据指定的参数实例化一个JukeboxPrior，定义模型架构。使用默认值实例化配置将产生类似于[openai/jukebox-1b-lyrics](https://huggingface.co/openai/jukebox-1b-lyrics)架构中顶级先验的配置。

配置对象继承自PretrainedConfig，可用于控制模型输出。阅读PretrainedConfig的文档以获取更多信息。

JukeboxVQVAEConfig

类 transformers.JukeboxVQVAEConfig

< >

( act_fn = 'relu' nb_discrete_codes = 2048 commit = 0.02 conv_input_shape = 1 conv_res_scale = False embed_dim = 64 hop_fraction = [0.125, 0.5, 0.5] levels = 3 lmu = 0.99 multipliers = [2, 1, 1] res_conv_depth = 4 res_conv_width = 32 res_convolution_multiplier = 1 res_dilation_cycle = None res_dilation_growth_rate = 3 res_downs_t = [3, 2, 2] res_strides_t = [2, 2, 2] sample_length = 1058304 init_scale = 0.2 zero_out = False **kwargs )

参数

  • act_fn (str, optional, defaults to "relu") — 模型的激活函数。
  • nb_discrete_codes (int, optional, defaults to 2048) — VQVAE的代码数量。
  • commit (float, optional, 默认为 0.02) — 提交损失乘数.
  • conv_input_shape (int, 可选, 默认为 1) — 音频通道的数量.
  • conv_res_scale (bool, 可选, 默认为 False) — 是否缩放 JukeboxResConv1DBlock 的残差。
  • embed_dim (int, optional, defaults to 64) — 代码书向量的嵌入维度。
  • hop_fraction (List[int], 可选, 默认为 [0.125, 0.5, 0.5]) — 在继续采样过程时使用的非重叠窗口的比例。
  • levels (int, optional, defaults to 3) — 在VQVAE中使用的层次级别数。
  • lmu (float, 可选, 默认值为 0.99) — 用于代码书更新，指数移动平均系数。更多详情请参考原始VQVAE论文的附录A.1
  • multipliers (List[int], 可选, 默认为 [2, 1, 1]) — 用于每个级别的深度和宽度乘数。用于 res_conv_width 和 res_conv_depth
  • res_conv_depth (int, 可选, 默认为 4) — 编码器和解码器块的深度。如果没有使用multipliers，则每个级别的深度相同。
  • res_conv_width (int, 可选, 默认为 32) — 编码器和解码器块的宽度。如果没有使用 multipliers，则每个级别的宽度相同。
  • res_convolution_multiplier (int, optional, 默认为 1) — 在 JukeboxResConv1DBlock 中使用的隐藏维度的缩放因子。
  • res_dilation_cycle (int, 可选) — 在JukeboxResnet中使用的扩张周期值。如果使用整数，每个新的Conv1块的深度将减少res_dilation_cycle的幂次方。
  • res_dilation_growth_rate (int, 可选, 默认为 3) — VQVAE 中使用的 Resnet 扩张增长率 (dilation_growth_rate ** depth)
  • res_downs_t (List[int], 可选, 默认为 [3, 2, 2]) — 分层VQ-VAE每一级的下采样率。
  • res_strides_t (List[int], 可选, 默认为 [2, 2, 2]) — 用于分层VQ-VAE每一级的步幅。
  • sample_length (int, optional, 默认为 1058304) — 提供 VQVAE 的最大输入形状。用于计算每个级别的输入形状。
  • init_scale (float, optional, 默认为 0.2) — 初始化比例.
  • zero_out (bool, optional, defaults to False) — 是否在初始化时将卷积权重置零。

这是用于存储JukeboxVQVAE配置的配置类。它用于根据指定的参数实例化一个JukeboxVQVAE，定义模型架构。使用默认值实例化配置将产生与openai/jukebox-1b-lyrics架构中的VQVAE类似的配置。

配置对象继承自PretrainedConfig，可用于控制模型输出。阅读PretrainedConfig的文档以获取更多信息。

JukeboxTokenizer

类 transformers.JukeboxTokenizer

< >

( artists_file genres_file lyrics_file version = ['v3', 'v2', 'v2'] max_n_lyric_tokens = 512 n_genres = 5 unk_token = '<|endoftext|>' **kwargs )

参数

  • artists_file (str) — 词汇表文件的路径，该文件包含艺术家和ID之间的映射。默认文件支持 “v2”和“v3”
  • genres_file (str) — 包含流派和ID之间映射的词汇表文件的路径。
  • lyrics_file (str) — 词汇表文件的路径，该文件包含歌词分词所接受的字符。
  • 版本 (List[str], 可选, 默认为 ["v3", "v2", "v2"]) — 分词器版本的列表。5b-lyrics的顶级先验模型是使用v3而不是v2训练的。
  • n_genres (int, optional, 默认为 1) — 用于创作的最大流派数量。
  • max_n_lyric_tokens (int, optional, 默认为 512) — 保留的最大歌词标记数。
  • unk_token (str, optional, defaults to "<|endoftext|>") — 未知的标记。不在词汇表中的标记无法转换为ID，而是设置为这个标记。

构建一个Jukebox分词器。Jukebox可以根据3种不同的输入进行条件设置：

  • 艺术家，从提供的字典中为每个艺术家关联唯一的ID。
  • 类型，从提供的字典中为每个类型关联唯一的ID。
  • 歌词，基于字符的分词。必须使用词汇表中的字符列表进行初始化。

此分词器不需要训练。它应该能够处理不同数量的输入：因为模型的调节可以在三个不同的查询上进行。如果未提供None，将使用默认值。

根据模型应该基于的流派数量（n_genres）。

>>> from transformers import JukeboxTokenizer

>>> tokenizer = JukeboxTokenizer.from_pretrained("openai/jukebox-1b-lyrics")
>>> tokenizer("Alan Jackson", "Country Rock", "old town road")["input_ids"]
[tensor([[   0,    0,    0, 6785,  546,   41,   38,   30,   76,   46,   41,   49,
           40,   76,   44,   41,   27,   30]]), tensor([[  0,   0,   0, 145,   0]]), tensor([[  0,   0,   0, 145,   0]])]

你可以通过在实例化此分词器或在某些文本上调用它时传递add_prefix_space=True来绕过这种行为，但由于模型不是以这种方式预训练的，这可能会导致性能下降。

如果没有提供任何内容，流派和艺术家将被随机选择或设置为None

这个分词器继承自PreTrainedTokenizer，其中包含了大部分主要方法。用户应参考： 这个超类以获取有关这些方法的更多信息。

然而，代码不允许这样做，只支持从各种类型中组合。

保存词汇表

< >

( save_directory: str filename_prefix: typing.Optional[str] = None )

参数

  • save_directory (str) — 一个指向保存目录的路径。如果目录不存在，将会被创建。
  • filename_prefix (Optional[str], optional) — 一个前缀，用于添加到由分词器保存的文件名中。

将分词器的词汇字典保存到提供的保存目录中。

JukeboxModel

类 transformers.JukeboxModel

< >

( config )

参数

  • config (JukeboxConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。

用于音乐生成的裸JUKEBOX模型。支持4种采样技术：primed_sample、upsample、continue_sample和ancestral_sample。它没有forward方法，因为训练不是端到端的。如果你想微调模型，建议使用JukeboxPrior类并单独训练每个先验。

该模型继承自PreTrainedModel。请查看超类文档以了解库为其所有模型实现的通用方法（如下载或保存、调整输入嵌入的大小、修剪头部等）。

该模型也是一个PyTorch torch.nn.Module 子类。 将其作为常规的PyTorch模块使用，并参考PyTorch文档以获取与一般使用和行为相关的所有信息。

祖先样本

< >

( 标签 样本数 = 1 **采样参数 )

参数

  • labels (List[torch.LongTensor]) — 长度为 n_sample 的列表，形状为 (self.levels, 4 + self.config.max_nb_genre + lyric_sequence_length) 的元数据，如 artist_id、genre_id 和完整的歌词标记列表， 用于条件生成。
  • n_samples (int, optional, default to 1) — 并行生成的样本数量。

根据提供的labels生成音乐令牌。将从所需的先验级别开始，并自动对序列进行上采样。如果您想创建音频，您应该调用model.decode(tokens)`，它将使用VQ-VAE解码器将音乐令牌转换为原始音频。

示例：

>>> from transformers import AutoTokenizer, JukeboxModel, set_seed

>>> model = JukeboxModel.from_pretrained("openai/jukebox-1b-lyrics", min_duration=0).eval()
>>> tokenizer = AutoTokenizer.from_pretrained("openai/jukebox-1b-lyrics")

>>> lyrics = "Hey, are you awake? Can you talk to me?"
>>> artist = "Zac Brown Band"
>>> genre = "Country"
>>> metas = tokenizer(artist=artist, genres=genre, lyrics=lyrics)
>>> set_seed(0)
>>> music_tokens = model.ancestral_sample(metas.input_ids, sample_length=400)

>>> with torch.no_grad():
...     model.decode(music_tokens)[:, :10].squeeze(-1)
tensor([[-0.0219, -0.0679, -0.1050, -0.1203, -0.1271, -0.0936, -0.0396, -0.0405,
    -0.0818, -0.0697]])

primed_sample

< >

( raw_audio labels **sampling_kwargs )

参数

  • raw_audio (List[torch.Tensor] 长度为 n_samples ) — 将用作每个生成样本的条件信息的原始音频列表。
  • 标签 (List[torch.LongTensor] 长度为 n_sample, 形状为 (self.levels, self.config.max_nb_genre + lyric_sequence_length) — 元数据列表，如 artist_id, genre_id 和完整的歌词标记列表，用于 条件生成.
  • sampling_kwargs (Dict[Any]) — 各种额外的采样参数，这些参数由_sample函数使用。详细的参数列表可以在_sample函数的文档中查看。

根据提供的raw_audio生成原始音频，该音频在每个生成级别上用作条件。音频使用VQ-VAE的3个级别编码为音乐标记。这些标记被用作每个级别的条件，这意味着不需要祖先采样。

continue_sample

< >

( music_tokens labels **sampling_kwargs )

参数

  • music_tokens (List[torch.LongTensor] 长度为 self.levels ) — 一系列音乐标记，将用作继续采样过程的上下文。应包含 self.levels 个张量，每个张量对应于某个级别的生成。
  • labels (List[torch.LongTensor] 长度为 n_sample，形状为 (self.levels, self.config.max_nb_genre + lyric_sequence_length) — 元数据列表，如 artist_id、genre_id 和完整的歌词标记列表，用于 条件生成。
  • sampling_kwargs (Dict[Any]) — 各种额外的采样参数，这些参数由_sample函数使用。参数的详细列表可以在_sample函数的文档中查看。

生成先前生成的令牌的延续。

上采样

< >

( music_tokens labels **sampling_kwargs )

参数

  • music_tokens (List[torch.LongTensor] 长度为 self.levels ) — 用于作为上下文继续采样过程的音乐令牌序列。应该包含 self.levels 个张量，每个张量对应于某个级别的生成。
  • labels (List[torch.LongTensor] 长度为 n_sample, 形状为 (self.levels, self.config.max_nb_genre + lyric_sequence_length) — 元数据列表，如 artist_id, genre_id 和完整的歌词标记列表，用于 条件生成.
  • sampling_kwargs (Dict[Any]) — 各种额外的采样参数，这些参数由_sample函数使用。详细的参数列表可以在_sample函数的文档中查看。

使用级别level的先验对一系列音乐标记进行上采样。

_sample

< >

( music_tokens labels sample_levels metas = None chunk_size = 32 sampling_temperature = 0.98 lower_batch_size = 16 max_batch_size = 16 sample_length_in_seconds = 24 compute_alignments = False sample_tokens = None offset = 0 save_results = True sample_length = None )

参数

  • music_tokens (List[torch.LongTensor]) — 一个长度为 self.levels 的音乐令牌序列，将用作继续采样过程的上下文。应该包含 self.levels 个张量，每个张量对应于某个级别的生成。
  • labels (List[torch.LongTensor]) — 长度为 n_sample 的列表，形状为 (self.levels, 4 + self.config.max_nb_genre + lyric_sequence_length) 的元数据，如 artist_id、genre_id 和完整的歌词标记列表， 用于条件生成。
  • sample_levels (List[int]) — 进行采样的所需级别列表。一个级别等同于先验列表中的索引
  • metas (List[Any], 可选) — 用于生成 labels 的元数据
  • chunk_size (int, optional, 默认为 32) — 音频块的大小，用于分块填充内存以防止内存溢出错误。较大的块意味着更快的内存填充，但消耗也更多。
  • sampling_temperature (float, optional, defaults to 0.98) — 用于调整采样随机性的温度。
  • lower_batch_size (int, 可选, 默认为 16) — 下层先验的最大批量大小
  • max_batch_size (int, 可选, 默认为 16) — 顶层先验的最大批量大小
  • sample_length_in_seconds (int, optional, 默认为 24) — 生成的期望长度，单位为秒
  • compute_alignments (bool, 可选, 默认为 False) — 是否使用 top_prior 计算歌词和音频之间的对齐
  • sample_tokens (int, optional) — 在每个级别应采样的确切令牌数。这对于运行虚拟实验非常有用
  • offset (int, optional, 默认为 0) — 用作条件的音频偏移量，对应于音乐中的起始样本。如果偏移量大于0，歌词将会相应地移动
  • save_results (bool, 可选, 默认为 True) — 是否保存中间结果。如果为 True，将生成一个以开始时间命名的文件夹。
  • sample_length (int, optional) — 生成的样本长度，单位为样本数。

用于生成音乐令牌的核心采样函数。遍历提供的级别列表，同时在每一步保存生成的原始音频。

返回: torch.Tensor

示例：

>>> from transformers import AutoTokenizer, JukeboxModel, set_seed
>>> import torch

>>> metas = dict(artist="Zac Brown Band", genres="Country", lyrics="I met a traveller from an antique land")
>>> tokenizer = AutoTokenizer.from_pretrained("openai/jukebox-1b-lyrics")
>>> model = JukeboxModel.from_pretrained("openai/jukebox-1b-lyrics", min_duration=0).eval()

>>> labels = tokenizer(**metas)["input_ids"]
>>> set_seed(0)
>>> zs = [torch.zeros(1, 0, dtype=torch.long) for _ in range(3)]
>>> zs = model._sample(zs, labels, [0], sample_length=40 * model.priors[0].raw_to_tokens, save_results=False)
>>> zs[0]
tensor([[1853, 1369, 1150, 1869, 1379, 1789,  519,  710, 1306, 1100, 1229,  519,
      353, 1306, 1379, 1053,  519,  653, 1631, 1467, 1229, 1229,   10, 1647,
     1254, 1229, 1306, 1528, 1789,  216, 1631, 1434,  653,  475, 1150, 1528,
     1804,  541, 1804, 1434]])

JukeboxPrior

类 transformers.JukeboxPrior

< >

( config: JukeboxPriorConfig level = 无 nb_priors = 3 vqvae_encoder = 无 vqvae_decoder = 无 )

参数

  • config (JukeboxPriorConfig) — 包含模型所有参数的模型配置类。使用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。
  • level (int, optional) — 当前Prior的级别。应在[0,nb_priors]范围内。
  • nb_priors (int, optional, defaults to 3) — 先验的总数.
  • vqvae_encoder (Callable, 可选) — 模型前向传递中使用的VQVAE编码器的编码方法。传递函数而不是vqvae模块以避免获取参数。
  • vqvae_decoder (Callable, optional) — 模型前向传递中使用的VQVAE解码器的解码方法。传递函数而不是vqvae模块以避免获取参数。

JukeboxPrior 类，它是各种条件处理和 transformer 的封装。JukeboxPrior 可以被视为在音乐上训练的语言模型。它们模拟下一个 music token 预测任务。如果定义了（歌词）encoder，它还会模拟歌词上的下一个字符预测。可以根据时间、艺术家、流派、歌词和来自较低级别 Priors 的代码进行条件处理。

样本

< >

( n_samples music_tokens = 无 music_tokens_conds = 无 metadata = 无 temp = 1.0 top_k = 0 top_p = 0.0 chunk_size = 无 sample_tokens = 无 )

参数

  • n_samples (int) — 要生成的样本数量。
  • music_tokens (List[torch.LongTensor], optional) — 在当前层级之前生成的令牌。用作生成的上下文。
  • music_tokens_conds (List[torch.FloatTensor], optional) — 由先前的前置模型生成的高层音乐令牌。如果生成不依赖于高层令牌，则为 None。
  • metadata (List[torch.LongTensor], optional) — 包含艺术家、流派和歌词标记的元数据张量的列表。
  • temp (float, optional, 默认为 1.0) — 采样温度.
  • top_k (int, optional, defaults to 0) — 用于过滤的Top k概率。
  • top_p (float, optional, 默认为 0.0) — 用于过滤的顶部 p 概率。
  • chunk_size (int, optional) — 用于准备变压器缓存的块大小。
  • sample_tokens (int, optional) — 要采样的令牌数量。

使用提供的条件和元数据对一组标记进行祖先/主要采样。

前进

< >

( hidden_states: Tensor metadata: typing.Optional[typing.List[torch.LongTensor]] decode: typing.Optional[bool] = False get_preds: typing.Optional[bool] = False )

参数

  • hidden_states (torch.Tensor) — 隐藏状态，应为原始音频
  • metadata (List[torch.LongTensor], optional) — 包含歌词和元数据标记的元数据条件张量的列表。
  • decode (bool, 可选, 默认为 False) — 是否解码编码的令牌。
  • get_preds (bool, optional, defaults to False) — 是否返回模型的实际预测结果。

使用vqvae编码器对隐藏状态进行编码，然后在forward_tokens函数中预测下一个标记。损失是encoder损失和decoder损失的总和。

JukeboxVQVAE

类 transformers.JukeboxVQVAE

< >

( config: JukeboxVQVAEConfig )

参数

  • config (JukeboxConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。

Jukebox中使用的分层VQ-VAE模型。该模型遵循了Will Williams, Sam Ringer, Tom Ash, John Hughes, David MacLeod, Jamie Dougherty的分层VQVAE论文。

该模型继承自PreTrainedModel。请查看超类文档以了解库为其所有模型实现的通用方法（如下载或保存、调整输入嵌入的大小、修剪头部等）。

该模型也是一个PyTorch torch.nn.Module 子类。 将其作为常规的PyTorch模块使用，并参考PyTorch文档以获取与一般使用和行为相关的所有信息。

前进

< >

( raw_audio: FloatTensor )

参数

  • raw_audio (torch.FloatTensor) — 将被编码和解码的音频输入。

VQ-VAE的前向传递，将raw_audio编码为潜在状态，然后为每个级别解码。 计算提交损失，以确保编码器计算的嵌入接近码本向量。

示例：

>>> from transformers import JukeboxVQVAE, set_seed
>>> import torch

>>> model = JukeboxVQVAE.from_pretrained("openai/jukebox-1b-lyrics").eval()
>>> set_seed(0)
>>> zs = [torch.randint(100, (4, 1))]
>>> model.decode(zs).shape
torch.Size([4, 8, 1])

编码

< >

( input_audio start_level = 0 end_level = None bs_chunks = 1 )

参数

  • input_audio (torch.Tensor) — 将被编码为其离散表示的原始音频。将为每个样本序列计算最接近的code从码本中。
  • start_level (int, optional, 默认为 0) — 编码过程开始的级别。默认为 0.
  • end_level (int, 可选) — 编码过程开始的级别。默认为 None.
  • bs_chunks (int, optional, defaults to 1) — 同时处理的原始音频块的数量。

将input_audio转换为由music_tokens组成的离散表示。

解码

< >

( music_tokens start_level = 0 end_level = None bs_chunks = 1 )

参数

  • music_tokens (torch.LongTensor) — 音乐令牌的张量，将通过使用代码本解码为原始音频。每个音乐令牌 应该是代码本中对应code向量的索引。
  • start_level (int, 可选) — 解码过程开始的级别。默认为0.
  • end_level (int, optional) — 解码过程开始的级别。默认为 None.
  • bs_chunks (int, 可选) — 同时处理的块数。

将输入的 music_tokens 转换为其 raw_audio 表示。

< > Update on GitHub

←JetMoe LED→