VisionTextDualEncoder
概述
VisionTextDualEncoderModel 可以用来初始化一个视觉-文本双编码器模型,使用任何预训练的视觉自编码模型作为视觉编码器(例如 ViT, BEiT, DeiT)和任何预训练的文本自编码模型作为文本编码器(例如 RoBERTa, BERT)。在视觉和文本编码器的顶部添加了两个投影层,将输出嵌入投影到一个共享的潜在空间。投影层是随机初始化的,因此模型应该在下游任务上进行微调。该模型可以用于使用类似CLIP的对比图像-文本训练来对齐视觉-文本嵌入,然后可以用于零样本视觉任务,如图像分类或检索。
在LiT: Zero-Shot Transfer with Locked-image Text Tuning中展示了如何利用预训练(锁定/冻结)的图像和文本模型进行对比学习,从而在新的零样本视觉任务(如图像分类或检索)上取得显著改进。
VisionTextDualEncoderConfig
类 transformers.VisionTextDualEncoderConfig
< source >( projection_dim = 512 logit_scale_init_value = 2.6592 **kwargs )
VisionTextDualEncoderConfig 是用于存储 VisionTextDualEncoderModel 配置的配置类。它用于根据指定的参数实例化 VisionTextDualEncoderModel 模型,定义文本模型和视觉模型的配置。
配置对象继承自PretrainedConfig,可用于控制模型输出。阅读PretrainedConfig的文档以获取更多信息。
示例:
>>> from transformers import ViTConfig, BertConfig, VisionTextDualEncoderConfig, VisionTextDualEncoderModel
>>> # Initializing a BERT and ViT configuration
>>> config_vision = ViTConfig()
>>> config_text = BertConfig()
>>> config = VisionTextDualEncoderConfig.from_vision_text_configs(config_vision, config_text, projection_dim=512)
>>> # Initializing a BERT and ViT model (with random weights)
>>> model = VisionTextDualEncoderModel(config=config)
>>> # Accessing the model configuration
>>> config_vision = model.config.vision_config
>>> config_text = model.config.text_config
>>> # Saving the model, including its configuration
>>> model.save_pretrained("vit-bert")
>>> # loading model and config from pretrained folder
>>> vision_text_config = VisionTextDualEncoderConfig.from_pretrained("vit-bert")
>>> model = VisionTextDualEncoderModel.from_pretrained("vit-bert", config=vision_text_config)
from_vision_text_configs
< source >( vision_config: PretrainedConfig text_config: PretrainedConfig **kwargs ) → VisionTextDualEncoderConfig
从文本模型配置和视觉模型配置实例化一个VisionTextDualEncoderConfig(或派生类)。
VisionTextDualEncoderProcessor
类 transformers.VisionTextDualEncoderProcessor
< source >( image_processor = 无 tokenizer = 无 **kwargs )
参数
- image_processor (AutoImageProcessor, 可选) — 图像处理器是一个必需的输入。
- tokenizer (PreTrainedTokenizer, optional) — tokenizer 是一个必需的输入。
构建一个VisionTextDualEncoder处理器,它将图像处理器和分词器封装到一个单一的处理器中。
VisionTextDualEncoderProcessor 提供了 AutoImageProcessor 和 AutoTokenizer 的所有功能。
有关更多信息,请参阅 __call__()
和 decode()。
此方法将其所有参数转发给 VisionTextDualEncoderTokenizer 的 batch_decode()。请参阅该方法的文档字符串以获取更多信息。
此方法将其所有参数转发给VisionTextDualEncoderTokenizer的decode()。 请参阅此方法的文档字符串以获取更多信息。
VisionTextDualEncoderModel
类 transformers.VisionTextDualEncoderModel
< source >( config: typing.Optional[transformers.models.vision_text_dual_encoder.configuration_vision_text_dual_encoder.VisionTextDualEncoderConfig] = None vision_model: typing.Optional[transformers.modeling_utils.PreTrainedModel] = None text_model: typing.Optional[transformers.modeling_utils.PreTrainedModel] = None )
参数
- config (VisionEncoderDecoderConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重,只会加载配置。查看 from_pretrained() 方法以加载模型权重。
该类可用于初始化一个视觉-文本双编码器模型,其中视觉编码器可以是任何预训练的视觉自编码模型,文本编码器可以是任何预训练的文本模型。视觉和文本编码器通过from_pretrained()方法加载。投影层会自动添加到模型中,并且应在下游任务(如对比图像-文本建模)上进行微调。
在LiT: Zero-Shot Transfer with Locked-image Text Tuning中展示了如何利用预训练(锁定/冻结)的图像和文本模型进行对比学习,从而在新的零样本视觉任务(如图像分类或检索)上取得显著改进。
在训练/微调这样的Vision-Text-Dual-Encoder模型之后,它可以像其他模型一样保存/加载(更多信息请参见示例)。
该模型继承自PreTrainedModel。请查看超类文档以了解库为其所有模型实现的通用方法(如下载或保存、调整输入嵌入的大小、修剪头部等)。
该模型也是一个PyTorch torch.nn.Module 子类。 将其作为常规的PyTorch模块使用,并参考PyTorch文档以获取与一般使用和行为相关的所有信息。
前进
< source >( input_ids: typing.Optional[torch.LongTensor] = None pixel_values: typing.Optional[torch.FloatTensor] = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None return_loss: typing.Optional[bool] = None token_type_ids: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.clip.modeling_clip.CLIPOutput
或 tuple(torch.FloatTensor)
参数
- input_ids (
torch.LongTensor
of shape(batch_size, sequence_length)
) — Indices of input sequence tokens in the vocabulary. Padding will be ignored by default should you provide it.可以使用AutoTokenizer获取索引。详情请参见PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor
of shape(batch_size, sequence_length)
, optional) — Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]
:- 1 for tokens that are not masked,
- 0 for tokens that are masked.
- position_ids (
torch.LongTensor
of shape(batch_size, sequence_length)
, optional) — Indices of positions of each input sequence tokens in the position embeddings. Selected in the range[0, config.max_position_embeddings - 1]
. - pixel_values (
torch.FloatTensor
of shape(batch_size, num_channels, height, width)
) — 像素值。默认情况下,如果您提供了填充,它将被忽略。像素值可以使用图像处理器获得(例如,如果您使用ViT作为编码器,您应该使用AutoImageProcessor)。详情请参见 ViTImageProcessor.call(). - return_loss (
bool
, optional) — 是否返回对比损失。 - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量下的attentions
。 - output_hidden_states (
bool
, optional) — 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回一个ModelOutput而不是一个普通的元组。
返回
transformers.models.clip.modeling_clip.CLIPOutput
或 tuple(torch.FloatTensor)
一个 transformers.models.clip.modeling_clip.CLIPOutput
或一个由 torch.FloatTensor
组成的元组(如果传递了 return_dict=False
或当 config.return_dict=False
时),包含各种元素,具体取决于配置(VisionTextDualEncoderConfig)和输入。
- loss (
torch.FloatTensor
形状为(1,)
,可选,当return_loss
为True
时返回) — 图像-文本相似度的对比损失。 - logits_per_image (
torch.FloatTensor
形状为(image_batch_size, text_batch_size)
) —image_embeds
和text_embeds
之间的缩放点积分数。这表示图像-文本相似度分数。 - logits_per_text (
torch.FloatTensor
形状为(text_batch_size, image_batch_size)
) —text_embeds
和image_embeds
之间的缩放点积分数。这表示文本-图像相似度分数。 - text_embeds (
torch.FloatTensor
形状为(batch_size, output_dim
) — 通过将投影层应用于 CLIPTextModel 的池化输出获得的文本嵌入。 - image_embeds (
torch.FloatTensor
形状为(batch_size, output_dim
) — 通过将投影层应用于 CLIPVisionModel 的池化输出获得的图像嵌入。 - text_model_output (
BaseModelOutputWithPooling
) — CLIPTextModel 的输出。 - vision_model_output (
BaseModelOutputWithPooling
) — CLIPVisionModel 的输出。
VisionTextDualEncoderModel 的前向方法,重写了 __call__
特殊方法。
尽管前向传递的配方需要在此函数内定义,但之后应该调用Module
实例而不是这个,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。
示例:
>>> from PIL import Image
>>> import requests
>>> from transformers import (
... VisionTextDualEncoderModel,
... VisionTextDualEncoderProcessor,
... AutoImageProcessor,
... AutoTokenizer,
... )
>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = VisionTextDualEncoderModel.from_vision_text_pretrained(
... "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )
>>> # contrastive training
>>> urls = [
... "http://images.cocodataset.org/val2017/000000039769.jpg",
... "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
... text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="pt", padding=True
... )
>>> outputs = model(
... input_ids=inputs.input_ids,
... attention_mask=inputs.attention_mask,
... pixel_values=inputs.pixel_values,
... return_loss=True,
... )
>>> loss, logits_per_image = outputs.loss, outputs.logits_per_image # this is the image-text similarity score
>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = VisionTextDualEncoderModel.from_pretrained("vit-bert")
>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image # this is the image-text similarity score
>>> probs = logits_per_image.softmax(dim=1) # we can take the softmax to get the label probabilities
FlaxVisionTextDualEncoderModel
类 transformers.FlaxVisionTextDualEncoderModel
< source >( config: VisionTextDualEncoderConfig input_shape: typing.Optional[typing.Tuple] = None seed: int = 0 dtype: dtype =
参数
- config (VisionTextDualEncoderConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重,只会加载配置。查看 from_pretrained() 方法以加载模型权重。
- dtype (
jax.numpy.dtype
, optional, defaults tojax.numpy.float32
) — The data type of the computation. Can be one ofjax.numpy.float32
,jax.numpy.float16
(on GPUs) andjax.numpy.bfloat16
(on TPUs).这可以用于在GPU或TPU上启用混合精度训练或半精度推理。如果指定,所有计算将使用给定的
dtype
执行。请注意,这仅指定了计算的数据类型,并不影响模型参数的数据类型。
该类可用于初始化一个视觉-文本双编码器模型,其中视觉编码器可以是任何预训练的视觉自编码模型,文本编码器可以是任何预训练的文本模型。视觉和文本编码器通过from_pretrained()方法加载。投影层会自动添加到模型中,并且应在下游任务(如对比图像-文本建模)上进行微调。
在LiT: Zero-Shot Transfer with Locked-image Text Tuning中展示了如何利用预训练(锁定/冻结)的图像和文本模型进行对比学习,从而在新的零样本视觉任务(如图像分类或检索)上取得显著改进。
在训练/微调这样的Vision-Text-Dual-Encoder模型之后,它可以像其他模型一样保存/加载(更多信息请参见示例)。
该模型继承自PreTrainedModel。请查看超类文档以了解库为其所有模型实现的通用方法(如下载或保存、调整输入嵌入的大小、修剪头部等)。
该模型也是一个 flax.linen.Module 子类。可以将其作为常规的 Flax linen 模块使用,并参考 Flax 文档以获取与一般用法和行为相关的所有信息。
最后,该模型支持JAX的固有特性,例如:
__call__
< source >( input_ids pixel_values attention_mask = None position_ids = None token_type_ids = None params: dict = None dropout_rng: transformers.models.clip.modeling_flax_clip.FlaxCLIPOutput
或 tuple(torch.FloatTensor)
参数
- input_ids (
numpy.ndarray
of shape(batch_size, sequence_length)
) — Indices of input sequence tokens in the vocabulary. Padding will be ignored by default should you provide it.可以使用AutoTokenizer获取索引。详情请参见PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor
of shape(batch_size, sequence_length)
, optional) — Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]
:- 1 for tokens that are not masked,
- 0 for tokens that are masked.
- position_ids (
numpy.ndarray
of shape(batch_size, sequence_length)
, optional) — Indices of positions of each input sequence tokens in the position embeddings. Selected in the range[0, config.max_position_embeddings - 1]
. - pixel_values (
torch.FloatTensor
of shape(batch_size, num_channels, height, width)
) — 像素值。默认情况下,如果您提供了填充,它将被忽略。像素值可以使用图像处理器获得(例如,如果您使用ViT作为编码器,您应该使用AutoImageProcessor)。详情请参见 ViTImageProcessor.call(). - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量中的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。
返回
transformers.models.clip.modeling_flax_clip.FlaxCLIPOutput
或 tuple(torch.FloatTensor)
一个 transformers.models.clip.modeling_flax_clip.FlaxCLIPOutput
或一个由
torch.FloatTensor
组成的元组(如果传递了 return_dict=False
或当 config.return_dict=False
时),包含各种
元素,具体取决于配置(VisionTextDualEncoderConfig)和输入。
- logits_per_image:(
jnp.ndarray
形状为(image_batch_size, text_batch_size)
) —image_embeds
和text_embeds
之间的缩放点积分数。这表示图像-文本 相似度分数。 - logits_per_text:(
jnp.ndarray
形状为(text_batch_size, image_batch_size)
) —text_embeds
和image_embeds
之间的缩放点积分数。这表示文本-图像 相似度分数。 - text_embeds(
jnp.ndarray
形状为(batch_size, output_dim
) — 通过将投影层应用于 FlaxCLIPTextModel 的池化输出获得的文本嵌入。 - image_embeds(
jnp.ndarray
形状为(batch_size, output_dim
) — 通过将投影层应用于 FlaxCLIPVisionModel 的池化输出获得的图像嵌入。 - text_model_output(
FlaxBaseModelOutputWithPooling
): FlaxCLIPTextModel 的输出。 - vision_model_output(
FlaxBaseModelOutputWithPooling
): FlaxCLIPVisionModel 的输出。
FlaxVisionTextDualEncoderModel 的 forward 方法,重写了 __call__
特殊方法。
尽管前向传递的配方需要在此函数内定义,但之后应该调用Module
实例而不是这个,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。
示例:
>>> from PIL import Image
>>> import requests
>>> import jax
>>> from transformers import (
... FlaxVisionTextDualEncoderModel,
... VisionTextDualEncoderProcessor,
... AutoImageProcessor,
... AutoTokenizer,
... )
>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcesor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = FlaxVisionTextDualEncoderModel.from_vision_text_pretrained(
... "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )
>>> # contrastive training
>>> urls = [
... "http://images.cocodataset.org/val2017/000000039769.jpg",
... "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
... text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="np", padding=True
... )
>>> outputs = model(
... input_ids=inputs.input_ids,
... attention_mask=inputs.attention_mask,
... pixel_values=inputs.pixel_values,
... )
>>> logits_per_image = outputs.logits_per_image # this is the image-text similarity score
>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = FlaxVisionTextDualEncoderModel.from_pretrained("vit-bert")
>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image # this is the image-text similarity score
>>> probs = jax.nn.softmax(logits_per_image, axis=1) # we can take the softmax to get the label probabilities
TFVisionTextDualEncoderModel
类 transformers.TFVisionTextDualEncoderModel
< source >( config: 可选[VisionTextDualEncoderConfig] = 无 vision_model: 可选[TFPreTrainedModel] = 无 text_model: 可选[TFPreTrainedModel] = 无 )
参数
- config (VisionEncoderDecoderConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重,只会加载配置。查看 from_pretrained() 方法以加载模型权重。
该类可用于初始化一个视觉-文本双编码器模型,其中视觉编码器可以是任何预训练的视觉自编码模型,文本编码器可以是任何预训练的文本模型。视觉和文本编码器通过from_pretrained()方法加载。投影层会自动添加到模型中,并且应在下游任务(如对比图像-文本建模)上进行微调。
在LiT: Zero-Shot Transfer with Locked-image Text Tuning中展示了如何利用预训练(锁定/冻结)的图像和文本模型进行对比学习,从而在新的零样本视觉任务(如图像分类或检索)上取得显著改进。
在训练/微调这样的Vision-Text-Dual-Encoder模型之后,它可以像其他模型一样保存/加载(更多信息请参见示例)。
该模型继承自 TFPreTrainedModel。请查看超类文档以了解库为其所有模型实现的通用方法(如下载或保存、调整输入嵌入的大小、修剪头部等)。
该模型也是一个Keras Model子类。可以将其作为常规的Keras模型使用,并参考TF文档以获取与一般使用和行为相关的所有信息。
调用
< source >( input_ids: tf.Tensor | None = None pixel_values: tf.Tensor | None = None attention_mask: tf.Tensor | None = None position_ids: tf.Tensor | None = None return_loss: Optional[bool] = None token_type_ids: tf.Tensor | None = None output_attentions: Optional[bool] = None output_hidden_states: Optional[bool] = None return_dict: Optional[bool] = None training: bool = False ) → transformers.models.clip.modeling_tf_clip.TFCLIPOutput
或 tuple(tf.Tensor)
参数
- input_ids (
tf.Tensor
of shape(batch_size, sequence_length)
) — Indices of input sequence tokens in the vocabulary. Padding will be ignored by default should you provide it.可以使用AutoTokenizer获取索引。详情请参见PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
- attention_mask (
tf.Tensor
of shape(batch_size, sequence_length)
, optional) — Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]
:- 1 for tokens that are not masked,
- 0 for tokens that are masked.
- position_ids (
tf.Tensor
of shape(batch_size, sequence_length)
, optional) — Indices of positions of each input sequence tokens in the position embeddings. Selected in the range[0, config.max_position_embeddings - 1]
. - pixel_values (
tf.Tensor
of shape(batch_size, num_channels, height, width)
) — 像素值。默认情况下,如果您提供了填充,它将被忽略。像素值可以使用图像处理器获得(例如,如果您使用ViT作为编码器,您应该使用AutoImageProcessor)。详情请参见 ViTImageProcessor.call(). - return_loss (
bool
, optional) — 是否返回对比损失。 - output_attentions (
bool
, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量中的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回一个ModelOutput而不是一个普通的元组。
返回
transformers.models.clip.modeling_tf_clip.TFCLIPOutput
或 tuple(tf.Tensor)
一个 transformers.models.clip.modeling_tf_clip.TFCLIPOutput
或一个 tf.Tensor
元组(如果传递了 return_dict=False
或当 config.return_dict=False
时),包含根据配置(VisionTextDualEncoderConfig)和输入的各种元素。
- loss (
tf.Tensor
形状为(1,)
,可选,当return_loss
为True
时返回) — 图像-文本相似性的对比损失。 - logits_per_image:(
tf.Tensor
形状为(image_batch_size, text_batch_size)
) —image_embeds
和text_embeds
之间的缩放点积分数。这表示图像-文本相似性分数。 - logits_per_text:(
tf.Tensor
形状为(text_batch_size, image_batch_size)
) —text_embeds
和image_embeds
之间的缩放点积分数。这表示文本-图像相似性分数。 - text_embeds(
tf.Tensor
形状为(batch_size, output_dim
) — 通过将投影层应用于 TFCLIPTextModel 的池化输出获得的文本嵌入。 - image_embeds(
tf.Tensor
形状为(batch_size, output_dim
) — 通过将投影层应用于 TFCLIPVisionModel 的池化输出获得的图像嵌入。 - text_model_output(
~modeling_tf_utils.TFBaseModelOutputWithPooling
): TFCLIPTextModel 的输出。 - vision_model_output(
~modeling_tf_utils.TFBaseModelOutputWithPooling
): TFCLIPVisionModel 的输出。
TFVisionTextDualEncoderModel 的前向方法,重写了 __call__
特殊方法。
尽管前向传递的配方需要在此函数内定义,但之后应该调用Module
实例而不是这个,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。
示例:
>>> from PIL import Image
>>> import requests
>>> from transformers import (
... TFVisionTextDualEncoderModel,
... VisionTextDualEncoderProcessor,
... AutoImageProcessor,
... AutoTokenizer,
... )
>>> tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased")
>>> image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")
>>> processor = VisionTextDualEncoderProcessor(image_processor, tokenizer)
>>> model = TFVisionTextDualEncoderModel.from_vision_text_pretrained(
... "google/vit-base-patch16-224", "google-bert/bert-base-uncased"
... )
>>> # contrastive training
>>> urls = [
... "http://images.cocodataset.org/val2017/000000039769.jpg",
... "https://farm3.staticflickr.com/2674/5850229113_4fe05d5265_z.jpg",
... ]
>>> images = [Image.open(requests.get(url, stream=True).raw) for url in urls]
>>> inputs = processor(
... text=["a photo of a cat", "a photo of a dog"], images=images, return_tensors="np", padding=True
... )
>>> outputs = model(
... input_ids=inputs.input_ids,
... attention_mask=inputs.attention_mask,
... pixel_values=inputs.pixel_values,
... return_loss=True,
... )
>>> loss, logits_per_image = outputs.loss, outputs.logits_per_image # this is the image-text similarity score
>>> # save and load from pretrained
>>> model.save_pretrained("vit-bert")
>>> model = TFVisionTextDualEncoderModel.from_pretrained("vit-bert")
>>> # inference
>>> outputs = model(**inputs)
>>> logits_per_image = outputs.logits_per_image # this is the image-text similarity score
>>> probs = tf.nn.softmax(logits_per_image, axis=1) # we can take the softmax to get the label probabilities