Idefics3
概述
Idefics3模型由Hugo Laurençon、Andrés Marafioti、Victor Sanh和Léo Tronchon在构建和更好理解视觉语言模型:见解和未来方向中提出。
Idefics3 是 Idefics2 模型的改编版本,主要有三个不同之处:
- 它使用Llama3作为文本模型。
- 它使用了更新的图像处理逻辑。
- 它移除了感知者。
论文的摘要如下:
视觉-语言模型(VLMs)领域,以图像和文本为输入并输出文本,正在迅速发展,但在开发流程的几个关键方面,包括数据、架构和训练方法,尚未达成共识。本文可以看作是构建VLM的教程。我们首先全面概述了当前最先进的方法,突出了每种方法的优缺点,解决了该领域的主要挑战,并为未充分探索的领域提出了有前景的研究方向。然后,我们逐步介绍了构建Idefics3-8B的实际步骤,这是一个强大的VLM,显著优于其前身Idefics2-8B,同时高效训练,仅使用开放数据集,并采用简单的流程。这些步骤包括创建Docmatix,这是一个用于提高文档理解能力的数据集,其规模是之前可用数据集的240倍。我们发布了该模型以及为其训练创建的数据集。
使用提示
输入图像通过上采样(如果启用了调整大小)或以其原始分辨率进行处理。调整大小的行为取决于两个参数:do_resize 和 size。
如果 do_resize
设置为 True
,模型会调整图像大小,使最长边默认为 4364 像素。
可以通过向 size
参数传递字典来自定义默认的调整大小行为。例如,`{“longest_edge”: 4 364}` 是默认值,但你可以根据需要将其更改为不同的值。
以下是控制调整大小和设置自定义大小的方法:
image_processor = Idefics3ImageProcessor(do_resize=True, size={"longest_edge": 2 * 364}, max_image_size=364)
此外,控制图像分解成每个方形补丁大小的max_image_size
参数默认设置为364,但可以根据需要进行调整。在调整大小(如果适用)后,图像处理器会根据max_image_size
参数将图像分解成方形补丁。
该模型由amyeroberts和andimarafioti贡献。
Idefics3Config
类 transformers.Idefics3Config
< source >( use_cache = True image_token_id = 128257 tie_word_embeddings = False vision_config = None text_config = None scale_factor = 2 pad_token_id = 128002 **kwargs )
参数
- use_cache (
bool
, 可选, 默认为True
) — 模型是否应缓存注意力机制的键/值对。仅在config.is_decoder=True
时相关。 - image_token_id (
int
, 可选, 默认为 128257) — “image” 令牌的 ID。 - tie_word_embeddings (
bool
, optional, defaults toFalse
) — 是否将词嵌入与标记嵌入绑定。 - vision_config (
IdeficsVisionConfig
或dict
, 可选, 默认为IdeficsVisionConfig
) — 自定义视觉配置或视觉塔的字典 - text_config (
PretrainedConfig
或dict
, 可选, 默认为LlamaConfig
) — 自定义文本配置或文本模型的字典 - scale_factor (
int
, optional, defaults to 2) — 图像编码器的缩放因子。 - pad_token_id (
int
, optional, 默认为 128002) — 填充令牌的 ID.
这是用于存储Idefics3Model配置的配置类。它用于根据指定的参数实例化一个Idefics3模型,定义模型架构。使用默认值实例化配置将产生与HuggingFaceM4/Idefics3-8B-Llama3架构模型相似的配置。
配置对象继承自PretrainedConfig,可用于控制模型输出。阅读PretrainedConfig的文档以获取更多信息。
Idefics3Model
类 transformers.Idefics3Model
< source >( config: Idefics3Config )
参数
- config (Idefics3Config 或
Idefics3VisionConfig
) — 模型配置类,包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重,只会加载配置。查看 from_pretrained() 方法以加载模型权重。
Idefics3 模型由 SIGLIP 视觉编码器和 Llama3 语言解码器组成 该模型继承自 PreTrainedModel。请查看超类文档以了解库为其所有模型实现的通用方法(如下载或保存、调整输入嵌入大小、修剪头部等)。
该模型也是一个PyTorch torch.nn.Module 子类。 将其作为常规的PyTorch模块使用,并参考PyTorch文档以获取与一般使用和行为相关的所有信息。
前进
< source >( input_ids: LongTensor = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[typing.List[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None pixel_values: typing.Optional[torch.FloatTensor] = None pixel_attention_mask: typing.Optional[torch.BoolTensor] = None image_hidden_states: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None )
参数
- input_ids (
torch.LongTensor
of shape(batch_size, sequence_length)
) — Indices of input sequence tokens in the vocabulary. Padding will be ignored by default should you provide it.可以使用AutoTokenizer获取索引。详情请参见PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor
of shape(batch_size, sequence_length)
, optional) — Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]
:- 1 for tokens that are not masked,
- 0 for tokens that are masked.
可以使用AutoTokenizer获取索引。详情请参见PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
如果使用了
past_key_values
,则可以选择性地仅输入最后一个decoder_input_ids
(参见past_key_values
)。如果你想改变填充行为,你应该阅读
modeling_opt._prepare_decoder_attention_mask
并根据你的需求进行修改。有关默认策略的更多信息,请参见论文中的图1。- 1 indicates the head is not masked,
- 0 indicates the head is masked.
- position_ids (
torch.LongTensor
of shape(batch_size, sequence_length)
, optional) — 每个输入序列标记在位置嵌入中的位置索引。选择范围在[0, config.n_positions - 1]
内。What are position IDs? - past_key_values (
tuple(tuple(torch.FloatTensor))
, optional, returned whenuse_cache=True
is passed or whenconfig.use_cache=True
) — Tuple oftuple(torch.FloatTensor)
of lengthconfig.n_layers
, with each tuple having 2 tensors of shape(batch_size, num_heads, sequence_length, embed_size_per_head)
) and 2 additional tensors of shape(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)
.包含预先计算的隐藏状态(自注意力块和交叉注意力块中的键和值),这些状态可用于(参见
past_key_values
输入)以加速顺序解码。如果使用了
past_key_values
,用户可以选择只输入形状为(batch_size, 1)
的最后一个decoder_input_ids
(那些没有将其过去键值状态提供给此模型的),而不是形状为(batch_size, sequence_length)
的所有decoder_input_ids
。 - inputs_embeds (
torch.FloatTensor
of shape(batch_size, sequence_length, hidden_size)
, optional) — 可选地,您可以选择直接传递嵌入表示,而不是传递input_ids
。如果您希望对如何将input_ids
索引转换为相关向量有更多控制,而不是使用模型的内部嵌入查找矩阵,这将非常有用。 - pixel_values (
torch.FloatTensor
of shape(batch_size, num_channels, image_size, image_size)) -- 输入图像对应的张量。可以使用 [AutoImageProcessor](/docs/transformers/v4.47.1/en/model_doc/auto#transformers.AutoImageProcessor) 获取像素值。详情请参见 [CLIPImageProcessor.__call__()](/docs/transformers/v4.47.1/en/model_doc/imagegpt#transformers.ImageGPTFeatureExtractor.__call__) ([]
LlavaProcessor`] 使用 CLIPImageProcessor 处理图像)。 - pixel_attention_mask (
torch.Tensor
of shape(batch_size, image_size, image_size)
, optional) — 用于避免在填充像素索引上执行注意力的掩码。 - image_hidden_states (
torch.FloatTensor
of shape(batch_size, num_channels, image_size, image_size)
) — 图像编码器在模态投影后的隐藏状态。 - use_cache (
bool
, 可选) — 如果设置为True
,past_key_values
键值状态将被返回,并可用于加速解码(参见past_key_values
)。 - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量中的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。
Idefics3Model 的前向方法,重写了 __call__
特殊方法。
尽管前向传递的配方需要在此函数内定义,但之后应该调用Module
实例而不是这个,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。
输入到模型的输入可以包含任意数量的图像。为了考虑这一点,输入到模型的pixel_values具有图像填充 -> (batch_size, max_num_images, 3, max_heights, max_widths),其中max_num_images是批次中batch_size样本中图像的最大数量。在模型入口处填充pixel_values后,不需要再填充图像。为了提高效率,我们只通过vision_model的前向传递真实图像,丢弃填充图像,即大小为(image_batch_size, 3, height, width)的pixel_values,其中当num_images_per_sample=[1, 3, 1, 2]时,image_batch_size将为7,而max_num_images将为3。
Idefics3ForConditionalGeneration
类 transformers.Idefics3ForConditionalGeneration
< source >( config )
参数
- config (Idefics3Config 或
Idefics3VisionConfig
) — 模型配置类,包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重,只会加载配置。查看 from_pretrained() 方法以加载模型权重。
Idefics3 模型带有语言建模头。它由一个 SigLIP 视觉编码器组成,顶部有一个语言建模头。 该模型继承自 PreTrainedModel。请查看超类文档以了解库为其所有模型实现的通用方法 (如下载或保存、调整输入嵌入的大小、修剪头等)。
该模型也是一个PyTorch torch.nn.Module 子类。 将其作为常规的PyTorch模块使用,并参考PyTorch文档以获取与一般使用和行为相关的所有信息。
前进
< source >( input_ids: LongTensor = None attention_mask: typing.Optional[torch.Tensor] = None position_ids: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[typing.List[torch.FloatTensor]] = None inputs_embeds: typing.Optional[torch.FloatTensor] = None pixel_values: typing.Optional[torch.FloatTensor] = None pixel_attention_mask: typing.Optional[torch.BoolTensor] = None image_hidden_states: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.idefics3.modeling_idefics3.Idefics3CausalLMOutputWithPast
或 tuple(torch.FloatTensor)
参数
- input_ids (
torch.LongTensor
of shape(batch_size, sequence_length)
) — Indices of input sequence tokens in the vocabulary. Padding will be ignored by default should you provide it.可以使用AutoTokenizer获取索引。详情请参见PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
- attention_mask (
torch.Tensor
of shape(batch_size, sequence_length)
, optional) — Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]
:- 1 for tokens that are not masked,
- 0 for tokens that are masked.
可以使用AutoTokenizer获取索引。详情请参见PreTrainedTokenizer.encode()和 PreTrainedTokenizer.call()。
如果使用了
past_key_values
,则可以选择性地仅输入最后一个decoder_input_ids
(参见past_key_values
)。如果你想改变填充行为,你应该阅读
modeling_opt._prepare_decoder_attention_mask
并根据你的需求进行修改。有关默认策略的更多信息,请参见论文中的图1。- 1 indicates the head is not masked,
- 0 indicates the head is masked.
- position_ids (
torch.LongTensor
of shape(batch_size, sequence_length)
, 可选) — 每个输入序列标记在位置嵌入中的位置索引。选择范围在[0, config.n_positions - 1]
内。什么是位置ID? - past_key_values (
tuple(tuple(torch.FloatTensor))
, optional, returned whenuse_cache=True
is passed or whenconfig.use_cache=True
) — Tuple oftuple(torch.FloatTensor)
of lengthconfig.n_layers
, with each tuple having 2 tensors of shape(batch_size, num_heads, sequence_length, embed_size_per_head)
) and 2 additional tensors of shape(batch_size, num_heads, encoder_sequence_length, embed_size_per_head)
.包含预先计算的隐藏状态(自注意力块和交叉注意力块中的键和值),这些状态可用于(参见
past_key_values
输入)以加速顺序解码。如果使用了
past_key_values
,用户可以选择只输入形状为(batch_size, 1)
的最后一个decoder_input_ids
(那些没有将其过去键值状态提供给此模型的),而不是形状为(batch_size, sequence_length)
的所有decoder_input_ids
。 - inputs_embeds (
torch.FloatTensor
of shape(batch_size, sequence_length, hidden_size)
, optional) — 可选地,您可以选择直接传递嵌入表示,而不是传递input_ids
。如果您希望对如何将input_ids
索引转换为相关向量有更多控制,而不是使用模型的内部嵌入查找矩阵,这将非常有用。 - pixel_values (
torch.FloatTensor
of shape(batch_size, num_channels, image_size, image_size)) -- 对应于输入图像的张量。可以使用 [AutoImageProcessor](/docs/transformers/v4.47.1/en/model_doc/auto#transformers.AutoImageProcessor) 获取像素值。有关详细信息,请参阅 [CLIPImageProcessor.__call__()](/docs/transformers/v4.47.1/en/model_doc/imagegpt#transformers.ImageGPTFeatureExtractor.__call__) ([]
LlavaProcessor`] 使用 CLIPImageProcessor 处理图像)。 - pixel_attention_mask (
torch.Tensor
of shape(batch_size, image_size, image_size)
, optional) — 用于避免在填充像素索引上执行注意力的掩码。 - image_hidden_states (
torch.FloatTensor
of shape(batch_size, num_channels, image_size, image_size)
) — 图像编码器在模态投影后的隐藏状态。 - use_cache (
bool
, 可选) — 如果设置为True
,past_key_values
键值状态将被返回,并可用于加速解码(参见past_key_values
)。 - output_attentions (
bool
, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量下的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回一个ModelOutput而不是一个普通的元组。 - 参数 —
labels (
torch.LongTensor
形状为(batch_size, sequence_length)
, 可选): 用于计算掩码语言建模损失的标签。索引应在[0, ..., config.vocab_size]
或model.image_token_id
中(其中model
是Idefics3ForConditionalGeneration
的实例)。 索引设置为model.image_token_id
的标记将被忽略(掩码),损失仅针对标签在[0, ..., config.vocab_size]
中的标记计算。
返回
transformers.models.idefics3.modeling_idefics3.Idefics3CausalLMOutputWithPast
或 tuple(torch.FloatTensor)
一个 transformers.models.idefics3.modeling_idefics3.Idefics3CausalLMOutputWithPast
或一个由
torch.FloatTensor
组成的元组(如果传递了 return_dict=False
或当 config.return_dict=False
时),包含各种
元素,具体取决于配置(Idefics3Config)和输入。
- loss (
torch.FloatTensor
形状为(1,)
, 可选, 当提供labels
时返回) — 语言建模损失(用于下一个标记预测)。 - logits (
torch.FloatTensor
形状为(batch_size, sequence_length, config.vocab_size)
) — 语言建模头的预测分数(SoftMax 之前每个词汇标记的分数)。 - past_key_values (
tuple(tuple(torch.FloatTensor))
, 可选, 当传递use_cache=True
或当config.use_cache=True
时返回) — 长度为config.n_layers
的tuple(torch.FloatTensor)
元组,每个元组包含 2 个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量) 包含预计算的隐藏状态(自注意力块中的键和值),可用于(参见past_key_values
输入)加速顺序解码。 - hidden_states (
tuple(torch.FloatTensor)
, 可选, 当传递output_hidden_states=True
或当config.output_hidden_states=True
时返回) —torch.FloatTensor
元组(一个用于嵌入层的输出,如果模型有嵌入层,+ 一个用于每层的输出)形状为(batch_size, sequence_length, hidden_size)
。 模型在每层输出处的隐藏状态加上可选的初始嵌入输出。 - attentions (
tuple(torch.FloatTensor)
, 可选, 当传递output_attentions=True
或当config.output_attentions=True
时返回) —torch.FloatTensor
元组(每层一个)形状为(batch_size, num_heads, sequence_length, sequence_length)
。 注意力 softmax 后的注意力权重,用于计算自注意力头中的加权平均值。 - image_hidden_states (
tuple(torch.FloatTensor)
, 可选) —torch.FloatTensor
元组(一个用于图像嵌入的输出,(batch_size, num_images, sequence_length, hidden_size)
。 由视觉编码器生成的模型的图像隐藏状态
Idefics3ForConditionalGeneration 的前向方法,重写了 __call__
特殊方法。
尽管前向传递的配方需要在此函数内定义,但之后应该调用Module
实例而不是这个,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。
示例:
>>> import requests
>>> import torch
>>> from PIL import Image
>>> from io import BytesIO
>>> from transformers import AutoProcessor, AutoModelForVision2Seq
>>> from transformers.image_utils import load_image
>>> # Note that passing the image urls (instead of the actual pil images) to the processor is also possible
>>> image1 = load_image("https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg")
>>> image2 = load_image("https://cdn.britannica.com/59/94459-050-DBA42467/Skyline-Chicago.jpg")
>>> image3 = load_image("https://cdn.britannica.com/68/170868-050-8DDE8263/Golden-Gate-Bridge-San-Francisco.jpg")
>>> processor = AutoProcessor.from_pretrained("HuggingFaceM4/Idefics3-8B-Llama3")
>>> model = AutoModelForVision2Seq.from_pretrained("HuggingFaceM4/Idefics3-8B-Llama3", torch_dtype=torch.bfloat16, device_map="auto")
>>> # Create inputs
>>> messages = [
... {
... "role": "user",
... "content": [
... {"type": "image"},
... {"type": "text", "text": "In this image, we can see the city of New York, and more specifically the Statue of Liberty."},
... {"type": "image"},
... {"type": "text", "text": "What can we see in this image?"},
... ]
... },
... {
... "role": "user",
... "content": [
... {"type": "image"},
... {"type": "text", "text": "In which city is that bridge located?"},
... ]
... }
... ]
>>> prompts = [processor.apply_chat_template([message], add_generation_prompt=True) for message in messages]
>>> images = [[image1, image2], [image3]]
>>> inputs = processor(text=prompts, images=images, padding=True, return_tensors="pt").to(model.device)
>>> # Generate
>>> generated_ids = model.generate(**inputs, max_new_tokens=256)
>>> generated_texts = processor.batch_decode(generated_ids, skip_special_tokens=True)
>>> print(generated_texts[0])
Assistant: There are buildings, trees, lights, and water visible in this image.
>>> print(generated_texts[1])
Assistant: The bridge is in San Francisco.
Idefics3ImageProcessor
类 transformers.Idefics3ImageProcessor
< source >( do_convert_rgb: bool = True do_resize: bool = True size: typing.Dict[str, int] = None resample: Resampling =
参数
- do_convert_rgb (
bool
, optional, defaults toTrue
) — 是否将图像转换为RGB。如果输入图像是其他格式(例如RGBA),这将非常有用。 仅在输入图像为PIL格式时有效。 - do_resize (
bool
, 可选, 默认为True
) — 是否调整图像大小。图像的最长边将被调整为 <=size["longest_edge"]
,同时调整最短边以保持输入的宽高比。 - size (
Dict
, 可选, 默认为{"longest_edge" -- 4 * 364}
): 控制输出图像的大小。这是一个包含键“longest_edge”的字典。 图像将被调整大小,使得最长边 <=size["longest_edge"]
,并且最短边将被调整以保持输入的宽高比。 - resample (
Resampling
, 可选, 默认为Resampling.LANCZOS
) — 调整图像大小时使用的重采样过滤器。 - do_image_splitting (
bool
, 可选, 默认为True
) — 是否将图像分割为与原始图像连接的子图像。它们被分割成补丁,使得每个补丁的大小为max_image_size["height"]
xmax_image_size["width"]
. - max_image_size (
Dict
, 可选, 默认为{"longest_edge" -- 364}
): 模型接受的图像补丁的最大分辨率。这是一个包含键“longest_edge”的字典。 - do_rescale (
bool
, 可选, 默认为True
) — 是否重新缩放图像。如果设置为True
,图像将被重新缩放,使其像素值在0到1之间。 - rescale_factor (
float
, optional, defaults to1/255
) — 如果do_rescale
设置为True
,则用于重新缩放图像的重新缩放因子。 - do_normalize (
bool
, 可选, 默认为True
) — 是否对图像进行归一化。如果设置为True
,图像将被归一化为具有image_mean
的均值和image_std
的标准差。 - image_mean (
float
或List[float]
, 可选, 默认为IDEFICS_STANDARD_MEAN
) — 如果对图像进行归一化,则使用的均值。这是一个浮点数或与图像通道数长度相同的浮点数列表。可以在preprocess
方法中通过image_mean
参数覆盖。可以在preprocess
方法中通过image_mean
参数覆盖。 - image_std (
float
或List[float]
, 可选, 默认为IDEFICS_STANDARD_STD
) — 如果对图像进行归一化,则使用的标准差。这是一个浮点数或与图像通道数长度相同的浮点数列表。可以在preprocess
方法中通过image_std
参数进行覆盖。 可以在preprocess
方法中通过image_std
参数进行覆盖。 - do_pad (
bool
, 可选, 默认为True
) — 是否将图像填充到批次中最大的高度和宽度以及每个样本中的图像数量,使得返回的张量形状为 (batch_size, max_num_images, num_channels, max_height, max_width)。
构建一个Idefics3图像处理器。
预处理
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), typing.List[ForwardRef('PIL.Image.Image')], typing.List[numpy.ndarray], typing.List[ForwardRef('torch.Tensor')]] do_convert_rgb: typing.Optional[bool] = None do_resize: typing.Optional[bool] = None size: typing.Optional[typing.Dict[str, int]] = None resample: Resampling = None do_image_splitting: typing.Optional[bool] = None do_rescale: typing.Optional[bool] = None max_image_size: typing.Optional[typing.Dict[str, int]] = None rescale_factor: typing.Optional[float] = None do_normalize: typing.Optional[bool] = None image_mean: typing.Union[float, typing.List[float], NoneType] = None image_std: typing.Union[float, typing.List[float], NoneType] = None do_pad: typing.Optional[bool] = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None return_row_col_info: bool = False data_format: typing.Optional[transformers.image_utils.ChannelDimension] =
参数
- images (
ImageInput
) — 要预处理的图像列表。 - do_convert_rgb (
bool
, 可选, 默认为self.do_convert_rgb
) — 是否将图像转换为RGB. - do_resize (
bool
, optional, defaults toself.do_resize
) — 是否调整图像大小. - size (
Dict[str, int]
, optional, defaults toself.size
) — 调整大小后的图像尺寸。最长边调整大小以保持输入的宽高比。 - resample (
int
, 可选, 默认为self.resample
) — 如果调整图像大小,则使用的重采样过滤器。这可以是枚举PILImageResampling
中的一个。只有在do_resize
设置为True
时才会生效。 - do_image_splitting (
bool
, 可选, 默认为self.do_image_splitting
) — 是否将图像分割成与原始图像连接的子图像。它们被分割成补丁,每个补丁的大小为max_image_size["height"]
xmax_image_size["width"]
. - max_image_size (
Dict
, optional, defaults toself.max_image_size
) — 图像的最大分辨率。如果图像大于此尺寸,图像将被分割成多个部分。 - do_rescale (
bool
, optional, defaults toself.do_rescale
) — 是否对图像进行重新缩放. - rescale_factor (
float
, optional, defaults toself.rescale_factor
) — 如果do_rescale
设置为True
,则用于重新缩放图像的重新缩放因子。 - do_normalize (
bool
, optional, defaults toself.do_normalize
) — 是否对图像进行归一化处理. - image_mean (
float
或List[float]
, 可选, 默认为self.image_mean
) — 用于归一化的图像均值。仅在do_normalize
设置为True
时有效。 - image_std (
float
或List[float]
, 可选, 默认为self.image_std
) — 用于归一化的图像标准差。仅在do_normalize
设置为True
时有效。 - do_pad (
bool
, optional, defaults toself.do_pad
) — 是否将图像填充到批次中最大的高度和宽度。 - return_tensors (
str
或TensorType
, 可选) — 返回的张量类型。可以是以下之一:- 未设置:返回一个
np.ndarray
列表。 TensorType.TENSORFLOW
或'tf'
:返回一个类型为tf.Tensor
的批次。TensorType.PYTORCH
或'pt'
:返回一个类型为torch.Tensor
的批次。TensorType.NUMPY
或'np'
:返回一个类型为np.ndarray
的批次。TensorType.JAX
或'jax'
:返回一个类型为jax.numpy.ndarray
的批次。
- 未设置:返回一个
- return_row_col_info (
bool
, 可选, 默认为False
) — 是否返回分割图像的行数和列数。这用于Idefics3Processor
根据行数和列数生成提示字符串。 - data_format (
ChannelDimension
或str
, 可选, 默认为ChannelDimension.FIRST
) — 输出图像的通道维度格式。可以是以下之一:"channels_first"
或ChannelDimension.FIRST
: 图像格式为 (num_channels, height, width)。"channels_last"
或ChannelDimension.LAST
: 图像格式为 (height, width, num_channels)。- 未设置:使用输入图像的通道维度格式。
- input_data_format (
ChannelDimension
或str
, 可选) — 输入图像的通道维度格式。如果未设置,则从输入图像推断通道维度格式。可以是以下之一:"channels_first"
或ChannelDimension.FIRST
: 图像格式为 (num_channels, height, width)。"channels_last"
或ChannelDimension.LAST
: 图像格式为 (height, width, num_channels)。"none"
或ChannelDimension.NONE
: 图像格式为 (height, width)。
预处理一批图像。
Idefics3Processor
类 transformers.Idefics3Processor
< source >( image_processor tokenizer = None image_seq_len: int = 169 chat_template: str = None **kwargs )
参数
- image_processor (
Idefics3ImageProcessor
) — 一个 Idefics3ImageProcessor 的实例。图像处理器是一个必需的输入。 - tokenizer (
PreTrainedTokenizerBase
, 可选) — PreTrainedTokenizerBase 的一个实例。这应该与模型的文本模型相对应。tokenizer 是一个必需的输入。 - image_seq_len (
int
, 可选, 默认为 169) — 图像序列的长度,即输入中每个图像的标记数量。 此参数用于从输入提示和图像标记构建字符串,应与模型使用的值匹配。其计算公式为:image_seq_len = int(((image_size // patch_size) 2) / (scale_factor2))
- chat_template (
str
, optional) — 一个Jinja模板,用于将聊天中的消息列表转换为可标记的字符串。
构建一个Idefics3处理器,它将LLama分词器和Idefics3图像处理器封装到一个单一的处理器中。
Idefics3Processor 提供了 Idefics3ImageProcessor 和 Idefics3TokenizerFast
的所有功能。更多信息请参见 call() 和 decode()
的文档字符串。
__call__
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), typing.List[ForwardRef('PIL.Image.Image')], typing.List[numpy.ndarray], typing.List[ForwardRef('torch.Tensor')], typing.List[typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), typing.List[ForwardRef('PIL.Image.Image')], typing.List[numpy.ndarray], typing.List[ForwardRef('torch.Tensor')]]], typing.List[typing.List[typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), typing.List[ForwardRef('PIL.Image.Image')], typing.List[numpy.ndarray], typing.List[ForwardRef('torch.Tensor')]]]]] = None text: typing.Union[str, ForwardRef('PreTokenizedInput'), typing.List[str], typing.List[ForwardRef('PreTokenizedInput')]] = None audio = None videos = None image_seq_len: typing.Optional[int] = None **kwargs: typing_extensions.Unpack[transformers.models.idefics3.processing_idefics3.Idefics3ProcessorKwargs] )
参数
- 图像 (
PIL.Image.Image
,np.ndarray
,torch.Tensor
,List[PIL.Image.Image]
,List[np.ndarray]
,List[torch.Tensor]
, 可选) — 要准备的图像或图像批次。每个图像可以是PIL图像、NumPy数组或PyTorch张量。如果是List[ImageInput]
类型,则假定这是用于单个提示的,即批次大小为1。 - text (
Union[TextInput, PreTokenizedInput, List[TextInput], List[PreTokenizedInput]]
, optional) — 要编码的序列或序列批次。每个序列可以是一个字符串或字符串列表(预分词的字符串)。如果序列以字符串列表(预分词)的形式提供,你必须设置is_split_into_words=True
(以消除与序列批次的歧义)。 每当遇到图像标记
时,它会被扩展为
+
+image_seq_len
`. - image_seq_len (
int
, optional) — 图像序列的长度。如果未提供,则使用 self.image_seq_len 的默认值。 image_seq_len 应等于 int(((image_size // patch_size) 2) / (scale_factor2)) - return_tensors (
Union[str, TensorType]
, 可选) — 如果设置,将返回特定框架的张量。有关更多信息,请参见 PreTrainedTokenizerFast.call().
处理输入提示并返回一个BatchEncoding。
示例:
>>> import requests
>>> from transformers import Idefics3Processor
>>> from transformers.image_utils import load_image
>>> processor = Idefics3Processor.from_pretrained("HuggingFaceM4/Idefics3-8B-Llama3")
>>> processor.image_processor.do_image_splitting = False # Force as False to simplify the example
>>> url1 = "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
>>> url2 = "https://cdn.britannica.com/59/94459-050-DBA42467/Skyline-Chicago.jpg"
>>> image1, image2 = load_image(url1), load_image(url2)
>>> images = [[image1], [image2]]
>>> text = [
... "<image>In this image, we see",
... "bla bla bla<image>",
... ]
>>> outputs = processor(images=images, text=text, return_tensors="pt", padding=True)
>>> input_ids = outputs.input_ids
>>> input_tokens = processor.tokenizer.batch_decode(input_ids)
>>> print(input_tokens)
['<|begin_of_text|><fake_token_around_image><global-img>((<image>)*169)<fake_token_around_image> In this image, we see', '<|reserved_special_token_0|><|reserved_special_token_0|><|reserved_special_token_0|><|begin_of_text|>bla bla bla<fake_token_around_image><global-img>((<image>)*169)<fake_token_around_image>']