Transformers 文档

DPT

DPT

概述

DPT模型由René Ranftl、Alexey Bochkovskiy和Vladlen Koltun在Vision Transformers for Dense Prediction中提出。 DPT是一个利用Vision Transformer (ViT)作为骨干网络的模型，用于密集预测任务，如语义分割和深度估计。

论文的摘要如下：

我们介绍了密集视觉变换器，这是一种利用视觉变换器替代卷积网络作为密集预测任务骨干的架构。我们将视觉变换器各个阶段的标记组装成不同分辨率的类似图像的表示，并使用卷积解码器逐步将它们组合成全分辨率预测。变换器骨干以恒定且相对较高的分辨率处理表示，并在每个阶段具有全局感受野。这些特性使得密集视觉变换器与全卷积网络相比，能够提供更细粒度和更全局一致的预测。我们的实验表明，这种架构在密集预测任务上带来了显著的改进，尤其是在有大量训练数据可用时。对于单目深度估计，我们观察到与最先进的全卷积网络相比，相对性能提高了高达28%。当应用于语义分割时，密集视觉变换器在ADE20K上以49.02%的mIoU设定了新的最先进水平。我们进一步展示了该架构可以在较小的数据集（如NYUv2、KITTI和Pascal Context）上进行微调，并在这些数据集上也设定了新的最先进水平。

drawing DPT architecture. Taken from the original paper.

该模型由nielsr贡献。原始代码可以在这里找到。

使用提示

DPT 与 AutoBackbone 类兼容。这使得可以使用 DPT 框架与库中提供的各种计算机视觉骨干网络，例如 VitDetBackbone 或 Dinov2Backbone。可以按如下方式创建它：

from transformers import Dinov2Config, DPTConfig, DPTForDepthEstimation

# initialize with a Transformer-based backbone such as DINOv2
# in that case, we also specify `reshape_hidden_states=False` to get feature maps of shape (batch_size, num_channels, height, width)
backbone_config = Dinov2Config.from_pretrained("facebook/dinov2-base", out_features=["stage1", "stage2", "stage3", "stage4"], reshape_hidden_states=False)

config = DPTConfig(backbone_config=backbone_config)
model = DPTForDepthEstimation(config=config)

资源

一份官方的Hugging Face和社区（由🌎表示）资源列表，帮助您开始使用DPT。

如果您有兴趣提交资源以包含在此处，请随时打开一个 Pull Request，我们将进行审核！理想情况下，资源应展示一些新内容，而不是重复现有资源。

DPTConfig

类 transformers.DPTConfig

< >

( hidden_size = 768 num_hidden_layers = 12 num_attention_heads = 12 intermediate_size = 3072 hidden_act = 'gelu' hidden_dropout_prob = 0.0 attention_probs_dropout_prob = 0.0 initializer_range = 0.02 layer_norm_eps = 1e-12 image_size = 384 patch_size = 16 num_channels = 3 is_hybrid = False qkv_bias = True backbone_out_indices = [2, 5, 8, 11] readout_type = 'project' reassemble_factors = [4, 2, 1, 0.5] neck_hidden_sizes = [96, 192, 384, 768] fusion_hidden_size = 256 head_in_index = -1 use_batch_norm_in_fusion_residual = False use_bias_in_fusion_residual = None add_projection = False use_auxiliary_head = True auxiliary_loss_weight = 0.4 semantic_loss_ignore_index = 255 semantic_classifier_dropout = 0.1 backbone_featmap_shape = [1, 1024, 24, 24] neck_ignore_stages = [0, 1] backbone_config = None backbone = None use_pretrained_backbone = False use_timm_backbone = False backbone_kwargs = None **kwargs )

参数

  • hidden_size (int, optional, 默认为 768) — 编码器层和池化层的维度。
  • num_hidden_layers (int, optional, 默认为 12) — Transformer 编码器中的隐藏层数量。
  • num_attention_heads (int, optional, defaults to 12) — Transformer编码器中每个注意力层的注意力头数。
  • intermediate_size (int, optional, 默认为 3072) — Transformer 编码器中“中间”（即前馈）层的维度。
  • hidden_act (str 或 function, 可选, 默认为 "gelu") — 编码器和池化器中的非线性激活函数（函数或字符串）。如果是字符串，支持 "gelu"、 "relu"、"selu" 和 "gelu_new"。
  • hidden_dropout_prob (float, optional, 默认为 0.0) — 嵌入层、编码器和池化器中所有全连接层的 dropout 概率。
  • attention_probs_dropout_prob (float, optional, 默认为 0.0) — 注意力概率的丢弃比例。
  • initializer_range (float, optional, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
  • layer_norm_eps (float, optional, defaults to 1e-12) — 层归一化层使用的epsilon值。
  • image_size (int, optional, 默认为 384) — 每张图片的大小（分辨率）。
  • patch_size (int, optional, defaults to 16) — 每个补丁的大小（分辨率）。
  • num_channels (int, optional, defaults to 3) — 输入通道的数量。
  • is_hybrid (bool, optional, defaults to False) — 是否使用混合骨干。在加载DPT-Hybrid模型时很有用。
  • qkv_bias (bool, optional, defaults to True) — 是否在查询、键和值中添加偏置。
  • backbone_out_indices (List[int], 可选, 默认为 [2, 5, 8, 11]) — 用于从backbone中获取的中间隐藏状态的索引。
  • readout_type (str, 可选, 默认为 "project") — 在处理ViT骨干网络中间隐藏状态的读出标记（CLS标记）时使用的读出类型。可以是以下之一：["ignore", "add", "project"]。
    • “ignore” 简单地忽略CLS标记。
    • “add” 通过添加表示将CLS标记的信息传递给所有其他标记。
    • “project” 通过将读出连接到所有其他标记，然后使用线性层和GELU非线性将表示投影到原始特征维度D，将信息传递给其他标记。
  • reassemble_factors (List[int], 可选, 默认为 [4, 2, 1, 0.5]) — 重新组装层的上/下采样因子。
  • neck_hidden_sizes (List[str], 可选, 默认为 [96, 192, 384, 768]) — 用于投影到骨干网络特征图的隐藏大小。
  • fusion_hidden_size (int, optional, 默认为 256) — 融合前的通道数。
  • head_in_index (int, optional, 默认为 -1) — 用于头部的特征索引。
  • use_batch_norm_in_fusion_residual (bool, 可选, 默认为 False) — 是否在融合块的预激活残差单元中使用批量归一化。
  • use_bias_in_fusion_residual (bool, optional, defaults to True) — 是否在融合块的预激活残差单元中使用偏置。
  • add_projection (bool, 可选, 默认为 False) — 是否在深度估计头之前添加一个投影层。
  • use_auxiliary_head (bool, optional, defaults to True) — 是否在训练期间使用辅助头。
  • auxiliary_loss_weight (float, optional, defaults to 0.4) — 辅助头的交叉熵损失的权重。
  • semantic_loss_ignore_index (int, optional, 默认为 255) — 语义分割模型的损失函数忽略的索引。
  • semantic_classifier_dropout (float, optional, 默认为 0.1) — 语义分类头的丢弃比率。
  • backbone_featmap_shape (List[int], 可选, 默认为 [1, 1024, 24, 24]) — 仅用于 hybrid 嵌入类型。表示骨干网络特征图的形状。
  • neck_ignore_stages (List[int], 可选, 默认为 [0, 1]) — 仅用于 hybrid 嵌入类型。要忽略的读出层的阶段。
  • backbone_config (Union[Dict[str, Any], PretrainedConfig], 可选) — 骨干模型的配置。仅在 is_hybrid 为 True 或您希望利用 AutoBackbone API 时使用。
  • backbone (str, 可选) — 当backbone_config为None时使用的骨干网络名称。如果use_pretrained_backbone为True，这将从timm或transformers库加载相应的预训练权重。如果use_pretrained_backbone为False，这将加载骨干网络的配置并使用该配置初始化具有随机权重的骨干网络。
  • use_pretrained_backbone (bool, optional, 默认为 False) — 是否使用预训练的权重作为骨干网络。
  • use_timm_backbone (bool, optional, defaults to False) — 是否从timm库加载backbone。如果为False，则从transformers库加载backbone。
  • backbone_kwargs (dict, 可选) — 从检查点加载时传递给AutoBackbone的关键字参数 例如 {'out_indices': (0, 1, 2, 3)}。如果设置了backbone_config，则不能指定此参数。

这是用于存储DPTModel配置的配置类。它用于根据指定的参数实例化DPT模型，定义模型架构。使用默认值实例化配置将产生类似于DPT Intel/dpt-large架构的配置。

配置对象继承自PretrainedConfig，可用于控制模型输出。阅读PretrainedConfig的文档以获取更多信息。

示例：

>>> from transformers import DPTModel, DPTConfig

>>> # Initializing a DPT dpt-large style configuration
>>> configuration = DPTConfig()

>>> # Initializing a model from the dpt-large style configuration
>>> model = DPTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

to_dict

< >

( )

将此实例序列化为Python字典。覆盖默认的to_dict()。返回： Dict[str, any]: 构成此配置实例的所有属性的字典，

DPTFeatureExtractor

类 transformers.DPTFeatureExtractor

< >

( *args **kwargs )

__call__

< >

( images **kwargs )

预处理一张图像或一批图像。

post_process_semantic_segmentation

< >

( outputs target_sizes: typing.List[typing.Tuple] = None ) → 语义分割

参数

  • 输出 (DPTForSemanticSegmentation) — 模型的原始输出。
  • target_sizes (List[Tuple] of length batch_size, optional) — 对应每个预测请求的最终大小（高度，宽度）的元组列表。如果未设置，预测将不会调整大小。

返回

语义分割

List[torch.Tensor] 长度为 batch_size，其中每个项目是一个形状为 (高度, 宽度) 的语义分割图，对应于 target_sizes 条目（如果指定了 target_sizes）。每个 torch.Tensor 的每个条目对应于一个语义类别 ID。

将DPTForSemanticSegmentation的输出转换为语义分割图。仅支持PyTorch。

DPTImageProcessor

类 transformers.DPTImageProcessor

< >

( do_resize: bool = True size: typing.Dict[str, int] = None resample: Resampling = keep_aspect_ratio: bool = False ensure_multiple_of: int = 1 do_rescale: bool = True rescale_factor: typing.Union[int, float] = 0.00392156862745098 do_normalize: bool = True image_mean: typing.Union[float, typing.List[float], NoneType] = None image_std: typing.Union[float, typing.List[float], NoneType] = None do_pad: bool = False size_divisor: int = None **kwargs )

参数

  • do_resize (bool, 可选, 默认为 True) — 是否调整图像的（高度，宽度）尺寸。可以在 preprocess 中被 do_resize 覆盖。
  • size (Dict[str, int] optional, defaults to {"height" -- 384, "width": 384}): 调整后图像的大小。可以在preprocess中通过size覆盖。
  • resample (PILImageResampling, 可选, 默认为 Resampling.BICUBIC) — 定义在调整图像大小时使用的重采样过滤器。可以在 preprocess 中通过 resample 覆盖此设置。
  • keep_aspect_ratio (bool, 可选, 默认为 False) — 如果为 True，图像将调整为最大可能尺寸，同时保持宽高比。可以在 preprocess 中被 keep_aspect_ratio 覆盖。
  • ensure_multiple_of (int, 可选, 默认为 1) — 如果 do_resize 为 True，图像将被调整为一个该值的倍数大小。可以在 preprocess 中被 ensure_multiple_of 覆盖。
  • do_rescale (bool, 可选, 默认为 True) — 是否通过指定的比例 rescale_factor 重新缩放图像。可以在 preprocess 中被 do_rescale 覆盖。
  • rescale_factor (int 或 float, 可选, 默认为 1/255) — 如果重新缩放图像，则使用的缩放因子。可以在 preprocess 中被 rescale_factor 覆盖。
  • do_normalize (bool, 可选, 默认为 True) — 是否对图像进行归一化。可以在 preprocess 方法中通过 do_normalize 参数进行覆盖。
  • image_mean (float 或 List[float], 可选, 默认为 IMAGENET_STANDARD_MEAN) — 如果对图像进行归一化，则使用的均值。这是一个浮点数或与图像通道数长度相同的浮点数列表。可以在 preprocess 方法中通过 image_mean 参数覆盖此值。
  • image_std (float 或 List[float], 可选, 默认为 IMAGENET_STANDARD_STD) — 如果对图像进行归一化，则使用的标准差。这是一个浮点数或与图像通道数长度相同的浮点数列表。可以在 preprocess 方法中通过 image_std 参数进行覆盖。
  • do_pad (bool, 可选, 默认为 False) — 是否应用中心填充。这是在DINOv2论文中引入的，该论文将模型与DPT结合使用。
  • size_divisor (int, 可选) — 如果 do_pad 是 True，则将图像尺寸填充为可被此值整除的值。这是在DINOv2论文中引入的，该论文将模型与DPT结合使用。

构建一个DPT图像处理器。

预处理

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), typing.List[ForwardRef('PIL.Image.Image')], typing.List[numpy.ndarray], typing.List[ForwardRef('torch.Tensor')]] do_resize: bool = None size: int = None keep_aspect_ratio: bool = None ensure_multiple_of: int = None resample: Resampling = None do_rescale: bool = None rescale_factor: float = None do_normalize: bool = None image_mean: typing.Union[float, typing.List[float], NoneType] = None image_std: typing.Union[float, typing.List[float], NoneType] = None do_pad: bool = None size_divisor: int = None return_tensors: typing.Union[str, transformers.utils.generic.TensorType, NoneType] = None data_format: ChannelDimension = input_data_format: typing.Union[str, transformers.image_utils.ChannelDimension, NoneType] = None )

参数

  • 图像 (ImageInput) — 要预处理的图像。期望输入单个或批量的图像，像素值范围在0到255之间。如果传入的图像像素值在0到1之间，请设置 do_rescale=False.
  • do_resize (bool, optional, defaults to self.do_resize) — 是否调整图像大小。
  • size (Dict[str, int], 可选, 默认为 self.size) — 调整大小后的图像尺寸。如果 keep_aspect_ratio 为 True，图像将调整为最大可能尺寸，同时保持宽高比。如果设置了 ensure_multiple_of，图像将调整为该值的倍数尺寸。
  • keep_aspect_ratio (bool, 可选, 默认为 self.keep_aspect_ratio) — 是否保持图像的宽高比。如果为False，图像将被调整为(size, size)。如果为True，图像将被调整以保持宽高比，并且大小将是最大可能的。
  • ensure_multiple_of (int, optional, defaults to self.ensure_multiple_of) — 确保图像大小是该值的倍数。
  • resample (int, 可选, 默认为 self.resample) — 如果调整图像大小，则使用的重采样过滤器。这可以是枚举 PILImageResampling 中的一个，只有在 do_resize 设置为 True 时才会生效。
  • do_rescale (bool, optional, defaults to self.do_rescale) — 是否将图像值缩放到 [0 - 1] 之间。
  • rescale_factor (float, 可选, 默认为 self.rescale_factor) — 如果 do_rescale 设置为 True，则用于重新缩放图像的重新缩放因子。
  • do_normalize (bool, optional, defaults to self.do_normalize) — 是否对图像进行归一化处理。
  • image_mean (float 或 List[float], 可选, 默认为 self.image_mean) — 图像均值.
  • image_std (float or List[float], optional, defaults to self.image_std) — 图像标准差.
  • return_tensors (str 或 TensorType, 可选) — 返回的张量类型。可以是以下之一：
    • 未设置：返回一个 np.ndarray 列表。
    • TensorType.TENSORFLOW 或 'tf'：返回一个类型为 tf.Tensor 的批次。
    • TensorType.PYTORCH 或 'pt'：返回一个类型为 torch.Tensor 的批次。
    • TensorType.NUMPY 或 'np'：返回一个类型为 np.ndarray 的批次。
    • TensorType.JAX 或 'jax'：返回一个类型为 jax.numpy.ndarray 的批次。
  • data_format (ChannelDimension 或 str, 可选, 默认为 ChannelDimension.FIRST) — 输出图像的通道维度格式。可以是以下之一：
    • ChannelDimension.FIRST: 图像格式为 (num_channels, height, width)。
    • ChannelDimension.LAST: 图像格式为 (height, width, num_channels)。
  • input_data_format (ChannelDimension 或 str, 可选) — 输入图像的通道维度格式。如果未设置，则从输入图像推断通道维度格式。可以是以下之一：
    • "channels_first" 或 ChannelDimension.FIRST: 图像格式为 (num_channels, height, width)。
    • "channels_last" 或 ChannelDimension.LAST: 图像格式为 (height, width, num_channels)。
    • "none" 或 ChannelDimension.NONE: 图像格式为 (height, width)。

预处理一张图像或一批图像。

post_process_semantic_segmentation

< >

( outputs target_sizes: typing.List[typing.Tuple] = None ) → 语义分割

参数

  • 输出 (DPTForSemanticSegmentation) — 模型的原始输出。
  • target_sizes (List[Tuple] 长度为 batch_size, 可选) — 对应于每个预测请求的最终大小（高度，宽度）的元组列表。如果未设置，预测将不会调整大小。

返回

语义分割

List[torch.Tensor] 长度为 batch_size，其中每个项目是一个形状为 (高度, 宽度) 的语义分割图，对应于 target_sizes 条目（如果指定了 target_sizes）。每个 torch.Tensor 的每个条目对应于一个语义类别 ID。

将DPTForSemanticSegmentation的输出转换为语义分割图。仅支持PyTorch。

DPTModel

类 transformers.DPTModel

< >

( config add_pooling_layer = True )

参数

  • config (ViTConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。

裸DPT模型输出原始隐藏状态，没有任何特定的头部。 此模型是PyTorch torch.nn.Module的子类。将其用作常规的PyTorch模块，并参考PyTorch文档以获取与一般使用和行为相关的所有信息。

前进

< >

( pixel_values: FloatTensor head_mask: typing.Optional[torch.FloatTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivations 或 tuple(torch.FloatTensor)

参数

  • pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。像素值可以使用AutoImageProcessor获取。详情请参见DPTImageProcessor.call()。
  • head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于屏蔽自注意力模块中选定的头部的掩码。掩码值在 [0, 1] 中选择：
    • 1 表示头部 未被屏蔽,
    • 0 表示头部 被屏蔽.
  • output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的attentions。
  • output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。
  • return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。

返回

transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivations 或 tuple(torch.FloatTensor)

一个 transformers.models.dpt.modeling_dpt.BaseModelOutputWithPoolingAndIntermediateActivations 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含根据配置（DPTConfig）和输入的各种元素。

  • last_hidden_state (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。

  • pooler_output (torch.FloatTensor 形状为 (batch_size, hidden_size)) — 序列的第一个标记（分类标记）在经过用于辅助预训练任务的层进一步处理后的最后一层隐藏状态。例如，对于BERT系列模型，这返回经过线性层和tanh激活函数处理后的分类标记。线性层的权重是在预训练期间通过下一个句子预测（分类）目标进行训练的。

  • hidden_states (tuple(torch.FloatTensor), 可选, 当传递了 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 由 torch.FloatTensor 组成的元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 一个用于每一层的输出）形状为 (batch_size, sequence_length, hidden_size)。

    模型在每一层输出处的隐藏状态加上可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor), 可选, 当传递了 output_attentions=True 或当 config.output_attentions=True 时返回) — 由 torch.FloatTensor 组成的元组（每一层一个）形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    注意力权重在注意力softmax之后，用于计算自注意力头中的加权平均值。

  • intermediate_activations (tuple(torch.FloatTensor), 可选) — 可用于计算模型在各层的隐藏状态的中间激活。

DPTModel 的前向方法，重写了 __call__ 特殊方法。

尽管前向传递的配方需要在此函数内定义，但之后应该调用Module实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoImageProcessor, DPTModel
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image", trust_remote_code=True)
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("Intel/dpt-large")
>>> model = DPTModel.from_pretrained("Intel/dpt-large")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 577, 1024]

DPTForDepthEstimation

类 transformers.DPTForDepthEstimation

< >

( config )

参数

  • config (ViTConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。

DPT模型，顶部带有深度估计头（由3个卷积层组成），例如用于KITTI、NYUv2。

该模型是一个PyTorch torch.nn.Module 子类。将其用作常规的PyTorch模块，并参考PyTorch文档以获取与一般使用和行为相关的所有信息。

前进

< >

( pixel_values: FloatTensor head_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.DepthEstimatorOutput 或 tuple(torch.FloatTensor)

参数

  • pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。像素值可以使用AutoImageProcessor获取。详情请参见DPTImageProcessor.call()。
  • head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于屏蔽自注意力模块中选定的头部的掩码。掩码值在 [0, 1] 中选择：
    • 1 表示头部 未被屏蔽,
    • 0 表示头部 被屏蔽.
  • output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的attentions。
  • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。
  • return_dict (bool, 可选) — 是否返回一个ModelOutput而不是一个普通的元组。
  • labels (torch.LongTensor of shape (batch_size, height, width), optional) — 用于计算损失的真实深度估计图。

返回

transformers.modeling_outputs.DepthEstimatorOutput 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.DepthEstimatorOutput 或者一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或者当 config.return_dict=False 时），包含各种 元素，取决于配置（DPTConfig）和输入。

  • loss (torch.FloatTensor 形状为 (1,), 可选, 当提供 labels 时返回) — 分类（或者回归，如果 config.num_labels==1）损失。

  • predicted_depth (torch.FloatTensor 形状为 (batch_size, height, width)) — 每个像素的预测深度。

  • hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或者当 config.output_hidden_states=True 时返回) — 由 torch.FloatTensor 组成的元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 一个用于每一层的输出）形状为 (batch_size, num_channels, height, width)。

    模型在每一层输出处的隐藏状态加上可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或者当 config.output_attentions=True 时返回) — 由 torch.FloatTensor 组成的元组（每一层一个）形状为 (batch_size, num_heads, patch_size, sequence_length)。

    注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

DPTForDepthEstimation 的前向方法，重写了 __call__ 特殊方法。

尽管前向传递的配方需要在此函数内定义，但之后应该调用Module实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoImageProcessor, DPTForDepthEstimation
>>> import torch
>>> import numpy as np
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("Intel/dpt-large")
>>> model = DPTForDepthEstimation.from_pretrained("Intel/dpt-large")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # interpolate to original size
>>> post_processed_output = image_processor.post_process_depth_estimation(
...     outputs,
...     target_sizes=[(image.height, image.width)],
... )

>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))

DPTForSemanticSegmentation

类 transformers.DPTForSemanticSegmentation

< >

( config )

参数

  • config (ViTConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重，只会加载配置。查看 from_pretrained() 方法以加载模型权重。

带有语义分割头的DPT模型，例如用于ADE20k、CityScapes。

该模型是一个PyTorch torch.nn.Module 子类。将其用作常规的PyTorch模块，并参考PyTorch文档以获取与一般使用和行为相关的所有信息。

前进

< >

( pixel_values: typing.Optional[torch.FloatTensor] = None head_mask: typing.Optional[torch.FloatTensor] = None labels: typing.Optional[torch.LongTensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)

参数

  • pixel_values (torch.FloatTensor of shape (batch_size, num_channels, height, width)) — 像素值。像素值可以使用AutoImageProcessor获取。详情请参见DPTImageProcessor.call()。
  • head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于屏蔽自注意力模块中选定的头部的掩码。掩码值在 [0, 1] 中选择：
    • 1 表示头部 未被屏蔽,
    • 0 表示头部 被屏蔽.
  • output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量中的attentions。
  • output_hidden_states (bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的hidden_states。
  • return_dict (bool, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。
  • labels (torch.LongTensor of shape (batch_size, height, width), optional) — 用于计算损失的真实语义分割图。索引应在 [0, ..., config.num_labels - 1] 范围内。如果 config.num_labels > 1，则计算分类损失（交叉熵）。

返回

transformers.modeling_outputs.SemanticSegmenterOutput 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.SemanticSegmenterOutput 或一个由 torch.FloatTensor 组成的元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），包含各种 元素，取决于配置（DPTConfig）和输入。

  • loss (torch.FloatTensor 形状为 (1,)，可选，当提供 labels 时返回) — 分类（或回归，如果 config.num_labels==1）损失。

  • logits (torch.FloatTensor 形状为 (batch_size, config.num_labels, logits_height, logits_width)) — 每个像素的分类分数。

    返回的 logits 不一定与作为输入传递的 pixel_values 大小相同。这是 为了避免在用户需要将 logits 调整回原始图像大小时进行两次插值并损失一些质量。您应始终检查 logits 的形状并根据需要调整大小。

  • hidden_states (tuple(torch.FloatTensor)，可选，当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 由 torch.FloatTensor 组成的元组（一个用于嵌入层的输出，如果模型有嵌入层，+ 一个用于每层的输出）形状为 (batch_size, patch_size, hidden_size)。

    模型在每层输出处的隐藏状态加上可选的初始嵌入输出。

  • attentions (tuple(torch.FloatTensor)，可选，当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — 由 torch.FloatTensor 组成的元组（每层一个）形状为 (batch_size, num_heads, patch_size, sequence_length)。

    注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

DPTForSemanticSegmentation 的前向方法，重写了 __call__ 特殊方法。

尽管前向传递的配方需要在此函数内定义，但之后应该调用Module实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会默默地忽略它们。

示例：

>>> from transformers import AutoImageProcessor, DPTForSemanticSegmentation
>>> from PIL import Image
>>> import requests

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = Image.open(requests.get(url, stream=True).raw)

>>> image_processor = AutoImageProcessor.from_pretrained("Intel/dpt-large-ade")
>>> model = DPTForSemanticSegmentation.from_pretrained("Intel/dpt-large-ade")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> logits = outputs.logits
< > Update on GitHub

←DiT EfficientFormer→