Dashscope

DashScopeEmbedding

Bases: MultiModalEmbedding

DashScope类用于文本嵌入。

Parameters:

Name	Type	Description	Default
model_name	str	嵌入模型的名称。 默认为DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2。 选项包括： - DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V1 - DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2	TEXT_EMBEDDING_V2
text_type	str	输入类型，['query', 'document']， 对于不对称任务（如检索），为了获得更好的检索结果，建议区分查询文本（query）和基本文本（document）类型，聚类对称任务（如分类和分类）不需要特别指定，可以使用系统默认值"document"。	'document'
api_key	str	DashScope的api密钥。	None

Source code in llama_index/embeddings/dashscope/base.py

class DashScopeEmbedding(MultiModalEmbedding):
    """DashScope类用于文本嵌入。

    Args:
        model_name (str): 嵌入模型的名称。
            默认为DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2。
                选项包括：

                - DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V1
                - DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2
        text_type (str): 输入类型，['query', 'document']，
            对于不对称任务（如检索），为了获得更好的检索结果，建议区分查询文本（query）和基本文本（document）类型，聚类对称任务（如分类和分类）不需要特别指定，可以使用系统默认值"document"。
        api_key (str): DashScope的api密钥。"""

    _api_key: Optional[str] = PrivateAttr()
    _text_type: Optional[str] = PrivateAttr()

    def __init__(
        self,
        model_name: str = DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2,
        text_type: str = "document",
        api_key: Optional[str] = None,
        embed_batch_size: int = EMBED_MAX_BATCH_SIZE,
        **kwargs: Any,
    ) -> None:
        self._api_key = api_key
        self._text_type = text_type
        super().__init__(
            model_name=model_name,
            embed_batch_size=embed_batch_size,
            **kwargs,
        )

    @classmethod
    def class_name(cls) -> str:
        return "DashScopeEmbedding"

    def _get_query_embedding(self, query: str) -> List[float]:
        """获取查询嵌入。"""
        emb = get_text_embedding(
            self.model_name,
            query,
            api_key=self._api_key,
            text_type="query",
        )
        if len(emb) > 0 and emb[0] is not None:
            return emb[0]
        else:
            return []

    def _get_text_embedding(self, text: str) -> List[float]:
        """获取文本嵌入。"""
        emb = get_text_embedding(
            self.model_name,
            text,
            api_key=self._api_key,
            text_type=self._text_type,
        )
        if len(emb) > 0 and emb[0] is not None:
            return emb[0]
        else:
            return []

    def _get_text_embeddings(self, texts: List[str]) -> List[List[float]]:
        """获取文本嵌入。"""
        return get_text_embedding(
            self.model_name,
            texts,
            api_key=self._api_key,
            text_type=self._text_type,
        )

    # TODO: use proper async methods
    async def _aget_text_embedding(self, query: str) -> List[float]:
        """获取文本嵌入。"""
        return self._get_text_embedding(query)

    # TODO: user proper async methods
    async def _aget_query_embedding(self, query: str) -> List[float]:
        """获取查询嵌入。"""
        return self._get_query_embedding(query)

    def get_batch_query_embedding(self, embedding_file_url: str) -> Optional[str]:
        """获取批量查询嵌入。

Args:
    embedding_file_url (str): 包含要嵌入的文本行的文件的URL。

Returns:
    str: 嵌入结果的URL，格式参考:
         https://help.aliyun.com/zh/dashscope/developer-reference/text-embedding-async-api-details.
"""
        return get_batch_text_embedding(
            self.model_name,
            embedding_file_url,
            api_key=self._api_key,
            text_type=self._text_type,
        )

    def get_batch_text_embedding(self, embedding_file_url: str) -> Optional[str]:
        """获取批量文本嵌入。

Args:
    embedding_file_url（str）：要进行嵌入的文件的url，其中包含要进行嵌入的文本行。

Returns:
    str：嵌入结果的url，格式参考：
         https://help.aliyun.com/zh/dashscope/developer-reference/text-embedding-async-api-details。
"""
        return get_batch_text_embedding(
            self.model_name,
            embedding_file_url,
            api_key=self._api_key,
            text_type=self._text_type,
        )

    def _get_image_embedding(self, img_file_path: ImageType) -> List[float]:
        """
        同步嵌入输入图像。
        """
        input = [{"image": img_file_path}]
        return get_multimodal_embedding(
            self.model_name, input=input, api_key=self._api_key
        )

    async def _aget_image_embedding(self, img_file_path: ImageType) -> List[float]:
        """
        在异步方式下嵌入输入图像。

        """
        return self._get_image_embedding(img_file_path=img_file_path)

    def get_multimodal_embedding(
        self, input: List[Dict], auto_truncation: bool = False
    ) -> List[float]:
        """调用DashScope多模态嵌入。
参考：https://help.aliyun.com/zh/dashscope/developer-reference/one-peace-multimodal-embedding-api-details。

Args:
    input (str): 多模态嵌入的输入，例如：
        [{'factor': 1, 'text': '你好'},
        {'factor': 2, 'audio': 'https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac'},
        {'factor': 3, 'image': 'https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png'}]

抛出：
    ImportError: 需要安装dashscope包。

Returns:
    List[float]: 嵌入结果
"""
        return get_multimodal_embedding(
            self.model_name,
            input=input,
            api_key=self._api_key,
            auto_truncation=auto_truncation,
        )

get_batch_query_embedding

get_batch_query_embedding(
    embedding_file_url: str,
) -> Optional[str]

获取批量查询嵌入。

Parameters:

Name	Type	Description	Default
embedding_file_url	str	包含要嵌入的文本行的文件的URL。	required

Returns:

Name	Type	Description
str	Optional[str]	嵌入结果的URL，格式参考: https://help.aliyun.com/zh/dashscope/developer-reference/text-embedding-async-api-details.

Source code in llama_index/embeddings/dashscope/base.py

    def get_batch_query_embedding(self, embedding_file_url: str) -> Optional[str]:
        """获取批量查询嵌入。

Args:
    embedding_file_url (str): 包含要嵌入的文本行的文件的URL。

Returns:
    str: 嵌入结果的URL，格式参考:
         https://help.aliyun.com/zh/dashscope/developer-reference/text-embedding-async-api-details.
"""
        return get_batch_text_embedding(
            self.model_name,
            embedding_file_url,
            api_key=self._api_key,
            text_type=self._text_type,
        )

get_batch_text_embedding

get_batch_text_embedding(
    embedding_file_url: str,
) -> Optional[str]

获取批量文本嵌入。

Returns:

Type	Description
Optional[str]	str：嵌入结果的url，格式参考： https://help.aliyun.com/zh/dashscope/developer-reference/text-embedding-async-api-details。

Source code in llama_index/embeddings/dashscope/base.py

    def get_batch_text_embedding(self, embedding_file_url: str) -> Optional[str]:
        """获取批量文本嵌入。

Args:
    embedding_file_url（str）：要进行嵌入的文件的url，其中包含要进行嵌入的文本行。

Returns:
    str：嵌入结果的url，格式参考：
         https://help.aliyun.com/zh/dashscope/developer-reference/text-embedding-async-api-details。
"""
        return get_batch_text_embedding(
            self.model_name,
            embedding_file_url,
            api_key=self._api_key,
            text_type=self._text_type,
        )

get_multimodal_embedding

get_multimodal_embedding(
    input: List[Dict], auto_truncation: bool = False
) -> List[float]

调用DashScope多模态嵌入。 参考：https://help.aliyun.com/zh/dashscope/developer-reference/one-peace-multimodal-embedding-api-details。

Parameters:

Name	Type	Description	Default
input	str	多模态嵌入的输入，例如： [{'factor': 1, 'text': '你好'}, {'factor': 2, 'audio': 'https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac'}, {'factor': 3, 'image': 'https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png'}]	required

抛出： ImportError: 需要安装dashscope包。

Returns:

Type	Description
List[float]	List[float]: 嵌入结果

Source code in llama_index/embeddings/dashscope/base.py

    def get_multimodal_embedding(
        self, input: List[Dict], auto_truncation: bool = False
    ) -> List[float]:
        """调用DashScope多模态嵌入。
参考：https://help.aliyun.com/zh/dashscope/developer-reference/one-peace-multimodal-embedding-api-details。

Args:
    input (str): 多模态嵌入的输入，例如：
        [{'factor': 1, 'text': '你好'},
        {'factor': 2, 'audio': 'https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac'},
        {'factor': 3, 'image': 'https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png'}]

抛出：
    ImportError: 需要安装dashscope包。

Returns:
    List[float]: 嵌入结果
"""
        return get_multimodal_embedding(
            self.model_name,
            input=input,
            api_key=self._api_key,
            auto_truncation=auto_truncation,
        )