ModelScope
ModelScope 是一个包含大量模型和数据集的大型仓库。
本页面介绍了如何在LangChain中使用modelscope生态系统。 它分为两部分:安装和设置,然后是对特定modelscope包装器的引用。
安装
pip install -U langchain-modelscope-integration
前往ModelScope注册并生成一个SDK token。完成后,设置MODELSCOPE_SDK_TOKEN
环境变量:
export MODELSCOPE_SDK_TOKEN=<your_sdk_token>
聊天模型
ModelScopeChatEndpoint
类暴露了来自ModelScope的聊天模型。查看可用模型 这里。
from langchain_modelscope import ModelScopeChatEndpoint
llm = ModelScopeChatEndpoint(model="Qwen/Qwen2.5-Coder-32B-Instruct")
llm.invoke("Sing a ballad of LangChain.")
嵌入
ModelScopeEmbeddings
类暴露了来自 ModelScope 的嵌入。
from langchain_modelscope import ModelScopeEmbeddings
embeddings = ModelScopeEmbeddings(model_id="damo/nlp_corom_sentence-embedding_english-base")
embeddings.embed_query("What is the meaning of life?")
大型语言模型
ModelScopeLLM
类暴露了来自 ModelScope 的 LLMs。
from langchain_modelscope import ModelScopeLLM
llm = ModelScopeLLM(model="Qwen/Qwen2.5-Coder-32B-Instruct")
llm.invoke("The meaning of life is")