Apify
Apify 是一个用于网络抓取和数据提取的云平台, 它提供了一个生态系统,包含超过一千个 现成的应用程序,称为Actors,适用于各种抓取、爬取和提取用例。
此集成使您能够在Apify
平台上运行Actors,并将其结果加载到LangChain中,以便为您的向量索引提供来自网络的文档和数据,例如从包含文档、博客或知识库的网站生成答案。
安装与设置
- 使用
pip install apify-client
安装 Apify API 客户端 for Python - 获取您的Apify API token,并将其设置为环境变量(
APIFY_API_TOKEN
)或在构造函数中将其作为apify_api_token
传递给ApifyWrapper
。
实用工具
你可以使用ApifyWrapper
在Apify平台上运行Actors。
from langchain_community.utilities import ApifyWrapper
API Reference:ApifyWrapper
有关此包装器的更多信息,请参阅API参考。
文档加载器
你也可以使用我们的ApifyDatasetLoader
从Apify数据集中获取数据。
from langchain_community.document_loaders import ApifyDatasetLoader
API Reference:ApifyDatasetLoader
有关此加载器的更详细演练,请参阅此笔记本。