Apify
Apify 是一个用于网页抓取和数据提取的云平台,提供了一个包含一千多个名为 Actors 的现成应用程序的 生态系统,用于各种抓取、爬取和提取用例。
该集成使您能够在 Apify
平台上运行 Actors,并将它们的结果加载到 LangChain 中,以从网页中获取文档和数据,例如从文档、博客或知识库生成答案。
安装和设置
使用
pip install apify-client
安装 Python 的 Apify API 客户端。获取您的 Apify API 令牌,并将其设置为环境变量 (
APIFY_API_TOKEN
),或者在构造函数中将其作为apify_api_token
传递给ApifyWrapper
。
实用工具
您可以使用 ApifyWrapper
在 Apify 平台上运行 Actors。
from langchain_community.utilities import ApifyWrapper
要了解有关此包装器的更详细说明,请参阅此笔记本。
文档加载器
您还可以使用我们的 ApifyDatasetLoader
从 Apify 数据集中获取数据。
from langchain_community.document_loaders import ApifyDatasetLoader
要了解有关此加载器的更详细说明,请参阅此笔记本。