Skip to main content
Open In ColabOpen on GitHub

PullMdLoader

用于使用pull.md服务将URL转换为Markdown的加载器。

这个包实现了一个用于网页内容的文档加载器。与传统的网页抓取工具不同,PullMdLoader可以处理使用动态JavaScript框架(如React、Angular或Vue.js)构建的网页,将它们转换为Markdown而无需本地渲染。

概述

集成详情

本地可序列化JS支持
PullMdLoaderlangchain-pull-md

设置

安装

pip install langchain-pull-md

初始化

from langchain_pull_md.markdown_loader import PullMdLoader

# Instantiate the loader with a URL
loader = PullMdLoader(url="https://example.com")

加载

documents = loader.load()
documents[0].metadata
{'source': 'https://example.com',
'page_content': '# Example Domain\nThis domain is used for illustrative examples in documents. You may use this domain in literature without prior coordination or asking for permission.'}

懒加载

未实现懒加载。PullMdLoader 在调用 load 方法时,将提供的 URL 实时转换为 Markdown 格式。

API 参考:


这个页面有帮助吗?