PullMdLoader
用于使用pull.md服务将URL转换为Markdown的加载器。
这个包实现了一个用于网页内容的文档加载器。与传统的网页抓取工具不同,PullMdLoader可以处理使用动态JavaScript框架(如React、Angular或Vue.js)构建的网页,将它们转换为Markdown而无需本地渲染。
概述
集成详情
类 | 包 | 本地 | 可序列化 | JS支持 |
---|---|---|---|---|
PullMdLoader | langchain-pull-md | ✅ | ✅ | ❌ |
设置
安装
pip install langchain-pull-md
初始化
from langchain_pull_md.markdown_loader import PullMdLoader
# Instantiate the loader with a URL
loader = PullMdLoader(url="https://example.com")
加载
documents = loader.load()
documents[0].metadata
{'source': 'https://example.com',
'page_content': '# Example Domain\nThis domain is used for illustrative examples in documents. You may use this domain in literature without prior coordination or asking for permission.'}
懒加载
未实现懒加载。PullMdLoader
在调用 load
方法时,将提供的 URL 实时转换为 Markdown 格式。