langchain_community.document_loaders.rss.RSSFeedLoader

class langchain_community.document_loaders.rss.RSSFeedLoader(urls: Optional[Sequence[str]] = None, opml: Optional[str] = None, continue_on_failure: bool = True, show_progress_bar: bool = False, **newsloader_kwargs: Any)

从`RSS`源使用`Unstructured`加载新闻文章。

Parameters

• urls (Optional[Sequence[str]]) – 要加载的RSS源的URL。每个源中的文章都加载到自己的文档中。

• opml (Optional[str]) – 从中加载源URL的OPML文件。应提供urls或opml中的一个。该值可以是URL字符串，也可以是字节或字符串形式的OPML标记内容。

• continue_on_failure (bool) – 如果为True，则即使对特定URL加载失败，也会继续加载文档。

• show_progress_bar (bool) – 如果为True，则使用tqdm显示加载进度条。需要安装tqdm，pip install tqdm。

• **newsloader_kwargs – 要传递给NewsURLLoader的任何其他命名参数。

• newsloader_kwargs (Any) –

Return type

None

Example

from langchain_community.document_loaders import RSSFeedLoader

loader = RSSFeedLoader(
    urls=["<url-1>", "<url-2>"],
)
docs = loader.load()

该加载器使用feedparser来解析RSS源。feedparser库默认未安装，因此如果使用此加载器，应安装它： https://pythonhosted.org/feedparser/

如果使用OPML，还应安装listparser： https://pythonhosted.org/listparser/

最后，使用newspaper来处理每篇文章： https://newspaper.readthedocs.io/en/latest/

使用URL或OPML进行初始化。

Methods

__init__([urls, opml, continue_on_failure, ...])	使用URL或OPML进行初始化。
alazy_load()	一个用于文档的惰性加载器。
aload()	将数据加载到文档对象中。
lazy_load()	一个用于文档的惰性加载器。
load()	将数据加载到文档对象中。
load_and_split([text_splitter])	加载文档并分割成块。块作为文档返回。

__init__(urls: Optional[Sequence[str]] = None, opml: Optional[str] = None, continue_on_failure: bool = True, show_progress_bar: bool = False, **newsloader_kwargs: Any) → None

使用URL或OPML进行初始化。

Parameters

• urls (Optional[Sequence[str]]) –

• opml (Optional[str]) –

• continue_on_failure (bool) –

• show_progress_bar (bool) –

• newsloader_kwargs (Any) –

Return type

None

async alazy_load() → AsyncIterator[Document]

一个用于文档的惰性加载器。

Return type

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到文档对象中。

Return type

List[Document]

lazy_load() → Iterator[Document]

一个用于文档的惰性加载器。

Return type

Iterator[Document]

load() → List[Document]

将数据加载到文档对象中。

Return type

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并分割成块。块作为文档返回。

不要覆盖此方法。应该被视为已弃用！

参数：

text_splitter: 用于分割文档的TextSplitter实例。

默认为RecursiveCharacterTextSplitter。

返回：

文档列表。

Parameters

text_splitter (Optional[TextSplitter]) –

Return type

List[Document]

Examples using RSSFeedLoader

• rss.md