RSSFeedLoader#

class langchain_community.document_loaders.rss.RSSFeedLoader(urls: Sequence[str] | None = None, opml: str | None = None, continue_on_failure: bool = True, show_progress_bar: bool = False, **newsloader_kwargs: Any)[source]#

使用Unstructured从RSS源加载新闻文章。

Parameters:

urls (Sequence[str] | None) – 用于加载RSS源的URL。源中的每篇文章都被加载到其自己的文档中。
opml (str | None) – 用于加载订阅源URL的OPML文件。应仅提供urls或opml中的一个。该值
string (可以是一个URL)
string. (或作为字节的OPML标记内容)
continue_on_failure (bool) – 如果为True，即使加载某个特定URL失败，也继续加载文档。
show_progress_bar (bool) – 如果为True，使用tqdm显示加载进度条。需要安装tqdm，pip install tqdm。
**newsloader_kwargs (Any) – 传递给 NewsURLLoader 的任何额外命名参数。

示例

from langchain_community.document_loaders import RSSFeedLoader

loader = RSSFeedLoader(
    urls=["<url-1>", "<url-2>"],
)
docs = loader.load()

加载器使用feedparser来解析RSS源。feedparser库默认未安装，因此如果您使用此加载器，您应该安装它： https://pythonhosted.org/feedparser/

如果您使用OPML，您还应该安装listparser： https://pythonhosted.org/listparser/

最后，使用newspaper处理每篇文章： https://newspaper.readthedocs.io/en/latest/

使用URL或OPML进行初始化。

方法

`__init__`([urls, opml, continue_on_failure, ...])	使用URL或OPML进行初始化。
`alazy_load`()	一个用于文档的懒加载器。
`aload`()	将数据加载到Document对象中。
`lazy_load`()	一个用于文档的懒加载器。
`load`()	将数据加载到Document对象中。
`load_and_split`([text_splitter])	加载文档并将其分割成块。

__init__(urls: Sequence[str] | None = None, opml: str | None = None, continue_on_failure: bool = True, show_progress_bar: bool = False, **newsloader_kwargs: Any) → None[source]#

使用URL或OPML进行初始化。

Parameters:

urls (序列[字符串] | 无)
opml (str | None)
continue_on_failure (bool)
show_progress_bar (bool)
newsloader_kwargs (Any)

Return type:

无

async alazy_load() → AsyncIterator[Document]#

文档的懒加载器。

Return type:: AsyncIterator[Document]

async aload() → list[Document]#

将数据加载到Document对象中。

Return type:: 列表[Document]

lazy_load() → Iterator[Document][source]#

文档的懒加载器。

Return type:: 迭代器[文档]

load() → List[Document][source]#

将数据加载到Document对象中。

Return type:: 列表[文档]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]#

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:: text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。
Returns:: 文档列表。
Return type:: 列表[Document]

使用 RSSFeedLoader 的示例

RSS Feeds