HNLoader#

class langchain_community.document_loaders.hn.HNLoader(web_path: str | Sequence[str] = '', header_template: dict | None = None, verify_ssl: bool = True, proxies: dict | None = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: str | None = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Dict[str, Any] | None = None, raise_for_status: bool = False, bs_get_text_kwargs: Dict[str, Any] | None = None, bs_kwargs: Dict[str, Any] | None = None, session: Any = None, *, show_progress: bool = True, trust_env: bool = False)[来源]#

加载Hacker News数据。

它从主页结果或评论页面加载数据。

初始化加载器。

Parameters:

  • web_paths (Sequence[str]) – 要加载的Web路径。

  • requests_per_second (int) – 最大并发请求数。

  • default_parser (str) – 用于BeautifulSoup的默认解析器。

  • requests_kwargs (Dict[str, Any] | None) – 用于请求的kwargs

  • raise_for_status (bool) – 如果HTTP状态码表示错误，则引发异常。

  • bs_get_text_kwargs (Dict[str, Any] | None) – 用于beautifulsoup4 get_text的关键字参数

  • bs_kwargs (Dict[str, Any] | None) – 用于beautifulsoup4网页解析的kwargs

  • show_progress (bool) – 加载页面时显示进度条。

  • trust_env (bool) – 如果使用代理进行网络请求，例如使用http(s)_proxy环境变量，则设置为True。默认为False。

  • web_path (str | Sequence[str])

  • header_template (dict | None)

  • verify_ssl (bool)

  • proxies (dict | None)

  • continue_on_failure (bool)

  • autoset_encoding (bool)

  • encoding (str | None)

  • session (任何)

属性

web_path

方法

__init__([web_path, header_template, ...])

初始化加载器。

alazy_load()

异步从web_path中的URL(s)懒加载文本。

aload()

ascrape_all(urls[, parser])

异步获取所有URL，然后返回所有结果的soups。

fetch_all(urls)

并发获取所有URL，并带有速率限制。

lazy_load()

从web_path中的URL(s)懒加载文本。

load()

获取重要的HN网页信息。

load_and_split([text_splitter])

加载文档并将其分割成块。

load_comments(soup_info)

从HN帖子加载评论。

load_results(soup)

从HN页面加载项目。

scrape([parser])

从网页抓取数据并以BeautifulSoup格式返回。

scrape_all(urls[, parser])

获取所有URL，然后返回所有结果的soups。
__init__(web_path: str | Sequence[str] = '', header_template: dict | None = None, verify_ssl: bool = True, proxies: dict | None = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: str | None = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Dict[str, Any] | None = None, raise_for_status: bool = False, bs_get_text_kwargs: Dict[str, Any] | None = None, bs_kwargs: Dict[str, Any] | None = None, session: Any = None, *, show_progress: bool = True, trust_env: bool = False) → None#

初始化加载器。

Parameters:

  • web_paths (Sequence[str]) – 要加载的Web路径。

  • requests_per_second (int) – 最大并发请求数。

  • default_parser (str) – 用于BeautifulSoup的默认解析器。

  • requests_kwargs (Dict[str, Any] | None) – 用于请求的kwargs

  • raise_for_status (bool) – 如果HTTP状态码表示错误，则引发异常。

  • bs_get_text_kwargs (Dict[str, Any] | None) – 用于beautifulsoup4 get_text的关键字参数

  • bs_kwargs (Dict[str, Any] | None) – 用于beautifulsoup4网页解析的kwargs

  • show_progress (bool) – 加载页面时显示进度条。

  • trust_env (bool) – 如果使用代理进行网络请求，例如使用http(s)_proxy环境变量，则设置为True。默认为False。

  • web_path (str | Sequence[str])

  • header_template (dict | None)

  • verify_ssl (bool)

  • proxies (dict | None)

  • continue_on_failure (bool)

  • autoset_encoding (bool)

  • encoding (str | None)

  • session (任何)

Return type:

无

async alazy_load() → AsyncIterator[Document]#

从web_path中的URL异步懒加载文本。

Return type:

AsyncIterator[Document]

aload() → List[Document]#

自版本0.3.14起已弃用：请参阅API参考以获取更新的用法：https://python.langchain.com/api_reference/community/document_loaders/langchain_community.document_loaders.web_base.WebBaseLoader.html 在langchain-community==1.0之前不会移除。

从web_path中的URL异步加载文本到Documents中。

Return type:

列表[文档]

async ascrape_all(urls: List[str], parser: str | None = None) → List[Any]#

异步获取所有URL，然后返回所有结果的soups。

Parameters:

  • urls (列表[字符串])

  • parser (str | None)

Return type:

列表[任意类型]

async fetch_all(urls: List[str]) → Any#

同时获取所有URL，并进行速率限制。

Parameters:

urls (列表[字符串])

Return type:

任何

lazy_load() → Iterator[Document]#

从web_path中的URL懒加载文本。

Return type:

迭代器[文档]

load() → List[Document][来源]#

获取重要的HN网页信息。

HN webpage components are:

  • 标题

  • 内容

  • 源URL，

  • 发布时间

  • 帖子的作者

  • 评论数量

  • 帖子的排名

Return type:

列表[文档]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]#

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:

text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。 默认为RecursiveCharacterTextSplitter。

Returns:

文档列表。

Return type:

列表[Document]

load_comments(soup_info: Any) → List[Document][source]#

从HN帖子加载评论。

Parameters:

soup_info (任意)

Return type:

列表[文档]

load_results(soup: Any) → List[Document][source]#

从HN页面加载项目。

Parameters:

soup (任意)

Return type:

列表[文档]

scrape(parser: str | None = None) → Any#

从网页抓取数据并以BeautifulSoup格式返回。

Parameters:

parser (str | None)

Return type:

任何

scrape_all(urls: List[str], parser: str | None = None) → List[Any]#

获取所有URL，然后返回所有结果的soups。

Parameters:

  • urls (列表[字符串])

  • parser (str | None)

Return type:

列表[任意类型]

使用 HNLoader 的示例