langchain_community.document_loaders.college_confidential
.CollegeConfidentialLoader¶
- class langchain_community.document_loaders.college_confidential.CollegeConfidentialLoader(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Any = None)[source]¶
加载`College Confidential`网页。
初始化加载器。
- 参数:
web_paths:要加载的Web路径。 requests_per_second:要发出的最大并发请求数。 default_parser:用于BeautifulSoup的默认解析器。 requests_kwargs:requests的kwargs。 raise_for_status:如果http状态码表示错误,则引发异常。 bs_get_text_kwargs:beatifulsoup4 get_text的kwargs。 bs_kwargs:beatifulsoup4网页解析的kwargs。
Attributes
web_path
Methods
__init__
([web_path, header_template, ...])初始化加载器。
一个用于文档的惰性加载器。
aload
()从web_path中的URL异步加载文本到Documents中。
fetch_all
(urls)以限制速率并发获取所有URL。
从web_path中的url(s)中延迟加载文本。
load
()加载网页作为文档。
load_and_split
([text_splitter])加载文档并分割成块。块作为文档返回。
scrape
([parser])从网页中抓取数据并以BeautifulSoup格式返回。
scrape_all
(urls[, parser])获取所有的URL,然后返回所有结果的网页源代码。
- Parameters
web_path (Union[str, Sequence[str]]) –
header_template (Optional[dict]) –
verify_ssl (bool) –
proxies (Optional[dict]) –
continue_on_failure (bool) –
autoset_encoding (bool) –
encoding (Optional[str]) –
web_paths (Sequence[str]) –
requests_per_second (int) –
default_parser (str) –
requests_kwargs (Optional[Dict[str, Any]]) –
raise_for_status (bool) –
bs_get_text_kwargs (Optional[Dict[str, Any]]) –
bs_kwargs (Optional[Dict[str, Any]]) –
session (Any) –
- Return type
None
- __init__(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Any = None) None ¶
初始化加载器。
- 参数:
web_paths:要加载的Web路径。 requests_per_second:要发出的最大并发请求数。 default_parser:用于BeautifulSoup的默认解析器。 requests_kwargs:requests的kwargs。 raise_for_status:如果http状态码表示错误,则引发异常。 bs_get_text_kwargs:beatifulsoup4 get_text的kwargs。 bs_kwargs:beatifulsoup4网页解析的kwargs。
- Parameters
web_path (Union[str, Sequence[str]]) –
header_template (Optional[dict]) –
verify_ssl (bool) –
proxies (Optional[dict]) –
continue_on_failure (bool) –
autoset_encoding (bool) –
encoding (Optional[str]) –
web_paths (Sequence[str]) –
requests_per_second (int) –
default_parser (str) –
requests_kwargs (Optional[Dict[str, Any]]) –
raise_for_status (bool) –
bs_get_text_kwargs (Optional[Dict[str, Any]]) –
bs_kwargs (Optional[Dict[str, Any]]) –
session (Any) –
- Return type
None
- async fetch_all(urls: List[str]) Any ¶
以限制速率并发获取所有URL。
- Parameters
urls (List[str]) –
- Return type
Any
- load_and_split(text_splitter: Optional[TextSplitter] = None) List[Document] ¶
加载文档并分割成块。块作为文档返回。
不要覆盖此方法。应该被视为已弃用!
- 参数:
- text_splitter: 用于分割文档的TextSplitter实例。
默认为RecursiveCharacterTextSplitter。
- 返回:
文档列表。
- Parameters
text_splitter (Optional[TextSplitter]) –
- Return type
List[Document]
- scrape(parser: Optional[str] = None) Any ¶
从网页中抓取数据并以BeautifulSoup格式返回。
- Parameters
parser (Optional[str]) –
- Return type
Any
- scrape_all(urls: List[str], parser: Optional[str] = None) List[Any] ¶
获取所有的URL,然后返回所有结果的网页源代码。
- Parameters
urls (List[str]) –
parser (Optional[str]) –
- Return type
List[Any]