NeedleLoader#

class langchain_community.document_loaders.needle.NeedleLoader(needle_api_key: str | None = None, collection_id: str | None = None)[源代码]#

NeedleLoader 是一个用于管理存储在集合中的文档的文档加载器。

Setup:

安装 needle-python 库并设置您的 Needle API 密钥。

pip install needle-python
export NEEDLE_API_KEY="your-api-key"
Key init args:

  • needle_api_key (Optional[str]): 用于与Needle进行身份验证的API密钥。

  • collection_id (str): 需要从中加载文档的集合。

Usage:
from langchain_community.document_loaders.needle import NeedleLoader

loader = NeedleLoader(
    needle_api_key="your-api-key",
    collection_id="your-collection-id"
)

# Load documents
documents = loader.load()
for doc in documents:
    print(doc.metadata)

# Lazy load documents
for doc in loader.lazy_load():
    print(doc.metadata)

使用API密钥和集合ID初始化NeedleLoader。

Parameters:

  • needle_api_key (可选[str]) – 用于与Needle进行身份验证的API密钥。

  • collection_id (可选[str]) – Needle集合的标识符。

Raises:

  • ImportError – 如果未安装 needle-python 库。

  • ValueError – 如果未提供集合ID。

方法

__init__([needle_api_key, collection_id])

使用API密钥和集合ID初始化NeedleLoader。

add_files(files)

将文件添加到Needle集合中。

alazy_load()

文档的懒加载器。

aload()

将数据加载到Document对象中。

lazy_load()

从Needle集合中懒加载文档。

load()

从Needle集合中加载所有文档。

load_and_split([text_splitter])

加载文档并将其分割成块。
__init__(needle_api_key: str | None = None, collection_id: str | None = None) → None[source]#

使用API密钥和集合ID初始化NeedleLoader。

Parameters:

  • needle_api_key (可选[str]) – 用于与Needle进行身份验证的API密钥。

  • collection_id (可选[str]) – Needle集合的标识符。

Raises:

  • ImportError – 如果未安装 needle-python 库。

  • ValueError – 如果未提供集合ID。

Return type:

无

add_files(files: Dict[str, str]) → None[来源]#

将文件添加到Needle集合中。

Parameters:

files (Dict[str, str]) – 字典，其中键是文件名，值是文件的URL。

Raises:

  • ImportError – 如果未安装 needle-python 库。

  • ValueError – 如果集合未正确初始化。

Return type:

无

async alazy_load() → AsyncIterator[Document]#

文档的懒加载器。

Return type:

AsyncIterator[Document]

async aload() → list[Document]#

将数据加载到Document对象中。

Return type:

列表[Document]

lazy_load() → Iterator[Document][source]#

从Needle集合中懒加载文档。

Yields:

Iterator[Document] – 文档的迭代器。

Return type:

迭代器[文档]

load() → List[Document][source]#

从Needle集合加载所有文档。

Returns:

来自集合的文档列表。

Return type:

列表[Document]

load_and_split(text_splitter: TextSplitter | None = None) → list[Document]#

加载文档并将其分割成块。块以文档形式返回。

不要重写此方法。它应该被视为已弃用！

Parameters:

text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。 默认为RecursiveCharacterTextSplitter。

Returns:

文档列表。

Return type:

列表[Document]