Skip to main content
Open In ColabOpen on GitHub

Microsoft SharePoint

Microsoft SharePoint 是一个基于网站的协作系统，它使用工作流应用程序、“列表”数据库以及其他网页部件和安全功能，旨在帮助业务团队共同工作，由微软开发。

本笔记本介绍了如何从SharePoint 文档库加载文档。默认情况下，文档加载器会加载pdf、doc、docx和txt文件。您可以通过提供适当的解析器来加载其他文件类型（详见下文）。

先决条件​

  1. 按照Microsoft 身份平台的说明注册一个应用程序。
  2. 当注册完成后，Azure 门户会显示应用注册的概览面板。您会看到应用程序（客户端）ID。也称为 client ID，此值在 Microsoft 身份平台中唯一标识您的应用程序。
  3. 在您按照项目1的步骤操作时，您可以将重定向URI设置为https://login.microsoftonline.com/common/oauth2/nativeclient
  4. 在您按照项目1的步骤操作时，请在应用程序机密部分生成一个新密码（client_secret）。
  5. 按照此文档中的说明，将以下SCOPES（offline_access和Sites.Read.All）添加到您的应用程序中。
  6. 要从您的文档库中检索文件，您需要其ID。要获取它，您需要Tenant Name、Collection ID和Subsite ID的值。
  7. 要找到您的Tenant Name，请按照此文档中的说明操作。一旦获取到该值，只需从值中移除.onmicrosoft.com，并将剩余部分作为您的Tenant Name。
  8. 要获取您的Collection ID和Subsite ID，您需要您的SharePoint site-name。您的SharePoint站点URL的格式如下https://.sharepoint.com/sites/。此URL的最后部分是site-name。
  9. 要获取站点Collection ID，请在浏览器中访问此URL：https://.sharepoint.com/sites//_api/site/id并复制Edm.Guid属性的值。
  10. 要获取Subsite ID（或网站ID），请使用：https://.sharepoint.com/sites//_api/web/id 并复制Edm.Guid属性的值。
  11. SharePoint site ID 的格式如下：.sharepoint.com,,。您可以保留该值以便在下一步中使用。
  12. 访问Graph Explorer Playground以获取您的Document Library ID。第一步是确保您使用与SharePoint站点关联的帐户登录。然后您需要向https://graph.microsoft.com/v1.0/sites//drive发出请求，响应将返回一个包含id字段的有效负载，该字段保存您的Document Library ID的ID。

🧑 从SharePoint文档库中提取文档的说明​

🔑 认证​

默认情况下，SharePointLoader 期望 CLIENT_ID 和 CLIENT_SECRET 的值必须分别存储为名为 O365_CLIENT_ID 和 O365_CLIENT_SECRET 的环境变量。你可以通过在应用程序根目录下的 .env 文件传递这些环境变量，或者在脚本中使用以下命令。

os.environ['O365_CLIENT_ID'] = "YOUR CLIENT ID"
os.environ['O365_CLIENT_SECRET'] = "YOUR CLIENT SECRET"

此加载器使用一种称为代表用户的认证方式。这是一个需要用户同意的两步认证。当你实例化加载器时，它会调用并打印一个URL，用户必须访问该URL以同意应用程序所需的权限。然后用户必须访问此URL并同意应用程序。接着，用户必须复制生成的页面URL并将其粘贴回控制台。如果登录尝试成功，该方法将返回True。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID")
API Reference:SharePointLoader

一旦认证完成，加载器将在~/.credentials/文件夹中存储一个令牌（o365_token.txt）。这个令牌可以在以后用于认证，而无需之前解释的复制/粘贴步骤。要使用此令牌进行认证，您需要在加载器的实例化中将auth_with_token参数更改为True。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)
API Reference:SharePointLoader

🗂️ 文档加载器​

📑 从文档库目录加载文档​

SharePointLoader 可以从您的文档库中的特定文件夹加载文档。例如，您想要加载存储在文档库中 Documents/marketing 文件夹内的所有文档。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", folder_path="Documents/marketing", auth_with_token=True)
documents = loader.load()
API Reference:SharePointLoader

如果您收到错误Resource not found for the segment，请尝试使用folder_id而不是文件夹路径，该ID可以从Microsoft Graph API获取。

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True
                          folder_id="<folder-id>")
documents = loader.load()

如果您希望从根目录加载文档，可以省略folder_id、folder_path和documents_ids，加载器将加载根目录。

# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)
documents = loader.load()

结合 recursive=True，你可以简单地加载整个 SharePoint 中的所有文档：

# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID",
                          recursive=True,
                          auth_with_token=True)
documents = loader.load()

📑 从文档ID列表中加载文档​

另一种可能性是为你想要加载的每个文档提供一个object_id列表。为此，你需要查询Microsoft Graph API以找到你感兴趣的所有文档ID。这个链接提供了一个端点列表，这些端点将有助于检索文档ID。

例如，要检索存储在data/finance/文件夹中的所有对象的信息，您需要向以下地址发出请求：https://graph.microsoft.com/v1.0/drives//root:/data/finance:/children。一旦您获得了感兴趣的ID列表，您就可以使用以下参数实例化加载器。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", object_ids=["ID_1", "ID_2"], auth_with_token=True)
documents = loader.load()
API Reference:SharePointLoader

📑 选择支持的文件类型和首选解析器​

默认情况下，SharePointLoader 加载在 document_loaders/parsers/registry 中定义的文件类型，使用默认的解析器（见下文）。

def _get_default_parser() -> BaseBlobParser:
    """Get default mime-type based parser."""
    return MimeTypeBasedParser(
        handlers={
            "application/pdf": PyMuPDFParser(),
            "text/plain": TextParser(),
            "application/msword": MsWordParser(),
            "application/vnd.openxmlformats-officedocument.wordprocessingml.document": (
                MsWordParser()
            ),
        },
        fallback_parser=None,
    )

你可以通过将handlers参数传递给SharePointLoader来覆盖此行为。 传递一个字典，将文件扩展名（如"doc"、"pdf"等） 或MIME类型（如"application/pdf"、"text/plain"等）映射到解析器。 请注意，你必须单独使用文件扩展名或MIME类型， 不能混合使用。

不要包含文件扩展名的前导点。

# using file extensions:
handlers = {
    "doc": MsWordParser(),
    "pdf": PDFMinerParser(),
    "mp3": OpenAIWhisperParser()
}

# using MIME types:
handlers = {
    "application/msword": MsWordParser(),
    "application/pdf": PDFMinerParser(),
    "audio/mpeg": OpenAIWhisperParser()
}

loader = SharePointLoader(document_library_id="...",
                            handlers=handlers # pass handlers to SharePointLoader
                            )

如果多个文件扩展名映射到相同的MIME类型，则最后一个字典项将适用。 示例：

# 'jpg' and 'jpeg' both map to 'image/jpeg' MIME type. SecondParser() will be used 
# to parse all jpg/jpeg files.
handlers = {
    "jpg": FirstParser(),
    "jpeg": SecondParser()
}

这个页面有帮助吗？