Airbyte JSON（已弃用）

注意：AirbyteJSONLoader 已弃用。请改用 AirbyteLoader。

Airbyte 是一个数据集成平台，用于从API、数据库和文件到数据仓库和数据湖的ELT管道。它拥有最大的数据仓库和数据库的ELT连接器目录。

这涵盖了如何将任何来自Airbyte的源加载到可以作为文档读取的本地JSON文件中

前提条件：已安装 Docker Desktop

步骤:

从GitHub克隆Airbyte - git clone https://github.com/airbytehq/airbyte.git
切换到Airbyte目录 - cd airbyte
启动 Airbyte - docker compose up
在您的浏览器中，只需访问 http://localhost:8000。您将被要求输入用户名和密码。默认情况下，用户名为 airbyte，密码为 password。
设置您希望的任何源。
将目标设置为本地JSON，并指定目标路径 - 假设为/json_data。设置手动同步。
运行连接。
要查看创建了哪些文件，您可以导航到：file:///tmp/airbyte_local
找到您的数据并复制路径。该路径应保存在下面的文件变量中。它应该以/tmp/airbyte_local开头

from langchain_community.document_loaders import AirbyteJSONLoader

API Reference:AirbyteJSONLoader

!ls /tmp/airbyte_local/json_data/

_airbyte_raw_pokemon.jsonl

loader = AirbyteJSONLoader("/tmp/airbyte_local/json_data/_airbyte_raw_pokemon.jsonl")

data = loader.load()

print(data[0].page_content[:500])

abilities: 
ability: 
name: blaze
url: https://pokeapi.co/api/v2/ability/66/

is_hidden: False
slot: 1


ability: 
name: solar-power
url: https://pokeapi.co/api/v2/ability/94/

is_hidden: True
slot: 3

base_experience: 267
forms: 
name: charizard
url: https://pokeapi.co/api/v2/pokemon-form/6/

game_indices: 
game_index: 180
version: 
name: red
url: https://pokeapi.co/api/v2/version/1/



game_index: 180
version: 
name: blue
url: https://pokeapi.co/api/v2/version/2/



game_index: 180
version: 
n

文档加载器概念指南
文档加载器操作指南

相关​

这个页面有帮助吗？

相关