Skip to main content
Open on GitHub

Javelin AI Gateway

The Javelin AI Gateway 服务是一个高性能、企业级的API网关，适用于AI应用。
它旨在通过为与大型语言模型（LLM）的所有交互提供强大的访问安全性，简化各种大型语言模型（LLM）提供商的使用和访问， 例如OpenAI、Cohere、Anthropic以及组织内的自定义大型语言模型。

Javelin 提供了一个高级接口，通过提供一个统一的端点来处理特定的LLM相关请求，从而简化了与LLMs的交互。

查看Javelin AI Gateway的文档以获取更多详细信息。
Javelin Python SDK是一个易于使用的客户端库，旨在嵌入到AI应用程序中。

安装与设置​

安装 javelin_sdk 以与 Javelin AI 网关进行交互：

pip install 'javelin_sdk'

将Javelin的API密钥设置为环境变量：

export JAVELIN_API_KEY=...

完成示例​


from langchain.chains import LLMChain
from langchain_community.llms import JavelinAIGateway
from langchain_core.prompts import PromptTemplate

route_completions = "eng_dept03"

gateway = JavelinAIGateway(
    gateway_uri="http://localhost:8000",
    route=route_completions,
    model_name="text-davinci-003",
)

llmchain = LLMChain(llm=gateway, prompt=prompt)
result = llmchain.run("podcast player")

print(result)

嵌入示例​

from langchain_community.embeddings import JavelinAIGatewayEmbeddings
from langchain_openai import OpenAIEmbeddings

embeddings = JavelinAIGatewayEmbeddings(
    gateway_uri="http://localhost:8000",
    route="embeddings",
)

print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))

聊天示例​

from langchain_community.chat_models import ChatJavelinAIGateway
from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to French."
    ),
    HumanMessage(
        content="Artificial Intelligence has the power to transform humanity and make the world a better place"
    ),
]

chat = ChatJavelinAIGateway(
    gateway_uri="http://localhost:8000",
    route="mychatbot_route",
    model_name="gpt-3.5-turbo"
    params={
        "temperature": 0.1
    }
)

print(chat(messages))

这个页面有帮助吗？