我的魔法人工智能LLM¶

简介¶

本笔记本演示了如何使用MyMagicAI对存储在云存储桶中的大量数据进行批量推断。实现的唯一端点是complete和acomplete，可以适用于包括完成、摘要和提取在内的许多用例。 要使用本笔记本，您需要从MyMagicAI获取一个API密钥（个人访问令牌），以及存储在云存储桶中的数据。 点击MyMagicAI的网站上的“开始”进行注册，以获取您的API密钥。

设置¶

要设置您的存储桶并为MyMagic API提供安全访问权限，请访问MyMagic文档进行参考。 如果您在Colab上打开此笔记本，可能需要安装LlamaIndex 🦙。

In [ ]:

%pip install llama-index-llms-mymagic

%pip install llama-index-llms-mymagic

In [ ]:

!pip install llama-index

!pip install llama-index

In [ ]:

from llama_index.llms.mymagic import MyMagicAI

from llama_index.llms.mymagic import MyMagicAI

In [ ]:

llm = MyMagicAI(
    api_key="your-api-key",
    storage_provider="s3",  # s3, gcs
    bucket_name="your-bucket-name",
    session="your-session-name",  # 文件应该位于此文件夹中，批量推断将在其中运行
    role_arn="your-role-arn",
    system_prompt="your-system-prompt",
    region="your-bucket-region",
    return_output=False,  # 是否希望MyMagic API返回输出json
    input_json_file=None,  # 输入文件的名称（存储在存储桶中）
    list_inputs=None,  # 如果是小批量，提供输入列表的选项
    structured_output=None,  # 输出的json模式
)

llm = MyMagicAI( api_key="your-api-key", storage_provider="s3", # s3, gcs bucket_name="your-bucket-name", session="your-session-name", # 文件应该位于此文件夹中，批量推断将在其中运行 role_arn="your-role-arn", system_prompt="your-system-prompt", region="your-bucket-region", return_output=False, # 是否希望MyMagic API返回输出json input_json_file=None, # 输入文件的名称（存储在存储桶中） list_inputs=None, # 如果是小批量，提供输入列表的选项 structured_output=None, # 输出的json模式 )

注意：如果上面设置了return_output为True，那么max_tokens应该至少设置为100

In [ ]:

resp = llm.complete(
    question="你的问题",
    model="选择的模型",  # 目前我们支持mistral7b, llama7b, mixtral8x7b, codellama70b, llama70b, 更多的模型即将推出...
    max_tokens=5,  # 生成的token数量，默认为10
)

resp = llm.complete( question="你的问题", model="选择的模型", # 目前我们支持mistral7b, llama7b, mixtral8x7b, codellama70b, llama70b, 更多的模型即将推出... max_tokens=5, # 生成的token数量，默认为10 )

In [ ]:

# 响应指示最终输出存储在您的存储桶中，如果作业失败则会引发异常
print(resp)

# 响应指示最终输出存储在您的存储桶中，如果作业失败则会引发异常 print(resp)

使用acomplete端点进行异步请求¶

对于异步操作，请使用以下方法。

In [ ]:

import asyncio

import asyncio

In [ ]:

async def main():
    response = await llm.acomplete(
        question="your-question",
        model="choose-model",  # 支持的模型会不断更新，并在 docs.mymagic.ai 中列出
        max_tokens=5,  # 生成的标记数， 默认为10
    )

    print("Async completion response:", response)

async def main(): response = await llm.acomplete( question="your-question", model="choose-model", # 支持的模型会不断更新，并在 docs.mymagic.ai 中列出 max_tokens=5, # 生成的标记数， 默认为10 ) print("Async completion response:", response)

In [ ]:

await main()

await main()