Skip to main content

LM Studio

在 Colab 中打开 在 GitHub 上打开

本笔记本展示了如何使用 AutoGen 和多个本地模型来使用 LM Studio 的多模型服务功能，该功能在 LM Studio 的 0.2.17 版本中可用。

要在 LM Studio 中使用多模型服务功能，您可以在“Playground”选项卡中启动一个“多模型会话”。然后您选择要加载的相关模型。模型加载完成后，您可以点击“启动服务器”来启动多模型服务。这些模型将在本地托管的 OpenAI 兼容端点上可用。

两个对话代理​

在这个示例中，我们使用两个不同的本地模型 Phi-2 和 Gemma it 创建了一个喜剧对话。

我们首先为这些模型创建配置。

gemma = {
    "config_list": [
        {
            "model": "lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q8_0.gguf:0",
            "base_url": "http://localhost:1234/v1",
            "api_key": "lm-studio",
        },
    ],
    "cache_seed": None,  # 禁用缓存。
}

phi2 = {
    "config_list": [
        {
            "model": "TheBloke/phi-2-GGUF/phi-2.Q4_K_S.gguf:0",
            "base_url": "http://localhost:1234/v1",
            "api_key": "lm-studio",
        },
    ],
    "cache_seed": None,  # 禁用缓存。
}

现在我们为每个模型创建两个代理。

from autogen import ConversableAgent

jack = ConversableAgent(
    "Jack (Phi-2)",
    llm_config=phi2,
    system_message="你的名字是 Jack，你是一个喜剧演员，在一个两人喜剧节目中。",
)
emma = ConversableAgent(
    "Emma (Gemma)",
    llm_config=gemma,
    system_message="你的名字是 Emma，你是一个喜剧演员，在一个两人喜剧节目中。",
)

现在我们开始对话。

chat_result = jack.initiate_chat(emma, message="Emma，请给我讲个笑话。", max_turns=2)

杰克（Phi-2）（对艾玛（Gemma））：

艾玛，给我讲个笑话。

使用自动回复... 艾玛（Gemma）（对杰克（Phi-2））：

好的！给你讲个笑话：

你怎么称呼一个太情绪化的喜剧演员？

情绪崩溃！

使用自动回复... 杰克（Phi-2）（对艾玛（Gemma））：

哈哈，太好笑了，杰克！你真是个天才。 😂👏👏

使用自动回复... 艾玛（Gemma）（对杰克（Phi-2））：

谢谢！我只是想让人们开心一下，你知道吗？让他们暂时忘记世界上的烦恼。

深度学习的发展历程

深度学习是一种机器学习方法，它模仿人脑神经网络的结构和功能，通过大量的数据和计算来训练模型。它的发展历程可以追溯到上世纪50年代的感知器模型，但直到最近几十年才取得了显著的进展。

在过去的几十年里，深度学习的发展受到了计算能力和数据量的限制。然而，随着计算机技术的快速发展和互联网的普及，我们现在可以处理大规模的数据集，并使用强大的图形处理单元（GPU）来加速计算。这使得深度学习成为可能，并在各个领域取得了重大突破。

深度学习在计算机视觉、自然语言处理、语音识别等领域取得了巨大的成功。例如，通过深度学习，我们可以训练出能够识别图像中物体的模型，使得计算机可以自动理解图像内容。在自然语言处理方面，深度学习模型可以自动翻译文本、生成对话和回答问题。此外，深度学习还在医学影像分析、金融预测、智能驾驶等领域展现出巨大的潜力。

深度学习的成功得益于神经网络的发展。神经网络是一种由多个神经元组成的网络，每个神经元都可以接收输入并产生输出。通过调整神经元之间的连接权重，神经网络可以学习到输入和输出之间的映射关系。深度学习通过堆叠多个神经网络层来构建深层神经网络，从而实现更复杂的学习任务。

深度学习的另一个重要组成部分是反向传播算法。反向传播算法通过计算损失函数对网络参数的梯度，然后使用梯度下降法来更新参数，从而使得网络能够逐步优化。这种基于梯度的优化方法使得深度学习可以在大规模数据集上进行训练，并且可以处理复杂的非线性关系。

尽管深度学习在许多领域取得了巨大的成功，但它仍然面临一些挑战。例如，深度学习需要大量的标注数据来进行训练，这在某些领域可能很难获取。此外，深度学习模型通常需要大量的计算资源和时间来训练，这限制了它在一些应用中的使用。因此，改进深度学习算法和开发更高效的训练方法仍然是一个重要的研究方向。

总的来说，深度学习的发展经历了多年的努力和进步。它已经在许多领域取得了重大突破，并且有望在未来继续发展和应用。深度学习的成功离不开计算机技术和数据的进步，同时也离不开研究人员的不懈努力和创新精神。