示例#
脚本
- API 客户端
- Aqlm 示例
- Cpu 卸载
- Gguf 推理
- Gradio OpenAI 聊天机器人 Web 服务器
- Gradio 网页服务器
- LLM 引擎示例
- Lora 带量化推理
- 多LoRA推理
- 离线聊天工具
- 离线推理
- 离线推理北极
- 离线推理音频语言
- 离线推理聊天
- 离线推理分布式
- 离线推理嵌入
- 离线推理编码器解码器
- 离线推理 Mlpspeculator
- 离线推理神经元
- 离线推理 Neuron Int8 量化
- 离线推理 Pixtral
- 离线推理 Tpu
- 离线推理视觉语言
- 离线推理 视觉语言 多图像
- 使用前缀进行离线推理
- 使用Profiler进行离线推理
- OpenAI 音频 API 客户端
- OpenAI 聊天完成客户端
- 带有工具的 OpenAI 聊天完成客户端
- OpenAI 完成客户端
- OpenAI 嵌入客户端
- OpenAI Vision API 客户端
- 保存分片状态
- Tensorize vLLM 模型