NVIDIA
配置 MyDeskBot 使用 NVIDIA NIM（NVIDIA 推理微服务）。
概述
NVIDIA NIM 为 AI 模型提供优化的推理，具有企业级性能。
支持的模型
NVIDIA NIM 支持各种模型：
- Llama 3.1 - Meta 的模型，NVIDIA 优化
- Mixtral - 混合专家
- Mistral - 高质量模型
- Phi-3 - 小型、高效模型
- 以及更多...
获取访问权限
- 访问 build.nvidia.com
- 注册或登录
- 导航到 NIM 目录
- 选择要使用的模型
- 获取 API 访问权限
配置选项
模型选择
| 模型 | 适用场景 | 成本 | 速度 |
|---|---|---|---|
| Llama 3.1 70B NIM | 复杂任务 | 中 | 快 |
| Llama 3.1 405B NIM | 最强大 | 高 | 中 |
| Mixtral 8x7B NIM | 编程、复杂任务 | 低 | 非常快 |
| Phi-3 NIM | 快速任务 | 低 | 非常快 |
参数
- Temperature (0-2) - 控制随机性
- Max Tokens - 最大响应长度
- Top P - 核采样
定价
NVIDIA NIM 提供各种定价选项。查看 build.nvidia.com 了解当前费率。
为什么选择 NVIDIA？
- 优化 - GPU 优化性能
- 企业级 - 企业级支持
- 部署 - 任何地方部署（云、本地、边缘）
- 性能 - 高吞吐量
部署选项
- 云 API - 使用 NVIDIA 托管的推理
- 本地部署 - 在自己的基础设施上部署 NIM
- 边缘部署 - 在边缘部署
故障排除
无效的 API 密钥
- 验证 API 密钥是否正确
- 检查 NIM 访问权限
性能问题
- 确保本地部署有足够的 GPU 资源
- 检查云 API 的网络连接