Groq
配置 MyDeskBot 使用 Groq 进行超快速 AI 推理。
概述
Groq 使用其定制的 LPU（语言处理单元）提供极其快速的 AI 推理。
支持的模型
Groq 托管了许多流行的开源模型：
- Llama 3.1 - Meta 的最新模型
- Mixtral 8x7B - 混合专家模型
- Gemma 2 - Google 的开源模型
- Whisper - 音频转录
获取 API 密钥
- 访问 console.groq.com
- 注册或登录
- 进入 API Keys 部分
- 创建新的 API 密钥
- 复制密钥
配置选项
模型选择
| 模型 | 适用场景 | 成本 | 速度 |
|---|---|---|---|
| Llama 3.1 70B | 复杂任务 | 低 | 非常快 |
| Llama 3.1 8B | 通用任务 | 低 | 非常快 |
| Mixtral 8x7B | 编程、复杂任务 | 低 | 非常快 |
| Gemma 2 9B | 通用任务 | 低 | 非常快 |
参数
- Temperature (0-2) - 控制随机性
- Max Tokens - 最大响应长度
- Top P - 核采样
定价
Groq 提供非常有竞争力的价格。查看 Groq 定价 了解当前费率。
为什么选择 Groq？
- 闪电般快速 - 定制 LPU 硬件实现速度
- 低成本 - 有竞争力的定价
- 开源模型 - 托管开源模型
- 低延迟 - 实时应用
故障排除
无效的 API 密钥
- 验证 API 密钥是否正确
- 检查账户状态
速率限制
- Groq 有宽松的速率限制
- 在控制台中监控使用情况