Skip to main content

在itBuilder中使用Groq

Groq专注于为大型语言模型提供超高速推理，使用其定制构建的语言处理单元(LPUs)。这可以为支持的模型带来显著更快的响应速度。

官网: https://groq.com/

获取API密钥​

要在itBuilder中使用Groq，您需要从GroqCloud控制台获取API密钥。注册或登录后，导航至仪表板的API密钥部分创建并复制您的密钥。

支持的模型​

itBuilder会尝试从Groq API获取可用模型列表。通过Groq常见的模型包括：

  • llama3-8b-8192
  • llama3-70b-8192
  • mixtral-8x7b-32768
  • gemma-7b-it

参考Groq文档获取最新支持的模型列表及其功能。

在itBuilder中配置​

  1. 打开itBuilder设置: 点击itBuilder面板中的齿轮图标()。
  2. 选择提供商: 从"API Provider"下拉菜单中选择"Groq"。
  3. 输入API密钥: 将您的Groq API密钥粘贴到"Groq API Key"字段中。
  4. 选择模型: 从"Model"下拉菜单中选择您想要的模型。