Skip to main content

在itBuilder中使用LiteLLM

LiteLLM是一个多功能工具，通过提供OpenAI兼容的API，为100多个大型语言模型(LLMs)提供统一接口。这允许您运行一个本地服务器，可以代理请求到各种模型提供商或服务本地模型，所有这些都通过一致的API端点访问。

官网: https://litellm.ai/ (主项目) & https://docs.litellm.ai/ (文档)

主要优势​

  • 统一API: 通过单一、OpenAI兼容的API访问广泛的LLM(来自OpenAI、Anthropic、Cohere、HuggingFace等)。
  • 本地部署: 运行您自己的LiteLLM服务器本地，让您对模型访问有更多控制，并可能降低延迟。
  • 简化配置: 在一个地方(您的LiteLLM服务器)管理凭证和模型配置，让itBuilder连接到它。
  • 成本管理: LiteLLM提供跨不同模型和提供商的成本跟踪功能。

设置您的LiteLLM服务器​

要在itBuilder中使用LiteLLM，您首先需要设置并运行一个LiteLLM服务器。

安装​

  1. 安装带代理支持的LiteLLM: 
    pip install 'litellm[proxy]'

配置​

  1. 创建一个配置文件(config.yaml)来定义您的模型和提供商: 
    model_list:
      # 配置Anthropic模型
      - model_name: claude-3-7-sonnet
        litellm_params:
          model: anthropic/claude-3-7-sonnet-20250219
          api_key: os.environ/ANTHROPIC_API_KEY
      
      # 配置OpenAI模型
      - model_name: gpt-4o
        litellm_params:
          model: openai/gpt-4o
          api_key: os.environ/OPENAI_API_KEY
      
      # 配置Azure OpenAI
      - model_name: azure-gpt-4
        litellm_params:
          model: azure/my-deployment-name
          api_base: https://your-resource.openai.azure.com/
          api_version: "2023-05-15"
          api_key: os.environ/AZURE_API_KEY

启动服务器​

  1. 启动LiteLLM代理服务器:

    # 使用配置文件(推荐)
    litellm --config config.yaml

    # 或快速启动单个模型
    export ANTHROPIC_API_KEY=your-anthropic-key
    litellm --model claude-3-7-sonnet-20250219

  2. 代理默认运行在http://0.0.0.0:4000(可通过http://localhost:4000访问)。

    • 您也可以为LiteLLM服务器本身配置API密钥以增加安全性。

参考LiteLLM文档获取高级服务器配置和功能的详细说明。

在itBuilder中配置​

一旦您的LiteLLM服务器运行，您有两种在itBuilder中配置它的选项:

选项1: 使用LiteLLM提供商(推荐)​

  1. 打开itBuilder设置: 点击itBuilder面板中的齿轮图标()。
  2. 选择提供商: 从"API Provider"下拉菜单中选择"LiteLLM"。
  3. 输入基础URL:
    • 输入您的LiteLLM服务器URL。
    • 如果留空则默认为http://localhost:4000。
  4. 输入API密钥(可选):
    • 如果您为LiteLLM服务器配置了API密钥，请在此输入。
    • 如果您的LiteLLM服务器不需要API密钥，itBuilder将使用默认虚拟密钥("dummy-key")，这应该可以正常工作。
  5. 选择模型:
    • itBuilder会尝试通过查询${baseUrl}/v1/model/info端点从您的LiteLLM服务器获取可用模型列表。
    • 下拉菜单中显示的模型来源于此端点。
    • 如果您向LiteLLM服务器添加了新模型，请使用刷新按钮更新模型列表。
    • 如果未选择模型，itBuilder默认为anthropic/claude-3-7-sonnet-20250219(这是litellmDefaultModelId)。确保此模型(或您想要的默认模型)已在您的LiteLLM服务器上配置并可用。

选项2: 使用OpenAI兼容提供商​

或者，您可以使用"OpenAI Compatible"提供商配置LiteLLM:

  1. 打开itBuilder设置: 点击itBuilder面板中的齿轮图标()。
  2. 选择提供商: 从"API Provider"下拉菜单中选择"OpenAI Compatible"。
  3. 输入基础URL: 输入您的LiteLLM代理URL(例如http://localhost:4000)。
  4. 输入API密钥: 使用任意字符串作为API密钥(例如"sk-1234")，因为LiteLLM会处理实际的提供商认证。
  5. 选择模型: 选择您在config.yaml文件中配置的模型名称。
itBuilder LiteLLM Provider Settings

itBuilder如何获取和解释模型信息​

当您配置LiteLLM提供商时，itBuilder会与您的LiteLLM服务器交互以获取有关可用模型的详细信息:

  • 模型发现: itBuilder向您的LiteLLM服务器上的${baseUrl}/v1/model/info发出GET请求。如果在itBuilder设置中提供了API密钥，它会被包含在Authorization: Bearer ${apiKey}头中。
  • 模型属性: 对于您的LiteLLM服务器报告的每个模型，itBuilder提取并解释以下内容:
    • model_name: 模型的标识符。
    • maxTokens: 最大输出token数。如果LiteLLM未指定，默认为8192。
    • contextWindow: 最大上下文token数。如果LiteLLM未指定，默认为200000。
    • supportsImages: 由LiteLLM提供的model_info.supports_vision确定。
    • supportsPromptCache: 由LiteLLM提供的model_info.supports_prompt_caching确定。
    • inputPrice / outputPrice: 根据LiteLLM的model_info.input_cost_per_token和model_info.output_cost_per_token计算。
    • supportsComputerUse: 如果底层模型标识符(来自litellm_params.model，例如openrouter/anthropic/claude-3.5-sonnet)匹配itBuilder中预定义为适合"computer use"(参见技术细节中的COMPUTER_USE_MODELS)的Anthropic模型之一，则此标志设置为true。

如果您的LiteLLM服务器的/model/info端点没有为给定模型明确提供这些属性中的某些属性，itBuilder会使用默认值。默认值为:

  • maxTokens: 8192
  • contextWindow: 200,000
  • supportsImages: true
  • supportsComputerUse: true(对于默认模型ID)
  • supportsPromptCache: true
  • inputPrice: 3.0 (每1k token的微美元)
  • outputPrice: 15.0 (每1k token的微美元)

提示与注意事项​

  • LiteLLM服务器是关键: 模型的主要配置、下游提供商(如OpenAI、Anthropic)的API密钥以及其他高级功能都在您的LiteLLM服务器上管理。itBuilder作为此服务器的客户端。
  • 配置选项: 您可以使用专用的"LiteLLM"提供商(推荐)进行自动模型发现，或使用"OpenAI Compatible"提供商进行简单的手动配置。
  • 模型可用性: itBuilder的"Model"下拉菜单中可用的模型完全取决于您的LiteLLM服务器通过其/v1/model/info端点公开的内容。
  • 网络可访问性: 确保您的LiteLLM服务器正在运行，并且可以从运行VS Code和itBuilder的机器访问(例如，如果不在localhost上，请检查防火墙规则)。
  • 故障排除: 如果模型未出现或请求失败:
    • 验证您的LiteLLM服务器是否正常运行并正确配置。
    • 检查LiteLLM服务器日志中的错误。
    • 确保itBuilder设置中的基础URL与您的LiteLLM服务器地址匹配。
    • 确认您的LiteLLM服务器所需的任何API密钥已在itBuilder中正确输入。
  • Computer Use模型: itBuilder中的supportsComputerUse标志主要与某些已知在工具使用和函数调用任务中表现良好的Anthropic模型相关。如果您通过LiteLLM路由其他模型，除非底层模型ID匹配itBuilder识别的特定Anthropic模型，否则可能不会自动设置此标志。

通过利用LiteLLM，您可以显著扩展itBuilder可访问的模型范围，同时集中管理它们。