Skip to main content

使用本地模型

itBuilder 支持使用 Ollama 和 LM Studio 在本地运行语言模型。这带来了以下优势：

  • 隐私保护： 你的代码和数据永远不会离开你的计算机。
  • 离线访问： 即使没有互联网连接，你也可以使用 itBuilder。
  • 节省成本： 避免使用云端模型 API 所产生的费用。
  • 可定制性： 可以尝试不同的模型和配置。

但使用本地模型也有一些缺点：

  • 资源需求高： 本地模型对计算机性能要求较高，需要强大的 CPU，最好有独立显卡。
  • 设置复杂： 本地模型的设置比云端 API 更复杂。
  • 模型性能差异大： 本地模型的表现可能有很大差异。虽然有些模型表现优秀，但未必能达到最大、最先进云模型的水平。
  • 功能有限：本地模型（以及许多在线模型）通常不支持高级功能，如提示缓存、计算机使用等。

支持的本地模型提供商​

itBuilder 目前支持两种主流本地模型提供商：

  1. Ollama： 一个流行的开源本地大语言模型运行工具，支持多种模型。
  2. LM Studio： 一个用户友好的桌面应用，简化了本地模型的下载、配置和运行流程。它还提供了一个本地服务器，模拟 OpenAI API。

本地模型设置​

详细设置说明请参见：

两者功能类似，但界面和使用流程不同。Ollama 通过命令行提供更多控制，而 LM Studio 提供更友好的图形界面。

故障排查​

  • “无法建立连接，因为目标计算机主动拒绝”： 这通常意味着 Ollama 或 LM Studio 服务器未运行，或其端口/地址与 itBuilder 配置不一致。请检查 Base URL 设置。

  • 响应慢： 本地模型通常比云端模型慢，尤其是在硬件性能较低时。如果性能有问题，尝试使用更小的模型。

  • 找不到模型： 请确保模型名称输入正确。如果你使用 Ollama，请使用 ollama run 命令中相同的模型名称。