在itBuilder中使用Ollama

itBuilder支持使用Ollama本地运行模型。这提供了隐私保护、离线访问和潜在的成本节约，但需要更多设置和强大的计算机。

官网: https://ollama.com/

设置Ollama

下载并安装Ollama: 从Ollama官网下载适合您操作系统的Ollama安装程序。按照安装说明操作。确保Ollama正在运行
```
ollama serve
```
下载模型: Ollama支持许多不同的模型。您可以在Ollama模型库找到可用模型列表。一些推荐的编程任务模型包括:
- codellama:7b-code (良好的起点，较小)
- codellama:13b-code (质量更好，较大)
- codellama:34b-code (质量更优，非常大)
- qwen2.5-coder:32b
- mistralai/Mistral-7B-Instruct-v0.1 (良好的通用模型)
- deepseek-coder:6.7b-base (适合编程任务)
- llama3:8b-instruct-q5_1 (适合通用任务)
要下载模型，打开终端并运行:
```
ollama pull <model_name>
```
例如:
```
ollama pull qwen2.5-coder:32b
```
配置模型: 默认情况下，Ollama使用2048个token的上下文窗口大小，这对于itBuilder请求来说太小了。您需要至少有12k才能获得不错的结果，理想情况下是32k。要配置模型，您实际上需要设置其参数并保存一个副本。

加载模型(我们以qwen2.5-coder:32b为例):
```
ollama run qwen2.5-coder:32b
```
更改上下文大小参数:
```
/set parameter num_ctx 32768
```
使用新名称保存模型:
```
/save your_model_name
```
配置itBuilder:
- 打开itBuilder侧边栏(图标)。
- 点击设置齿轮图标()。
- 选择"ollama"作为API提供商。
- 输入上一步中的模型名称(例如your_model_name)。
- (可选)如果您在不同的机器上运行Ollama，可以配置基础URL。默认为http://localhost:11434。
- (可选)在高级设置中配置模型上下文大小，以便itBuilder知道如何管理其滑动窗口。

提示和注意事项

资源需求: 本地运行大型语言模型可能对资源要求很高。确保您的计算机满足所选模型的最低要求。
模型选择: 尝试不同的模型以找到最适合您需求的模型。
离线使用: 下载模型后，您可以离线使用itBuilder与该模型。
令牌跟踪: itBuilder跟踪通过Ollama运行的模型的令牌使用情况，帮助您监控消耗。
Ollama文档: 参考Ollama文档获取有关安装、配置和使用Ollama的更多信息。

设置Ollama​

提示和注意事项​

设置Ollama

提示和注意事项