解决 Ollama 本地模型与工具集成中的 Context Window 限制

在使用 Ollama 运行本地大型语言模型（LLM）并将其与 Roo Code 等工具集成时，你可能会遇到一些令人困惑的错误。这些错误通常并非模型本身的问题，而是由于 Ollama 的默认 context window（上下文窗口）大小限制所导致的。

问题根源：Context Window 不足

Ollama 默认的上下文窗口大小通常为 2048 个 token。然而，当我们将 LLM 用于工具集成时，例如 Rool Code，需要向模型传递的信息量会显著增加。这些信息包括：

• 复杂的结构化提示（Prompt）：工具通常需要详细且结构化的提示来指导模型的行为。
• 工具调用信息：包括工具的定义、参数以及如何调用的指令。
• 任务相关的上下文信息：例如代码片段、文档内容、数据结构等，这些都是完成任务所必需的。

所有这些信息加起来，很容易就会超过 2048 个 token 的限制。根据我的观察，这类集成场景所需的 token 数量通常在 12000 到 13000 左右。当上下文信息超出模型处理能力时，模型就无法给出正常且结构化的输出，从而导致各种错误。

解决方案：自定义模型 Context Window

解决这个问题的关键在于自定义模型的上下文窗口大小，使其能够容纳所有必要的输入信息。以下是具体操作步骤，以 Qwen3:14b 模型为例：

步骤一：运行 Ollama 模型

首先，你需要运行你想要自定义的模型。

• 如果直接在本地运行 Ollama：

  ollama run qwen3:14b
  

• 如果通过 Docker 运行 Ollama：

  docker exec -it ollama ollama run qwen3:14b
  

步骤二：设定 Context Window 参数

在模型运行起来之后，你可以在 Ollama 的交互界面中设置上下文窗口大小。在命令行中输入以下命令：

/set parameter num_ctx 50000

这里我们将 num_ctx（即上下文窗口）设定为 50000。请注意： 具体设定值需要根据你设备的显存量进行调整。一个过大的值可能会导致显存溢出，因此请根据实际情况进行测试和调整。

步骤三：保存自定义模型

设定好参数后，你需要将这个配置保存为一个新的模型，以便后续使用。

/save qwen3:14b_50k

你可以随意定义新的模型名称，例如这里的 qwen3:14b_50k，只要确保它不与你已有的模型名称重复即可。

成果与展望

完成以上步骤后，你就成功创建了一个拥有更大上下文窗口的自定义 Ollama 模型（例如 qwen3:14b_50k）。现在，你可以使用这个新模型来解决之前因上下文窗口不足而导致的错误，确保工具集成能够顺利进行，并让模型能够正常理解和处理复杂的输入信息。

通过这种方法，你将能够更好地利用本地大型语言模型的能力，将其无缝集成到各种工具和应用中，解锁更多可能性。

想要深入讨论？我正在「不宽也不深」和朋友们讨论有趣的话题，你⼀起来吧？
https://t.zsxq.com/oFMwJ