结合 Kernel Memory 与 Ollama 实现文档处理与智能问答
在构建高效的人工智能（AI）系统时，内存管理和日志记录是两个至关重要的因素。微软的 Microsoft.KernelMemory 库与 Ollama 的集成，提供了一个强大且灵活的框架，能够满足现代 AI 应用对内存管理和智能计算的需求。本文将深入探讨如何使用这些库，通过引入日志功能、内存管理和高效模型生成，为开发者提供一站式解决方案。
1. 环境设置
在开始之前，需要在项目的 .csproj 文件中引用一些必要的 NuGet 包。这些包将提供我们所需要的核心功能，包括日志记录、内存管理以及与 Ollama 的 AI 模型交互支持。
<ItemGroup>
<PackageReference Include="Microsoft.Extensions.Logging.Abstractions" Version="9.0.8" />
<PackageReference Include="Microsoft.KernelMemory" Version="0.98.250508.3" />
<PackageReference Include="Microsoft.KernelMemory.Abstractions" Version="0.98.250508.3" />
<PackageReference Include="Microsoft.KernelMemory.AI.Ollama" Version="0.98.250508.3" />
<PackageReference Include="Microsoft.KernelMemory.Core" Version="0.98.250508.3" />
</ItemGroup>
这些包包含了以下功能：
-
Microsoft.Extensions.Logging.Abstractions：提供日志抽象功能，帮助我们在程序中添加日志记录。 -
Microsoft.KernelMemory：核心内存管理库，提供高效的内存操作和管理功能。 -
Microsoft.KernelMemory.Abstractions和Microsoft.KernelMemory.Core：为内存管理和内存模型提供抽象和实现。 -
Microsoft.KernelMemory.AI.Ollama：集成 Ollama，支持文本生成和嵌入生成任务。
2. 代码实现
在配置了必要的 NuGet 包后，我们可以开始编写应用程序代码。以下示例展示了如何使用这些库构建一个 AI 系统，结合 KernelMemory 的内存管理和 Ollama 的模型生成功能。
using Microsoft.Extensions.DependencyInjection;
using Microsoft.Extensions.Logging;
using Microsoft.KernelMemory;
using Microsoft.KernelMemory.AI;
using Microsoft.KernelMemory.AI.Ollama;
using Microsoft.KernelMemory.Context;
using Microsoft.KernelMemory.Diagnostics;
public static class Program
{
public static async Task Main()
{
// 配置日志记录：设定最低日志级别为 Warning
var logLevel = LogLevel.Warning;
SensitiveDataLogger.Enabled = false;
// 配置 Ollama 参数：端点、文本生成模型及嵌入生成模型
var config = new OllamaConfig
{
Endpoint = "http://localhost:11434", // Ollama 服务地址
TextModel = new OllamaModelConfig("qwen2.5:14b", 131072), // 文本生成模型
EmbeddingModel = new OllamaModelConfig("nomic-embed-text", 2048) // 嵌入生成模型
};
// 构建内存实例，配置文本生成、嵌入生成及日志记录
var memory = new KernelMemoryBuilder()
.WithOllamaTextGeneration(config, new CL100KTokenizer()) // 配置文本生成
.WithOllamaTextEmbeddingGeneration(config, new CL100KTokenizer()) // 配置嵌入生成
.Configure(builder => builder.Services.AddLogging(l => // 配置日志
{
l.SetMinimumLevel(logLevel); // 设置最低日志级别
l.AddSimpleConsole(c => c.SingleLine = true); // 添加单行控制台输出
}))
.Build(); // 构建内存实例
// 导入文档
var documentId = await memory.ImportDocumentAsync(
@"H:\net core资料文件\.NET CORE 分布式\分布式服务架构：原理、设计与实战.pdf",
documentId: "distributed-architecture-guide");
Console.WriteLine($"文档导入成功，ID: {documentId}");
// 等待文档处理完成
await Task.Delay(3000);
// 提问并获取答案
var answer = await memory.AskAsync("分布式架构的主要特点是什么？");
Console.WriteLine("===================");
Console.WriteLine($"问题: {answer.Question}");
Console.WriteLine($"答案: {answer.Result}");
// 显示来源信息
if (answer.RelevantSources.Count > 0)
{
Console.WriteLine("\n来源:");
foreach (var source in answer.RelevantSources)
{
Console.WriteLine($"- {source.SourceName}");
}
}
Console.WriteLine("-------------------");
Console.WriteLine(answer.Question);
Console.WriteLine(answer.Result);
Console.WriteLine("-------------------");
// 使用自定义模型进行文本生成
var context = new RequestContext();
context.SetArg("custom_text_generation_model_name", "llama3.2:1b"); // 设置自定义文本生成模型
// 获取自定义模型的答案
answer = await memory.AskAsync("What's the current date (don't check for validity)?", context: context);
Console.WriteLine("-------------------");
Console.WriteLine(answer.Question);
Console.WriteLine(answer.Result);
Console.WriteLine("-------------------");
}
}
3. 代码分析
-
日志配置：
使用Microsoft.Extensions.Logging提供的日志功能，配置日志级别为Warning，并输出单行控制台日志，帮助开发者更好地调试和监控系统。 -
Ollama 配置：
在OllamaConfig中配置了文本生成模型和嵌入生成模型，并指定了 Ollama 服务的端点。文本模型用于生成文本，而嵌入模型用于生成文本嵌入。 -
内存管理与模型集成：
使用 KernelMemory 库的KernelMemoryBuilder类来构建内存实例，结合 Ollama 进行文本生成和嵌入生成，提供内存管理功能。 -
文档导入与智能问答：
文档通过memory.ImportDocumentAsync方法导入，并通过memory.AskAsync方法提问。系统将根据导入的文档内容生成答案，支持自定义模型生成。 -
自定义上下文：
通过RequestContext类，开发者可以为特定请求设置自定义的模型配置，例如使用llama3.2:1b作为文本生成模型。
4. 运行结果展示
假设我们运行代码，系统会显示类似以下的结果：
文档导入成功，ID: distributed-architecture-guide
===================
问题: 分布式架构的主要特点是什么？
答案: 分布式架构的主要特点是：
1. 高可用性：分布式系统通过在多个服务器上分散应用程序组件，提高了系统的整体可靠性。如果某个节点发生故障，其他节点可以继 续提供服务。
2. 扩展性强：随着业务的不断发展和流量的增长，分布式架构能够方便地添加更多的机器来处理额外的工作负载，实现水平扩展，而不 仅仅是垂直扩展（增加现有服务器的性能）。
3. 分布式数据存储与计算：支持在不同地理位置的数据中心或云环境中运行应用程序组件，并将大容量数据拆分并分散到多个节点上进 行分布式处理。这有助于提高系统的响应速度和降低延迟。
4. 服务化体系结构(SOA)和微服务体系结构(MSA): 这些架构设计模式可以进一步促进分布式的特性，使系统模块化、独立部署以及便于 管理。微服务架构特别强调将应用程序分解为一组小型、独立的服务来实现更高的灵活性和可维护性。
5. 负载均衡：利用负载均衡器分散传入的网络流量到多个服务器上，以确保没有任何一个服务器过载，并且当某一服务器出现故障时可 以自动进行路由调整。
6. 数据复制与分区：为提高性能及容错能力，在分布式系统中将数据分布在多个节点之间并做复制。通过适当的数据分区策略来优化读 写操作的效率。
7. 分布式协调和一致性算法：使用诸如ZooKeeper等工具来管理分布式环境中的配置信息，以及实现像Paxos或Raft这样的共识协议以保 证多节点间的操作一致性。
8. 高并发处理能力：可以同时处理大量用户的请求而不影响性能表现。通过异步消息传递、缓存机制和技术手段如事件溯源（Event Sourcing）提升系统的并发处理效率。
综上所述，分布式架构能够提供一个灵活且强大的解决方案以应对日益复杂的业务需求及挑战。
来源:
- 分布式服务架构：原理、设计与实战.pdf
-------------------
分布式架构的主要特点是什么？
分布式架构的主要特点是：
1. 高可用性：分布式系统通过在多个服务器上分散应用程序组件，提高了系统的整体可靠性。如果某个节点发生故障，其他节点可以继 续提供服务。
2. 扩展性强：随着业务的不断发展和流量的增长，分布式架构能够方便地添加更多的机器来处理额外的工作负载，实现水平扩展，而不 仅仅是垂直扩展（增加现有服务器的性能）。
3. 分布式数据存储与计算：支持在不同地理位置的数据中心或云环境中运行应用程序组件，并将大容量数据拆分并分散到多个节点上进 行分布式处理。这有助于提高系统的响应速度和降低延迟。
4. 服务化体系结构(SOA)和微服务体系结构(MSA): 这些架构设计模式可以进一步促进分布式的特性，使系统模块化、独立部署以及便于 管理。微服务架构特别强调将应用程序分解为一组小型、独立的服务来实现更高的灵活性和可维护性。
5. 负载均衡：利用负载均衡器分散传入的网络流量到多个服务器上，以确保没有任何一个服务器过载，并且当某一服务器出现故障时可 以自动进行路由调整。
6. 数据复制与分区：为提高性能及容错能力，在分布式系统中将数据分布在多个节点之间并做复制。通过适当的数据分区策略来优化读 写操作的效率。
7. 分布式协调和一致性算法：使用诸如ZooKeeper等工具来管理分布式环境中的配置信息，以及实现像Paxos或Raft这样的共识协议以保 证多节点间的操作一致性。
8. 高并发处理能力：可以同时处理大量用户的请求而不影响性能表现。通过异步消息传递、缓存机制和技术手段如事件溯源（Event Sourcing）提升系统的并发处理效率。
综上所述，分布式架构能够提供一个灵活且强大的解决方案以应对日益复杂的业务需求及挑战。
-------------------
-------------------
What's the current date (don't check for validity)?
INFO NOT FOUND
-------------------
5. 结论
通过结合 Microsoft.KernelMemory 和 Ollama，开发者可以轻松构建高效的 AI 系统，处理各种文本和文档生成任务。通过配置内存管理和日志记录功能，开发者可以确保系统在处理高负载任务时的稳定性与可监控性。此外，通过引入自定义模型配置，系统能够灵活地满足不同场景的需求。
该架构提供了一种简单且高效的方式来实现复杂的 AI 功能，适用于各种文档处理和智能问答应用。
中国智能体开发者社区，聚焦智能体与大模型开发，提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动，促进经验交流与协作，助力开发者快速构建创新智能应用。
更多推荐
3
0- 0
已为社区贡献3条内容
所有评论(0)