LLM Knowledge Bases—LLM Wiki 研究文章

一、介绍

LLM Wiki（大语言模型维基知识库）是由OpenAI联合创始人Andrej Karpathy于2026年4月在GitHub Gist（https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f）提出的新型大模型知识管理范式，核心思路是摒弃传统检索增强生成（RAG）“查询时临时检索、即时拼接内容”的模式，将大语言模型定位为知识编译器与长期维护者，把零散原始资料预先编译为结构化、可互联、可迭代更新的Markdown维基知识库，形成可持续沉淀、自主演化的知识体系。

该范式定位于个人、小团队轻量化知识管理场景，依托纯文本文件实现知识存储与流转，无需向量数据库、嵌入模型、重排序模型等复杂组件，架构极简、落地门槛低。其经典类比为：Obsidian等笔记工具是“开发环境”，大模型是“程序员”，Wiki知识库则是双方共同维护的“代码库”，人类负责筛选信息、把控方向，LLM承担摘要、关联、纠错、归档等重复性工作，实现人机协同的知识运营模式。

随着大模型应用深入，传统RAG存在知识无法沉淀、跨文档推理薄弱、工程链路复杂等痛点，LLM Wiki凭借预编译知识、自主维护、持续迭代的特性，成为当下轻量化知识库领域的热门研究与实践方向。

二、与传统RAG知识库的区别

LLM Wiki与传统RAG是两种截然不同的知识处理范式，二者核心差异体现在工作逻辑、架构、知识流转、运维成本等多个维度，下表为核心对比：

对比维度	传统RAG知识库	LLM Wiki
核心工作模式	即时检索型（解释器模式），每次查询都重新切分原始文档、检索片段、实时拼接答案，查询结束后无知识留存	预编译型（编译器模式），一次性将原始资料提炼为结构化Wiki页面，后续查询直接复用编译成果，知识持续沉淀
知识处理流程	原始文档→分块→向量化存入向量库→查询时检索片段→LLM生成答案	原始文档→LLM编译提炼→生成互联Wiki页面→查询读取Wiki→定期自检更新Wiki
核心依赖组件	必须依赖分块器、Embedding嵌入模型、向量数据库、重排序模型，链路复杂	仅依赖大模型+本地文件夹（Markdown文件），无向量库、无嵌入流程，组件极简
知识积累能力	无长期积累，模型每次查询相当于“重新翻书”，知识无法迭代进化	具备复利效应，新增资料持续丰富Wiki，定期自检修正矛盾、补全链接，知识库自主优化
内容形态	非结构化文本片段，语义碎片化，跨文档关联能力弱	结构化Markdown文档，内置双链引用、元数据、分类标签，形成天然知识图谱
跨文档推理	依赖片段相似度检索，多文档综合推理易出现逻辑断裂	全局理解原始资料，页面间双向链接，跨主题、跨文档推理连贯性更强
运维与成本	部署、调参、运维成本高，需专业技术人员维护	纯文件管理，上手简单，个人/小团队可快速落地，算力主要消耗在编译阶段，查询阶段成本极低
内容可读性	向量库为黑盒，原始片段杂乱，人工难以审核梳理	全透明Markdown格式，支持人工编辑、溯源、校验，可直接用笔记工具打开使用

简单总结：传统RAG是“每次提问临时找资料”，适合短期、高频的临时问答；LLM Wiki是“提前把资料整理成百科全书”，适合长期知识沉淀、个人学习、科研笔记等需要持续迭代知识的场景。

为什么传统 RAG 不够好？
用户上传各类文档之后，进行向量化存储，然后用户进行提问，通过把用户的问题转成向量查询，检索相关的文档片段, 然后把这些相关片段交给 LLM大模型进行临时合成答案，最终把答案返回给用户。

传统 RAG 知识库有自己固有的缺点

1、重复查询和计算
每次查询都从零开始重新检索和合成 ，效率相对比较低下

2、无知识积累
知识之间没有建立连接的，属于孤岛

3、无知识演进
知识始终是静态的，新旧知识无法碰撞而融合

三、LLM Wiki整体解析

（一）核心定位

LLM Wiki并非传统RAG的完全替代品，而是知识编译层与自主维护型知识库。
它不追求海量实时全网检索，聚焦于私有、静态、长期使用的本地知识（论文、笔记、会议记录、学习资料、行业文档等）。
其核心目标不是“检索片段”，而是构建一套逻辑自洽、结构统一、相互关联的完整知识体系，让知识从零散文件转变为可复用、可追溯、可进化的“活知识库”。

（二）适用场景与局限性

1. 适用场景
   • 个人知识管理：学习笔记、技术文档、读书摘要、科研资料整理；
   • 小团队轻量化协作：内部文档、项目资料、经验沉淀；
   • 静态资料问答：论文解读、教材知识点查询、固定行业知识库。
2. 局限性
   • 不适合海量动态实时数据（实时新闻、动态业务数据）；
   • 大规模知识库（数百篇以上长文档）编译阶段算力消耗较高；
   • 依赖大模型文本理解能力，存在少量内容幻觉风险，需人工抽检校验。

四、LLM Wiki整体结构

Karpathy定义的LLM Wiki采用三层架构，目录结构极简、职责划分清晰，所有文件均存储在本地文件夹中，三层各司其职、互不干扰，整体目录固定为三类核心目录+规则配置文件，具体结构如下：

（一）第一层：Raw 原始源目录（raw/）

• 属性：不可修改的原始数据仓库，所有原始资料导入后永久只读，不做任何编辑、删除、修改；
• 存储内容：PDF、文章、论文、截图、语音转文字稿、纯文本、笔记等一切原始信息源；
• 作用：全量知识溯源底座，所有Wiki页面内容均可反向追溯至raw目录中的原始文件，保证内容可信度。

（二）第二层：Wiki 知识库目录（wiki/）

• 属性：LLM全权维护的核心知识库，由大模型自动生成、更新、修正；
• 存储内容：统一格式的Markdown文件，每一个文件对应一个概念、实体、主题、对比分析或时间线；
• 文件规范：所有页面包含标准YAML头部元数据、正文、标签、双向链接（[[页面名称]]）、来源标注、更新时间等；
• 衍生文件：内置index.md（全局索引）、log.md（知识更新日志），记录知识库迭代全过程。

（三）第三层：Schema 规则配置文件（CLAUDE.md/AGENTS.md）

• 属性：全局规则模板与提示词文件，定义LLM的工作规范、页面格式、写作风格、校验标准；
• 核心作用：约束大模型行为，让LLM始终扮演“Wiki维护者”而非通用聊天机器人，统一所有Wiki页面的格式、结构、引用规则、纠错逻辑；
• 配置内容：页面模板、标签规则、链接规范、矛盾内容处理规则、过时内容判定标准等。

标准Wiki页面格式示例

所有wiki目录下的Markdown文件遵循统一格式，示例如下：

---
title: LLM Wiki核心原理
type: concept
sources:
  - raw/papers/llm-wiki-intro.md
related:
  - [[传统RAG对比]]
  - [[三层架构解析]]
created: 2026-04-10
updated: 2026-06-01
confidence: high
---
# LLM Wiki核心原理
正文内容：由LLM基于原始资料提炼、整合而成，逻辑连贯、重点突出。

## 关键词与标签
#知识库 #LLM #RAG替代方案

五、核心原理

LLM Wiki的底层逻辑围绕**“预编译、可复用、自维护”**三大核心展开，结合大模型的文本理解、归纳、关联、纠错能力，形成闭环工作流，核心原理分为四大模块：

（一）知识编译原理（Ingest 摄入编译）

这是LLM Wiki与RAG最本质的区别。当新资料放入raw/目录后，LLM会一次性完整阅读全文，而非分块截取。模型完成全局理解后，自动完成：提炼核心概念、拆分主题页面、撰写摘要、标注来源、添加页面双向链接、补充分类标签。
该过程仅执行一次，编译完成后原始资料不再重复解析，实现“一次编译，多次复用”，彻底解决传统RAG反复解析原始文档的冗余开销。

（二）知识查询原理（Query 查询问答）

用户发起提问时，系统不会访问raw/原始文件，而是直接读取wiki/目录下的结构化Markdown页面。LLM通过页面索引与双链关系，快速定位相关主题页面，整合连贯内容生成答案。
由于Wiki页面已经完成提炼与关联，查询阶段无需语义检索、片段拼接，响应速度更快、逻辑更完整。优质问答内容还可反向补充至Wiki页面，实现知识二次迭代。

（三）知识自检与修复原理（Lint 巡检修复）

这是LLM Wiki“自主演化”的核心机制。系统会定期触发**Lint（巡检）**任务，让LLM遍历整个Wiki知识库，自动执行三类维护工作：

1. 修正内容矛盾：对比新旧资料，标记并统一冲突观点；
2. 补全孤立页面：为无链接的孤立页面补充关联链接，完善知识网络；
3. 清理过时内容：识别过期信息并标注、更新，保证知识库时效性。
   巡检机制让知识库持续“自我体检”，长期使用下知识质量不断提升。

（四）知识溯源原理

所有Wiki页面都会在元数据中绑定raw/目录下的原始文件，人工审核或内容存疑时，可一键追溯至源头资料，兼顾AI自动化与人工可控性，降低大模型幻觉带来的风险。

整体闭环工作流

原始资料入库（raw/）→ LLM编译生成Wiki页面（wiki/）→ 用户查询（读取Wiki）→ 定期Lint巡检修复 → 新增资料继续编译迭代，形成无限循环的知识增长闭环。

六、前提安装工具

LLM Wiki部署门槛极低，无需复杂AI框架与数据库，仅需基础工具与大模型服务，分为必备工具与可选辅助工具，适配Windows、Mac、Linux全平台：

（一）必备基础工具

1. 本地文件管理工具
   系统自带文件夹即可，推荐搭配Obsidian（主流Markdown知识库工具，天然支持双链、索引、目录管理，完美适配LLM Wiki架构），免费开源。
2. 大模型客户端/API
   支持所有主流大模型，分为两种使用方式：
   • 在线API：Claude、GPT-4、通义千问、文心一言等（推荐Claude，Karpathy原生使用，长文本处理能力强）；
   • 本地部署大模型：Llama 3、Qwen、GLM等开源模型（适合隐私需求高、断网使用场景，需匹配本地显卡算力）。
3. 文本编辑工具
   VS Code、系统自带记事本、Typora等，用于编辑CLAUDE.md规则文件与手动修正Wiki页面。

（二）可选辅助工具（提升效率）

1. 命令行工具：Claude Code、OpenAI CLI，支持批量执行Ingest、Lint、Query指令，实现自动化运维；
2. 格式转换工具：PDF转文本工具、语音转文字工具，用于将非文本原始资料导入raw/目录；
3. 同步工具：OneDrive、坚果云、iCloud，实现多设备同步本地Wiki知识库。

环境前置要求

1. 网络：使用在线大模型API需正常联网；本地模型需满足最低显卡显存（7B模型≥8G显存，13B模型≥16G显存）；
2. 存储空间：纯文本Markdown文件占用空间极小，普通硬盘即可满足；
3. 无编程基础要求：纯可视化操作即可完成基础搭建，进阶自动化仅需简单命令行指令。

七、完整使用教程

本教程基于Karpathy原生架构，以Obsidian + Claude API为例，分为目录搭建、规则配置、资料导入、编译、查询、巡检六大步骤，零基础可直接落地。

步骤1：创建标准目录结构

1. 在本地新建总文件夹（命名为LLM-Wiki）；
2. 在总文件夹内创建两个固定子目录与一个规则文件，结构如下：

   LLM-Wiki/
   ├─ raw/        # 第一层：原始资料目录（放入所有原始文件）
   ├─ wiki/       # 第二层：LLM生成的知识库目录
   └─ CLAUDE.md   # 第三层：全局规则配置文件（核心约束文件）
   

3. 用Obsidian打开LLM-Wiki总文件夹，开启Obsidian双链、索引功能。

步骤2：编写全局规则文件（CLAUDE.md）

打开CLAUDE.md，写入统一规范（可直接复用模板，也可自定义风格），核心内容包含页面格式、链接规则、元数据要求、巡检标准，模板参考：

# LLM Wiki 全局运维规则
你当前角色为LLM Wiki专属维护者，仅负责处理知识库相关工作，禁止通用闲聊。
## 一、页面格式要求
1. 所有wiki目录下的Markdown文件必须包含标准YAML头部，字段不可缺失：title、type、sources、related、created、updated、confidence；
2. type仅可选：concept(概念)、entity(实体)、source-summary(资料摘要)、comparison(对比分析)；
3. confidence分为high/medium/low三档，根据原始资料可信度标注。

## 二、链接与引用规则
1. 页面之间使用双链 [[页面名称.md]] 关联，禁止无效链接；
2. 所有内容必须标注来源，溯源至raw/目录下的原始文件；
3. 新增页面必须关联至少1个已有相关页面，避免孤立页面。

## 三、内容撰写规则
1. 基于raw目录原始资料提炼，禁止编造内容，标注存疑观点；
2. 正文逻辑清晰，分层使用一级、二级标题，添加相关标签；
3. 多篇资料内容冲突时，同时保留多方观点并标注矛盾点。

## 四、Lint巡检规则
1. 检测孤立页面并补充关联链接；
2. 核查内容矛盾、过时信息并标注更新；
3. 补全缺失的元数据与来源标注。

保存文件，规则配置完成。

步骤3：导入原始资料（Ingest 准备）

1. 将需要处理的论文、笔记、文档、TXT文件等全部放入raw/目录；
2. 分类建议：可在raw/内新建子文件夹（如raw/papers、raw/notes），方便溯源，不影响核心流程；
3. 禁止修改raw目录内任何文件，保证原始数据完整性。

步骤4：执行知识编译（核心 Ingest 操作）

该步骤是将原始资料转化为Wiki知识库的关键，两种操作方式可选：

方式1：手动交互（新手推荐）

1. 打开Claude/在线大模型对话框，上传CLAUDE.md规则文件 + raw/目录中的原始资料；
2. 输入指令：“按照CLAUDE.md中的规则，读取所有原始资料，生成标准化的LLM Wiki Markdown页面，输出完整文件内容”；
3. 将大模型返回的所有Markdown文件，全部保存至wiki/目录；
4. 批量补充index.md（全局索引），汇总所有Wiki页面标题与链接。

方式2：命令行自动化（进阶，Claude Code）

1. 安装Claude Code并授权API密钥；
2. 进入LLM-Wiki根目录，执行编译指令：

   claude --ingest ./raw --wiki ./wiki --rule ./CLAUDE.md
   

3. 程序自动读取原始资料、按照规则生成Wiki页面，直接存入wiki/目录，全程自动化。

步骤5：知识库查询使用（Query）

编译完成后，即可正常问答与查阅，两种使用场景：

1. 直接浏览知识库：用Obsidian打开wiki/目录，通过双链、索引跳转阅读知识体系，支持人工编辑修正；
2. AI问答查询：
   • 方式：将wiki/目录下相关页面上传至大模型，或使用客户端关联整个wiki文件夹；
   • 提问指令示例：“基于当前Wiki知识库，回答问题：XXX”；
   • 特性：模型仅基于编译后的结构化内容作答，逻辑连贯，支持多页面关联推理。

步骤6：定期巡检与维护（Lint 自检）

建议每周/每新增5份以上资料后执行Lint巡检，保证知识库质量：

1. 向大模型发送指令：“按照CLAUDE.md的Lint规则，巡检wiki目录下所有页面，修复孤立链接、内容矛盾、过时信息，输出修正后的文件”；
2. 用修正后的文件替换wiki/目录旧文件；
3. 人工抽检关键页面，校验是否存在幻觉、错误内容，少量修正即可。

步骤7：迭代更新（新增资料）

后续新增知识无需重构整个知识库，流程极简：

1. 新资料放入raw/目录；
2. 重复步骤4编译操作，LLM自动识别新内容，新增Wiki页面、补充关联链接、更新全局索引；
3. 执行一次Lint巡检，完成知识迭代。

八、总结

LLM Wiki是大模型知识管理领域的范式创新，它跳出了传统RAG“检索+拼接”的固有思维，借鉴“编译原理”实现知识的前置加工与长期沉淀，以极简的文件架构、极低的落地成本、持续进化的知识能力，成为个人与小团队知识管理的优质方案。

它的核心价值不在于取代RAG，而是弥补RAG在长期知识沉淀、体系化构建、轻量化运维上的短板。对于科研人员、开发者、终身学习者而言，LLM Wiki实现了“AI辅助建库、人机协同运维”，让零散资料逐步沉淀为结构化、可复用的个人知识资产。同时该范式仍存在大模型幻觉、大规模数据算力消耗等问题，也是后续研究与优化的主要方向。