三者的关系总结

1. Ollama 负责 下载并运行 LLM，比如 DeepSeek。
2. DeepSeek 是 模型本身，可以被 Ollama 运行。
3. AnythingLLM 可以 调用 Ollama，并使用 DeepSeek 处理知识库中的文本数据，实现智能问答。

1. Ollama

• 功能：Ollama 是一个本地运行的 LLM 管理工具，允许用户下载、管理、运行 各种开源大模型（如 Llama、Mistral、DeepSeek 等）。
• 特点：
  • 支持 离线推理，可以在本地运行大模型。
  • 提供 API 供其他程序调用，例如 Chatbot 或 AI 助手。
  • 兼容多种开源模型，支持 DeepSeek 这样的国产大模型。
• 作用：可以作为 AnythingLLM 的 LLM 计算后端，提供大模型的推理能力。

2. DeepSeek

• 功能：DeepSeek 是一个国产的开源大模型系列（DeepSeek-V2、DeepSeek-Coder 等）。
• 特点：
  • 适用于 通用 NLP 任务（类似 ChatGPT）。
  • DeepSeek-Coder 适用于代码生成和理解。
  • 可以通过 Ollama 下载并运行本地推理。
• 作用：DeepSeek 只是一个 LLM 模型，可以在 Ollama 或其他 LLM 管理工具（如 vLLM）上运行。

3. AnythingLLM

• 功能：AnythingLLM 是一个 文档知识库+LLM 接口平台，可以接入不同的大模型，提供基于文档的智能问答。
• 特点：
  • 允许用户上传文档、网页、PDF 等，并基于这些数据与 LLM 进行对话。
  • 可连接本地或远程 LLM，如 Ollama 或 OpenAI API。
  • 适用于企业内部知识管理、自动化客服等场景。
• 作用：它本身不提供 LLM 推理，但可以接入 Ollama，并使用 DeepSeek 作为大模型。

ollama、与 deepseek 使用请看上一篇文本

本文重点使用 anythingllm

界面展示

本地文件导入workspaces

API接口

data={
  "message": "查询笑话.txt，文本说了什么内容",
  "mode": "query"
}

接口实现

import requests

# API URL
url = 'http://192.168.4.51:3001/api/v1/workspace/day01/chat'

# Bearer Token
token = 'M3TQMKV-JW4450FT-KZXNHDV-YBPF50F'

# 请求数据
data = {
    "message": "1+1等于几",
    "mode": "query"
}

# 设置请求头
headers = {
    'Authorization': f'Bearer {token}',  # Bearer token 认证
    'Accept': 'application/json'  # 期望返回 JSON 格式
}

# 发送 POST 请求
try:
    response = requests.post(url, headers=headers, json=data)
    
    # 输出状态码和响应内容
    print(f"Response Code: {response.status_code}")

    if response.status_code == 200:
        print("Success:", response.json())  # 解析 JSON
    else:
        print(f"Error: {response.text}")  # 打印原始文本响应

except requests.exceptions.RequestException as e:
    print(f"Request failed: {e}")

 token获取