说在前面

我是一个刚刚开始接触这一领域的新手，说的不对的地方，请多指正。

我的系统是ubuntu 24.10
本文是我在看了几个教程都翻车了之后，摸索出来的

ktransformers安装

（原来工作的 doc/install.md 文件有写要怎么操作，尽管我没能复现成功,可能是网络问题吧…）
由于提示我whl包编译失败，决定从官方release包链接入手自己上了

首先打开项目链接ktransformers

进入发行版ktransformers/releases/tag/v0.2.2rc1
发行版截图

然任意选一个想要的名字，复制到任意的LLM（Kimi、deepseek…都随你）的对话框中，输入:

在anconda中创建能够适配ktransformers-0.2.2rc1+cu124torch24fancy-cp312-cp312-linux_x86_64.whl
的虚拟环境

AI 会给出对应的命令：

conda create -n ktransformers_env python=3.12
conda activate ktransformers_env
conda install cudatoolkit=12.4
conda install pytorch=2.4.0 torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia

然后等待 环境下载完毕即可
我选的这个whl 包的下载链接为：

https://github.com/kvcache-ai/ktransformers/releases/download/v0.2.2rc1/ktransformers-0.2.2rc1+cu124torch24fancy-cp312-cp312-linux_x86_64.whl

网络不畅的同学可以使用镜像站下载

执行：

pip install /绝对下载路径/ktransformers-0.2.2rc1+cu124torch24fancy-cp312-cp312-linux_x86_64.whl 

会自动下载需要的依赖包
最后执行

pip show ktransformers

不报错的话就安装好了～～～

模型加载（这一步的后续还没有弄完，后面再说吧）

官方给的命令demo（自己根据实际情况改路径）：

ktransformers --model_path deepseek-ai/DeepSeek-V2-Lite-Chat --gguf_path /path/to/DeepSeek-V2-Lite-Chat-GGUF  --port 10002 --web True

这里需要下载好gguf格式的模型文件，没有提前下好们可以装gguf-py来安装（建议直接下载发行版的，自己编译老是出错…不知道为啥，我也没去深究了）

题外话

原本计划 部署DeepSeek-R1-Distill-Qwen-1.5B模型（比较小正好用作展示）捣鼓了一下午，还各种转格式啥，但是还是报错 ,最后才发现…人家不支持’Qwen2ForCausalLM’结构的模型…白白浪费感情，所以再弄之前一定要好好读人家的说明文档，害的自己绕了好大的弯子

以下是该框架当前可以支持的模型：