RK3576 Deepseek 部署流程
RK3576 Deepseek 部署流程;开发板上部署Deepseek
·
准备工具:U盘
开发环境:九鼎X3576开发板或ibox3576开发板
步骤一:准备对应的文件
将librkllmrt.so
DeepSeek-R1-Distill-Qwen-1.5B-RK3576-RKLLM1.1.4.rkllm
9tripod_llm_demo
导入到U盘中
注意:DeepSeek-R1-Distill-Qwen-1.5B-RK3576-RKLLM1.1.4.rkllm 一定要注意版本型号

步骤二:将U盘插入开发板中并检测是否挂载成功


出现enable 则挂载成功 否则挂载失败 挂载失败可以重新挂载U盘或者更换U盘
步骤三 切到U盘目录并将 对应的文件导入到/lib下

![]()
步骤四 执行指令
切换到/lib 目录下 并执行指令
./9tripod_llm_demo DeepSeek-R1-Distill-Qwen-1.5B-RK3576-RKLLM1.1.4.rkllm 2048 2048


注意
如需测量推理效率,可以在执行命令前设置环境变量 export RKLLM_LOG_LEVEL=1
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)