准备工具:U盘

开发环境:九鼎X3576开发板或ibox3576开发板 

步骤一:准备对应的文件

将librkllmrt.so 

DeepSeek-R1-Distill-Qwen-1.5B-RK3576-RKLLM1.1.4.rkllm

9tripod_llm_demo 

导入到U盘中

注意:DeepSeek-R1-Distill-Qwen-1.5B-RK3576-RKLLM1.1.4.rkllm 一定要注意版本型号

步骤二:将U盘插入开发板中并检测是否挂载成功

出现enable 则挂载成功 否则挂载失败 挂载失败可以重新挂载U盘或者更换U盘

步骤三 切到U盘目录并将 对应的文件导入到/lib下

步骤四 执行指令

切换到/lib 目录下 并执行指令

./9tripod_llm_demo DeepSeek-R1-Distill-Qwen-1.5B-RK3576-RKLLM1.1.4.rkllm 2048 2048

注意

如需测量推理效率,可以在执行命令前设置环境变量 export RKLLM_LOG_LEVEL=1

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐