本次任务将使用mis-tei镜像部署bge-m3模型

一、下载mis-tei镜像，该镜像下载需提前申请。

昇腾镜像仓库详情

二、使用docker启动镜像 

docker run -u root -e ASCEND_VISIBLE_DEVICES=4 -itd --name=bge-m3 --net=host \
-e HOME=/home/HwHiAiUser \
--privileged=true  \
-v /home/BAAI/:/home/HwHiAiUser/model \ #把整个模型目录放在/home/BAAI目录里
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
--entrypoint /home/HwHiAiUser/start.sh \
mis-tei:6.0.0-300I-Duo-aarch64 \
BAAI/bge-m3  127.0.0.1 8086  #可以改为本机ip,外部才可请求

昇腾镜像仓库详情

https://www.hikunpeng.com/doc_center/source/zh/kunpengrag/bestpractice/kunpengrag_21_0014.html

三、请求测试

curl http://127.0.0.1:8086/v1/embeddings \
 -H "Content-Type: application/json" \
 -d '{
  "input": "test text",
  "model": "bge-m3"
}'

如有疏漏，敬请指正