xinference配置embedding模型
docker run --gpus '"device=0"' --name xinference -d -p 9997:9997 -e XINFERENCE_HOME=/data -v /模型路径:/data xprobe/xinference:latest xinference-local -H 0.0.0.0。"input": "你好"embedding模型配置---进行bge-m3模型的下载
·
embedding模型配置---
进行bge-m3模型的下载
推理镜像的下载
docker pull dockerproxy.net/xprobe/xinference:latest
推理镜像的执行
docker run --gpus '"device=0"' --name xinference -d -p 9997:9997 -e XINFERENCE_HOME=/data -v /模型路径:/data xprobe/xinference:latest xinference-local -H 0.0.0.0
进入推理容器内执行
xinference launch --model-name bge-m3 --model-type embedding -u bge-m3 -mp /data/bge-m3
外部请求
curl -X 'POST' \
'http://127.0.0.1:9997/v1/embeddings' \
-d '{
"model": "bge-m3",
"input": "你好"
}'
更多推荐
所有评论(0)