embedding模型配置---

进行bge-m3模型的下载

推理镜像的下载

docker pull dockerproxy.net/xprobe/xinference:latest

推理镜像的执行

docker run --gpus '"device=0"' --name xinference -d -p 9997:9997 -e XINFERENCE_HOME=/data -v /模型路径:/data xprobe/xinference:latest xinference-local -H 0.0.0.0

进入推理容器内执行

xinference launch --model-name bge-m3 --model-type embedding -u bge-m3 -mp /data/bge-m3

外部请求 

  curl -X 'POST' \
  'http://127.0.0.1:9997/v1/embeddings' \
  -d '{
    "model": "bge-m3",
    "input": "你好"
  }'

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐