Windows 安装 Xinference 速记

1. 环境准备

  • 系统：Windows（含 NVIDIA GPU，CUDA ≥ 12.9）
  • Python：3.10（推荐 Conda 环境）
conda create -n xinference python=3.10 -y
conda activate xinference

2. 安装依赖

  • 在命令行窗口查看cuda版本：bash nvidia-smi
依赖 安装命令
PyTorch 2.0.1 + CUDA 12.9 conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=12.9 -c pytorch -c nvidia
llama-cpp-python pip install https://github.com/abetlen/llama-cpp-python/releases/download/v0.2.55/llama_cpp_python-0.2.55-cp310-cp310-win_amd64.whl
chatglm-cpp pip install https://github.com/li-plus/chatglm.cpp/releases/download/v0.3.1/chatglm_cpp-0.3.1-cp310-cp310-win_amd64.whl
Xinference pip install "xinference[all]"

3. 环境变量配置

设置模型缓存路径（按需修改）：

# Windows 系统环境变量
XINFERENCE_HOME=D:\XinferenceCache

4. 启动服务

命令行启动

xinference-local -H <本机 IP>
  • 浏览器访问 http://<IP>:9997
  • 在 Running Models 页面选择并加载模型。

5. 常见问题速查

问题 解决方案
PyExtensionType 报错 pyarrow=21.0.0版本太新了，得安装旧版本如18.0.0 （ pip install --user --upgrade pyarrow==18.0.0 ）
中文乱码 启动前执行 chcp 65001
无法拉取镜像 docker login xprobe/xinference:latest 或换源

6. 验证

  • 浏览器打开 http://localhost:9997
  • 加载模型 → 查看 Cluster Information → 完成！

✅ 至此，Xinference 已在 Windows 上成功部署并可用。

# windows
Logo
火山引擎 ADG 社区

火山引擎开发者社区是火山引擎打造的AI技术生态平台，聚焦Agent与大模型开发，提供豆包系列模型（图像/视频/视觉）、智能分析与会话工具，并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长，新用户可领50万Tokens权益，助力构建智能应用。

更多推荐

Chess用户界面设计：Tailwind CSS样式系统和组件库

GitHub推荐项目精选中的ch/chess是一个类似chess.com的多人在线象棋平台，它采用现代化的前端技术栈构建，尤其在用户界面设计上通过Tailwind CSS样式系统和组件库实现了优雅且功能丰富的交互体验。本文将深入探讨该项目如何利用Tailwind CSS打造一致的设计语言和高效的组件系统，为象棋爱好者提供沉浸式的游戏界面。## 🎨 Tailwind CSS样式系统：构建统一视

avatar 火山引擎 ADG 社区

终极指南：GPT-Engineer如何通过AI自动发现代码问题并提升质量

GPT-Engineer是一款强大的AI驱动代码工具，它能帮助开发者自动检测潜在代码问题、优化代码质量，让编程效率提升3倍以上。无论是新手还是资深开发者，都能通过这款工具轻松发现代码中的隐藏缺陷，减少调试时间，释放更多精力在创造性工作上。## 一键发现代码问题：GPT-Engineer的AI审查魔力GPT-Engineer的核心能力在于其内置的智能代码分析系统。通过集成Python代码格式

avatar 火山引擎 ADG 社区

SatDump中的纠错编码技术：从RS码到Turbo码的完整实现指南

在卫星数据传输过程中，信号往往会受到各种干扰，导致数据错误。SatDump作为一款通用卫星数据处理软件，集成了多种先进的纠错编码技术，确保从卫星接收到的数据能够准确解码。本文将深入解析SatDump中从Reed-Solomon（RS）码到Turbo码的实现细节，帮助读者理解这些技术如何保障卫星通信的可靠性。## 为什么纠错编码对卫星数据至关重要？卫星与地面站之间的通信链路面临着空间辐射、大

avatar 火山引擎 ADG 社区