前言：因为之前用的Python版本一直是3.8，已经不支持了，一些底层逻辑没法用新技术集成，所以重装为3.12版本Python，并重新搭建支持GPU的大模型（ModelScope、transformers、torch2.3.0+cu118）环境

注意时效性：2025年2月

0 本机环境

windows10，GPU RTX3050Ti，NVIDIA驱动（CUDA版本）12.0

先创建新的conda环境

conda create --name BM_GPU python=3.12

1 ModelScope

然后是魔搭库（毕竟在国内）

pip install modelscope

2 pytorch系列

然后是pytorch，官网PyTorch上找到合适的版本直接复制下载命令

CUDA版本选不超过电脑版本的，GPU驱动安装可以参考之前的文章，Python相关部分不用管即可3050ti、Win10配置Keras2.10（tensorflow-GPU版本）_windows10 keras-CSDN博客

（虽然比较慢，但是最省事的了）

还有accelerate，作为pytorch的配套库，目前很多LLM也在用

pip install accelerate

3 transformers

以及transformers（毕竟要用现成模型...）

pip install transformers

4 可选

（可选）因为需要用这个环境来提供LLM服务，当服务器用，fastapi+uvicorn最合适不过了，还有sse_starlette（用于流式响应）

pip install fastapi
pip install uvicorn
pip install sse_starlette