cann/pypto-gym Qwen3.6-27B迁移说明
·
Qwen3.6-27B NPU 迁移说明
【免费下载链接】pypto-gym PyPTO-Gym 是基于 PyPTO 编程框架构建的算子与模型样例仓库 
项目地址: https://gitcode.com/cann/pypto-gym
| 字段 | 说明 |
|---|---|
| HuggingFace | Qwen/Qwen3.6-27B |
| 权重目录 | /path/to/models/Qwen3.6-27B |
| 代码来源 | transformers 包 (built-in，使用 qwen3_5 架构) |
| 运行命令 | python3 scripts/ask_Qwen3.6-27B.py |
| transformers 版本 | 5.6.1 |
| 代码位置 | core/modeling_qwen3_5.py, core/configuration_qwen3_5.py |
| 修改内容 | 修复导入（transformers绝对导入）、添加auto_map到config.json |
已融合算子 (Fused operators)
| Operator | Toggle flag | Path |
|---|---|---|
gated_delta_rule |
USE_PTO_GATED_DELTA_RULE |
src/pypto_gym/ops/pypto_tile/qwen3_6_27b/gated_delta_rule/ |
The fused operator replaces the chunk-prefill path in Qwen3_5GatedDeltaNet.forward (linear-attention layers). The decode and full-attention paths are unaffected.
--use_pypto 模式依赖运行时 qwen3_6_27b_pto_kernels/ 适配层包：脚本在导入 transformers 之前 sys.path.insert(0, model_path) 并 import qwen3_6_27b_pto_kernels。该适配层包预期部署在权重目录下 （{weights_dir}/qwen3_6_27b_pto_kernels/），由模型侧维护。
运行
# Baseline
python3 ask_Qwen3.6-27B.py --model-path <weights_dir>
# PyPTO fused
python3 ask_Qwen3.6-27B.py --model-path <weights_dir> --use_pypto
Benchmark:
bash bench_Qwen3.6-27B.sh
【免费下载链接】pypto-gym PyPTO-Gym 是基于 PyPTO 编程框架构建的算子与模型样例仓库 项目地址: https://gitcode.com/cann/pypto-gym
中国智能体开发者社区，聚焦智能体与大模型开发，提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动，促进经验交流与协作，助力开发者快速构建创新智能应用。
更多推荐
22
0- 0
已为社区贡献31条内容
所有评论(0)