《大模型应用开发 鲍亮,李倩 清华大学出版社》【摘要 书评 试读】- 京东图书

大模型微调的主流平台和框架（一）-CSDN博客

目录

5.3.5  百度千帆平台

5.3.6  阿里云PAI

5.3.7  讯飞星辰

5.3.5  百度千帆平台

1. 平台概况

百度千帆平台[41]是百度智能云推出的一站式企业级大模型与AI原生应用开发及服务平台，为企业和开发者提供了全面且强大的AI开发与应用支持。其中微调功能是其大模型定制化服务的核心能力之一，旨在帮助企业和开发者基于已有大模型，快速、高效地开发出满足特定需求的专属模型。百度千帆平台的特色在于“零代码 + 全代码”双模式支持：业务人员可通过可视化界面完成数据标注——模型微调——服务部署全流程，而算法工程师则可通过API调用进行深度定制。百度千帆平台的界面如图5.6所示。

图5.6  百度千帆平台的界面

2. 平台特点

（1）操作便捷可视化：通过图形化界面，用户无需编写复杂代码或进行命令行操作，就能完成模型微调的全流程。在数据处理环节，用户可轻松上传、管理数据；训练时，只需设置简单参数，如选择数据集、确定微调算法等，即可启动训练任务，降低了技术门槛，让专注于业务的人员也能轻松上手。

（2）支持多模型微调：不仅支持文心一言等百度自研大模型的微调，还兼容第三方开源或闭源大模型，如DeepSeek、Qwen等。丰富的模型选择为用户提供了多样化的基础架构，满足不同场景和应用的需求。以电商场景为例，可基于通用大模型，通过微调打造商品推荐、智能客服等定制化模型。

（3）少量数据高效微调：凭借先进技术，文心千帆平台利用仅 100 条左右的少量标注数据，就能实现高效的模型微调与定制化。这极大地减少了数据收集和标注的工作量与成本，尤其适合数据稀缺的中小企业和创业团队。比如在一些小众垂直领域，难以获取大规模数据，该平台的微调功能可助力企业快速开发出满足自身需求的模型。

（4）多种微调算法支持：提供全量和LoRA等多种训练方法。全量微调适用于数据丰富且追求极致性能的场景，能充分优化模型；LoRA等参数高效微调方法则在保持模型性能的同时，显著减少计算资源和时间成本，适用于资源受限的情况。用户可根据自身资源状况和任务要求灵活选择。

（5）应用场景广泛：在智能对话、智能输入法、电销场景的商品介绍、推广文章生成，以及代码生成、数据报表、内容分析等深度学习文本场景中均有出色表现。通过微调，模型能精准匹配用户需求，生成高质量的内容，如生成精准的商品推广文案、高效的代码片段等。

（6）完善的工具链与服务支持：平台提供从数据管理、模型训练到评估的一站式服务。数据管理涵盖数据清洗、增强、标注等功能；训练过程中实时监控指标，训练完成后提供BLEU、rouge-N等多维度评估指标；同时结合百度智能云安全机制，对推理内容审核与过滤敏感词，保障模型安全可靠运行。

5.3.6  阿里云PAI

1. 平台概况

阿里云PAI平台（Platform for Artificial Intelligence）[42]是面向企业客户及开发者的一站式AI平台，提供涵盖AI开发完整流程的服务，从数据标注、模型构建、训练到部署，以及推理优化等功能，助力企业和开发者快速实现AI项目落地。平台的主界面如图5.7所示。

图5.7  阿里云PAI控制台主界面

2. 平台特点

（1）全链路AI服务覆盖：提供数据标注（PAI-iTAG）、特征管理（FeatureStore）、可视化建模（PAI-Designer）、交互式建模（PAI-DSW）、分布式训练（PAI-DLC）、模型在线服务（PAI-EAS）等全流程服务，支持AI研发和运维的全生命周期，满足不同用户在AI项目各阶段的需求。

（2）丰富的开发环境与工具：PAI-DSW提供交互式编程环境，内置JupyterLab、WebIDE及Terminal，支持多种机型和异构计算资源，预置多种开源框架镜像；PAI-Designer提供可视化低代码开发环境，内置140+成熟算法组件，通过拖拉拽操作即可完成建模，降低开发门槛，满足不同技术水平用户和业务场景的需求。

（3）多框架支持与优化：支持TensorFlow、PyTorch、MPI等多种主流训练框架，且基于开源版本进行深度优化。自研的TorchAcc训练框架和BladeLLM推理优化框架等，提升了模型训练和推理性能，在稀疏训练场景中，可支持大规模的稀疏特征和样本规模。

（4）高性能模型训练能力：PAI-DLC基于云原生架构，提供大规模分布式模型训练环境，具备灵活、稳定、易用和高性能的特点。通过自研容错引擎、健康检测、节点自愈等功能保障训练稳定，利用自动容错功能、训练/推理编译优化和分布式调度等技术，提升训练速度和资源利用率，支持70B及以上的大模型训练。

（5）丰富的模型与案例资源：PAI-QuickStart集成LLM、AIGC、CV、NLP等领域丰富的预训练模型，如Qwen、DeepSeek等系列模型，提供一站式零代码、低门槛的模型一键微调、部署、评测能力。同时，平台提供丰富的开箱即用教程案例，覆盖多领域多行业，帮助用户快速上手AI开发。

（6）智能化数据标注服务：PAI-iTAG支持图像、文本、视频、音频等多种数据类型标注以及多模态混合标注，提供丰富的标注组件和预置模板，也支持自定义模板。还具备AI赋能的自动标注功能，提高数据标注效率，且支持全托管的数据标注外包服务。

（7）强大的企业级能力：支持阿里云身份认证服务（RAM），实现身份验证和访问控制，进行细粒度权限管理。支持虚拟专有网络（VPC）隔离和安全组配置，结合阿里云整体的攻击防护能力，保障网络安全。支持多可用区部署，配合存储和大数据产品的自动备份恢复功能，确保服务连续性和数据安全。

（8）合规性与安全性保障：阿里云及应用实时监控服务ARMS遵从不同国家和行业的合规性要求，积极参与行业安全标准及合规标准的制定与推广。PAI平台支持可信AI模块，具备毒性数据清洗、算法公平性/错误性识别、机密计算容器、不当推理内容拦截等功能，保障模型和数据安全。

5.3.7  讯飞星辰

1. 平台概况

讯飞星辰平台[43]是科大讯飞推出的一站式 AI 大模型定制训练及智能体开发平台，融合多种前沿技术与丰富资源，为开发者、研究人员和企业用户提供全方位的 AI 服务。平台的主界面如图5.8所示。

图5.8  讯飞星辰平台主界面

2. 平台特点

（1）丰富的模型资源集成：平台集成超过20个行业知名模型，涵盖星火系列、Llama3、SD-XL等，并且支持书生系列、Qwen2.5系列等开源模型精调，新增Spark Max、Spark Mini等自研模型。丰富的模型选择满足了从复杂推理、多模态生成到智能决策等不同领域、不同场景的业务需求，开发者可依据具体任务灵活选用合适模型。

（2）零代码与低门槛操作：提供零代码微调功能，通过可视化界面调整超参数，让技术能力有限的用户也能快速适配模型。同时采用渐进式开发体系，从简单的零代码Prompt配置，到低代码工作流编排，再到全自主Agent开发，满足不同技术水平用户的需求，极大降低了大模型开发和应用的门槛。

（3）全栈工具链与全生命周期管理：整合数据增强、Prompt工程等技术，围绕数据管理、模型微调、评估、托管和推理服务，提供大模型全生命周期管理。支持自动拆分测试集、Loss曲线监控，协助开发者优化训练过程，提升训练效率。还提供数据工程增强功能，支持ShareGPT、Alpaca等多种数据集格式，通过问答抽取和增强技术解决数据稀缺问题，助力构建高质量数据集。

（4）强大的推理与兼容能力：支持批量推理服务，可并行处理10个模型推理请求，结合国产化算力（飞星一号），响应速度提升3倍，适用于高并发数据处理与实时分析场景。并且兼容OpenAI协议，方便依赖OpenAI API的企业无缝迁移到国产大模型，实现技术过渡。

（5）智能体开发特色功能：在智能体开发方面，讯飞星辰Agent平台支持指令型、工作流和自主Agent开发，提供16000+即用插件和行业模板，覆盖多个领域。支持多模型Prompt对比调优，精准匹配场景需求；具备全链路测评工具，支持批量用例管理和人工测评，后续还将升级自动化测评工具链；支持场景驱动模型微调，进一步优化Agent应用效果。开发的智能体可多渠道发布，如讯飞星火App、微信公众号、专属API和MCP Server等。

（6）开放合作与生态建设：积极拥抱开源生态，与多家AI厂商及研究机构合作，共同推进AI技术发展。平台提供详细的开发者文档，帮助用户快速掌握开发流程；对于企业级用户，还提供专业的技术支持团队，确保项目顺利落地。

（7）高稳定性与安全性保障：依托科大讯飞的技术实力，提供99.97%的SLA云服务保障，确保平台使用过程中的稳定性与流畅性。此外，平台支持联网搜索功能，实时获取最新信息，进一步扩展了应用场景。