GPU标签_智能体开发者社区

GPU

AI+EDA工作负载拆解：CPU、GPU、内存与存储如何配置

AI智能体接入EDA工具后，新增负载并不只在GPU。本文按逻辑仿真、并行回归、本地大模型和多物理场等任务拆解CPU、GPU、内存、NVMe与共享存储的配置逻辑，并给出PoC指标。

昊源诺信
2026-08-13 16:39:13

 294

 5

#人工智能 #AI #GPU +1
【高效部署】Ollama GPU版在华为云CentOS 7.X上的Docker实践

本文详细介绍了在华为云CentOS 7.X服务器上高效部署Ollama GPU版的Docker实践。从基础环境配置、GPU驱动与CUDA工具链安装，到Docker环境搭建与GPU支持，再到Ollama容器化部署实战，提供了完整的操作指南和性能优化建议，帮助开发者快速实现AI模型的高效运行。

WiFi依赖症
2026-02-21 02:09:26

 428

 5

#Ollama #GPU
AI模型训练-推理-部署全链路实战指南

AI模型工程化落地的核心在于打通训练、推理与部署的端到端闭环。其底层依赖GPU加速能力，涉及CUDA环境兼容性、混合精度计算原理、ONNX模型跨框架泛化机制等关键技术；技术价值体现在显著提升推理吞吐、降低服务延迟并保障生产稳定性；典型应用场景包括计算机视觉模型（如YOLO）在边缘设备或云服务器上的低延迟API服务、医学影像实时分析系统及工业质检流水线。本文聚焦GPU环境下从PyTorch训练到ON

赛雷观影
2026-06-19 09:12:44

 269

 10

#GPU
从游戏帧数到AI炼丹：一文看懂CPU/GPU浮点性能到底怎么影响你的实际体验

本文深入解析CPU/GPU浮点性能如何影响游戏帧数和AI训练效率。从《赛博朋克2077》的动态光影到GPT-3模型训练，揭示浮点运算在游戏、视频剪辑和AI领域的核心作用，并提供硬件选购的实用公式，帮助用户匹配算力与需求。

weixin_30292745
2026-05-28 11:53:43

 555

 14

#GPU
【图像处理】Core Image 与 GPU 渲染管线——让滤镜飞起来

CPU 是一位精英工程师，一次专心做一件事；GPU 是一支万人工厂，每条流水线同时处理一块像素。选对工具，差距可以是 10 倍。

人月神话-Lee
2026-05-30 16:48:12

 455

 6

#图像处理 #人工智能 #ChatGPT +1
从CPU到GPU：实测阿里云A10服务器部署开源大模型，速度提升到底有多少？

本文通过实测数据对比了开源大模型ChatGLM-6B在CPU与阿里云A10 GPU服务器上的性能差异，展示了GPU加速带来的显著提升。测试结果显示，A10 GPU在单次推理任务上能带来约14倍的性能提升，批量处理时性能差距更可达到250倍以上。文章还深入分析了阿里云A10服务器的成本效益，并提供了实际部署优化技巧，帮助开发者在开源大模型部署中做出更明智的决策。

是个少女
2026-06-13 15:16:03

 405

 10

#GPU
从CPU到GPU：实测对比Llama 13B模型在Ryzen 9 5900X与RTX 3090上的速度与成本差异

本文通过实测对比Llama 13B大模型在Ryzen 9 5900X CPU与RTX 3090 GPU上的性能差异，详细分析了推理速度、内存占用及成本效益。结果显示GPU方案在速度上具有4倍优势，但CPU方案在预算敏感场景更具性价比，为技术决策者提供了硬件选择的实用指南。

商界鬼谷子
2026-06-13 13:34:50

 271

 7

#GPU
从游戏卡到炼丹炉：手把手教你用RTX 4090搭建低成本LLaMA-2 70B推理服务（含网络配置避坑）

本文详细介绍了如何利用RTX 4090显卡搭建低成本LLaMA-2 70B推理服务，涵盖硬件配置、网络优化、软件栈搭建及性能调优。通过对比专业卡与消费级显卡的算力与成本，展示了4090在推理场景下的独特优势，并提供实战指南帮助用户高效部署。

商界鬼谷子
2026-06-13 14:57:16

 263

 5

#GPU
Automatic Prefix Caching

APC技术，遇到新prompt和老prompt前缀完全相等的，则复用老prompt的KV cache，避免重新计算。3. 只要前面有1个字符不同，后面完全相同的部分，也不能被视为公共前缀。2. prefill公共前缀较长，且decode output较短时，KV cache复用的威力才能发挥出来。则把长文档放到前面，可以复用KV cache。enable_prefix_caching，prompt

smartcat2010
2025-02-01 20:13:58

 939

 1

#GPU
ComfyUI镜像性能测试报告：不同GPU下的运行效率对比

本文测试了ComfyUI在Docker环境下于不同NVIDIA GPU上的运行效率，涵盖RTX 3060、3090、4090、A6000及H100，分析显存、算力对SDXL模型推理速度与稳定性的影响，为AI图像生成硬件选型提供数据支持。

白尼桑塔纳
2025-12-13 16:14:19

 1531

 17

#ComfyUI #GPU
使用NVIDIA Nemotron构建日志分析多智能体自我修正RAG系统

本文介绍了利用NVIDIA Nemotron构建的多智能体自我修正RAG系统，用于解决复杂日志分析的挑战。该系统通过混合检索、智能重排序、相关性评分和生成等核心组件，结合多智能体协同工作流，实现了从海量日志中自动提取关键洞察的能力。文章详细阐述了系统架构、关键技术及实现方法，并提供了快速上手指南。该系统能显著提升日志分析效率，将问题诊断时间从数小时缩短到数秒，适用于DevOps、网络安全等多个领域

 扫地的小何尚
2025-10-12 12:04:25

 939

 16

#java #数据库 #开发语言 +3
DeepSeek学习基础：GPU训练是什么？一文看懂多GPU并行策略！

在深度学习的世界里，模型越来越复杂，数据集规模不断膨胀，单块GPU的算力已经难以满足需求。多GPU训练作为一种高效解决方案，能够大幅提升训练速度，缩短实验周期。本文将带你深入剖析多GPU训练的核心技术原理、底层工作机制及具体实现细节，同时探讨分布式训练中那些容易被忽视的关键注意事项。如果这些问题处理不当，可能会让训练效率大打折扣，甚至导致过程不稳定。让我们一起揭开多GPU训练的神秘面纱！

EnjoyEDU
2025-05-20 11:02:26

 1298

 13

#学习 #产品经理 #人工智能 +2
【Stable Diffusion 3.5 FP8】4、定制化开发：LoRA 微调 Stable Diffusion 3.5 FP8 实现专属风格生成

本文介绍了使用LoRA技术微调Stable Diffusion 3.5 FP8模型实现个性化风格生成的方法。LoRA通过冻结原模型参数、仅训练少量低秩矩阵，显著降低了训练成本，与FP8量化技术结合后进一步优化了显存占用和训练速度。文章详细阐述了LoRA的工作原理、环境搭建要求，并以二次元风格生成为例，展示了从数据集准备到模型训练的全流程。该方法在消费级GPU上即可实现高效定制化生成，平衡了训练效率

 无心水
2025-12-22 07:30:00

 2421

 58

#LoRA #GPU
解密NVIDIA硬件一致性平台的内存管理：NUMA vs. CDMM

本文深入探讨了NVIDIA硬件一致性平台(GH200/GB200/GB300)的两种内存管理模式：NUMA和CDMM。NUMA作为默认模式统一管理CPU和GPU内存，但可能导致GPU显存被非计算任务占用，在Kubernetes环境中引发资源隔离问题。CDMM模式则通过驱动直接管理GPU内存，避免系统干扰，特别适合Kubernetes部署和需要精确内存控制的场景。文章详细对比了两种模式的特点、适用场

 扫地的小何尚
2025-10-15 12:21:27

 1262

 7

#人工智能 #深度学习 #机器学习 +1
大模型在GPU上运行的原理

本文详细解析了大模型在GPU上的运行原理，重点介绍了计算图、并行策略、内存管理和内核优化等关键技术。大模型基于Transformer架构，依赖GPU的高效计算能力，通过计算图和自动微分系统实现前向和反向传播。为应对大规模参数，采用了数据并行、模型并行、流水线并行和张量并行等策略。内存管理方面，使用激活重计算、混合精度训练等技术优化资源利用。内核优化和通信优化则通过CUDA库、内核融合、NCCL通信

 DK_Allen
2025-09-30 17:08:24

 1155

 25

#GPU
deepseek的部署与使用

DeepSeek 是一个开源的大模型系列，包含 DeepSeek-R1、DeepSeek-MoE 等多个模型，支持文本生成、对话交互等功能。

杰克逊的日记
2025-09-09 10:26:37

 485

 2

#GPU
GPU超节点洞察：硬件、软件、算法及应用的行业趋势与挑战！

在工作或学习期间、很多人应该都远程登录过服务器或机房，来运行一些高性能计算程序。随着时代的发展，这些任务也从一开始的仿真，图形学任务占多数变成了如今、以智能模型的开发，训练和部署为主。对于一般的智能计算任务，在单块或极少块GPU上就可以短时间的完成，但随着模型参数量提高的速度远快于单个芯片算力的提高(也就是我们常说的scaling law > 摩尔定律)，以堆叠的方式进行算力扩展就变成了近年的主流

 我算是程序猿
2025-12-08 19:12:49

 1000

 15

#人工智能 #GPU
GPU 网络基础，Part 2（MoE 训练中的网络挑战；什么是前、后端网络；什么是东西向、南北向流量）

与现有 PP 方法相比，DualPipe 的流水线气泡（译者注：指的是在流水线并行处理中，由于阶段之间未能完全紧密衔接而出现的空闲等待时间，是影响大规模分布式训练效率的关键瓶颈之一。我们今天为大家带来的文章，作者的核心观点是：现代 AI 训练系统必须通过严格区分前端与后端网络，并针对数据并行、流水线并行和专家并行等不同通信模式进行协同优化，才能有效应对日益复杂的网络拥塞与延迟问题。通过算法、框架与

 Baihai IDP
2025-09-30 11:29:55

 1050

 13

#人工智能 #AI #GPU
深度解析 CUDA-QX 0.4 加速 QEC 与求解器库

NVIDIA CUDA-QX 0.4平台为量子纠错（QEC）研究提供革命性解决方案，通过集成GPU加速显著提升工作流效率。该版本实现了从代码定义、含噪模拟到校验子解码的全流程自动化，其中关键创新包括：1）一键式生成高保真度探测器错误模型（DEM），消除传统手动流程的瓶颈；2）基于cuQuantum SDK的GPU加速张量网络解码器，在保持最佳精度的同时实现数量级性能提升。平台通过统一API简化了Q

扫地的小何尚
2025-09-22 18:36:26

 994

 26

#量子计算 #人工智能 #GPU +1
FlashDecoding

每个SM block上的Q，负责和所有K和所有V进行计算，得到对应的结果。但是，在decoding阶段，因为Query的seqLength=1，且batchSize=1，因此SM block数目无法都利用上。缺点：最后需要将不同SM block上的中间结果，进行通信，进行归一化的softmax和结果Reduce。在prefill阶段，seqLength*batchSize*Heads足够多，所以每

 smartcat2010
2025-02-12 20:49:17

 406

 6

#GPU
GPU在大模型训练中的关键作用：解析最佳GPU选择与价格指南！非常详细收藏我这一篇就够了

大家有没有这样的疑问，为什么大模型训练需要的是GPU，而不是CPU，而现在市面上，有哪些适合训练的GPU型号，价格如何？下面让我来一一给大家进行介绍。总的来说，选择GPU而非CPU进行大型模型训练主要是因为GPU在和针对机器学习任务的优化方面的优势。这使得GPU成为训练复杂和大规模机器学习模型的首选硬件。：GPU拥有成千上万个较小、更专用的核心，这使得它们能够同时处理多个任务。这种并行处理能力使G

Python怎么学啊
2025-03-13 21:28:06

 1260

 11

#人工智能 #DeepSeek #语言模型 +1
R²D²深度解析：NVIDIA三大神经网络突破如何变革机器人学习

NVIDIA研究院在机器人学习领域取得了三项突破性的神经网络创新，并于CoRL 2025上隆重推出，统称为**R²D² (NVIDIA Robotics Research and Development Digest)**

扫地的小何尚
2025-09-26 13:27:17

 1505

 31

#r语言 #神经网络 #机器人 +1
大模型在GPU上运行的核心原理（代码篇）

大模型在GPU上的运行原理涉及复杂的硬件架构协同优化。本文深入解析了GPU与CPU的核心差异，重点剖析了NVIDIA GPU的多层级架构（包括SM、Tensor Core和HBM内存），并详细阐述了大模型参数在显存中的布局策略。通过矩阵乘法和注意力机制的CUDA实现示例，展示了如何利用GPU的并行计算特性实现高效推理。关键点包括：1) GPU的数千计算核心适合并行计算；2) HBM高带宽内存满足大

 DK_Allen
2025-10-01 16:00:00

 741

 6

#GPU
DeepSeek-v3在训练和推理方面的优化

4.MoE的load-balance：训练中，边训练，边调整每个MoE的路由权重。负载高的减少权重，负载低的增加权重。缺点是影响模型训练的主目标）。可以一次推理多个tokens。3.基础架构：MoE，同等参数量（模型的”能力“）下，训练、推理的计算量大幅减少。2.基础架构：MLA，大幅减少了KVcache大小。训练的时候就是一次预测多个tokens，推理时也这样，所以效果更好。限制每个token最

 smartcat2010
2025-01-18 09:46:44

 2829

 4

#GPU
一文读懂 GPU 售后：保修规则、服务范围与维权技巧

GPU保修指南摘要本文全面解析GPU保修政策与应用要点：保修重要性：GPU作为高价值易损硬件，保修直接影响投资保护，需重视购买前的条款审查品牌差异：主流品牌保修期2-4年不等华硕、技嘉支持全球联保七彩虹、影驰存在区域限制部分品牌支持保修转移（需原始凭证）保修流程：标准流程含故障诊断、材料提交、检测判定建议送修前完成基础检查（温度、驱动、连接等）特殊场景：二手交易需注意保修转

 七宝大爷
2025-11-09 08:45:00

 2999

 52

#网络 #GPU
NVIDIA Blackwell在MLPerf Inference v5.0中实现性能飞跃

MLPerf Inference v5.0是一个长期运行的基准测试套件，旨在测量各种不同模型和使用场景下的推理吞吐量。自2019年首次推出以来，MLPerf Inference不断更新，增加新模型和场景，确保其作为测量AI计算平台推理性能的有效工具。：一个拥有4050亿参数的密集LLM。对于服务器场景，该基准测试设定了首个token生成时间(TTFT)为6秒，每个输出token的时间(TPOT)为

 扫地的小何尚
2025-04-03 08:52:43

 1526

 25

#GPU #语言模型 #人工智能 +1
国产GPU硬核破局！蚂蚁集团发布3000亿参数大模型

蚂蚁集团Ling团队近日发布技术论文，宣布成功使用国产GPU训练出参数规模达2900亿的MoE大语言模型，性能媲美英伟达芯片方案。这一突破不仅降低了大模型训练成本，更标志着国产算力芯片在AI领域实现关键性跨越。随着壁仞、摩尔线程等国产GPU厂商加速IPO进程，中国AI芯片产业链正迎来“去英伟达化”的历史性机遇。

TGITCIC
2025-03-27 21:23:27

 1798

 21

#人工智能 #GPU
【TVM 教程】优化大语言模型

我们定义了一系列用于优化模型的传递过程（pass）。这个优化流程是专门为大语言模型（LLMs）设计的。):# 第一阶段：针对高层操作图的优化# 可以启用 cublas以进一步优化# 第二阶段：向 TIR（张量中间表示）下沉，继承 TVM Relax 的官方 "zero" 流程# 第三阶段：对 TIR 进行优化# 第四阶段：底层优化),# 第五阶段：转换为虚拟机字节码return mod。

HyperAI超神经
2025-11-21 19:13:13

 1012

 30

#语言模型 #人工智能 #自然语言处理 +2
启用可扩展的AI驱动分子动力学模拟

AI驱动的分子动力学模拟：构建ML-IAP-Kokkos接口本文介绍了如何构建ML-IAP-Kokkos接口，将基于PyTorch的机器学习原子间势(MLIPs)集成到LAMMPS分子动力学软件中。该接口由NVIDIA和多个国家实验室合作开发，支持GPU加速的大规模模拟。文章详细说明了构建步骤：环境准备：需要LAMMPS(Kokkos/MPI/ML-IAP支持)、Python环境和PyTorc

扫地的小何尚
2025-10-23 10:33:45

 1612

 15

#人工智能 #GPU #深度学习 +1
中小企业如何低成本运行大模型？Qwen3-8B 部署教程 + GPU 配置推荐

Qwen3-8B的意义，远不止“能跑的大模型”这么简单。AI正在从奢侈品变成基础设施。过去，只有大厂才玩得起的语言模型，现在中小企业花不到一万块就能拥有。这不仅是成本的下降，更是决策权的转移——你可以不再依赖SaaS厂商的黑盒API，而是掌握自己的AI引擎。今天用来做客服；明天加上RAG变成知识助手；后天接入办公系统自动写周报、审合同、生成PPT……每一步都不需要推倒重来，只需迭代增强。所以，如果

 慢慢的写代码
2025-11-17 09:41:01

 713

 5

#GPU
CUDA计算能力详解：从架构特性到代码优化

在本文中，我们深入探讨了NVIDIA CUDA计算能力的概念、演进历程和关键特性。从Maxwell架构的计算能力5.x到最新的计算能力12.0，我们见证了NVIDIA GPU架构的巨大进步和创新。每一代计算能力都引入了新的硬件特性和功能，使开发者能够编写更高效、更强大的并行计算应用。计算能力5.x（Maxwell）的只读数据缓存和内存优化计算能力6.x（Pascal）的半精度计算和双精度浮点原子操

 扫地的小何尚
2025-03-21 20:14:29

 1790

 12

#架构 #GPU
通过AutoDL 将RevitAPI与RevitSDK 融合成为RevitRAG

该项目是基于Revit API的RAG（检索增强生成）系统，通过LLM（大语言模型）实现API检索和代码生成。主要特点包括：1) 从Revit API文档中提取类信息、参数等构建数据库；2) 使用Qwen 0.6B模型进行嵌入和重排；3) 采用chromadb和sqlite存储数据；4) 工作流包含关键词提取、数据库检索、结果重排和最终答案生成。当前系统存在输出延迟问题，未来将优化SDK剪枝和ch

Imkc
2025-09-19 08:45:23

 1188

 23

#c##GPU
用RTX4090显卡跑AI训练任务有多快

RTX 4090凭借强大CUDA核心与显存，在AI训练中展现卓越性能，结合Ada架构、Tensor Core及混合精度技术，支持大模型本地化训练与优化。

九门提督守皇上
2025-09-24 12:58:04

 916

 4

#GPU
摩尔线程MUSA开发者大会：重磅揭晓新架构、万卡训练等多项关键技术成果，加速构建国产计算产业生态

12月20日，摩尔线程首届MUSA开发者大会（MDC 2025）于北京中关村国际创新中心正式开幕。本次大会以自主计算创新与开发者生态共建为核心议题，吸引2000多名来自产学研的专业人士和开发者参与，共同见证国产GPU生态发展的关键进展与未来蓝图。

CSDN资讯
2025-12-20 13:41:20

 674

 9

#人工智能 #GPU
Model Context Protocol (MCP) 详解：连接AI与数据的开放标准

Model Context Protocol（MCP）是一个开放协议，用于标准化应用程序如何向大型语言模型（LLM）提供上下文。它可以被比喻为"AI应用程序的USB-C端口"。正如USB-C提供了一种标准化的方式来连接设备与各种外设和配件，MCP提供了一种标准化的方式来连接AI模型与不同的数据源和工具。MCP的核心目标是解决AI助手与数据之间的隔离问题。即使是最先进的模型也受到与数据隔离的限制——

扫地的小何尚
2025-03-30 08:00:00

 2764

 17

#人工智能 #microsoft #语言模型 +3
出海 AI 部署，选 RunPod 还是 DigitalOcean？GPU 云服务平台深度对比

按照 GPU 型号丰富程度来看，DigitalOcean 在目前所有云平台中处于第一梯队，甚至不逊于 AWS、谷歌云服务等老牌厂商。对于追求极致GPU型号自由度、对架构精细调优的AI团队或个人，RunPod提供更多消费级选择。但若你更侧重主流高性能GPU、关注长期稳定性和GPU服务器性价比，DigitalOcean无疑是更稳健的选择。

DO_Community
2025-07-21 13:50:02

 3482

 91

#人工智能 #GPU #AIGC
【2025】训练大模型有多烧钱？从零基础到精通，精通收藏这篇就够了！

要理解大型语言模型（LLM）的运行，首先需要了解其所需的硬件配置。除了GPU之外，显卡内存也是至关重要的。以Meta公司发布的LLaMA 2模型为例，其包括70B、13B、7B等不同参数规模的模型，而这些模型需要的GPU内存也各不相同。比如，要运行完整的70B模型，需要320GB的GPU内存；而对于13B模型，则需要50GB的GPU内存，7B模型则需要30GB的GPU内存。然而，通过量化技术，可以

 leah126
2025-02-28 13:49:32

 2083

 29

#人工智能 #算法 #GPU