Live Market
BTC$67,420 +2.4%ETH$3,510 +1.8%SOL$168 +4.1%XRP$0.52 -1.2%BTC$67,420 +2.4%ETH$3,510 +1.8%SOL$168 +4.1%XRP$0.52 -1.2%
Trade Now

AMD ROCm 10.1 发布:hipFILE快路径+NUMA内存分配破解存储瓶颈

AMD ROCm 10.1 发布:hipFILE快路径+NUMA内存分配破解存储瓶颈

AMD ROCm 10.1 发布:hipFI... — Analysis

据StorageReview报道,AMD于2026年10月5日正式发布ROCm 10.1版本,重点攻克AI工作负载中的存储瓶颈。随着模型检查点、键值缓存和模型权重文件日益庞大,数据搬运时间已超越计算时间成为主要迭代瓶颈。ROCm 10.1通过AMD Infinity Storage堆栈的深度升级,将存储访问直接集成到HIP运行时,并新增NUMA感知主机内存分配,使数据无需经过CPU内存中转即可直达GPU。AMD官方新闻稿证实,该版本在ROCm 7.14引入的直接存储架构基础上,新增了hipFILE异步快路径和批量I/O接口,同时编译器升级至LLVM 24,并正式推出ROCm CLI v1.0.0与AMD SMI(取代ROCm SMI)。

海报曝光

hipFILE异步快路径:消除主机内存中转

传统GPU存储路径中,数据从NVMe硬盘读取后需先暂存到系统内存(CPU内存中继),再由CPU控制拷贝至显存,这一过程增加了延迟并消耗内存带宽。AMD在ROCm 10.1中为hipFILE库新增了异步快路径后端:读写请求直接在HIP流(stream)上执行,完全跳过主机内存阶段。据AMD介绍,该设计显著降低检查点引擎和KV缓存卸载的延迟,同时保持持续带宽。hipFileReadAsync()和hipFileWriteAsync()两个新函数已支持该快路径。

花絮曝光

此外,批量I/O API允许一次提交多个文件请求,并在内部线程池中分散执行,使训练大数据集时存储队列始终饱满。与之配套的遥测接口hipFileGetStatsL1、L2、L3可分别提供不同粒度的I/O统计信息,这些计数器可直接注入ROCm剖析器,帮助运维人员判断流水线瓶颈位于计算、内存还是数据交付环节。

幕后故事

NUMA感知主机内存:消除跨插槽通信损耗

在多路服务器上,若缓冲区分配在非本地NUMA节点,每次传输都会产生跨插槽延迟。ROCm 10.1扩展了HIP虚拟内存管理API,新增hipMemLocationTypeHostNuma和hipMemLocationTypeHostNumaCurrent两种位置类型。开发者可通过完整的创建、保留、映射、销毁生命周期将主机内存指定到特定NUMA节点。RCCL等库可利用此特性构建NUMA本地的零拷贝通信缓冲区,使主机到设备的数据传输完全避开插槽互连。AMD表示,这一改进对两插槽系统的整体吞吐量提升尤为关键。

拍摄趣事

剧组趣事
特性传统路径ROCm 10.1 优化收益
------------
数据传输硬盘→系统内存→GPU硬盘→GPU (跳过系统内存)延迟降低,带宽保持
内存放置随机NUMA节点NUMA感知分配 (单/当前节点)消除跨插槽开销
I/O提交单请求批量提交 + 线程池队列饱满,训练吞吐提升
遥测粗略统计L1/L2/L3 分级I/O统计精准定位瓶颈

ROCm CLI v1.0.0 与AI Agent工作流

ROCm CLI达到v1.0.0,作为单一二进制文件支持Linux、Windows和WSL2,可自动安装、配置并运行本地AI工作负载。它检测vLLM所需的flash-attn和amd-aiter轮子,适配ROCm 10的新包布局,并新增完全非交互安装标志,便于脚本化和CI环境。全屏TUI仪表板同时显示GPU实时遥测、模型服务和本地聊天窗口,方便验证端点是否正常响应。

AMD Skills(面向编码代理的集成包)新增两项:quark-install用于安装AMD Quark及配套PyTorch构建;quark-torch-llm-ptq针对PyTorch和Hugging Face大语言模型执行后训练量化(支持FP8、INT4等方案)。这些集成可直接服务于Claude Code、Codex等编码智能体。

剖析与遥测现代化:内核重放与AMD SMI

ROCprofiler-SDK引入内核重放功能(beta阶段)。GPU硬件每次分发暴露的计数器数量有限,过去收集完整计数器集需每个计数器组重跑整个应用程序。内核重放就地重新执行每个分发,并在两次执行间重置GPU内存,单次运行即可收集全部计数器。SDK还支持在PyTorch Kineto和Triton Proton运行期间随时启停剖析,并提供一个PC采样代理Skill,引导编码智能体通过rocprofv3 PC采样查找计算停顿。

ROCm Compute Profiler的Roofline报告现已生成交互式HTML页面,工程师可隔离单个内核并切换缓存级算术强度轴。PC采样报告可细分到每个内核的采样数和停顿数。ROCm Systems Profiler新增对Gorgon Point 1/2/3 APU(gfx1150/1152/1153)的Linux跟踪支持,ROCm Optiq可同时可视化rocprofv3、Systems Profiler和Compute Profiler的分析结果。

AMD SMI(amd-smi)正式取代ROCm SMI,后者在本版本中从标准构建中移除。amd-smi覆盖AMD GPU、CPU和APU,支持Linux和Windows、裸机和虚拟化环境,提供CLI、C库(amd_smi_lib)、Python、Go和Rust绑定。容器感知已扩展至containerd、CRI-O、Podman、LXC、LXD及Kubernetes Pod,集群管理员可将GPU进程和利用率与运行该进程的容器一一对应。

核心编译器与运行时更新

工具链从LLVM 23升级至LLVM 24,clang_major宏现返回24。依赖编译器版本或链接libLLVM的开发者需在升级前进行兼容检查。增量构建通过缓存设备代码LTO分区的分区缓存得到加速,未变更的分区可在下次构建时复用。

Composable Kernel加速了Radeon GPU上的注意力运算,并新增更多量化矩阵乘法类型。MIGraphX将后端编译器从rocMLIR切换到rocMLIRTriton,AMD称此举可提升推理性能、缩短模型编译时间,并保持编译器与上游Triton同步。rocSPARSE支持直接在ELLPACK(ELL)格式矩阵上执行三角求解,无需事先格式转换。

hipThreads作为ROCm Core SDK线程库的新成员,将标准C++线程概念引入AMD GPU(Linux和Windows),目的是在不进行完整HIP内核重写的情况下加速现有CPU线程化代码。

Windows Subsystem for Linux 2进入技术预览,标准Linux包在客户机中安装,GPU半虚拟化将工作交给Windows主机驱动。预览期支持.deb包和Python轮子(不支持RPM),且剖析、调试和KFD相关工具在WSL2内暂不可用。虚拟化方面,KVM SR-IOV现已支持Ubuntu 26.04 LTS作为宿主机和客户机,搭配AMD GIM驱动版本9.3.0.K。

支持硬件列表扩展

新增Radeon AI PRO R9600,与Instinct MI355X、MI350X、MI350P、MI300系列、MI200系列、Radeon AI PRO R9700家族及Ryzen AI处理器共同列入支持列表。

Q&A

Q1: AMD ROCm 10.1中的hipFILE快路径是否要求特定硬件?

A1: 据AMD官方文档,hipFILE异步快路径支持所有基于ROCm的AMD GPU,包括Instinct MI300系列及更新的Radeon AI PRO系列。该功能通过软件栈实现,不依赖专用硬件加速器。但实际性能提升受NVMe SSD和PCIe带宽影响,建议搭配Gen5 SSD和PCIe 5.0平台使用。

Q2: 从ROCm SMI迁移到AMD SMI需要修改脚本吗?

A2: 是的。AMD SMI命令行接口和API与旧版ROCm SMI不兼容。AMD提供了迁移指南和兼容性工具(amd-smi-legacy),可临时兼容部分旧命令。建议开发者在升级ROCm 10.1后尽快将脚本迁移至新的amd-smi CLI或C库接口,以利用容器感知等新功能。

总结与展望

AMD ROCm 10.1通过hipFILE快路径、NUMA感知内存分配和LLVM 24编译器升级,直接回应了AI训练与推理中的存储瓶颈问题。随着AMD SMI全面接管监控、ROCm CLI达到正式版本,以及WSL2预览和更多硬件支持,ROCm生态在易用性和性能优化上迈出了关键一步。对于追求端到端数据搬运效率的高性能计算和AI开发者而言,这一版本提供了降低延迟、提升吞吐量的实质性工具。

Market Overview

AMD ROCm 10.1于2026年10月5日发布,引入hipFILE异步快路径、NUMA感知主机内存、LLVM 24、ROCm CLI 1.0及AMD SMI,显著降低AI训练中的存储延迟。了解直连GPU存储、批量I/O与遥测升级如何加速HPC工作负载。

Related Articles

相关文章

▸ 演员趣事▸ 主创访谈▸ 明星专访▸ 独家专访▸ 独家采访▸ 人物专访▸ 人物访谈▸ 深度访谈▸ 对话名人▸ 名人访谈
友情链接:名人语录 名人故事 名人名言 名人新闻 音乐新闻 歌坛新闻 乐坛动态 新歌发布

🔗 友站推荐

2026中期选举关键战:奥索夫与柯林斯佐治亚州对决
NASA 教育资助新动态:1200 万美元惠及 12 所美国高校,为 Artemis 任务打造未来航天人才梯队
康涅狄格果园怒斥热气球“偷苹果”:两次低空摘果致树枝受损
13岁男孩急需肝脏捐赠 香港医管局呼吁公众及内地支援
FBI调查可疑信件危机:多州选举办公室疏散 当局警告潜在危险
NHL直播:西雅图海怪vs坦帕湾闪电 10月15日观赛指南(含时间+频道)
梦幻足球第六周攻略:交易与首发决策(Jake Ciely解析)
俄亥俄州立大学VS印第安纳大学:10月17日比赛观看指南与直播
特朗普宣布胡德堡枪手军事处决不直播 仅家属可观看
刚果埃博拉疫情:布尼亚如何保护家庭免受史上最致命爆发?