干存储这行的人应该都有同感:FAST这两个字在圈子里的分量,比很多大众认知里的"顶会"要重得多。所以当我看到阿里云联合上海交大拿下了FAST '26最佳论文,而且是落在"云上本地存储"这个方向上时,我的第一反应不是羡慕,而是好奇——他们到底把哪个"硬骨头"给啃下来了?
这篇获奖论文的具体技术细节,要等全文正式公开之后才能细聊,但"云上本地存储"这个方向本身,就很值得单独拿出来说。这个领域过去十几年经历了一轮"被看衰、被边缘化、又重新被重视"的循环,正好可以从技术演进的视角,把云厂商存储系统的底层逻辑、学术研究怎么落地、以及下一步往哪走,都捋清楚。这篇文章就当是我这个过来人的一份技术笔记,给同样关注存储系统、云基础设施和学术前沿的朋友做个参考。
1. FAST最佳论文的分量:为什么存储圈都在关注这件事
1.1 FAST在存储学术界的地位
先给不太熟悉的朋友补个背景。FAST全称是USENIX Conference on File and Storage Technologies,是USENIX协会下面专门做存储系统研究的顶级会议。从2002年创办到现在,它一直是文件系统、分布式存储、闪存介质、存储可靠性这些方向最权威的学术舞台。计算机系统领域里有OSDI、SOSP这样的大会,但那些会更多覆盖操作系统、分布式计算、虚拟化等更宽泛的议题。而FAST的特点是"专"——它只关心存储,而且是那种真正能解决实际问题的存储研究。
FAST的录取率常年压在20%以下,有时候甚至只有百分之十几,每年也就接收三四十篇论文。这意味着每一篇能被录用的论文,至少都要过审稿人极其挑剔的那一关。审稿人里既有学术界的教授,也有工业界的资深工程师,他们会追问每一个设计决策的实际动机,会质疑每个实验数据的可信度,会要求作者把"为什么这么设计"讲透彻。能在这种环境下拿到最佳论文,含金量确实不低。
据我自己了解,FAST的最佳论文历史上出现过不少后来深刻影响工业界的成果,比如某些日志结构文件系统的优化思路、某种闪存转换层(FTL)调度算法的设计,后来都能在开源项目或者商业存储产品里看到影子。所以最佳论文往往不只是一篇"好看的论文",它某种程度代表了这个阶段存储系统领域最值得关注的方向判断。
1.2 最佳论文意味着什么:不只是学术荣誉
从云厂商的角度看,拿下FAST最佳论文的价值远超"发一篇顶级文章"本身。存储系统是一个极其看重信任的领域,用户把数据交给你,赌的是你的系统在极端情况下也不丢数据、不停服务。这种信任的建立,需要长期工程实践的积累,也需要学术界同行对技术路线本身投下的信任票。
最佳论文就是这种"信源认证"级别的东西。它说明阿里云和上海交大这套联合研究出来的方案,在FAST审稿人眼里达到了"既解决真实问题、又有足够创新性、且经得起验证"的标准。这不是写PR稿能包装出来的,而是要靠真实系统数据、对比实验和严谨论证撑起来的。
另外值得注意的一点是校企合作。上海交大在存储系统方向的研究积累很深厚,尤其是分布式系统、存储介质建模和系统性能优化这几个细分领域,本身就有持续的科研成果输出。而阿里云有大规模生产环境、海量的用户流量和真实硬件故障数据。这两者结合,恰好命中了一个存储研究最难的命题:没有真实场景的论文容易"飘",没有理论深度的工程容易"糙"。校企协作恰好能互补,这也是很多一流存储团队在采用的组织形式。
1.3 云上本地存储为什么成了学术界的焦点
回到这次获奖的核心关键词——"云上本地存储"。这里说的本地存储,不是大家平时用的手机本地磁盘那种概念,而是指云厂商物理机上直连的存储介质,更准确的叫法是"本地盘"或"实例存储"(Instance Store)。它和云盘是两种完全不同的技术路线,后面我会展开对比。简单说,本地存储过去在云环境里一直是个"配角"般的存在,能用但不被推荐存重要数据。
现在它突然变成了FAST最佳论文的主角,这本身就释放了一个信号:随着硬件介质、系统架构和应用负载的变化,云上本地存储正在从一个"临时数据存放地"升级为高端性能和低延迟场景的关键底座。学术界盯上这个方向,说明它已经有足够多的"真问题"可做,不再是当年那个被认为"边缘"的领域。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 云上本地存储到底是个什么东西:它和云盘、分布式存储的区别
2.1 云上存储的两种"性格"截然不同的形态
在云上,存储大体可以分为两类。一类是网络存储,也就是大家最熟悉的云盘(在阿里云叫ESSD云盘,在AWS叫EBS,在Azure叫Managed Disks)。这类存储是把数据分散写到后端一个分布式存储集群里,通常多副本冗余,然后通过存储网络把块设备挂载给虚拟机使用。它的核心优势是数据安全、可用性高、弹性大——一个节点坏了不影响整个集群,用户数据依然完好。
另一类就是本地存储。它是把一块或者多块物理硬盘(现在基本都是NVMe SSD)直接插在服务器里,然后通过虚拟化技术把这块盘的一部分或者全部暴露给云主机使用。它不经过分布式存储层,也没有跨节点的网络往返,读写路径非常短。这类盘在各大云厂商的实例规格里都有,通常用来跑临时性、高速读写、大数据量计算的负载。
这两类存储的核心差异,一句话概括就是:云盘图的是"稳",本地盘图的是"快"。云盘把可靠性放在第一位,通过冗余和网络隔离让数据尽量不丢;本地盘把性能放在第一位,用最直接的介质访问路径换取极致的延迟和吞吐。但代价也很明显——本地盘的数据在实例停机、迁移、硬件故障等场景下可能无法保留。这也是很多用户对它既爱又怕的根本原因。
2.2 本地盘的"天生缺陷"和它存在至今的理由
本地盘最早在云计算中出现,其实是为了解决一个很现实的问题:不是所有数据都重要到需要三副本。很多中间数据、临时结果、缓存数据、可重建的计算分片,它们丢了也能从上游重新计算出来,如果你非得让它们享受"云盘级"的可靠性和成本,那反而是巨大的浪费。所以早期的本地盘基本就是充当"临时目录"的角色。
但即便只是临时目录,本地盘也有它不可替代的物理优势。因为它直接挂在物理机上,IO路径不经过网络协议栈、不经过存储网关,天然就能拿到比网络存储低得多的延迟和稳定得多的带宽。有些高IOPS、低延迟要求极为苛刻的应用,比如高性能数据库、分布式日志、实时推荐、机器学习训练中的中间结果读写,如果在云盘上跑,网络和冗余开销是绕不过去的瓶颈。这个时候,本地盘就成为唯一能满足性能要求的选项。
2.3 为什么这两年被重新重视起来
本地盘重新被重视,最直接的推动力是硬件迭代。NVMe SSD的普及让单体存储介质的延迟从毫秒级降到几十微秒,吞吐从几百MB/s提升到几个GB/s,IOPS相比SATA SSD也翻了数量级。而云盘那条"网络加冗余"的路径,虽然有分布式系统的稳定性,但多一跳网络和多一道副本同步,在物理上就锁死了延迟的上限。当所有负载都开始追求低延迟时,本地盘的性能优先级自然就上来了。
另一个推动力是软件基础设施的成熟。过去本地盘之所以只配当"临时盘",是因为一旦出现硬件故障,整个实例就要跟着重建。今天云计算平台的硬件监控、调度系统、故障预测和迁移能力已经远比早期完善,能够更精细地管理本地盘的生命周期。再加上很多上层应用(比如分布式数据库、大数据引擎)自身就具备了副本和重算能力,它们并不要求底层存储提供三副本级别的可靠性,而是更看重性能和成本。这正好让本地盘从"低端替代品"转变成"高性价比性能底座"。
3. 本地存储的演进脉络:从HDD到NVMe,再到持久内存
3.1 第一代:本地HDD时代,云盘把本地盘"边缘化"
云计算的早期阶段,物理机上通用的存储介质是大容量机械硬盘(HDD)。那时候的云盘呢,本质上是把一组机器里的HDD通过分布式系统软件组织成一个存储池,再通过网络挂载给虚拟机。因为网络和软件层的开销较大,云盘的性能别说跟本地盘比,连让人满意的程度都达不到。但那个时候的用户普遍对性能没有那么敏感,大家更在乎的是"数据别丢、服务别停"。
本地盘在那个时代反而有点尴尬。同样用HDD,云盘虽然性能差,但至少靠多副本把可靠性做上去了;本地盘性能好一些,但在绝对性能差距并不巨大的情况下,可靠性缺陷太致命了。所以在那种"性能差距不大、可靠性差距巨大"的格局之下,本地盘被边缘化是必然的结果。
那段时间整个存储行业的主线是分布式存储软件如何取代传统磁盘阵列,阿里云盘古系统、AWS的EBS架构等,都是在那个阶段打下了基础。本地盘更像是被遗忘的一块角落,只在有特殊需求的时候才被想起来。
3.2 第二代:NVMe SSD把性能差距拉成了"代差"
大概在2015年往后,NVMe SSD开始在企业级市场普及。相比SATA SSD,NVMe走的是PCIe总线,协议栈更精简,并发能力更强,延迟直接从几百微秒掉到几十微秒。这对云盘系统构成了一个很大的压力:如果你的后端存储集群还在用SATA SSD甚至HDD,那网络这一跳不再是唯一的瓶颈,介质本身的速度也成了短板。
云盘系统的应对方式是升级后端介质、优化分布式软件,逐步把单盘、单节点的吞吐做上去,再通过RDMA网络把链路延迟压到足够低。这条路走下来,ESSD这类产品确实做到了很高的性能和可用性,但它的代价是整体存储集群的成本居高不下——无论是介质成本还是网络开销,都要用户来买单。
本地盘这边则完全是另一番景象。NVMe SSD直插在物理机上,没有网络链路,没有分布式冗余的写放大,介质性能几乎无损地暴露给应用。如果用户负载能容忍数据丢失风险,用同样的预算能换到好几倍甚至十来倍的IO性能。这种"代差"级别的性能差距,让越来越多对延迟敏感的应用开始认真考虑本地盘。
3.3 新硬件带来的新问题:性能越高,工程难度越离谱
新的性能高度也带来了新的复杂度,而且这些复杂度全部挤在工程细节里。先说首个大问题:硬件故障。NVMe SSD虽然速度快,但它本质上还是闪存介质,有写入寿命、有垃圾回收(GC)的放大损耗、也有突发的固件故障。云盘有分布式冗余可以屏蔽这些故障,本地盘没有。那你靠什么保证在盘坏之前能提前感知、提前迁移数据?这就必须有非常精细的磁盘健康监测和预测机制,能提前预判寿命消耗、温度异常、IO错误率上升等信号,在盘彻底挂掉之前把数据搬走或告警。
再一个问题是IO风暴和性能隔离。本地盘性能强悍是好事,但一旦同一台物理机上的多个云主机同时高负载读写,极容易相互干扰。和云盘不一样,云盘的IO隔离性可以在分布式存储层做精细的限速和调度,本地盘却直接依赖物理机的资源,一旦一个租户把IO打满,邻居的延迟和吞吐都会被拖垮。怎么在不牺牲性能的前提下做到有效隔离,这是一个在数据中心规模下非常棘手的调度问题,也是存储论文经常研究的重点。
还有一个问题是生命周期管理。云主机随时可能迁移、停机、续租,本地盘的数据跟着实例一起走还是被清零,什么时候该触发数据迁移,怎么控制迁移造成的带宽占用,这些操作都要做到对用户尽量透明化、对平台尽量自动化。这听起来像运维问题,实际上是一个需要系统和调度框架共同解决的架构级问题。FAST这类会议之所以喜欢接纳相关论文,正是因为这些问题的复杂度足够、真实场景足够、优化空间足够大。
4. 学术研究如何解决工程里的"硬骨头"
4.1 可靠性:把"不确定的硬件"变成"可管理的基础设施"
本地存储最被诟病的就是可靠性。一块盘挂了,数据可能就没了。硬件的损坏是不可完全避免的,但系统设计的艺术在于,在硬件确实可能损坏的前提下,把"用户数据丢失"的概率降至可接受范围。
有几条学术界和工业界都研究了很多年的技术路线。第一条是快速识别和预测故障,利用SMART指标、IO延迟抖动、温度曲线、坏块增长率等信号,用统计模型或者机器学习来做故障预测,在盘真正失效之前把虚拟机热迁移到健康节点。第二条是把快照能力加到本地盘上,定时对本地盘做增量快照并异步备份到远端,这样即便本地盘被重建,用户还能恢复到最近的时间点,相当于给"临时数据"增加了一份保险。第三条是配合上层应用做数据重建机制,让数据库、大数据引擎这些应用把本地盘当成"可重建缓存"来设计,而不是唯一存储。
这几条路线单独拎出来都有不少论文在推进,但把它们真正整合成一套生产系统,难度远比写论文大。因为生产环境里你面对的是成千上万块盘,每天都有新硬件、新固件版本、不同的负载模式,模型的准确率必须足够高,误报率必须足够低,否则要么白白迁移浪费资源,要么在真正故障前不够预判时间。这次获奖论文如果在这几个方向之一做出了突破,它对工程界的启发会非常直接。
4.2 性能隔离:多租户场景下的IO争抢难题
多租户的IO隔离,是云本地存储和单机存储之间最本质的区别。你自己买一台带NVMe盘的服务器,独占整块盘的带宽和IOPS,不会有隔离问题。但云厂商面临的局面是:一台物理机上可能跑十几个甚至几十个虚拟机,他们都可能往各自的本地盘上疯狂写数据。
这里的技术难点在于,NVMe设备本身是共享的,它的队列调度、垃圾回收、写放大等都是全局性的。你给每个虚拟机分配一个逻辑分区,但在底层盘上,块之间物理地址相邻、GC操作可能跨越分区,一个租户的写入放大就可能挤占另一个租户的写入寿命。学术上有不少思路,比如基于多命名空间的NVMe分组调度、在宿主机侧定制IO管控、利用Zoned Storage实现物理隔离等。每一种思路都有代价和权衡,而最佳论文级别的贡献,通常是在这些权衡中找到了一个"以前大家没意识到的好折中点"。
对我这种干过大规模存储运维的人来说,性能隔离问题直接决定一台物理机的部署密度。如果隔离做得好,一台机器可以多塞几个实例,整体成本就下去了;如果隔离做得差,就意味着要在"安全密度"上妥协,导致硬件利用率和售价都受影响。这是捅破了才能真正降本增效的技术点。
4.3 生命周期管理:在"别让用户等太久"和"别让集群带宽爆炸"之间走钢丝
本地盘的生命周期管理也是极其考验系统设计功底的部分。举个例子:物理机要做硬件维护,上面所有实例的本地盘数据都要搬走。如果你同时触发几百台机器的数据搬迁,存储内网瞬间就被打爆了,正常业务访问都会受影响。这就必须有一套流量控制机制,把迁移任务拆成细粒度的、带有优先级和速率限制的批次。学术上这叫"背压调度"或者"在线迁移优化",看起来不复杂,但要真正做到大规模集群稳定运行,对控制面设计的要求极高。
另一个和生命周期相关的问题是实例停机与启动。本地盘的数据要不要在实例停机期间保留?保留的话,硬件资源没法释放,成本高;不保留的话,用户下次启动时数据就没了,服务还得做数据重建。很多云厂商的做法是根据实例规格和计费方式来区分:正常的停机不释放实例,但数据是否保留依然很难承诺。理想状态下,平台会提供"非易失本地盘"或者"本地盘快照"的能力,用户能主动选择哪些数据要保护。这类功能的设计会和底层架构能力强绑定,不是简单加个API就能做的。
4.4 从论文到生产:学术成果落地的真实距离
在存储行业待久了,我对"论文里的一小步,生产上的一大步"这句反话理解得特别深。FAST论文的评审标准确实很高,但论文通常是在一个被简化的、受控的实验环境里验证的。生产环境里有太多论文里不会写的变量:老旧的固件、不同批次硬件的行为差异、各种异常网络抖动、用户奇奇怪怪的IO模式。
所以每次看到一家云厂商和高校联合发顶会论文,我真正关注的不是论文里那些精妙的算法,而是他们有没有把论文里的思路真正放进生产环境里跑过。阿里云存储团队过去的习惯是可以看到一些工程痕迹的——从盘古系统到ESSD,再到各类存储产品的迭代,他们有大规模系统的数据积累。这次获奖如果建立在真实生产数据之上,含金量就会比纯学术研究高一个层级。这也是FAST审稿人尤其看重的点:工业界投稿如果没有真实数据,往往很难过审;同样,学术界的纯实验论文如果无法在规模上让人信服,也很难拿最佳。
5. 云上本地存储的未来:几个值得关注的方向
5.1 持久内存与新型存储介质:本地盘的"持久化之梦"
过去本地盘最大的软肋是数据易失。新一代存储介质的出现,正在让"本地存储也能持久化"这件事从不可能变成可能。持久内存(PMEM,Persistent Memory)的理念是把非易失特性直接做到内存总线上,让数据在掉电后依然保留,同时保持接近DRAM的访问速度。如果这项技术成熟到可以大规模部署,那么本地盘就不再是"临时数据存放地",而是可以承载真正需要持久化的核心数据,同时性能表现又远好于现有云盘。
当然,持久内存在成本和寿命上还有很多挑战,它真正进入大规模生产部署还有一段路要走。但它给整个存储体系带来的想象空间是很大的:本地存储和远端存储的边界会被重新划分,很多现在依赖分布式三副本的高频写入负载,或许可以直接落在一台物理机的持久内存上,可靠性靠上层应用复制来承载。这个方向一旦走通,对整个云存储的定价和性能模型都会是重构级的。
另一个很有前景的方向是基于CXL(Compute Express Link)的内存池化。CXL允许多台机器共享内存设备,这让"本地"和"远端"的物理边界变得模糊。如果把一部分内存资源通过CXL池化,再搭配持久化能力,未来的存储层级可能不再像现在这样界限分明。学术研究现在在这个方向有很多探讨,但离真正产品化还有距离。
5.2 硬件加速与DPU/CIPU的引入:把IO路径的每一微秒都抠干净
这几年云厂商都在做一件事:把原来跑在CPU上的网络和存储协议处理,往专门的硬件加速卡上迁移。阿里云自研的CIPU、一些厂商使用的DPU(Data Processing Unit),核心逻辑是一样的——CPU的资源应该尽量留给用户的业务应用,那些纯消耗型的网络收包、存储协议解析、数据校验、编解码,都让专用硬件去干。
本地存储和这类加速硬件的结合,是一个我很看好的方向。传统的本地盘IO路径虽然已经比云盘短了很多,但依然要经过虚拟化层、宿主机内核驱动、硬件队列等环节。如果把数据面的路径直接通过硬件加速卡接管,把虚拟化开销进一步压低,那么本地盘原本已经足够极致的延迟还能再往下砍一截,同时宿主机CPU的占用率也能大幅下降。
这个方向真正难的地方在于软硬协同设计。硬件一旦固化,很多策略就不能灵活调整,所以硬件应该固定哪些功能、哪些逻辑必须留在软件层灵活演进,是一个需要反复权衡的架构决策。FAST级别的论文往往特别青睐这种"软硬协同"和"真实硬件验证"的内容,如果一个成果能让硬件的某个模块设计有据可依,那它对工业界的指导价值会非常大。
5.3 本地存储与云原生场景的融合:从幕后走向台前
云原生的流行正在改变存储系统的使用方式。Kubernetes里的StatefulSet、数据密集型应用、日志采集、模型训练缓存等场景,对存储提出了"性能要好、创建要快、成本要低"同时满足的要求。而本地盘在这些场景里天然有优势,因为它不依赖远程分配,创建块设备几乎是瞬间完成的,不需要经过存储集群的调配过程。
未来我判断本地盘会越来越多地被做成"有条件的持久化存储"来推广,而不是像现在这样只能定位成纯临时盘。平台可以把本地盘和分布式快照、备份、重建机制搭配起来,作为一个"高性能、可选持久化"的产品形态。用户在创建实例时,可以选择"本地方案+定期备份"或者"本地盘快照恢复"等组合,在成本和可靠性之间自选平衡点。这个组合拳式的产品模式,会让本地存储从"幕后工具"变成"台前选择"。
5.4 软硬协同的系统设计:存储系统研究的下一个主战场
如果说前几年存储系统研究的主线是分布式软件如何在通用硬件上榨取性能,那么接下来几年的主线大概率会变成"硬件可编程化、系统软件与硬件的深度协同设计"。不管是持久内存、CXL、NVMe的新特性,还是DPU/CIPU这类加速硬件,都在把存储研究往一个方向推:系统设计需要同时懂硬件原理、懂操作系统、懂分布式算法,还要能把数据优化到极致。
FAST '26把最佳论文颁给云上本地存储方向,某种程度就是在给这个趋势投赞成票。云上本地存储看似是个"过气"的话题,但它恰好站在了硬件介质革新、系统软件优化、云基础设施演进三条趋势的交汇点上。这是存储系统领域最有活力的位置,也是最能产出诺奖级系统贡献的位置——虽然存储界没有诺贝尔奖,但FAST最佳论文就是这个领域最接近的认可之一。
话说回来,论文里的方案到底能不能大规模复制、能不能扛住各种奇怪的硬件故障、能不能在被几千个租户同时摩擦的时候依然稳定,这些都是论文之外需要时间检验的东西。但我个人对这次成果还是抱有期待的,因为近些年国内公司在存储系统顶会上拿最佳论文的次数并不多,能拿到一次,说明工程和研究两条线都真的下了功夫,不是靠运气能混来的。
最后分享一个我自己的观察。干存储系统这行,最稀缺的不是算法能力,也不是写代码能力,而是对"物理世界不确定性"的敬畏。一块盘的温度、一颗电容的老化、一次固件升级的bug,都可能让所有精妙的上层设计瞬间失去意义。所以每当有人把存储系统说得天花乱坠,我都会在心里默默问一句:你到底有多少年的生产环境数据支撑这个结论?这也是我在看任何一篇存储论文时,最先想搞清楚的问题。希望这次获奖的成果,最终也能经得住生产环境最严苛的考验。
