上周我们平台收到第 43 份存储申请单的时候,我实在受不了了。业务团队要 PV,开发环境要 PV,中间件要 PV,全部堆到我这里手动创建——登录 NFS 服务器 mkdir、记路径、写 PV YAML、等状态变成 Bound,然后再告诉对方"可以用了"。一套流程走下来快则十分钟,慢则半小时,赶上命名不规范还容易出目录冲突。后来我把这套流程彻底砍掉,换成了 Kubernetes 里的 NFS 动态存储供应,也就是本文要聊的核心内容:让 StorageClass 自动完成"建目录、建 PV、绑定 PVC"的全过程。
这篇文章适合正在用 NFS、又嫌手动管理 PV 太痛苦的人,包括平台运维、K8s 集群管理员,以及想在企业项目里落地存储自动化的开发。我会从原理讲到生产部署,把 RBAC、控制器、StorageClass、安全加固和排错链路全部过一遍。你会发现动态存储供应没那么玄乎,但坑是真不少,我已经替你踩过一遍了。
1. 静态存储的痛点:为什么必须走向动态供应
1.1 手动创建 PV 的真实工作流有多痛
先说一段真实流水账。业务方提了一个申请:需要 5Gi 的读写存储,给新服务挂载用。在没有动态供应的情况下,我作为平台管理员要做的事情大概是这样的:
- 先登录 NFS 服务器,确认磁盘剩余空间够不够,然后在共享根目录下手工创建目录,比如
/data/nfs/order-service-5gi。 - 根据目录路径写一个 PV YAML,填上容量(5Gi)、访问模式(ReadWriteMany / ReadWriteOnce)、NFS server 地址、导出路径。
kubectl apply -f pv.yaml,确认 PV 状态变成 Available。- 再写一个 PVC YAML 或者让业务方自己写,然后
kubectl apply -f pvc.yaml。 - 等待调度器把 PVC 和 PV 匹配上,状态变成 Bound。
- 把这个 PV 的存储类、回收策略、挂载路径整理成文档发给业务方。
听起来还能接受?那乘以 43 份申请单试试。手动流程一多,问题就暴露出来了:命名规范全凭记忆,目录可能重复创建;PV 容量和实际目录配额对不上,没人管就乱;业务方删除 PVC 之后,PV 和 NFS 目录没人回收,磁盘被占满时谁也说不清是谁的垃圾;为了"方便管理"创建的存储类五花八门,时间一长整个集群一堆历史遗留 PV,没人敢删。
这就是典型的静态存储供应模式。它最大的问题是:存储的创建时机、创建方式、销毁方式全依赖人肉操作,而且还没有审计。你可能会说"我们人少,单量不大",但只要是真实企业项目,存储申请永远不会是零星的,它会随着业务增长变成持续性的需求。
1.2 动态供应到底解决什么
动态供应(Dynamic Provisioning)就是把这个流程交给 Kubernetes 和存储侧组件去自动完成。用户只需要写一个 PVC,声明"我要多少容量、用什么存储类",剩下的事情——创建底层存储卷、生成 PV、完成绑定——全部自动化。
可以参考支付系统的类比:静态供应就像每次转账都要去银行柜台填单、人工审核、人工到账;动态供应就像是把银行卡绑定到支付平台,发起转账后后台自动处理,你只关心到账与否。Kubernetes 里承担这个"后台处理"角色的是 Provisioner(存储供应器),而 StorageClass 则是用户和 Provisioner 之间的桥梁。
我选择 NFS 作为底层存储方案,不是因为 NFS 技术多么先进,而是它足够通用、足够成熟。几乎所有 Linux 发行版都支持 NFS,K8s 本身也内置了 NFS 卷插件,网络文件系统天然支持 ReadWriteMany,对很多企业应用非常友好。相比 Ceph、GlusterFS 这种重分布式存储,NFS 的搭建成本和运维成本都低得多,适合中小规模集群、日志类应用、开发测试环境。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 动态供应的核心机制:StorageClass、Provisioner 与 PVC 的三角配合
2.1 StorageClass 在 K8s 里的定位
要理解动态存储,先得把 StorageClass 的定位搞清楚。StorageClass 是 Kubernetes 里描述"存储类型"的对象,它告诉 K8s:创建存储卷时该调用哪个 Provisioner,创建出来的卷回收策略是什么,卷要挂载时使用哪些参数。
它在 PVC 和 PV 之间的作用相当于一个工厂流水线。用户提交 PVC 时,会指定 storageClassName,K8s 看到这个字段后,就去查找对应的 StorageClass,拿到 provisioner 字段值,把创建请求转发给真正的存储供货商。以 NFS 动态供应为例,核心 YAML 长这样:
yaml复制apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-client
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
reclaimPolicy: Delete
volumeBindingMode: Immediate
parameters:
archiveOnDelete: "true"
注意这其中的关键字段:
provisioner:告诉集群要找哪个供应器。我们用的是nfs-subdir-external-provisioner,这是 Kubernetes 官方 SIG 维护的 NFS 动态供应组件。reclaimPolicy:设置 PV 被释放后的回收策略。Delete表示删除 PVC 后对应的 PV 和 NFS 目录也会被清理;Retain则表示保留数据,需要人工回收。volumeBindingMode:Immediate表示创建 PVC 时就立即绑定和供应存储;WaitForFirstConsumer则等 Pod 调度到节点后再供应,适合某些对节点有要求的场景。parameters:供 Provisioner 使用。NFS 场景下常用archiveOnDelete控制删除 PVC 时是否把 NFS 目录归档。
2.2 nfs-subdir-external-provisioner 的工作原理
nfs-subdir-external-provisioner 是 Kubernetes SIG 维护的 NFS 动态供应组件,取代了早年很多教程里写的 nfs-client-provisioner(那个旧项目已经停止维护了)。它的工作逻辑并不复杂,我拆解一下:
- 控制器以 Pod 形式运行在集群中,监听 PVC、PV、StorageClass 的相关事件。
- 当用户创建了一个带
storageClassName: nfs-client的 PVC,控制器感知到 PVC 处于未绑定状态。 - 控制器连接配置好的 NFS 服务端,在导出目录下创建一个子目录,目录名默认由 PVC 的 namespace 和 name 拼接而成,例如
namespace-pvcname。 - 控制器基于这个子目录路径创建 PV 对象,PV 的存储类型是 NFS,容量和 PVC 一致。
- PV 和 PVC 绑定,Pod 调度后即可通过 PVC 访问存储。
看起来简单,但生产环境下有几个细节需要特别注意。控制器容器挂载了 NFS 目录(在 Deployment 的 volumeMounts 里挂到 /persistentvolumes),它创建子目录时使用的是容器内的用户身份。如果 NFS 服务端开启了 root_squash(默认开启),容器内 root 会被映射成 nobody,这会导致权限异常,后面我会专门讲。
2.3 为什么不用旧版 nfs-client-provisioner
很多现有教程还在用 quay.io/external_storage/nfs-client-provisioner:latest 这个镜像,对应的是 kubernetes-incubator/external-storage 项目。必须提醒:incubator 项目已经归档,镜像不再更新,很多已知 bug 没有人修。比如旧镜像在某些 K8s 新版本下会因为 RBAC API 兼容问题起不来,更严重的是它对 StorageClass 参数的校验异常宽松,容易在删除 PVC 时误删 NFS 目录。
所以只要不是历史存量环境,新项目一律直接用 nfs-subdir-external-provisioner。镜像地址是 registry.k8s.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2,这也是当前社区使用最广泛的版本。如果集群环境拉不到官方仓库,可以换用 Docker Hub 上对应的镜像,或者提前把镜像推到自己的私有仓库。
3. 部署前环境准备:NFS 服务端与集群节点前置条件
3.1 NFS 服务端搭建(CentOS / Ubuntu)
在部署 K8s 侧组件之前,得先有一个能用的 NFS 服务端。我自己在 CentOS 和 Ubuntu 上都搭过,命令稍有差异,核心步骤一致。先看 CentOS / RHEL 系的:
bash复制# CentOS / RHEL
sudo yum install -y nfs-utils
sudo mkdir -p /data/nfs
sudo chmod -R 777 /data/nfs
echo "/data/nfs 10.0.0.0/16(rw,sync,no_subtree_check,root_squash)" >> /etc/exports
sudo systemctl enable --now nfs-server
sudo exportfs -rv
Ubuntu / Debian 系的命令则是:
bash复制# Ubuntu / Debian
sudo apt update
sudo apt install -y nfs-kernel-server
sudo mkdir -p /data/nfs
sudo chmod -R 777 /data/nfs
echo "/data/nfs 10.0.0.0/16(rw,sync,no_subtree_check,root_squash)" >> /etc/exports
sudo systemctl enable --now nfs-server
sudo exportfs -rv
这里有几个生产环境的经验点,值得展开:
/etc/exports 的网段一定不要写 *。写 * 意味着所有能访问到这台机器的 IP 都有挂载权限,这是很多 NFS 未授权访问和后续提权问题的根源。建议写成内网网段,比如 10.0.0.0/16 或更小范围的子网。
root_squash 参数要保留。它的作用是:当 NFS 客户端以 root 身份操作文件时,服务端会把 root 映射成匿名用户 nobody,防止客户端直接用 root 修改所有文件。如果为了省事把 exports 配成 no_root_squash,等于开放了一个巨大的安全漏洞——任何能挂载 NFS 的客户端 root 用户都能成为 NFS 服务端的 root,这在安全审计里是要被钉死的。网上有些教程让开 no_root_squash 解决权限问题,那是给自己埋雷。
sync 参数建议保留,虽然会稍微降低写入性能,但能保证数据写入的可靠性。异步模式 async 看起来快,断电丢数据的风险远大于那些性能收益。
3.2 集群节点的客户端组件
NFS 动态供应不仅仅是服务端的事,K8s 的每个节点上也需要安装 NFS 客户端工具,否则 kubelet 无法挂载 NFS 卷。很多新手在这里掉链子:服务端 NFS 起了,K8s 侧组件也部署了,结果 Pod 创建时一直 ContainerCreating,看日志才发现 mount: unknown filesystem type 'nfs'。
节点侧安装:
bash复制# CentOS / RHEL 节点
sudo yum install -y nfs-utils
# Ubuntu / Debian 节点
sudo apt install -y nfs-common
这里有个容易忽略的点:所有节点都要装,不仅仅是调度 Pod 的节点。因为你无法完全控制 Pod 会调度到哪台机器,尤其当集群有节点故障或自动扩缩时,任何节点都可能承载用到该存储的 Pod。有条件的话,可以在初始化集群的 Ansible 脚本或云镜像里预装。
3.3 挂载连通性自测
在部署 Provisioner 之前,先在任意节点手动挂载一次 NFS 目录,确认服务端、网络、权限都正常:
bash复制sudo mount -t nfs 10.0.0.10:/data/nfs /mnt/nfs-test
ls -ld /mnt/nfs-test
touch /mnt/nfs-test/hello.txt
sudo umount /mnt/nfs-test
如果我能在 /mnt/nfs-test 下成功创建文件,说明从该节点到 NFS 服务端的 TCP 2049 端口连通,exports 配置生效,服务端读写权限正常。这一步排查成本很低,能省掉后面倒一片的麻烦。注意确认生产环境的防火墙/安全组放行了 NFS 相关端口,主要是 2049/tcp(NFS)和 111/tcp(rpcbind),云环境还要看安全组规则。
4. 生产部署实战:从 RBAC 到 StorageClass 的完整落地
4.1 部署文件整体结构
清楚了原理之后,落地就比较快了。整个动态供应的部署由四类资源组成:
| 资源 | 作用 |
|---|---|
| ServiceAccount | 给 Provisioner 控制器用的服务账号 |
| ClusterRole / ClusterRoleBinding | 赋予创建和绑定 PV、管理 PVC 事件的权限 |
| Deployment | 运行 Provisioner 控制器容器 |
| StorageClass | 声明存储类型,供 PVC 引用 |
我建议把这四类资源配置放在同一个目录里,方便后续用 kubectl apply -f 一次性部署。下面逐个看核心内容。
4.2 RBAC 权限配置
Provisioner 需要与集群 API Server 通信,监听并管理 PVC 和 PV,因此必须有明确的 RBAC 权限。注意 API 版本要用当前集群支持的 rbac.authorization.k8s.io/v1:
yaml复制apiVersion: v1
kind: ServiceAccount
metadata:
name: nfs-client-provisioner
namespace: default
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: nfs-client-provisioner-runner
rules:
- apiGroups: [""]
resources: ["persistentvolumes"]
verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
resources: ["persistentvolumeclaims"]
verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
resources: ["storageclasses"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["events"]
verbs: ["create", "update", "patch"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: run-nfs-client-provisioner
subjects:
- kind: ServiceAccount
name: nfs-client-provisioner
namespace: default
roleRef:
kind: ClusterRole
name: nfs-client-provisioner-runner
apiGroup: rbac.authorization.k8s.io
这里的权限设计遵循最小化原则:能操作 PVC 和 PV,但不能删除 PVC,不能操作 Pod,不能操作 ConfigMap。如果你只想让 Provisioner 在某一个 namespace 下工作,可以把 ClusterRoleBinding 换成 RoleBinding,但 PV 是集群级资源,所以实际生产我更推荐 ClusterRole,因为它要为整个集群的所有 PVC 服务。
4.3 Deployment 控制器配置
Deployment 是整个动态供应的核心执行者。它把 NFS 目录挂载进容器,并通过环境变量告诉控制器 NFS 服务端地址和导出路径:
yaml复制apiVersion: apps/v1
kind: Deployment
metadata:
name: nfs-client-provisioner
labels:
app: nfs-client-provisioner
spec:
replicas: 1
strategy:
type: Recreate
selector:
matchLabels:
app: nfs-client-provisioner
template:
metadata:
labels:
app: nfs-client-provisioner
spec:
serviceAccountName: nfs-client-provisioner
containers:
- name: nfs-client-provisioner
image: registry.k8s.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2
volumeMounts:
- name: nfs-client-root
mountPath: /persistentvolumes
env:
- name: PROVISIONER_NAME
value: k8s-sigs.io/nfs-subdir-external-provisioner
- name: NFS_SERVER
value: "10.0.0.10"
- name: NFS_PATH
value: "/data/nfs"
volumes:
- name: nfs-client-root
nfs:
server: 10.0.0.10
path: /data/nfs
几个关键点:
strategy: Recreate 很关键。这个控制器是单实例的,如果用默认的 RollingUpdate 策略,更新时会出现两个控制器 Pod 同时运行,双写同一批 PVC 事件,轻则重复创建目录,重则产生 PV 状态错乱。Recreate 保证旧 Pod 先退出,新 Pod 再启动。
PROVISIONER_NAME 环境变量的值必须和 StorageClass 的 provisioner 字段完全一致。我见过太多配置不一致导致 PVC 永远 Pending 的情况。这个值理论上可以自定义,但推荐直接用官方约定的 k8s-sigs.io/nfs-subdir-external-provisioner,避免团队内部混乱。
NFS_SERVER 和 NFS_PATH 是控制器访问 NFS 服务端用的。注意这里的 NFS_PATH 要和 /etc/exports 里导出的路径一致,控制器会在该路径下创建子目录。
4.4 StorageClass 参数配置与验证
部署完控制器后,就可以创建 StorageClass。我在生产环境使用的版本保留了归档功能:
yaml复制apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-client
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner
parameters:
archiveOnDelete: "true"
pathPattern: "${.PVC.namespace}/${.PVC.name}"
reclaimPolicy: Delete
volumeBindingMode: Immediate
mountOptions:
- hard
- nfsvers=4
archiveOnDelete: "true" 是一个极其重要的防护机制。如果设置为 false,删除 PVC 时控制器会直接删除对应的 NFS 目录,数据立刻消失。如果是在测试环境无所谓,但生产环境一旦误删 PVC,数据就完了。我建议生产环境一律开启归档,这样删除 PVC 后目录会被重命名成 archived- 前缀,保留数据,留出人工确认的时间。
pathPattern 参数可以把子目录结构做成 ${namespace}/${pvcname} 的层级格式。默认的 namespace-pvcname 也可以,但目录层级一旦多了,用 pathPattern 更容易维护和排查。
部署完成后,创建测试 PVC 验证:
yaml复制apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: test-claim
spec:
accessModes:
- ReadWriteOnce
storageClassName: nfs-client
resources:
requests:
storage: 1Gi
验证循环:
bash复制kubectl get pvc test-claim
kubectl get pv | grep test-claim
kubectl logs -n default deployment/nfs-client-provisioner --tail=50
正常情况下,PVC 很快会变成 Bound,PV 的 SOURCE 类型为 NFS,名字包含 PVC 的 metadata uid。然后创建一个临时 Pod 挂载这个 PVC 测试读写:
bash复制kubectl run nfs-test --image=busybox --rm -it --restart=Never \
--overrides='{"spec":{"containers":[{"name":"nfs-test","image":"busybox","command":["sh","-c","echo ok > /mnt/test.txt"],"volumeMounts":[{"name":"data","mountPath":"/mnt"}]}],"volumes":[{"name":"data","persistentVolumeClaim":{"claimName":"test-claim"}}]}}'
如果 Pod 里的 test.txt 创建成功,再到 NFS 服务端对应目录确认文件存在,整套链路就通了。
5. 生产级安全与性能:躲不开的权限、端口和挂载参数问题
5.1 NFS 提权风险与 root_squash 的正确姿势
先说安全。NFS 是一个有几十年历史的协议,它早期设计的信任模型是基于 IP 的——客户端的 root 是否被信任,完全取决于 exports 配置。这里就引出了网上经常提到的 NFS 提权风险。
如果 exports 里配了 no_root_squash,或者其他网段的客户端被允许挂载且未映射,那么攻击者只要在自己的机器上以 root 身份挂载 NFS,就能以 root 身份在共享目录里读写任意文件,甚至通过修改属主、替换二进制等方式提权。在生产环境,这基本等于把共享目录的 root 权限直接交给了所有能访问 NFS 网段的机器。
正确做法:
- exports 里的 root 处理保持默认的
root_squash,必要时配合anonuid、anongid把匿名用户映射到指定 UID/GID。 - exports 网段精确到业务子网,不要
*。 - 如果业务有特殊需要必须
no_root_squash(比如某些需要保留 file capability 的应用),也应该单独共享一个专用目录,而不是放整个根目录。
5.2 Kubernetes 集群与 NFS 的访问控制边界
存储安全不只在 NFS 服务端,K8s 侧也要守住边界。集群的 API Server 如果未授权访问,攻击者可以创建任意 PVC、挂载任意存储,甚至通过存储路径读出其他业务的数据。这里简单提一下和 NFS 存储相关的几个基础要求:
- API Server 的 6443 端口不要暴露到公网,这是基本底线。
- 生产集群启用 RBAC 并严格控制 StorageClass 的使用权限,至少不要让默认的 service account 随便创建 PVC。
- 对 NFS 服务端和 K8s 节点间的网络做隔离,只放行内网网段。
另一个容易被忽视的点是,NFS 共享目录里尽量不要直接放敏感明文数据。因为 NFS 挂载链路中,数据包没有强加密(除非配置了 Kerberos),在同一二层网络的任意监听者理论上可以看到传输内容。这不是 K8s 特有的问题,但对生产级要求严格的企业,建议加密敏感数据落盘,或者在有条件时切换到支持加密的存储后端。
5.3 挂载参数与性能调优
StorageClass 里的 mountOptions 会传递给 kubelet 的 NFS 挂载命令。合理设置这些参数能直接改善可靠性和性能。我在生产环境用的参数和理由如下:
| 参数 | 作用与建议 |
|---|---|
hard |
服务端无响应时持续重试,适合对数据一致性要求高的应用;但注意可能让进程 hang,配合 intr 可中断 |
nfsvers=4 |
固定使用 NFSv4,避免默认协商到性能差或有安全问题的 NFSv3 |
noatime |
关闭文件访问时间更新,减少元数据写操作,对性能有明显帮助 |
rsize=1048576 / wsize=1048576 |
加大读写块大小,适合大文件顺序读写;小文件场景收益有限 |
actimeo=3 |
延长属性缓存时间,减少 stat 请求开销 |
不过要提醒一句:NFS 本质是网络文件系统,它的 IOPS 上限受限于网络往返和 NFS 服务端的单机能力。如果你跑的是数据库这种对延迟极度敏感的应用,别指望调参数能解决根本问题,那是另一套存储选型的事。NFS 动态供应最合适的场景是共享文件、日志、配置、静态资源、CI 产物这类数据。
5.4 高可用层面的取舍
NFS 服务端是单点,这是 NFS 方案的天花板。可以用的高可用组合我见过几种:
- 云上的托管 NAS:厂商保证可用性,K8s 侧照常用 NFS 协议接入,省心但成本高。
- 自建 NFS + DRBD 双机主备:性能损失不大,但需要额外的两块磁盘做复制,运维复杂度上升。
- 自建 NFS + rsync + keepalived:配置简单,但 failover 时可能有数据丢失窗口,适合低优先级数据。
- 直接将 Provisioner 对接已有 NAS 设备的 NFS 导出路径:不自己搭服务端,只是把动态供应的控制器架在现有存储之上。
我的建议是,先搞清楚业务对存储的可用性要求。绝大多数内部平台的数据对"分钟级恢复"是可接受的,那 NFS + rsync + keepalived 已经够用。如果业务要求 RPO 趋近于零,直接考虑集群文件系统或云盘多副本,不要在 NFS 上死磕。
6. 踩坑复盘:从 Pending 到数据丢失,我踩过的那些坑
6.1 PVC 一直 Pending 的完整排查链路
PVC 创建后一直 Pending,是 NFS 动态供应最普遍的故障。我整理一下标准排查链路,按顺序来:
第一步,看 PVC 状态和事件:
bash复制kubectl describe pvc <pvc-name>
重点看 Events 尾部。常见的提示包括 no persistent volumes available for this claim and no storage class is set(没指定 StorageClass)、waiting for a volume to be created, either by external provisioner(Provisioner 没干活)、provisioning failed(Provisioner 创建卷时报错)。
第二步,看 Provisioner 日志:
bash复制kubectl logs deployment/nfs-client-provisioner --tail=50
常见的报错有 Failed to provision volume with StorageClass "nfs-client": unexpected error getting claim reference、mkdir /persistentvolumes/xxx: permission denied、nfs: server 10.0.0.10 not responding。
第三步,在 NFS 服务端检查:
bash复制exportfs -v
showmount -e 10.0.0.10
确认服务端是否正常导出路径,客户端的网段是否在允许列表内。
第四步,在 K8s 节点上手动挂载测试(就是前面 3.3 的自测)。手动挂载失败的话,问题 100% 在网络、出口配置或 NFS 服务端,跟 K8s 组件无关。
我在生产环境遇到过一种隐蔽情况:StorageClass 的 pathPattern 里写错了参数名,比如写成 ${.PVC.Name} 而不是 ${.PVC.name},控制器解析失败,PVC 一直 Pending。日志里没有任何明显报错,最后把配置一项一项对照官方文档才找到。所以配置任何参数后,先建一个 PVC 验证一下,别批量建一堆再后悔。
6.2 权限坑:nobody 映射导致的写入失败
这是 NFS 和容器权限结合时非常经典的问题。现象是:PVC 能正常创建和绑定,但 Pod 写入文件时报 Permission denied。
原因通常在 NFS 服务端的 exports 配置。结合前面的配置:root_squash 会把客户端的 root 映射为 nobody。如果共享目录 /data/nfs 的属主是 root,权限是 755,匿名用户 nobody 就没有写权限。容器内进程写入文件时,如果容器以 root 运行,对应到 NFS 服务端还是被 squash 成 nobody,自然写不进去。
解决办法有三种:
- 把共享目录属主改成
nobody:nogroup,并给足写权限(最简单,适合大部分企业内网场景):
bash复制sudo chown -R nobody:nogroup /data/nfs
sudo chmod -R 777 /data/nfs
- 在 exports 里给特殊的匿名 UID 分配权限,通过
anonuid/anongid把 root 映射成指定用户:
text复制/data/nfs 10.0.0.0/16(rw,sync,no_subtree_check,root_squash,anonuid=1000,anongid=1000)
然后用 UID 1000 作为目录属主。
- 在 Pod 的 SecurityContext 里指定
fsGroup和runAsUser,让 NFS 客户端以某个固定 UID 访问。这是 K8s 侧推荐做法,比如:
yaml复制securityContext:
fsGroup: 2000
runAsUser: 2000
然后 NFS 目录属主改成 2000。这种方式对多团队共享目录尤其有效,因为不同业务组可以用不同的 UID 隔离权限。
此外新版 Provisioner 容器本身也可能碰到权限问题。Deployment 挂载 NFS 目录后,控制器需要在 /persistentvolumes 下创建子目录,如果目录属主不匹配,控制器日志会报 mkdir: permission denied。把 NFS 根目录属主和权限按上文调整一般就能解决。
6.3 删除 PVC 后目录去哪了:archiveOnDelete 机制
前文提过 archiveOnDelete: "true" 会把 NFS 目录重命名归档。它的实际表现是什么?我观察到的现象是,删除 PVC 后,NFS 服务端目录下面的 namespace-pvcname 会被改成 archived-pvcname,并保留现场数据。
很多人第一次遇到会慌,以为删不干净或控制器出 bug。其实这是故意的,目的就是防止误删。生产环境的正确用法是:归档目录保留一段时间,审计没问题后再人工清理。清理方式很简单,直接在 NFS 服务端 rm -rf 对应 archived- 目录即可。
如果不小心把 archiveOnDelete 设成 false,删除 PVC 的瞬间 NFS 目录和 PV 会被彻底清理。我提醒团队成员:这个值在生产环境永远不要关,不要图省事,磁盘不足可以临时扩,数据没了挽救不了。
6.4 令节点挂载失败的其他因:v4 版本、SELinux、残留挂载
最后补充几个零散但非常折磨人的小坑:
- NFSv4 挂载不兼容。有些老环境 NFS 服务端只支持 v3,客户端却默认协商 v4,结果挂载时报
Protocol not supported。遇到后在 StorageClass 的mountOptions里显式写nfsvers=3试试。不过新环境建议直接服务端升级支持 v4。 - SELinux enforcing 模式。CentOS/RHEL 节点开启 SELinux 后,容器挂载 NFS 可能被阻止,报
Permission denied但状态却是一致。排查时可以用ausearch -m avc查审计日志确认,或者临时把 SELinux 设为 permissive 做对照实验。生产环境更推荐写对 SELinux 策略或者给目录配置正确的 SELinux context 标签。 - /var/lib/kubelet 下的残留挂载。节点曾经挂载过某 PV,后来 Pod 被删但节点没有完全卸载,会导致同名 PVC 再次调度到该节点时挂载失败。排查命令是
mount | grep nfs,如果看到stale或异常挂载,用umount清掉。
7. 从 NFS 到更好的存储:什么情况下该换,什么情况下继续用
动态存储供应的好处在于,它把存储的接入方式抽象成了 StorageClass,底层存储是什么对业务方是透明的。这意味着你今天用 NFS 做动态供应,明天想换成 Ceph 或云盘,只需要提供一个新的 StorageClass,发布新的 PVC 时改一个 storageClassName 即可。存量数据可以通过数据复制或迁移工具搬过去,业务代码几乎不需要改动。
那什么时候该继续用 NFS,什么时候该换?我的判断标准很简单:看 IOPS 和延迟要求。
日志、静态文件、CI 产物、模型文件、普通 Web 应用的上传目录——这些场景对性能要求不高,但对多节点共享有强需求,NFS 动态供应是最合适的选择。性价比高,部署快,团队都会用。
数据库(MySQL、PostgreSQL、MongoDB)的存储卷——不建议放 NFS 上,数据库有自己的缓存和一致性机制,NFS 的网络延迟和单点故障会让数据库集群的稳定性大打折扣。说到数据库,我个人的体会是这会触及一类深水区问题:数据文件在 NFS 上的锁机制、延迟抖动、断连恢复,每一个都能让 DBA 崩溃。有条件直接用云盘 + Local SSD,或者自行搭建 Ceph RBD 这样的块存储,给数据库走 storageClassName: ceph-rbd 或 cloud-ssd 的独立 StorageClass。
如果你的集群已经用到几百上千个 PVC,NFS 服务端的单点性能会逐渐成为瓶颈。那时候可以评估 Rook 管理的 Ceph 集群,它的块存储 RBD 和文件系统 CephFS 都能接入 K8s 的动态供应模型,学习成本高一些但天花板高很多。
我个人在实际操作中的建议是:先把 NFS 动态供应这套玩熟,它足以覆盖 80% 的企业存储需求,剩下 20% 的高性能场景再渐进式引入更重的存储方案。存储选型从来不是越高级越好,而是和业务规模、团队能力匹配才是真的好。
