1. AI时代的数据工程师:被优化还是被赋能?
最近和几位数据团队负责人聊天,发现一个有趣现象:ChatGPT能写SQL了,Copilot能调ETL了,但他们的招聘需求不降反增。一位美团的数据总监甚至说:"现在招人更难了,因为我们要的不只是会写HiveQL的工程师。"这让我开始思考:当AI开始接手数据工作中的"脏活累活",数据工程师的价值究竟在哪里?
十年前我刚入行时,80%的时间都在做数据清洗——处理脏数据、对齐字段格式、追查断流原因。现在回头看,这些恰恰是AI最先攻克的领域。去年我们团队引入了一个智能数据探查工具,原本需要人工排查两天的数据质量问题,现在15分钟就能生成异常报告。但有意思的是,团队没有裁员,反而新增了"数据产品经理"岗位。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. AI替代了什么?解放了什么?
2.1 正在消失的"体力活"
我整理了过去半年被AI工具替代的典型场景,这些变化真实发生在我们的工作流中:
-
SQL生成:以前接到新需求要先花1小时写基础查询,现在用ChatBI描述需求,5分钟出初版SQL。但后续的查询优化、执行计划调整仍需人工介入。
-
异常检测:传统方式要靠经验写规则,现在工具能自动识别数据分布突变(如某字段空值率从1%飙升到30%)。不过判断这是"系统故障"还是"业务调整",仍需业务理解。
-
元数据管理:以前手工维护数据字典,现在AI可以自动解析字段语义。但字段间的业务逻辑关系(如"会员等级"依赖"消费金额"的计算规则)仍需人工定义。
2.2 不可替代的"脑力活"
在京东的一个项目中,我们遇到典型场景:推荐系统突然把母婴用品推给了一群大学生男性用户。AI排查工具很快发现是用户标签数据混入了测试数据,但解决这个问题需要:
- 区分真实数据与测试数据(定义测试账号的特征)
- 设计数据隔离方案(在DWD层建立测试数据过滤机制)
- 制定长期监控策略(设置测试数据污染告警)
这些工作涉及三个核心能力,正是当前AI难以替代的:
业务抽象能力:把"数据质量问题"转化为具体的字段规则。比如"测试账号"可能表现为:注册IP集中在特定网段、设备ID符合测试机命名规范、在非工作时间产生流量等。
系统设计能力:要考虑过滤规则放在ODS层(影响所有下游)还是DWD层(灵活性更高)
