大数据架构师避而不谈的3大代码陷阱

　　我原以为是下游数据源抖动，结果盯着Flink UI看两小时，背心全湿透——checkpoint延迟从12秒跳到47秒，又自己缩回去，像有人拿尺子卡着心跳打点。运维老张端着保温杯站我身后，说“你这UI比我家鱼缸还难看懂”，转身去调Kafka积压，杯子沿上还沾着半粒枸杞。

　　窗外天亮了，灰白的光刚爬过机柜顶，防火墙日志一直在刷：TCP SYN flood字样每隔七秒闪一次，不是攻击峰值那种炸锅式刷屏，就是慢悠悠地、固执地，一行一行，像在等谁点确认。我其实没查清它到底冲哪儿——查过三次路由，扫过两遍ACL，最后关掉告警，只留一条原始流日志在窗口右下角，用红色高亮框框着，不动。它没打穿，但每次出现，Flink job就抖一下。真要命的是抖得不规律：有时候连续抖五次，有时候隔三分钟来一哆嗦。我删了三次告警规则，又手动加回来，加完才发现配置里多敲了个空格，重启后连不上ZK，愣是手抖改了四遍。

　　业务方小王昨晚十二点发微信，“老师，实时UV怎么又跌了？”我没回。今天早上九点他直接冲进工位，手里攥着打印出来的报表，纸边都起毛了：“架构师说数据链路没问题，监控全绿。”我把屏幕转过去，showMetrics里有个叫“deserializer_error_count”的指标，过去24小时涨了11万——不是突刺，是平缓上升的斜线，像冻住的体温计被慢慢捂热。他凑近看了三秒，说：“这不就是反序列化失败？我们上游发的JSON都带时间戳啊。”我点头，心里想：对，可你上周发过来的那个timestamp字段，格式在0.3%的流量里是毫秒级字符串，剩下99.7%是ISO8601，而你们代码里写的parse逻辑只接了后者。我没说破。说了他肯定又说“架构没定规范”，可我翻过去年Q4的SLA文档，里面白纸黑字写着“入参时间戳需为ISO8601，时区UTC”。那条文档末尾有我签名。我签的时候，正被三个PO推着上线Hudi 0.13升级，泡面凉在桌上，汤凝了一层膜。

　　第二坑是那个兜底重试。没人提，没人问，没人敢删——因为第一次写它的人三年前离职了，走之前留了封邮件：“兜底必须异步且限频，否则雪崩。”结果现在所有服务启动脚本里都挂着一个“retry-bridge.sh”，每5分钟扫一遍/tmp/retry_queue/下的文件，把内容丢进RocketMQ。问题在于，队列目录权限设成777，而业务方某次批量导入导出工具，把日志路径硬编码成同目录，导致重试脚本反复消费日志文件当消息体。有一次我们查到半夜，发现topic里混着12GB的debug.log，里面夹着387个重复的订单创建事件，其中6个已支付成功，系统又扣了六次款。同事阿哲查到凌晨两点，手机一直在震，是老婆第7次打来问“娃发烧39度你还回不回家”，他蹲在消防通道抽烟，烟头烫了手也没松开。

文章配图，仅供参考

　　第三坑最贱——它甚至不报错。就是慢。一种极其均匀的、拒绝解释的慢。去年年底我们就发现某些Spark SQL查询，在YARN队列满载时会稳定延后18秒返回，不多不少。运维说资源争抢，开发说SQL写了笛卡尔积，DBA说统计信息失效……吵到元旦前一天，我抽空把driver日志里所有“Starting task”时间戳导出来，画了个折线图。横轴是task ID，纵轴是调度延迟。整条线是一道完美的斜坡，从第一task的0.8秒匀速升到第2137个task的18.1秒。不是随机抖动，是系统性排队。后来发现是某次升级后，默认spark.scheduler.mode从FAIR变成FIFO，而队列配额表被某次Ansible Playbook误覆盖，只剩一条默认配额：priority=1，weight=1。没人碰过它，没人改过它，连告警都没开——因为它不触发阈值，只是让每件事准时晚18秒发生。就像钟表匠调快了秒针，所有人都按旧节奏活，只是世界整体迟钝了一拍。

　　我早该闻出味儿来。去年十一月有天晚饭，外卖送到工位，打开全是红油，辣得人鼻尖冒汗。我扒拉两口就放下了，太咸。后来发现不是外卖问题——是我当天喝了三杯美式，舌头麻痹了。原来味觉失灵的时候，人只会更用力尝，而不是停筷。大数据架构师躲着不说这三件事，不是藏什么秘籍，是它们根本没资格进方案评审会。没法画架构图，没法写SLA承诺，没法做PPT页脚标注。它们长在骨头缝里，和心跳同步，你改十次代码，它还在那儿等你下次换框架、升内核、切中间件——然后重新活过来。

　　反正我已经让运维把Flink的restart-strategy改成fixed-delay，不是为防崩溃，是想让它挂得更体面点：至少能多吐一句error log，别再悄无声息地卡住。至于重试脚本，下周抽半天，把它挪进容器，挂read-only volume。我知道防不住——只要业务还用/tmp当数据库，只要开发还在Git commit里写“临时修复”，只要我们继续信“这个版本先跑通再说”，它就会在某个清晨，安静地、再一次，把凌晨三点的日志当成实时数据，喂给正在做大盘的BI系统。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!