1. 日志系统的十年演进与技术全景
十年前我刚入行时,运维同事递给我一个2GB的文本日志文件说"查下昨晚的异常",用Notepad++打开直接卡死的场景还历历在目。如今分布式系统每天产生TB级日志,日志技术栈已发生翻天覆地的变化。从最初的文本文件到现在的全链路观测体系,日志系统演进背后是三个核心诉求的升级:检索效率、存储成本、关联分析。
早期单机时代的日志可以概括为"分散存放,人肉分析"。每个应用自己写日志文件,Web服务器、数据库、中间件各自为政。当出现跨系统问题时,运维要像侦探一样在几十个日志文件里找线索。我曾经历过一次支付故障排查,花了6小时比对Nginx、Tomcat、MySQL的日志时间戳,这种痛苦催生了日志集中化的需求。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 日志收集技术的三次革命
2.1 日志代理阶段(2010-2014)
以Logstash为代表的代理模式开启日志集中化先河。通过在每台服务器部署Logstash代理,将分散的日志文件统一推送到中央存储。这个阶段最大的痛点在于资源消耗——早期Logstash的JVM进程经常吃掉1GB以上内存,在小内存服务器上极易引发OOM。我们当时的解决方案是用更轻量的Filebeat替代,形成经典的ELK架构:
code复制Filebeat(采集) -> Logstash(过滤) -> Elasticsearch(存储) -> Kibana(展示)
关键经验:生产环境一定要限制Filebeat的日志采集速率,否则网络突发流量可能导致Logstash管道阻塞。建议配置
output.logstash.worker参数实现背压控制。
2.2 无代理采集阶段(2015-2018)
Kubernetes的兴起让传统日志代理模式面临挑战——容器生命周期太短,还没采集完日志Pod就可能已经销毁。Fluentd提出的DaemonSet方案成为转折点:在每台Node上部署一个日志采集Pod,通过挂载宿主机目录的方式收集所有容器日志。这个方案有两大突破:
- 无需在每个容器内运行采集进程
- 自动发现容器日志文件变化
当时我们在K8s集群落地时遇到个典型问题:某些Java应用日志持续写入导致文件无法轮转。最终通过配置fluentd的exclude_path参数跳过大文件,结合应用侧配置合理的log4j
