在信息技术日新月异的今天，企业it环境日益复杂，海量且异构的信息系统运营带来了前所未有的管理和优化挑战。随着业务规模的不断扩大，日志数据的存储成本急剧上升，同时数据隐私与安全性也成为社会各界关注的焦点。
为确保业务连续性与数据安全，企业亟需构建一套完善的日志管理体系。通过集中采集与分析日志数据，企业不仅能高效识别问题、优化系统性能，还能便捷地对敏感信息进行脱敏处理，满足日益严格的监管要求。此外，集中归档功能有效降低了数据存储成本，优化了资源分配。更重要的是，集中化的日志管理体系为企业提供了实时统计关键业务指标的能力，助力企业快速识别系统瓶颈和低效操作环节，为运营决策提供及时、准确的数据支持，从而在激烈的市场竞争中保持领先地位。
01. 业务场景
某市级城市商业银行正面临日志管理的严峻挑战。其下辖的50套业务系统每日产生海量日志数据，这些数据亟待集中采集与高效管理。尤为关键的是，这些数据中包含大量敏感信息，因此在采集过程中必须实施严格的脱敏处理，确保每一步操作都符合最高级别的安全合规标准。
同时，银行还需要保证脱敏后的日志数据仍具备有效的检索和分析功能，以支持运营团队的日常决策需求。然而，并非所有日志数据都需要日常监控，部分数据仅用于满足审计要求，这导致了存储成本的显著增加。
此外，银行还需实时监控关键业务指标，如成功交易笔数、失败交易笔数等，并进行可视化展示，以便及时发现潜在问题并采取措施，确保业务稳定性和客户满意度。然而，现有的日志采集与监控体系存在明显不足，令技术人员在数据处理和分析阶段痛疼不已，监控手段的匮乏也影响了异常情况的及时发现。
为解决上述问题，该银行引入嘉为蓝鲸日志中心（以下简称“日志中心”），构建一套全企业统一的日志管理平台，以加强it运维管理和满足安全合规要求，同时提升数据处理效率和监控能力。
02. 痛点与需求
- 业务故障响应效率低下，无法对日志关键信息进行监控告警，当业务故障发生时，运维团队需要逐台登录多台服务器以查询相关日志。这一过程不仅耗时较长，而且在搜索和定位特定信息时极为不便，导致问题的排查和解决效率大幅降低。
- 日志安全检查流程繁琐，以往的数据脱敏处理，运维团队需要先下载日志文件，然后将其导入安全检查软件进行敏感信息的识别。这一过程不仅步骤繁琐，耗时长，且在检查过程中，时间戳等本不应被视为敏感信息的内容也常常被误判，不仅增加了工作负担，还可能导致合规性问题，延缓了故障响应和处理的速度。
- 审计要求造成了存储成本浪费，各业务系统中的所有日志数据并非在日常运维中都需要进行监控和分析。实际上，这部分数据的保存主要是为了满足审计要求。如果将这些不常用的日志数据与常用日志数据共同存储在高性能存储设备中，将会导致显著的成本浪费。
- 交易失败统计流程低效，统计本周或本月的交易失败数量需要运维团队逐一登录服务器，筛查关键报文的失败信息。这一过程不仅耗时且效率低下，无法实现直观地查看和分析，导致团队在获取重要业务数据时面临困难，进而影响整体业务的稳定性和客户体验。
03. k8凯发天生赢家的解决方案
1）建设统一日志管理中心，实现全面日志整合
建设一个统一日志管理系统，旨在高效整合和管理来自不同层级的海量日志数据。该系统将涵盖物理层、系统层、应用层的日志信息，包括各种应用、服务组件、操作系统、容器、硬件设备等资产类型的日志。在此平台上，用户可以实现快速的日志检索、数据脱敏、分析统计与监控，从而提升日志数据的利用价值，提高运维排错的效率，确保业务操作的顺畅与稳定。
2）建设脱敏规则，满足各种安全合规
对敏感信息进行脱敏处理，并且确保处理后的数据在保护隐私的同时，依然能保持完整和高效的检索能力，同时所有日志导出都将严格遵循预定的脱敏标准，并且可以针对不同角色设置是否展示原文。
3）满足审计要求，降低日志存储成本
提供日志归档能力，对日常运维中不需要的日志进行归档处理，将日志迁移至成本较低的存储介质中。此外，若需要对这些已归档日志进行运维分析，支持归档回溯到高性能存储介质中支撑运维工作，既满足了审计要求，又降低了存储成本。
4）数据可视化，统计业务关键指标
基于仪表盘等可视化组件，统计展示成功笔数、失败笔数等交易信息，并结合检测算法，实现对关键指标的实时监控。
04. 建设成果
1）日志检索：迅速发现和解决问题，提升运维效率
基于日志中心的统一日志采集与管理方案，用户不再需要线下手动从服务器下载日志文件进行排障，通过日志中心提供的高效便捷的日志检索能力，可以直接在日志中心进行关键字的快速查询。此外，该平台还支持跨业务的日志联合检索与分析，例如根据某一交易流水号串联各个应用的日志进行问题排查，并结合上下文信息和实时日志功能，从而实现故障的快速定位。这不仅显著提升了运维效率，也帮助企业实现了降本增效的目标。
2）数据脱敏：确保数据安全，满足合规要求
基于日志中心提供的全面脱敏和选择性脱敏策略，用户不再需要手动从服务器下载日志并导入安全检查软件来提取敏感信息。这一方案允许用户直接在系统内对敏感信息进行脱敏处理，极大地简化了操作流程，节省了时间和人力成本。
且经过脱敏处理的数据仍然保留了完整的日志检索功能，确保用户能够高效地进行数据分析，快速定位问题。同时，日志导出过程也严格遵循脱敏规则，确保任何外部共享的数据都符合安全合规要求。不仅显著提升了工作效率，还有效增强了数据的安全性，降低了潜在的泄露风险。通过日志中心，用户可以在保障数据安全的前提下，灵活、高效地进行日志管理与分析。
3）日志数据存储：提升审计合规性与降低存储成本
提供了hdfs、腾讯云cos和共享目录三种低成本存储介质进行日志的归档存储，实现日志的有效归档功能。这使得需要长时间保留的日志能够安全地转移至成本更低的存储设备，并且支持归档日志回溯到高性能存储介质中进行日志分析，优化了存储资源的使用。不仅降低了存储费用，还确保了数据的安全性和可访问性，满足了审计合规性要求和业务需求。
4）监控分析：业务指标监测与分析，保障业务稳定性
基于日志的统一采集与管理，系统地统计成功笔数、失败笔数等交易信息，并利用仪表盘等可视化组件展示关键指标数据。通过深入分析这些数据，能够有效识别系统瓶颈和低效操作，发现潜在的优化空间。同时结合8种异常检测算法，可以实现各种关键指标的实时监控，有效保障了各业务的稳定性。
05. 建设收益
- 统一采集了约50个业务系统日志，涉及服务器约2000台，实现日志全量管理；
- 对比之前客户的脱敏流程，建设日志中心后其脱敏效率提升了约70%，并且满足了各种安全合规的要求，有效保障了数据安全性；
- 对比之前客户从服务器手动获取业务日志的运维方式，建设日志中心后运维排查效率提升约60%；
- 对比日志数据同级存储，日志数据进行归档分级存储后，既满足了安全审计要求，又降低了存储成本约30%；
- 实时监测和分析关键指标，为后续的系统优化和改进提供数据支持，进一步提高系统的可靠性和效率。
06. 适用场景
日志中心适用于有以下业务场景需求的企业：
- 存在海量的、异构化的业务日志需要采集纳管；
- 需要对敏感信息进行脱敏处理，以满足各种安全合规，且脱敏后不影响日志检索分析；
- 对日志存储有审计要求，且希望降低存储成本；
- 需要对日志内容的关键指标进行统计分析和监控；
- 需要按业务系统进行高性能、交互便捷的日志检索支撑业务日志排查。
