四川农信，主力军银行里的智慧运维力量 -k8凯发天生赢家

四川省农村信用社联合社（以下简称“四川农信”）诞生于1951年，紧盯打造“农村金融主力军、地方金融主力军、普惠金融主力军”目标愿景，全面推进合规银行、智慧银行、主力军银行建设。至2021年12月底，四川农信有5131个营业网点，近4万名从业人员，资产规模达1.8万亿元，各项存款1.5万亿元，各项贷款8775亿元，资产规模、存款规模位居全省同业第一位、全国农信系统第七位。

作为全国排名前列的省级农信，四川农信很早就意识到信息化支撑的重要性，并建设了众多自动化运维工具。

然而随着业务的高歌猛进，it规模成倍数增长。原有运维工具分散带来的问题日益凸显，部分运维能力不足，限制了运维管理工作效率的进一步提升，难以满足新业务环境运维需求。另外运维人员对于运维场景的创新想法，也缺乏好的手段和技术支撑而较难落地，运维自主性难以体现。

如何进行多数据中心统一运维建设？如何整合原有零散工具进行体系化发展建设？如何释放技术人员创新活力？如何满足个性化定制与自主可控要求？等等问题摆在了四川农信运维部门面前。

改变，势在必行。

经过长时间的交流与研判，四川农信最终选择与嘉为蓝鲸携手，通过三个阶段进行自动化运维及运维开发平台建设，实现从平台引入、到工具整合、再到自动化运维一体化集成的目标。

01. 纳管整合，构建一体化运维

蓝鲸平台是paas化技术架构，可以提供基础平台运维原子模块能力，四川农信可以基于平台构建运维工具，并且将零散的工具通过蓝鲸实现整合，逐步实现工具架构的演变。

1）cmdb：自动采集，支持消费

作为自动化运维的基石，cmdb的重要性不言而喻。以往四川农信基于remedy进行配置管理，功能有限。项目过程中，嘉为帮助四川农信重新梳理cmdb数据，建设了可供消费的配置管理数据库。

贯穿应用运维及基础架构，已纳管实例近2万，开发数十个自动发现和自动采集脚本实现信息的自动化采集。同时，完成近20个应用系统的应用拓扑可视化配置，可以从业务视角协助进行故障定位和影响分析，实现应用拓扑、故障影响分析的cmdb数据信息消费。

2）itsm：灵活易用，体验提升

四川农信原有使用remedy进行工单管理，然而使用成本高、体验亦不好。本次项目，启用嘉为蓝鲸it服务管理中心，实现通用服务请求流程迁移，并且搭配使用智能客服，服务体验显著提升。

3）监控告警：集中管理，统一闭环

四川农信沿用过往建设的监控能力，结合嘉为蓝鲸监控中心和告警中心，通过平台提供的api、插件等方式接入数据，实现告警事件全生命周期的统一闭环管理。

同时，可以联动cmdb拓扑丰富告警信息，辅助根因定位，也支持移动端通知、自愈审批、h5界面集成等便捷功能。

4）自动化作业：灵活编排，效率提升

基于作业平台和运维脚本编排，四川农信实现运维自动化作业。以往缺失的工具如自动化发布等，也可以基于平台实现。

以某系统发布为例，以往需要登录几十台服务器人工操作，耗时50分钟；目前实现一键发布，耗时仅需10分钟，运维工作效率提升5倍！

02. 自主开发，支持智慧创新落地

蓝鲸平台在四川农信内部的定位，除了是运维工作平台，更是运维开发平台。有了一体化运维工具辅助，在提高了运维效率之外，也让运维人员有更多宝贵的时间投入到更具创新的实践中去。

蓝鲸paas提供的运行环境托管、前后台开发框架、低代码平台等，有效支撑了四川农信创新想法的落地。目前，四川农信已经基于平台独立自主研发了调用链分析、批处理监控、通用查询、备份恢复验证、故障进度处理等等运维场景，业务支撑愈加游刃有余。

1）调用链分析

通过应用墙大屏总览各应用系统运行情况，通过点击图标可以跳转对应链路监控页面，查看链路交易情况。

2）批处理监控

针对批量作业任务，集中监控作业状态、耗时情况等，点击单个任务可查看任务内的所有作业执行状态。

3）通用查询

将常用后台数据库查询界面化，供服务台和运维人员使用。目前日均减少核心系统运维人员查询工作时间2小时。

4）备份恢复验证

将数据库备份数据恢复到验证环境，验证数据备份是否正常，保证备份数据的完整性和可用性。目前已经实现多个数据库、多个业务系统的备份自动恢复。

5）故障进度处理

集中展现故障处理进度情况，能及时发现异常处理及时干预，提升故障处理效率。

03. 数据说话，初探智能化运维

做好基于大数据计算的智能运维需要几步？四川农信从日志数据着手开始探索，给出了实践答案。

• 建设好cmdb、流程、监控告警、自动化等基础自动化运维工具，逐步累积运维数据。
• 通过蓝鲸计算平台和日志平台，进行基于大数据计算的日志分析。
• 联动平台其他功能saas，进行场景应用。

1）日志平台：快速查询，联动告警

四川农信过往日志分散，查询效率低；另外无日志告警，无法及时发现问题。

通过蓝鲸日志平台统一收集各业务系统日志，能够以业务系统为维度集中查询系统交易日志，辅助分析故障，快速定位问题原因。同时联动监控平台，设置日志关键字监控，一旦出现异常即可触发告警。

2）计算平台：异构存储，可视建模

蓝鲸计算平台，弥补了过往不同数据源无法关联、数据开发门槛高的弊端，兼容多种异构数据源采集存储，提供一站式、低门槛的数据开发服务，和全流程、可视化的数据建模，提升数据开发效率。

经过不断论证调试，四川农信也实践出了多个场景的智能运维应用。

例如通过日志数据计算交易量、耗时、成功率、响应率存储到数据库，联动四川农信自主研发的调用链分析saas读取数据进行展示，能直观看到各系统应用的链路交易情况，实现对业务交易健康状态的实时监控。

打破烟囱模式，完善运维工具，集成一体化运维只是第一阶段的目标。未来，四川农信将基于前期内容进行功能增强和功能扩展，落实运维数据规范化、运维工具流程化、运维工具一体化目标，实现三地四中心五节点的多网域环境的统一运维，优化和深化各模块和场景，持续探索大数据应用，为主力军银行的建设贡献智慧运维力量！