原标题：浙江移动计费系统去IOE实践

电信行业首个完全去IOE、容器化计费系统已稳定运行一年

计费系统是浙江移动业务支撑域的核心系统，为客户提供计费话单批价、话费余额管理、实时账单查询等服务，并且要满足业务话单处理及时性、服务高可用性等电信级系统要求，但近年来随着数据业务话单量爆发式增长，系统在需求开发交付效率、架构可扩展性等方面难以满足业务发展需要。

2019年3月22日，浙江移动基于端到端自主可控的软硬件解决方案，成功上线了电信运营商首个完全去IOE、容器化的计费系统，解决了系统IOE架构下横向扩展难、部署周期长、运营成本高等问题。 目前系统整体稳定运行一年，峰值时应用容器规模已超2万、话单峰值增长233%，CPU利率提升100%，后IOE时代的计费系统架构稳定性、可扩展性得到验证，更加坚定了浙江移动核心业务支撑系统端到端自主可控的实践之路。

图 系统关键指标运行情况

浙江移动计费系统去IOE历程

1

一阶段（2015-2018），以X86服务器集群替代小型机实现去I

计费系统属于密集计算型系统，在Unix和小型机技术生态圈呈现萎缩趋势下，通过多台标准化x86通用服务器组成应用集群，实现小型机替换。并通过分布式任务调度组件，实现应用在集群内自愈，解决x86服务器宕机时的系统高可用问题。

标准化的x86服务器在设备扩容、运维成本上更加低廉，通过横向集群扩展，并按业务类型、地区进行业务分流，满足了计算资源增长需求。此阶段计费系统实现x86化，架构上整体完成去I。

2

二阶段（2018-2019），以平台化的架构能力，实现计费系统完全去IOE

随着物联网、视频流量业务快速发展，计费xDR话单文件数量急剧增加。一方面集群扩容周期以月为单位，需要大量的设备、应用集成成本；另一方面，磁盘阵列I/O指标到达瓶颈，在业务高峰期，与计费处在同一存储的系统，出现I/O资源相互争抢，导致系统不稳定，话单经常出现积压等问题。

为降低应用对高性能存储的依赖，我们对计费系统的架构进行了升级，以流式计算模式将话单文件读写所消耗的性能转换为算力，实现“话单处理不落地”。

计费核心业务流程中的应用实现了“无状态化”，对接弹性计算平台（DCOS）后实现应用全部容器化，实现秒级扩容；以x86设备构建高性能、低延迟、高可用的分布式文件系统，摆脱对高端存储的依赖；引入Gbase进行计费系统的详单数据存储替代O库，计费系统完成了架构上实现整体去IOE。

计费系统技术架构特点

1

改变以文件驱动的业务流程， 实现消息驱动的微服务架构。

基于数据访问与业务处理分离的思想，构建高性能RPC流式计算框架，抽象出生产者和消费者两类计费业务组件，分离了数据与应用，实现了应用无状态化，业务组件以独立进程的形式运行在容器中，充分利用了DCOS平台秒级扩缩容能力。

2

根据计费业务量峰谷明显的特点， 构建两级资源调度能力， 大幅提升资源利用率。

分布式计算总线与DCOS平台对接，一方面能分域对计费应用进行管理，对部署在资源池上的应用进行统一调度；另一方面根据计费业务峰谷明显的特点进行资源调度，白天保障计费话单处理，晚上供账务生成账单使用。在保障系统整体稳定性情况下，充分提高了资源利用效率。

3

基于自主可控的分布式文件系统，摆脱对高端阵列存储依赖。

流式计算模式下，计费话单文件在处理过程中不再落地，大幅减少了应用频繁读写文件的需求。分布式文件系统底层的存储块之间互为备份，通过多个机头实现负载均衡，把业务处理压力进行分摊，并且保证了整体高可用。

在系统并行期间进行了压垮性测试，分布式文件系统I/O高峰可达40万IOPS，吞吐量可达数百万个文件/天，摆脱了计费系统对落后产能的依赖。

后续展望

IT设施一直以来存在着核心软硬件自主性不足问题，亟需加快提升系统架构掌控能力，在实践中探索适合业务特点的技术架构，实现IT系统端到端自主可控。后续计划以平台化的架构能力，进一步扩大自主可控范围。

在近期3Gpp制定的5G规范R15标准中，对融合计费系统架构提出了断代式的改造要求，其重点是与当前主流的微服务架构进行了技术匹配，需要进一步进行技术架构演进和优化，快速支撑多样化的5G业务需求。

END

图文：三墩IT人

排版：三墩IT人

责任编辑：