摘要：

本文以分布式大容量终端平台为例，主要论述了软件容错技术和方法在该平台中的具体应用。通过采用以集群化的形式进行应用部署；通过主备形式的数据库部署进行软件容错；通过程序设计方面进行软件的容错与避错。事实证明，以上软件容错技术的应用对于系统的可用性、安全性和可扩展性方面起到了很好的效果，满足了该系统的性能需求，该平台从上线到现在已稳定运行一年半，得到了用户和领导的一致好评。

正文：
背景

回应论点2/3

平台采用的核心架构风格为SOA面向服务的架构，采用C++为后端服务开发语言和C#客户端语言，平台中的核心服务必须要能满足7*24小时的稳定运行，对软件的可靠性要求非常高，所以在该平台中的这些核心服务就必须具备一定的容错能力，在某个服务出错的情况下不能影响到整个集群中的服务，这就要求在软件架构设计中必须考虑到软件容错技术的应用。
提高软件系统可靠性技术主要分为容错技术和避错技术，软件容错技术主要有恢复块方法、N版本程序设计、冗余设计和防卫式程序设计等。其中恢复块设计是选择一组软件操作作为容错设计单元，将普通的程序块变成恢复块。N版本程序设计的核心是通过设计出多个模块或不同版本，对于相同初始条件和相同输入的操作结果，实现多数表决，防止其中某一软件模块/版本的故障提供错误的服务，以实现软件容错。冗余设计是在一套完整的软件系统之外，设计一种不同路径、不同算法或不同实现方法的模块或系统作为备份，在出现故障时可以使用冗余的部分进行替换，从而维持软件系统的正常运行。缺点是费用和资源的消耗会有所增加。 检错技术是在软件出现故障后能及时发现并报警。其缺点是不能自动解决故障。降低复杂度设计是因为软件复杂性与软件可靠性有着密切关系，是产生软件缺陷的重要根源。在设计时考虑降低软件的复杂性，是提供软件可靠性的有效方法。
结合本平台大容量高并发高可靠的要求，我主要采用了集群技术、数据库主从技术和程序设计方面来进行软件的容错和避错处理。下面就从以上三方面详细讨论我所采用的容错技术和方法。
1.通过集群技术来容错
平台中的各服务如果在运行时部署在一台服务器上，那么当服务器发生故障，整个平台将不能再提供任何服务。所以一般非常小规模的应用才会采取这样的部署方式，像分布式大容量终端平台来说必须采用多机同时部署，防止单台服务机宕机或者服务进程Crash导致此服务机的终端不可用，通过多机同时部署，当一台服务机出现问题时，可以很容易替换一台新服务机进行部署生效，通过服务客户端的软负载均衡功能，可动态剔除不可用服务机，动态发现新加入集群的服务机，使平台在出现故障时可平滑过渡，达到容错的目的。本平台有500台定制的增强型IRB服务机，每个IRB有32个USB终端口，总共支持16000个终端在线，实际业务最大并发为10000终端，具备冗余量。 用户申请指定数量的终端，平台根据申请需求分配地域最近、性能最好的空闲终端给用户，用户释放终端，资源就又回到终端平台资源池。有新可用的业务机，自动连接加入平台 ，有IRB业务机或终端发生故障，平台能动态剔除掉不可用设备，通过集群实现了动态自调整的可用终端池，
2.通过数据库主从部署方式容错
对于该平台来说，后端数据库存储的稳定性是非常重要的，所有终端的硬件信息、系统固件信息、版本、IMSI、IMEI、UeId等关键信息直接存储到数据库中。如果数据库在运行过程中频繁宕机，那么带来的问题将是不能容忍的，因为会造成终端网络业务、等等问题，所以在这里就要求数据库储存要具有非常高的可靠性，同时具有很强的容错性，在这里我主要采用了数据库的部署结构为主从式方式，要求部署在不同服务器上，在不出问题的情况下对于一些时效性要求不是很高的场合从库可以负责承担一部分读流量，当主库发生读写问题时，可快速由其他的从库升级为主库，继续服务，达到容错的效果。在这里我还采用了要求数据库宕机加报警的方式来防止宕机的主从数据库实例过多，导致在并发高的情况下没有可用的从库升级为主库提供服务，通过这样的方式也提高了整个平台的高可靠性。数据库的数据文件存储这里我也要求采用了RAID5磁盘容错技术来防止单块磁盘损坏导致的数据文件丢失问题。
3.通过程序设计方面进行软件的容错与避错
首先整体采用了分层架构设计，主要划分为应用层、服务层、数据层，每个层只与相邻的层交互，在应用层将系统水平划分为二十多个子系统，采用层次架构设风格降低了软件复杂度，使得系统的结构明确立体，提高了系统可靠性。
根据以往的架构经验，系统的不可靠大部分是由于程序内部的设计或者网络请求参数的配置或者连接池参数配置不当所导致的，所以通过程序设计方面进行软件的容错是非常重要的。在程序设计方面的容错用的最普遍的就是防卫式程序设计，tryCatch机制防止出现崩溃，例如平台中的升级ndk APP服务，当升级的过程中终端被移除或网络故障，势必会造成升级失败，在这里加入了版本检查、升级、读取当前版本三个操作，如果升级后版本文件没更新说明升级失败，对升级方法采用了tryCatch机制重试3次的容错处理机制，如果3次重试仍旧失败，在界面和log文件输出提示信息，提示用户检查网络，而不会崩溃。我们的平台有log4net和log4cpp框架搭建的log子系统，可配置输出到用户界面、数据库、文件三种形式， 凡是重要的或可能出现异常步骤都会将详细的log输出同时显示在界面的一个log form。系统所有捕获的异常都会catch并打印详细堆栈信息，异常信息包括源文件名、行号、方法名、异常类型、异常信息等，有利于开发人员定位故障和程序的稳定性。 平台采用的是SOA的架构风格，在服务之间的通讯过程中涉及数据的传递，这里我采用了在数据传输协议的头部加CRC码来做到对错误数据处理的避错，另外还采用了心跳线检测系统服务状态、看门狗技术防止软件假死等容错技术。
通过采用了以上容错技术的方法和措施后，平台从上线到运行至今，各服务运行状态良好，通过日志分析来看，信令解析和业务测试成功率很高，容错性高，几乎没出现过系统崩溃。 即使发生网络断开等故障，都有重连保活机制使得系统能自恢复。 得到了用户和中心领导的一致赞赏和认可。但在我看来还有以下两点不足之处：1.两万台以上的高并发场景尚未实施和测试，需要开展性能评估； 2.服务的粒度控制不够精准，需要调整优化。
软件容错技术对软件的稳定性起着至关重要的作用，尤其是针对高并发大容量峰值场景等存在流量峰值网络拥塞等问题，软件容错技术的应用的重要性就不言而喻了。经过这次我所采用的软件容错技术的方法和措施的实施效果后，使我也看到了自己身上的不足之处，我会在今后的架构设计过程中，不断更新自己的知识，不断完善自己的架构设计领域，设计出更好的软件架构，更好的支持业务平台的运行，提供公司的竞争力，为公司为社会尽一份绵薄之力。