防痴呆设计

    最痴呆的问题，就是有多个版本的相同jar包，会出现新版本的 A 类，调用了旧版本的 B 类，而且和JVM加载顺序有关，问题带有偶然性，误导性，遇到这种莫名其妙的问题，最头疼，所以，第一条，先把它防住，在每个 jar 包中挑一个一定会加载的类，加上重复类检查，给个示例：

    检查重复工具类：

    3.     private Duplicate() {}  
    5.     public static void checkDuplicate(Class cls) {  
    6.         checkDuplicate(cls.getName().replace('.', '/') + ".class");  
    7.     }  
    9.     public static void checkDuplicate(String path) {  
    10.         try {  
    11.             // 在ClassPath搜文件  
    12.             Enumeration urls = Thread.currentThread().getContextClassLoader().getResources(path);  
    13.             Set files = new HashSet();  
    14.             while (urls.hasMoreElements()) {  
    15.                 URL url = urls.nextElement();  
    16.                 if (url != null) {  
    17.                     String file = url.getFile();  
    18.                     if (file != null && file.length() > 0) {  
    19.                         files.add(file);  
    20.                     }  
    21.                 }  
    22.             }  
    23.             // 如果有多个，就表示重复  
    24.             if (files.size() > 1) {  
    25.                 logger.error("Duplicate class " + path + " in " + files.size() + " jar " + files);  
    26.             }  
    27.         } catch (Throwable e) { // 防御性容错  
    28.             logger.error(e.getMessage(), e);  
    29.         }  
    30.     }

    检查重复的配置文件

    必填配置估计大家都会检查，因为没有的话，根本没法运行。但对一些可选参数，也应该做一些检查，比如：服务框架允许通过注册中心关联服务消费者和服务提供者，也允许直接配置服务提供者地址点对点直连，这时候，注册中心地址是可选的，但如果没有配点对点直连配置，注册中心地址就一定要配，这时候也要做相应检查。

    异常信息给出解决方案

    在给应用排错时，最怕的就是那种只有简单的一句错误描述，啥信息都没有的异常信息。比如上次碰到一个 Failed to get session 异常，就这几个单词，啥都没有，哪个 session 出错? 什么原因 Failed? 看了都快疯掉，因是线上环境不好调试，而且有些场景不是每次都能重现。异常最基本要带有上下文信息，包括操作者，操作目标，原因等，最好的异常信息，应给出解决方案，比如上面可以给出："从 10.20.16.3 到 10.20.130.20:20880 之间的网络不通，请在 10.20.16.3 使用 telnet 10.20.130.20 20880 测试一下网络，如果是跨机房调用，可能是防火墙阻挡，请联系 SA 开通访问权限" 等等，上面甚至可以根据 IP 段判断是不是跨机房。另外一个例子，是 spring-web 的 context 加载，如果在 getBean 时 spring 没有被启动，spring 会报一个错，错误信息写着：请在 web.xml 中加入: <listener>…<init-param>…，多好的同学，看到错误的人复制一下就完事了，我们该学学。可以把常见的错误故意犯一遍，看看错误信息能否自我搞定问题，或者把平时支持应用时遇到的问题及解决办法都写到异常信息里。

    1. public void error(String msg, Throwable e) {  
    2.     delegate.error(msg + " on server " + InetAddress.getLocalHost() + " using version " + Version.getVersion(), e);  
    3. }

    获取版本号工具类：

    kill 之前先 dump

    每次线上环境一出问题，大家就慌了，通常最直接的办法回滚重启，以减少故障时间，这样现场就被破坏了，要想事后查问题就麻烦了，有些问题必须在线上的大压力下才会发生，线下测试环境很难重现，不太可能让开发或 Appops 在重启前，先手工将出错现场所有数据备份一下，所以最好在 kill 脚本之前调用 dump，进行自动备份，这样就不会有人为疏忽。dump脚本示例：

    2. OUTPUT_HOME=~/output  
    3. DEPLOY_HOME=`dirname $0`  
    4. HOST_NAME=`hostname`  
    6. DUMP_PIDS=`ps  --no-heading -C java -f --width 1000 | grep "$DEPLOY_HOME" |awk '{print $2}'`  
    7. if [ -z "$DUMP_PIDS" ]; then  
    8.     echo "The server $HOST_NAME is not started!"  
    9.     exit 1;  
    10. fi  
    12. DUMP_ROOT=$OUTPUT_HOME/dump  
    13. if [ ! -d $DUMP_ROOT ]; then  
    14.     mkdir $DUMP_ROOT  
    15. fi  
    17. DUMP_DATE=`date +%Y%m%d%H%M%S`  
    18. DUMP_DIR=$DUMP_ROOT/dump-$DUMP_DATE  
    19. if [ ! -d $DUMP_DIR ]; then  
    20.     mkdir $DUMP_DIR  
    21. fi  
    23. echo -e "Dumping the server $HOST_NAME ...\c"  
    24. for PID in $DUMP_PIDS ; do  
    25.     $JAVA_HOME/bin/jstack $PID > $DUMP_DIR/jstack-$PID.dump 2>&1  
    26.     echo -e ".\c"  
    27.     $JAVA_HOME/bin/jinfo $PID > $DUMP_DIR/jinfo-$PID.dump 2>&1  
    28.     echo -e ".\c"  
    29.     $JAVA_HOME/bin/jstat -gcutil $PID > $DUMP_DIR/jstat-gcutil-$PID.dump 2>&1  
    30.     echo -e ".\c"  
    31.     $JAVA_HOME/bin/jstat -gccapacity $PID > $DUMP_DIR/jstat-gccapacity-$PID.dump 2>&1  
    32.     echo -e ".\c"  
    33.     $JAVA_HOME/bin/jmap $PID > $DUMP_DIR/jmap-$PID.dump 2>&1  
    34.     echo -e ".\c"  
    35.     echo -e ".\c"  
    37.     echo -e ".\c"  
    38.     if [ -r /usr/sbin/lsof ]; then  
    39.     /usr/sbin/lsof -p $PID > $DUMP_DIR/lsof-$PID.dump  
    40.     echo -e ".\c"  
    41.     fi  
    42. done  
    43. if [ -r /usr/bin/sar ]; then  
    44. /usr/bin/sar > $DUMP_DIR/sar.dump  
    45. echo -e ".\c"  
    46. fi  
    47. if [ -r /usr/bin/uptime ]; then  
    48. /usr/bin/uptime > $DUMP_DIR/uptime.dump  
    49. echo -e ".\c"  
    50. fi  
    51. if [ -r /usr/bin/free ]; then  
    52. /usr/bin/free -t > $DUMP_DIR/free.dump  
    53. echo -e ".\c"  
    54. fi  
    55. if [ -r /usr/bin/vmstat ]; then  
    56. /usr/bin/vmstat > $DUMP_DIR/vmstat.dump  
    57. echo -e ".\c"  
    58. fi  
    59. if [ -r /usr/bin/mpstat ]; then  
    60. /usr/bin/mpstat > $DUMP_DIR/mpstat.dump  
    61. echo -e ".\c"  
    62. fi  
    63. if [ -r /usr/bin/iostat ]; then  
    64. /usr/bin/iostat > $DUMP_DIR/iostat.dump  
    65. echo -e ".\c"  
    66. fi  
    67. if [ -r /bin/netstat ]; then  
    68. /bin/netstat > $DUMP_DIR/netstat.dump  
    69. echo -e ".\c"  
    70. fi  
    71. echo "OK!"