1.检测web shell的改进

（1）分词token

7.4节中web shell（一）中token_pattern=r'\b\w+\b'

本节中web shell（二）中r_token_pattern=r'\b\w+\b\(|\'\w+\''

（2）对黑样本的调用操作建立特征，使用1-gram生成全局的词汇表，代码如下：

    webshell_bigram_vectorizer = CountVectorizer(ngram_range=(1, 1), decode_error="ignore",token_pattern = r_token_pattern,min_df=1)webshell_files_list=load_files("../data/PHP-WEBSHELL/xiaoma/")x1=webshell_bigram_vectorizer.fit_transform(webshell_files_list).toarray()y1=[1]*len(x1)

这里对比web shell1的黑样本特征处理源码：

    webshell_bigram_vectorizer = CountVectorizer(ngram_range=(2, 2), decode_error="ignore",token_pattern = r'\b\w+\b',min_df=1)webshell_files_list=load_files("../data/PHP-WEBSHELL/xiaoma/")x1=webshell_bigram_vectorizer.fit_transform(webshell_files_list).toarray()

打印webshell2的黑样本vocabulary

{'phpif(': 282, 'crypt(': 150, "'http_h0st'": 51, "'514zr17f8j0q6'": 7, 'file_put_contents(': 181, "'http_x'": 53, "'http_y'": 54, 'header(': 217, 'fsockopen(': 195, 'echo(': 158, 'eval(': 163, 'fwrite(': 197, 'while(': 345, 'feof(': 175, 'fgets(': 178, 'fclose(': 172, 'str_replace(': 324, 'akmi4(': 120, 'gzsw5(': 214, 'hygg4(': 219, 'foxl6(': 191, 'gzinflate(': 212, 'base64_decode(': 131, 'include(': 224, 'phpini_set(': 283, 'system(': 335, 'chr(': 140, '_uu(': 118, '_ff(': 117, '_(': 112, 'die(': 153, "'forbidden'": 43, "'ls'": 63, "'cd'": 22, 'x(': 347, "'c'": 20, "'wind'": 107, "'assert'": 17, "'hkwwj'": 48, 'write(': 346, "'_request'": 14, 'empty(': 160, "'pbbs'": 73, "'upb_'": 100, 'lwa(': 241, "'pwwk'": 78, "'xfrwa'": 108, 'sdlt(': 303, "'epd'": 38, "'root'": 85, "'request_method'": 83, "'post'": 77, 'if(': 221, 'file_exists(': 179, 'copy(': 147, "'tt'": 97, "'tt1234'": 98, 'md5(': 246, 'phpsession_start(': 284, 'ini_set(': 226, "'memory_limit'": 65, 'define(': 152, "'pass'": 71, "'123456'": 2, 'pack(': 275, 'array(': 123, "'p'": 69, 'i(': 220, "'f'": 40, "'e'": 35, "'h'": 47, "'687474703a2f2f626c616b696e2e64756170702e636f6d2f7631'": 10, "'s'": 86, 'isset(': 231, "'t'": 93, 'gzuncompress(': 215, "'_'": 12, '__f_f(': 113, '__h_h(': 114, "'lave'": 60, 'strrev(': 332, 'assert(': 127, 'phperror_reporting(': 280, 'session_start(': 306, "'api'": 16, 'substr(': 333, 'file_get_contents(': 180, 'sprintf(': 319, "'687474703a2f2f377368656c6c2e676f6f676c65636f64652e636f6d2f73766e2f6d616b652e6a7067'": 9, 'uniqid(': 340, 'preg_replace(': 291, 'array_map(': 125, "'expdoor'": 39, '65534(': 111, '65533(': 110, 'intval(': 227, "'port'": 76, "'host'": 49, "'os'": 68, 'sys_get_temp_dir(': 334, 'getuid(': 207, 'unsetenv(': 342, 'open(': 271, 'exit(': 167, 'read(': 298, 'void(': 344, "'freebsd'": 45, 'function_exists(': 196, "'file_put_contents'": 42, 'fopen(': 188, "'w'": 105, 'gethostbyname(': 203, 'explode(': 170, "'shellcode'": 90, "'ld_preload'": 61, 'unset(': 341, 'boomproc_open(': 135, "'ihsteam'": 57, 'mail(': 242, "'usr'": 101, "'idc'": 56, 'k(': 232, "'u'": 99, "'0k'": 1, "'e057f20f883e'": 36, "'qwer'": 80, 'exp(': 168, 'str_rot13(': 325, 'riny(': 301, "'call'": 21, "'code'": 24, "'61737365727428245f504f53545b635d293b'": 8, "'cmd'": 23, 'getmd5(': 204, 'set_time_limit(': 307, 'date(': 151, "'gzip'": 46, 'gzwrite(': 216, "'fp'": 44, 'mysql_select_db(': 260, 'gzopen(': 213, 'mysql_fetch_array(': 256, "'tables_in_'": 94, 'mysql_num_rows(': 258, 'mysql_fetch_row(': 257, 'mysql_escape_string(': 255, 'values(': 343, 'implode(': 223, 'gzclose(': 209, 'filetype(': 185, "'rb'": 81, 'fread(': 194, 'filesize(': 184, 'time(': 337, 'rand(': 297, "'http_referer'": 52, "'document_root'": 34, "'remote_addr'": 82, "'script_filename'": 87, "'server_addr'": 88, "'server_software'": 89, "'path_translated'": 72, "'php_self'": 75, 'chunk_split(': 141, 'base64_encode(': 132, 'shell_exec(': 310, 'exec(': 164, 'phpeval(': 281, 'getenv(': 202, "'http_code'": 50, 'base_convert(': 133, "'0011000000111010'": 0, 'call_user_func(': 136, 'create_function(': 149, "'base'": 18, "'_de'": 13, 'g___g_(': 199, "'sp'": 92, 'strlen(': 328, 'for(': 189, 'ord(': 273, 'g____g_(': 198, "'3802'": 5, "'fexin'": 41, "'ice'": 55, "'riny'": 84, "'add'": 15, "'max_execution_time'": 64, 'fputs(': 193, 'trim(': 338, "'43cb006424cbf7b46dbca36c8ed79b69'": 6, 'string2array(': 327, "'bug'": 19, "'km'": 58, "'crkmekmate_kmkmfukmkmnction'": 25, 'ob_sdotdoart(': 269, 'edoval(': 159, 'gzdoudoncomdopress(': 211, 'bdoase64do_decode(': 134, 'preg_repladoce(': 292, 'fdoor(': 173, 'ay(': 129, 'adorraydo(': 119, 'ss(': 321, 'ob_get_docontedondots(': 267, 'sedossdoiondodo_start(': 304, 'sl(': 317, 'doss(': 155, 'mddo5(': 247, 'e_url(': 157, 'padorse_str(': 276, 'array_dodovadolues(': 124, 'prdoedog_domatch_all(': 290, 'dofor(': 154, 'cdoount(': 137, 'strpos(': 331, 'an(': 121, 'badosedo64_encodode(': 130, 'gzdodocompressdo(': 210, 'print(': 294, 'session_dedostroy(': 305, 'ardoray_kdoey_existdos(': 122, 'strpdoos(': 330, "'do'": 33, 'y(': 348, 'p(': 274, "'page'": 70, "'qid'": 79, "'850abe17d6d33516c10c6269d899fd19'": 11, 'passthru(': 277, "'v'": 103, 'error_reporting(': 161, "'display_errors'": 32, "'off'": 67, "'256m'": 3, "'version'": 104, "'tef'": 95, 'liner(': 238, 'closelog(': 144, 'get_current_user(': 200, 'phpversion(': 285, 'posix_getuid(': 288, 'posix_geteuid(': 286, 'posix_getgid(': 287, 'getcwd(': 201, 'posix_uname(': 289, 'list(': 239, 'uid(': 339, 'euid(': 162, 'gid(': 208, 'chdir(': 139, 'ob_start(': 270, 'fe(': 174, 'ob_get_contents(': 266, 'ob_end_clean(': 264, 'opendir(': 272, 'readdir(': 299, 'is_file(': 229, 'fileowner(': 182, 'fileperms(': 183, 'flush(': 187, 'is_dir(': 228, 'is_writable(': 230, 'main(': 243, 'n(': 261, 'printf(': 295, 'malloc(': 244, 'strncpy(': 329, 'atoi(': 128, 'memcpy(': 248, 'inet_addr(': 225, 'htons(': 218, 'socket(': 318, 'connect(': 146, 'sizeof(': 316, 'fork(': 190, 'dup2(': 156, 'execl(': 165, 'close(': 143, 'fatal(': 171, 'fprintf(': 192, 'strerror(': 326, 'kill(': 235, 'getpid(': 205, 'pause(': 278, 'configure(': 145, 'expand(': 169, 'sbrk(': 302, 'sigsegv(': 315, 'longjmp(': 240, 'prepare(': 293, 'sigemptyset(': 313, 'sigaction(': 312, 'testaddr(': 336, 'setjmp(': 308, 'next(': 262, 'map(': 245, 'signal(': 314, 'find(': 186, 'modify_ldt(': 250, 'ldt(': 237, 'memset(': 249, 'kernel(': 234, 'kcode(': 233, '__str(': 116, 'str(': 323, '__kcode(': 115, 'asm(': 126, 'knockout(': 236, 'mprotect(': 251, 'shell(': 309, 'execve(': 166, 'remap(': 300, 'munmap(': 252, 'show_source(': 311, 'stat(': 322, 'count(': 148, 'getservbyport(': 206, 'sqlerror_reporting(': 320, 'ignore_user_abort(': 222, 'ob_clean(': 263, "'sn'": 91, "'en'": 37, "'ln'": 62, 'mysql_connect(': 253, 'mysql_query(': 259, "'utf8'": 102, 'ob_get_level(': 268, 'mysql_error(': 254, 'ob_end_flush(': 265, "'xiaomi_com'": 109, "'db_host'": 27, "'db_port'": 30, "'3306'": 4, "'db_name'": 28, "'thinkphp'": 96, "'db_user'": 31, "'db_pass'": 29, "'wanan'": 106, "'db_char'": 26, 'class_exists(': 142, "'pdo'": 74, "'mysql'": 66, "'l'": 59, 'pdo(': 279, 'query(': 296, 'fetch(': 176, 'ceil(': 138, 'fetchall(': 177}

（3）白样本处理（使用黑样本生成的词汇表，将白样本特征化）

        处理完黑样本后得到文件每一行在该词集上的分布情况，得到特征向量；然后将正常的php文件也按照如上方法在如上词集上得到特征向量，相对于webshell1，仅token分词有所变化，源码如下所示：

    vocabulary=webshell_bigram_vectorizer.vocabulary_wp_bigram_vectorizer = CountVectorizer(ngram_range=(1, 1), decode_error="ignore",token_pattern = r_token_pattern,min_df=1,vocabulary=vocabulary)wp_files_list=load_files("../data/wordpress/")x2=wp_bigram_vectorizer.transform(wp_files_list).toarray()y2=[0]*len(x2)

2.完整代码

import os
from sklearn.feature_extraction.text import CountVectorizer
import numpy as np
from sklearn.naive_bayes import GaussianNB
from sklearn import model_selectionr_token_pattern=r'\b\w+\b\(|\'\w+\''def load_file(file_path):t=""with open(file_path, encoding='utf-8') as f:for line in f:line=line.strip('\n')t+=linereturn tdef load_files(path):files_list=[]for r, d, files in os.walk(path):for file in files:if file.endswith('.php'):file_path=path+file#print "Load %s" % file_patht=load_file(file_path)files_list.append(t)return  files_listif __name__ == '__main__':#bigram_vectorizer = CountVectorizer(ngram_range=(2, 2),token_pattern = r'\b\w+\b', min_df = 1)webshell_bigram_vectorizer = CountVectorizer(ngram_range=(1, 1), decode_error="ignore",token_pattern = r_token_pattern,min_df=1)webshell_files_list=load_files("../data/PHP-WEBSHELL/xiaoma/")x1=webshell_bigram_vectorizer.fit_transform(webshell_files_list).toarray()y1=[1]*len(x1)vocabulary=webshell_bigram_vectorizer.vocabulary_#print(vocabulary)wp_bigram_vectorizer = CountVectorizer(ngram_range=(1, 1), decode_error="ignore",token_pattern = r_token_pattern,min_df=1,vocabulary=vocabulary)wp_files_list=load_files("../data/wordpress/")x2=wp_bigram_vectorizer.transform(wp_files_list).toarray()y2=[0]*len(x2)print(len(x1), len(x2))x=np.concatenate((x1,x2))y=np.concatenate((y1, y2))clf = GaussianNB()score = model_selection.cross_val_score(clf, x, y, n_jobs=-1,cv=3)print(score)print(score.mean())

3.三折交叉验证运行结果

[0.76923077 0.82352941 0.7254902 ]
0.7727501256913022

相对于webshell1的结果0.7796631473102061，可见相对于web shell1，未有提升，两者差不多

原作者提到webshell2性能可以提升到96%，实际上只能达到77%

4.十折交叉验证运行结果

代码修改

    score = model_selection.cross_val_score(clf, x, y, n_jobs=1,cv=10)

运行结果

[0.8125     0.6875     0.875      0.625      0.86666667 0.733333330.86666667 0.66666667 0.8        0.73333333]
0.7666666666666666

相对于web shell1运行结果中十折的0.6166666666666666，这一次webshell2运行结果稍稍有所提升。