1、引言
相比于机器学习模型,特征工程对于加密恶意流量的识别具有更加重要的作用,现有研究多采用协议无关的侧信道特征,这些特征对所有流量一视同仁,不能充分表征不同加密流量。恶意流量经过加密后,可用的特征维度显著减少,具有强判别能力的特征更是稀缺,特征数量不足与挖掘深度有限已成为制约加密恶意流量检测的关键瓶颈。
针对此,本文做了详细的特征工程,提出了一种面向加密恶意流量分析的新型特征设计思路。并在此基础上,构建了一个融合深度学习与传统机器学习算法的两层检测框架,同时为了更好的发挥深度学习的优势,本文还整合多个公共数据集构建了一个更具代表性的新数据集。实验结果表明,其性能优于ResNet、随机森林等经典方法。
本文将传统的加密流量特征类型分为两大类,即协议相关性特征(Protocol-specific Features)与协议无关数值特征(Protocol-agnostic Numerical Features)。
基于数据包的特征
和基于会话的特征
。前者针对单个数据包提取,如数据包的载荷长度、到达时间间隔等;后者针对整个会话流提取,如每个会话的持续时间、总字节数等。这类特征虽然容易普及,但分辨力不高。基于上述两类特征的优缺点,本文提出了一种新型的加密流量特征创建方法,特定加密流量特征(Enc Feature),该方法专为加密流量设计,通过分析加密会话及其数据包的特性,从会话层和数据包层两个粒度提取仅存在于加密流量中的特征。
此前的研究往往不区分加密与非加密流量,使用相同的特征集进行分析,导致特征判别力下降。Enc Feature不仅具有协议无关性,同时兼顾会话层和数据包层信息,是目前唯一在这两个维度上同时针对加密流量设计的特征体系。
Enc Feature的核心在于仅从加密会话中的加密数据包中提取特征,完全排除非加密数据包(如TLS中的握手阶段数据包),从而提取纯粹反映加密流量行为的特征。该流程分为两个步骤:
最终提取78个Enc特征,包括会话级特征(No.4–23)、包级特征(No.1–3, 24),以及通过统计运算生成的特征(No.25–78)。此外,本文还将Enc Feature与传统协议无关特征结合,例如,传统流持续时间与仅基于加密包的流持续时间比值,IP总包长与加密IP包长度比值,从而拓展了加密流量的特征维度(No.79–143)。具体特征如表I所示,与现有方法区别如表II和III所示。
本文结合深度学习与传统机器学习算法,提出了一个两层加密恶意流量检测框架。框架中根据特征类型将其分别输入不同模型:
第一层由上述各模型中性能最优者构成,其输出的概率结果作为输入传递给第二层检测器。第二层检测器由Random Forest或平均集成方法构建,依据不同评估指标的重要性决定最终选择。
为提升流量数据的多样性,本文从6个公共数据集中整合构建了新的加密流量数据集。该数据集包括Stratosphere Lab发布的CTU-Malware-Capture、Benign-Capture与Mixture-Capture,以及加拿大网络安全研究所(CIC)发布的CICIDS2017、CICIDS2012和CIRA-CIC-DoHBRW-2020。其中,CTU数据集提供26类恶意流量,其他五个数据集则提供正常流量,以实现数据类别平衡和流量多样性最大化。
本文提出了一种加密恶意流量检测框架,涵盖特征提取、模型训练及多层检测机制。首先,通过Wireshark过滤非加密流量,再从PCAP中提取300余种特征,包括时间相关特征、payload侧信道特征、自定义加密特征与比例特征。随后,针对不同特征类型选择最合适的模型进行训练:时间相关特征以15×85的格式输入LSTM模型,多层LSTM表现最佳;payload侧信道特征以15×38的二维数组形式输入ResNet模型,ResNet34表现最佳;加密与传统协议无关特征的比值特征输入传统模型训练,XGBoost略优于Random Forest。这三种模型的预测结果将输入第二层检测器,通过Random Forest或平均集成法实现最终判别。实验结果表明,若第二层采用Random Forest,TPR可达99.68%;若采用平均集成方法,则在准确率(99.73%)、F1值(99.72%)、精确率(99.89%)与最低误报率(0.11%)方面表现略优。
安全学术圈招募队友-ing
有兴趣加入学术圈的请联系 secdr#qq.com