在经历了一轮又一轮的跌宕起伏后,人工智能在2017年再一次站到了浪潮之巅。在国外,国际知名咨询机构Gartner于2017年7月发布了本年度新兴技术成熟度曲线,人工智能的两个分支——深度学习和机器学习,均处于曲线的最顶端(见图1)。在国内,国务院同样于2017年7月印发了《新一代人工智能发展规划》,提出要推动人工智能与各行业融合创新,推动人工智能规模化应用,全面提升产业发展智能化水平。作为IT领域的传统行业,网络安全如何与人工智能相结合,产生化学反应,成为业界关注的焦点。本文展望了人工智能在网络安全行业的应用价值和存在的挑战,希望能够对大家有所启发。
图12017 Gartner新兴技术成熟度曲线
1.防范高级威胁的需求和安全人员的短缺,是推动人工智能技术在网络安全行业应用的内在动力。
众所周知,近年来APT攻击已成为企业级用户所面临的最主要的安全威胁。由于安全厂商既不能先于用户获取到攻击样本,又不能在每个用户的网络环境中都安排安全人员进行应急防范,可行的解决方案是通过技术手段将安全厂商自身的分析能力前置到用户的网络环境中。对于高级威胁检测而言,当前主流检测技术是虚拟执行,即通过在沙箱、虚拟机等环境中运行可疑文件,判断其是否包含恶意代码。这种技术固然具备一定的未知威胁检测能力,但也存在计算资源耗费大、检测时间长等缺点,一般单个沙箱处理一个可疑文件需要几分钟的时间,这在高速网络环境中会造成较大的处理延迟。为此大家都在积极探索其它更有效的解决方案,人工智能就是替代方案之一。通过人工智能算法模拟人的分析能力,在一定程度上相当于把厂商的分析能力前置到了用户环境中,这是解决未知威胁检测的有效途径。
随着网络环境越来越复杂、攻击手段越来越隐蔽,安全运维的难度也越来越大。在大数据时代,安全分析人员要处理的数据规模与其处理能力严重不匹配,许多攻击报警得不到及时响应,这是造成用户虽部署了安全设备仍然被入侵、且一次入侵行为的MTTR(平均修复时间)过长的主要原因。据统计,当前国内安全人员的缺口达数十万,通过提高分析人员数量来应对大数据的思路显然不可行,比较可行的方法就是运用人工智能,通过智能算法对原始数据进行预处理,降低分析人员数据处理压力,辅助分析人员做出正确判断。
2.恶意代码检测和智能安全运维,是人工智能在网络安全领域应用的主战场
了解了网络安全行业所面临的主要问题,我们不难推测人工智能在网络安全领域的用武之地。
在恶意代码检测方面,我们需要利用人工智能提升对未知恶意代码的检测能力,提升对可疑样本的研判速度。目前可行的方法是采用监督学习方法,首先积累一定体量的标注数据作为训练样本和测试样本,然后利用深度学习算法训练产生分类器,最后在用户侧利用实际数据进行模型的增量更新,从而在用户侧形成检测-处置-响应的闭环。具体方案如图2所示:
图2基于深度学习的恶意代码检测框架
目前国内外已有安全厂商进行了基于深度学习算法进行恶意代码检测的尝试,启明星辰也利用自身的数据和算法积累进行了验证,我们对这种检测方案的前景还是比较乐观的。
在安全运维方面,我们需要利用人工智能技术提升对安全大数据的处理能力,提升对安全事件的响应速度。一名有经验的安全分析师,在长期的安全运维实践中会摸索出有效的安全事件分析和处置流程,如果能够通过人工智能把这些流程固化成可自动运行的分析模型,将大大提升运维人员的工作效率。
在安全运维平台中增加智能分析算法,已成为了国内外SIME类厂商的关注焦点。启明星辰在其SOC平台中也提供了一系列的智能分析模型和算法,包括基于统计学习的异常检测方法、基于规则推理的关联分析算法、基于浅层学习的分类聚类算法等。此外,启明星辰还进行了基于本体建模和知识图谱的事件自动化处置方案验证,取得了积极的效果。
3.有价值数据的缺失和结果可解释性不足,是人工智能技术应用所面临的主要挑战
虽然人工智能算法在网络安全领域的应用前景乐观,但在成为安全领域的主流技术前,还面临着一系列的挑战。
首先是数据缺失带来的挑战。我们知道人工智能、机器学习算法需要大量的标注数据来训练模型,可以说数据决定了模型最终能够达到的高度,算法只是逼近这个高度的手段而已。但在实际环境中,由于安全厂商的用户大都对自身数据比较敏感,厂商在将设备部署到用户环境后很难通过用户的反馈获取有价值的数据,比如在实际环境中的攻击报警及原始数据、对漏报或误报的分析结果等,这就导致厂商无法利用真实数据提升模型的检测准确率。
其次是结果的可解释性带来的挑战。对于传统基于特征匹配的攻击检测而言,检测设备对其所产生的报警可以给予充分的证据,用于解释其报警的有效性;但对于人工智能、尤其是深度学习算法而言,检测设备的判断依据对用户而言是一个黑盒子,用户无法知晓某个报警产生的具体原因。事实上目前已经出现了攻击特定机器学习算法使其产生误报的技术。如何提高人工智能算法的鲁棒性和结果可解释性,也是学术界研究的热点。
虽然人工智能在网络安全领域的应用还面临着各种各样的挑战,我们依然看好其应用前景。这是因为数据时代和智能时代已经来临,利用数据改变传统的业务模式、利用人工智能提升数据的利用价值,已成为大势所趋。我们期待着人工智能在未来的网络安全产业发挥更大的价值!(周涛博士)