生成式AI其实不擅长“编写恶意软件”

尽管犯罪分子用ChatGPT和各种其他大语言模型帮助编写恶意软件的传言甚嚣尘上,但这一生成式AI技术似乎并不擅长处理这种工作。

近期研究表明,虽然一些骗子有意使用能给出源代码建议的ML模型,但该技术实际上并没有被广泛用于创建恶意代码。这可能是因为这些生成式系统无法胜任此类工作,或者用其完成恶意代码编写过程的门槛有点高,网络犯罪分子不得不放弃。

如果你想获得有用且可靠的漏洞利用程序和入侵工具,那你要么支付高昂款项购买,要么从GitHub之类的地方免费获取,要么具备编程技术、耐心和时间自己从头开始开发。AI可提供不了网络恶棍想要的捷径,其在网络犯罪圈子里的使用率跟在科技界其他领域也差不离。

01 相关研究

8月中旬发布的两份研究报告中,趋势科技和谷歌Mandiant分别就时兴的AI技术发表了各自的看法,结论相当一致:网民热议用生成式AI从事邪恶行径,但在现实中,此类用途仍十分有限。

趋势科技研究人员avid Sancho和Vincenzo Ciancaglini在报告中写道:“在灰产领域,AI还处在早期阶段。

“我们看到的进展并非突破性的。事实上,大家在这方面的进步速度都差不多。”

同时,Mandiant的Michelle Cantos、Sam Riddell和Alice Revelli至少从2019年开始就在跟踪犯罪分子的AI使用情况。在8月17日发布的研究报告中,他们指出,“AI在入侵活动的应用仍旧十分有限,而且主要与社会工程相关。”

在犯罪分子如何应用AI从事非法活动方面,这两个威胁情报团队得出了相似的结论。简而言之:主要用于生成诱人通往网络钓鱼页面和类似骗局的文本和其他媒介,而不是用于自动化恶意软件开发。

“ChatGPT长于编造看起来可信的文本,这一点可被滥用来编写垃圾邮件和进行网络钓鱼活动”,趋势科技团队写道,并指出,犯罪论坛上售卖的一些产品已经开始纳入ChatGPT接口供买家创建网络钓鱼电子邮件了。

Sancho和Ciancaglini表示:“比如说,我们就观察到名为GoMailPro的一款垃圾邮件处理软件,这款软件支持AOL Mail、Gmail、Hotmail、Outlook、ProtonMail、T-Online和Zoho Mail账户,主要是犯罪分子用于向受害者发送垃圾邮件。2023年4月17日,该软件的作者在GoMailPro销售帖子里声明,据称ChatGPT被集成到GoMailPro软件中供起草垃圾邮件。”

除了辅助编写网络钓鱼电子邮件和其他社会工程骗局,尤其是用犯罪分子不会的语言编写,AI还擅长产出用于虚假信息散布活动的内容,包括深度伪造音频和图像。

02 模糊LLM

谷歌表示,AI精于模糊测试,也就是通过向软件中注入随机和/或精心构造的数据来触发和挖掘可利用漏洞的自动化漏洞检测。

谷歌开源安全团队的Dongge Liu、Jonathan Metzman和Oliver Chang写道:“利用LLM,我们无需手动编写额外的代码就能用我们的OSS-Fuzz服务提高关键项目的代码覆盖率。”

“采用LLM是颇具前景的新方法,可以在OSS-Fuzz目前模糊测试的超过1000个项目中扩展安全改进,扫清未来项目采用模糊测试的障碍。”

虽然这一过程确实涉及挺多提示工程和其他工作,但该团队最终收获了1.5%~31%的项目代码覆盖率提升。

谷歌团队称,在接下来的几个月里会开源其评估框架,让其他研究人员也能测试自己的自动化模糊目标生成。

与此同时,Mandiant将图像生成功能分为两类:可用于创建逼真人物头像的生成式对抗网络(GAN),以及可以根据文本提示生成定制图像的生成式文本到图像模型。

Mandiant的三名研究人员表示,尽管GAN似乎更常用,而且民族国家威胁组织尤为爱用,但“文本到图像模型也可能形成比GAN更大的欺骗型威胁”,因为这些模型可用于支持欺骗性叙事和虚假新闻,比如用AI生成的视频制作简短的“新闻片段”。

两份研究报告都承认犯罪分子对于利用LLM编写恶意软件很感兴趣,但这未必能转化为实际的代码。

正如合法开发人员所发现的那样,AI也有助于完善代码、开发源代码片段和示例函数,降低学习另一门编程语言的难度。然而,你依然需要具备一定的技术水平才能用AI编写恶意软件,而且可能仍然需要程序员来核查代码并更正。

因此,想用AI编写真实可用的恶意软件的人可能自己就能编写代码了。或许,LLM主要是为了加快开发速度,而不是推动勒索软件和漏洞利用程序的自动化装配线。

于是,令网络恶棍们驻足不前的是什么呢?部分原因可能在于防止LLM被用于恶意用途的一些限制,也因此,安全研究人员发现,有犯罪分子在向同行宣传能绕过模型防线的服务。

此外,正如趋势科技所指出的,关于ChatGPT越狱提示的讨论很多,尤其是在Hack Forums的“Dark AI”部分。

Sancho和Ciancaglini表示,由于犯罪分子愿意为这些服务付费,一些人猜测,“未来可能会出现所谓的‘提示工程师’”。两位研究人员还补充道:“我们保留对这一预测的判断。”

来源:本文来自数世咨询

上一篇:从被动事件响应到主动威胁管理的5个关键步骤

下一篇:保障SaaS应用安全的关键要求和检查清单