“AI+Security”系列第3期(一):AI 安全智能体,重塑安全团队工作范式

本文总阅读量
Posted by 安全极客 on September 25, 2024

这是一张图片 (加入“安全极客”知识星球,获取分享PPT等干货内容)

近日,“AI + Security” 系列第 3 期:AI 安全智能体,重塑安全团队工作范式技术沙龙活动正式举行。该活动由安全极客、Wisemodel 社区、InForSec 网络安全研究国际学术论坛和海升集团联合主办,吸引了线上与线下千余名观众参与。

活动中,北京大学计算中心网络安全室主任、计算与数字经济研究院网络安全研究中心常务副主任周昌令、数世咨询创始人李少鹏、元起资本合伙人陈新龙、始智 AI Wisemodel 社区创始人兼 CEO 刘道全、金睛云华技术合伙人孙志敏、360 数字安全集团安全大模型技术团队负责人黄绍莽、天翼安全高级安全算法专家杨刚、木卫四科技解决方案总监 StevenChen以及云起无垠创始人兼 CEO 沈凯文,围绕 “AI 安全智能体,重塑安全团队工作范式” 这一主题进行了精彩的分享与圆桌讨论,共同探讨在大模型赋能时代网络安全领域出现的改观。

在当今数字化高速发展的时代,人工智能技术正以前所未有的速度改变着各个领域。随着大语言模型等技术的兴起,网络安全既面临着全新的挑战,也迎来了全新的机遇。在此背景下,AI 安全智能体被广泛应用于网络安全领域,推动着安全团队工作范式的转型升级,为构建更加安全、可靠的数字世界贡献着力量。

|01 AI赋能自动化渗透测试

当前,网络安全面临着诸多痛点问题,包括安全问题普遍存在、安全投入不足、安全人员稀缺以及安全风险意识识别不准等。网络安全的本质在于攻防对抗,只有知攻,方能知防。做好安全防护的前提是必须擅长攻击,所以能够有效防得住的高手,本身也应当是攻击的高手。

渗透测试从简单渗透测试逐步演进到深度渗透测试,在网络攻防日趋常态化的当下,正逐步迈向智能化,形成由智能工具完成的渗透测试,让主动安全成为现实,从而发现问题并增强网络安全的防御能力。

这是一张图片

北京大学计算中心网络安全室主任、计算与数字经济研究院网络安全研究中心常务副主任周昌令认为,人工智能技术在网络安全攻防对抗中的重要性日益凸显。例如,美国国防高级研究计划局(DARPA)推出了 AIxCC 竞赛活动,旨在利用人工智能(AI)助力保护关键软件,并创建新的网络安全工具,将前沿人工智能技术应用于漏洞发现及更加安全的系统建设。

周昌令分享了构建智能化网络渗透测试平台的思路。他指出,“AI + 攻防” 系统有三个核心模块,分别是攻防任务规划、攻防策略推理、攻防工具利用。整体架构通过人工智能技术提升网络攻防系统的推理能力和任务调度效率,构建自适应和智能化的多层次攻防体系。

其一,AI + 攻防任务规划模块通过 AI 提升网络攻防系统的同步推理能力,并结合情境学习能力,实现智能透彻化任务调度。

其二,AI + 攻防策略推理基于异构多源信息(涵盖静态知识、动态环境信息和人类专家经验),结合大语言模型推理增强技术,构建网络攻防任务的策略推理框架。该框架通过上下文感知、异构知识语料以及策略推理框架来提供支撑和反馈。

其三,AI + 攻防工具利用部分通过构建 AI 驱动的攻防工具链,将不同层次、不同功能的工具集成并运用,完成特定任务,实现智能化工具链调度。此模块主要依赖多层次工具原子化、工具管理制度及自适应学习技术来更新模型能力、优化工具进化,并生成弹性工具。

其中,网络安全大模型基于上述模块的反馈和支持,提升任务调度和策略编排的智能化水平,最终目的是加强因数化洞见及网络安全防护能力。

这是一张图片

| 02 大模型在网络安全检测及运营场景的探索及应用

随着黑客组织的猖獗以及日益复杂的APT攻击、勒索软件等网络威胁的频发,网络安全已经上升为国家安全的重要组成部分。网络攻击的频率、规模和复杂性持续升级,攻击手段变得更加多样化、迅速且智能化。面对这一趋势,网络安全领域暴露出两大痛点:一是攻击变得越来越容易,传统防御手段面临严峻挑战,检测难度显著增大;二是即便成功检测出攻击,网络安全人才短缺,导致事件响应与处理效率不足,严重影响整体防护能力。

针对这些挑战,金睛云华技术合伙人孙志敏指出,公司长期以来采用基于AI的高级威胁检测技术,针对各种威胁场景进行安全检测与分析。随着大模型技术的发展,金睛云华结合自身在AI+安全领域的实践经验,开始探索将大模型技术引入网络安全检测,以提升检测能力。通过不同模块的协同工作,金睛云华已构建出一套从流量分析到威胁检测,再到数据处理与反馈的闭环网络安全体系。

这是一张图片

此外,孙志敏还介绍了金睛云华自主研发的「安心CyberGPT」大模型,并打造了完整的AI安全智能体。该产品以“安全大脑”为核心,整合了多种安全产品、专家知识和安全工具,通过智能化模型进行威胁检测与处理,构建了全方位的网络安全防护体系,有效提升了安全运营场景中的应用能力。

这是一张图片

| 03 360安全大模型业务实践

在整个网络安全领域,大模型作为新质生产力,正逐步颠覆传统“卖盒子、堆产品”的安全模式,推动安全行业向智能化演进。尤其是随着大模型的出现,人工智能技术与安全产品深度融合,全面赋能,改变了传统的安全运营模式。这一变革不仅重塑了“安全知识”、“安全研判”和“安全处置”,还将整个安全行业引向智能主义时代。

360数字安全集团安全大模型技术团队负责人黄绍莽指出,在如今的“百模大战”中,如何保持独特性并选择适合的重点方向至关重要,直接关系到能否从众多大模型中脱颖而出,并满足企业的安全需求。360安全大模型以类脑分区协同的框架为核心,构建安全智能体,实现任务编排、指令调度,并结合安全知识库,灵活调用各种安全工具和产品,从而自动化完成威胁溯源和安全检测任务。这些工具和知识库既包括360自有的,也支持第三方厂商的解决方案,同时保持扩展性。

这是一张图片

黄绍莽进一步指出,360安全大模型具备几大优势:

首先,数据是制胜的关键,360拥有海量的安全数据,能够为大模型训练提供高质量、专业化的语料,这是构建高质量安全大模型的基础。

其次,在模型底层技术上,360创新性地采用类脑分区、多专家协同架构,提升模型推理效率,降低训练成本。

第三,在安全场景选取上,遵循“小切口、大纵深”的原则,将复杂的安全任务拆解为多个小场景,并通过深入融合安全大模型,深耕每个细分领域。

最后,为解决大模型的“生成式幻觉”问题,360深入研究了检索增强和工具增强技术,确保安全问答和安全任务的准确执行。

| 04 AI技术在网络安全领域的本地化应用与挑战

网络安全从最初的“个人英雄”时代逐步演进,如今已进入AI驱动的智能化时代,技术路线也在不断升级。传统的网络安全防护主要依赖单点技术和点状防御,但随着人工智能,尤其是大模型技术的应用,网络安全迈入了智能化时代,“无AI不网安”成为显著的趋势。然而,AI等新技术的广泛应用也带来了诸多不确定性,如何更好地应用这些技术,成为企业亟需解决的关键问题。

这是一张图片

天翼安全高级安全算法专家杨刚指出,AI应用于网络安全时面临许多挑战,包括数据格式多样性、数据量庞大、定义模糊以及算力瓶颈等问题。如何实现AI技术的本地化应用是关键。针对这些挑战,杨刚提出了一些解决方案:

· 数据处理:根据数据结构进行适当解析,提取样本的完整特征和宏观特征,特别要关注非字符化的特征。

· 定义处理:通过数据清洗、规则过滤,结合动态标注和模型训练,提升模型的准确性和适应性。

· 分布式部署:针对算力有限的场景,将AI模型简化为情报或规则的形式,便于在各类环境中灵活部署。

· 解释性运维:提升模型自身的解释性,提供因果解释,并通过增强认知的方式来提高运维的透明度和可解释性。

这些措施为企业在网络安全领域应用AI提供了重要的思路和方向。

这是一张图片

| 05 智能体车企落地实践

随着汽车行业对数字化系统的依赖不断加深,车企在网络安全领域面临的威胁也愈发复杂。现代汽车配备了多个电子控制单元(ECU),并具备车辆间通信(V2V)和车与基础设施通信(V2I)的功能,使其更容易成为网络攻击的目标。常见的攻击手段包括:黑客入侵娱乐系统、利用无线更新(OTA)漏洞、以及针对电动汽车(EV)充电基础设施的攻击。此外,针对汽车供应链及车辆网络的勒索软件攻击也在增加,带来了巨大的经济损失。随着汽车互联技术的快速发展,车企必须加强网络安全防护措施以应对这些挑战。

木卫四科技解决方案总监Steven Chen表示,木卫四公司针对当前汽车行业面临的诸多安全问题,构建了从蝴蝶大模型到V-Copilot再到安全智能体群的全面技术解决方案。这一体系依托人工智能技术,能够深入覆盖多任务场景。核心优势在于深刻理解汽车数据,构建精准的汽车异常检测模型,实现实时监控和异常分析。木卫四聚焦汽车垂直行业,支持私有化部署,借助大语言模型深度理解自然语言对话,实现多智能体协同工作,从而为用户提供高效且精准的需求捕捉和服务。此外,木卫四还拥有业内最全面的汽车威胁情报体系,确保对威胁进行有效应对。

这是一张图片

| 06 打造最懂安全的智能体:无极AI安全智能体平台落地与实践

随着人工智能(AI)技术的迅猛发展,AI已成为推动网络安全领域创新的重要引擎。从早期的传统规则和大数据,到如今AI赋能安全,整体安全能力不断提升。目前,大模型在安全中的应用仍处于探索阶段,但未来有望带来更智能、精准的解决方案。AI技术已经广泛应用于竞赛和工程实践中,利用AI构建智能化安全能力变得至关重要。

这是一张图片

当下,随着大模型等技术的发展,AI 安全智能体成为赋能网络安全以及实现场景化应用的最佳意识形态。云起无垠创始人兼 CEO 沈凯文表示,正因如此,公司开发了无极 AI 安全智能体平台。该平台针对开发安全、攻防渗透、知识检索等场景,提供全方位的技术支持与解决方案,旨在帮助用户应对网络安全威胁、代码漏洞风险以及工具治理中的复杂挑战。

这是一张图片

无极AI安全智能体具备六大核心能力:任务流智能规划、工具引擎智能调用、多类型文档解析、数据库自然语言检索、模型幻觉消除以及私有化模型训练与部署。这一平台不仅能够提升新手的专业能力,还能让专家更加专注于高难度的任务,全面提升企业的安全运营水平。

| 07 AI 安全智能体,重塑安全团队工作范式

在圆桌环节,始智 AI Wisemodel 社区创始人兼 CEO 刘道全与北京大学计算中心网络安全室主任、计算与数字经济研究院网络安全研究中心常务副主任周昌令、数世咨询创始人李少鹏、元起资本合伙人陈新龙、天翼安全高级安全算法专家杨刚以及木卫四科技解决方案总监 Steven Chen,围绕以下话题,深入探讨了关于AI安全智能体的相关问题。

Q1:智能体可拆分为大模型、规划、记忆与工具使用四个组件部分。其中,大模型如同能够理解任务并进行决策的“大脑”;规划模块负责分解任务、制定行动计划,同时检查、监督和改进计划;记忆模块负责存储上下文信息、专家知识、用户干预信息等,以确保任务执行过程中前后目标一致;工具使用模块则是智能体的“双手”,能够利用外部资源或工具执行任务。那么,目前的安全智能体更擅长处理哪一类安全任务呢?而又有哪一类安全任务处理起来会比较困难呢?

Q2:大量高质量的安全数据、样本、特征等数据语料喂养的安全大模型,是智能体产出正确安全知识的基础。无论是大厂还是创业公司,都需要更加丰富的安全语料库来训练更专业的安全模型。在此情况下,大家在数据获取以及处理方面是如何做的呢?

Q3:在外界看来,安全大模型训练微调和部署的资源消耗依然较大,中小企业似乎难以承担高昂的投入。事实真是如此吗?国内厂商在进行模型训练时是如何解决算力问题的呢?在应用智能体时,算力成本高吗?

Q4:智能体是一种前所未有的产品形态,那么什么样的收费模式、定价标准才能更顺应市场呢?

| 写在最后

本次分享活动可谓干货满满,围绕 AI 安全智能体赋能网络安全的相关问题,展开了深入且全面的探讨。活动中,嘉宾们的精彩分享令人印象深刻。我们会对这些系列内容逐一进行细致整理,并陆续发布,敬请大家期待。希望嘉宾们的精彩分享能为大家带来更多的思考与启发。

此外,嘉宾们分享的 PPT 将在安全极客知识星球进行分享,欢迎大家关注,以获取更多干货内容。

这是一张图片

加入安全极客知识星球,获取嘉宾分享PPT等干货内容