网安大趋势 | 谷歌宣布AI首次发现内存安全漏洞

近日,谷歌宣布其大语言模型(LLM)项目“Big Sleep”成功发现了一个SQLite数据库引擎中的内存安全漏洞,这是人工智能首次在真实软件中发现可利用的内存安全漏洞(且该漏洞无法通过传统的模糊测试检测到)。    

在谷歌近期的公告中透露,Big Sleep项目的LLM代理在实验阶段成功识别出第一个真实世界中的漏洞——SQLite开源数据库引擎中的基于栈的缓冲区溢出漏洞。该漏洞在今年10月初被发现,SQLite开发团队在接到披露信息后数小时内即完成了补丁修复。

这一发现具有重大意义,因为这是AI首次独立检测出可利用的内存安全漏洞。

除了检测已知漏洞,一些研究人员还在探索LLM代理如何利用已知和未知漏洞。AI不仅在发现安全问题上表现出色,还展现了在多步骤漏洞利用中的潜力。尽管目前这一研究仍处于初级阶段,但AI技术的发展为漏洞研究提供了新思路,并推动了网络安全技术的创新。

由此重大突破可见,AI给网络安全行业带来的变革力量正逐渐显现,预示着一个新的安全防护时代的到来。AI进入网络安全,不仅是对传统防护手段的一种补充,更是对安全防护理念的一次革新,它正逐步成为一种不可逆转的趋势。

面对这一趋势,网络安全从业人员应当意识到,AI不仅是一项技术工具,更是一种全新的思维方式和工作模式。为了在这一变革中保持竞争力,从业人员需要主动迎合AI趋势,不断提升自身的AI技能和知识,以便更好地应对未来网络安全领域的挑战。

由CSA推出的CAISP的人工智能安全专家认证,就像是我们网安人迈向AI网安新时代的“通行证”。这个认证不仅涵盖了AI技术的基本原理和应用方法,还深入讲解了AI在网络安全领域的实践案例。通过参加这个认证的学习和实践,可以更加系统地掌握AI安全的相关知识,提高自己的专业素养和技能水平。

承制首期CAISAP认证培训开班将于11月30日开展,报名首期班可获得由承制科技赠送的CDSP数据安全认证专家录播课程。

CAISP

人工智能安全认证专家

人工智能安全认证专家(Certified Artificial Intelligence Security Professional,CAISP)由国际云安全联盟大中华区发布,旨在为从事AI(含AI安全)的研究、管理、运营、开发以及网络安全等从业人员提供一套全面覆盖AI安全领域、跨领域综合能力培养、实践导向与案例分析、结合全球视野与法规治理的AI安全课程。

CAISP学习对象

  • AI行业相关人员:AI工程师与开发者、AI安全工程师、AI应用终端用户;
  • 安全相关人员:安全研究员、合规与风险管理专员、网络安全从业者;
  • 其他:政策制定者和监管机构、科技管理者、在校学生。

CAISP公开课课程内容

模块培训内容
AI安全概述篇AI与AI安全基本概念AI与安全衍生技术发展脉络
技术基础篇常见AI算法与模型介绍AI模型与算法安全性分析数据隐私保护与安全措施
安全风险篇大模型安全风险概述典型攻击与应对策略:提示攻击、对抗攻击、梯度泄露攻击、推理攻击、模型萃取攻击、供应链攻击、应对策略防御机制解析
政策与治理篇国内外AI安全法律法规、标准规范分析AI安全治理框架
全生命周期管理篇DevSecOps与AIAI安全需求分析与设计安全的AI系统开发指南与实践AI安全测评框架应用AI渗透测试技术与方法AI安全运营保障体系建设
标准与评估篇AI安全框架AI成熟度模型应用与评估AI安全标准与测评认证实践
特别篇ChatGPT的安全影响恶意行为者利用LLM的安全分析 防御者如何将LLM应用于网络安全恶意提示词攻击的防范措施 企业安全使用ChatGPT的最佳实践
实践案例篇现实世界中的AI安全问题深度分析解决方案制定与应对策略关键领域的AI安全最佳实践案例行业大模型应用及安全实践案例
伦理与未来发展AI伦理道德挑战与分析典型场景下的AI伦理道德风险未来发展趋势
考前串讲考前要点讲解与考前练习

CAISP考试相关

线上考试,考试题型为单选题和多选题,共60道题,90分钟考试时间。获得70%以上的成绩通过考试。

CAISP证书样例

上一篇
下一篇