网安大趋势 | 谷歌宣布AI首次发现内存安全漏洞
近日,谷歌宣布其大语言模型(LLM)项目“Big Sleep”成功发现了一个SQLite数据库引擎中的内存安全漏洞,这是人工智能首次在真实软件中发现可利用的内存安全漏洞(且该漏洞无法通过传统的模糊测试检测到)。
在谷歌近期的公告中透露,Big Sleep项目的LLM代理在实验阶段成功识别出第一个真实世界中的漏洞——SQLite开源数据库引擎中的基于栈的缓冲区溢出漏洞。该漏洞在今年10月初被发现,SQLite开发团队在接到披露信息后数小时内即完成了补丁修复。
这一发现具有重大意义,因为这是AI首次独立检测出可利用的内存安全漏洞。
除了检测已知漏洞,一些研究人员还在探索LLM代理如何利用已知和未知漏洞。AI不仅在发现安全问题上表现出色,还展现了在多步骤漏洞利用中的潜力。尽管目前这一研究仍处于初级阶段,但AI技术的发展为漏洞研究提供了新思路,并推动了网络安全技术的创新。
由此重大突破可见,AI给网络安全行业带来的变革力量正逐渐显现,预示着一个新的安全防护时代的到来。AI进入网络安全,不仅是对传统防护手段的一种补充,更是对安全防护理念的一次革新,它正逐步成为一种不可逆转的趋势。
面对这一趋势,网络安全从业人员应当意识到,AI不仅是一项技术工具,更是一种全新的思维方式和工作模式。为了在这一变革中保持竞争力,从业人员需要主动迎合AI趋势,不断提升自身的AI技能和知识,以便更好地应对未来网络安全领域的挑战。
由CSA推出的CAISP的人工智能安全专家认证,就像是我们网安人迈向AI网安新时代的“通行证”。这个认证不仅涵盖了AI技术的基本原理和应用方法,还深入讲解了AI在网络安全领域的实践案例。通过参加这个认证的学习和实践,可以更加系统地掌握AI安全的相关知识,提高自己的专业素养和技能水平。
承制首期CAISAP认证培训开班将于11月30日开展,报名首期班可获得由承制科技赠送的CDSP数据安全认证专家录播课程。
CAISP
人工智能安全认证专家
人工智能安全认证专家(Certified Artificial Intelligence Security Professional,CAISP)由国际云安全联盟大中华区发布,旨在为从事AI(含AI安全)的研究、管理、运营、开发以及网络安全等从业人员提供一套全面覆盖AI安全领域、跨领域综合能力培养、实践导向与案例分析、结合全球视野与法规治理的AI安全课程。
CAISP学习对象
- AI行业相关人员:AI工程师与开发者、AI安全工程师、AI应用终端用户;
- 安全相关人员:安全研究员、合规与风险管理专员、网络安全从业者;
- 其他:政策制定者和监管机构、科技管理者、在校学生。
CAISP公开课课程内容
模块 | 培训内容 |
AI安全概述篇 | AI与AI安全基本概念AI与安全衍生技术发展脉络 |
技术基础篇 | 常见AI算法与模型介绍AI模型与算法安全性分析数据隐私保护与安全措施 |
安全风险篇 | 大模型安全风险概述典型攻击与应对策略:提示攻击、对抗攻击、梯度泄露攻击、推理攻击、模型萃取攻击、供应链攻击、应对策略防御机制解析 |
政策与治理篇 | 国内外AI安全法律法规、标准规范分析AI安全治理框架 |
全生命周期管理篇 | DevSecOps与AIAI安全需求分析与设计安全的AI系统开发指南与实践AI安全测评框架应用AI渗透测试技术与方法AI安全运营保障体系建设 |
标准与评估篇 | AI安全框架AI成熟度模型应用与评估AI安全标准与测评认证实践 |
特别篇ChatGPT的安全影响 | 恶意行为者利用LLM的安全分析 防御者如何将LLM应用于网络安全恶意提示词攻击的防范措施 企业安全使用ChatGPT的最佳实践 |
实践案例篇 | 现实世界中的AI安全问题深度分析解决方案制定与应对策略关键领域的AI安全最佳实践案例行业大模型应用及安全实践案例 |
伦理与未来发展 | AI伦理道德挑战与分析典型场景下的AI伦理道德风险未来发展趋势 |
考前串讲 | 考前要点讲解与考前练习 |
CAISP考试相关
线上考试,考试题型为单选题和多选题,共60道题,90分钟考试时间。获得70%以上的成绩通过考试。
CAISP证书样例