奇安信集团发布《2024人工智能安全报告》安全风险应保持警醒

【金色港湾资讯网为您推荐阅读】

“人工智能是一种通用技术，这意味着它可以用来做好事，也可以用来做坏事。”  《报告》认为，潜力巨大的AI技术同时带来两大挑战：一方面放大了现有的威胁，如网络钓鱼电子邮件、恶意软件等；另一方面，它放大了现有的威胁。 另一方面，它引入了新的威胁，例如AI自动化攻击和AI深度伪造。 等待。

奇安信威胁情报中心监测发现，各种新的基于人工智能的攻击类型和方式不断涌现，包括深度造假（）、黑色语言模型、恶意AI机器人、自动化攻击等，在全球范围内造成严重危害。

《报告》认为，人工智能和大语言模型本身就伴随着安全风险，业界对潜在影响的研究和关注还远远不够。 全球知名应用安全组织OWASP发布了大型模型应用十大安全风险，包括提示注入、数据泄露、沙箱不足、未授权代码执行等。 此外，由于训练语料中存在不良信息，生成的内容不安全，持续造成灾难性后果，危害国家安全、公共安全甚至人身安全。 这些都需要业界高度重视并积极应对。

《报告》从安全行业、监管机构、政企机构、网络用户等角度提出了应对人工智能威胁的建议。 安防行业需要继续发挥自身能力保障人工智能本身的安全，积极利用人工智能进行安全防护； 监管机构需要持续关注人工智能潜在风险和影响，及时提供制度和法规方面的支持； 政府和企事业单位需要及时部署人工智能安全框架和解决方案，以及人工智能安全评估服务和检测工具，依靠人工智能推动安全升级； 网络用户在尝试最新的人工智能应用时需要更新安全知识并养成良好的使用习惯。

面对AI网络攻击、AI武器化等日益严峻的安全威胁，《报告》认为，AI技术将推动安全领域范式变革。 新一代人工智能技术和大语言模型将改变安全对抗格局，加剧地缘政治竞争。 它对国家安全和国家安全产生深远影响。 各国竞相加强人工智能领域竞争，以获得面向未来的战略优势。 全行业需要推出人工智能网络防御推进计划，包括利用防御性人工智能对抗恶意人工智能，扭转“防御者困境”。

奇安信AI安全专家认为，随着一项影响深远的新技术的出现，人们普遍倾向于高估其短期作用，而低估其长期影响。 因此，无论是监管机构、安防行业，还是政企机构，都需要积极拥抱潜力巨大的人工智能技术和大模型，同时认真评估其影响的不确定性，确保及时跟进监管治理。  （启新）