国家互联网应急中心通报AI大模型产品众测活动典型漏洞风险
吃瓜电子官网最新热点:国家互联网应急中心通报AI大模型产品众测活动典型漏洞风险
更新时间: 浏览次数:2058
据国家互联网应急中心消息,9月16日,国内首次针对AI大模型🥳的实网众测检验结果在第22届中国网络安全年会发布。活动共动员👍559名白帽子,对国内10家AI厂商的15款大模型及应用产品😁进行了漏洞测试。本次众测活动,共发现各类安全漏洞281个,其😀中大模型特有漏洞177个,传统漏洞104个。现将本次众测活动🌟中发现的典型漏洞风险问题通报如下。 一、典型漏洞风险问🤗题 (一)部分产品存在不当输出处理类漏洞且危害严重。主💯要是模型生成内容未经验证、过滤即被用于下游系统,导致恶意内容😍被直接执行或传递。此类漏洞通常是模型自身缺陷与传统安全问题的👍结合。例如,某大模型存在全回显SSRF漏洞,攻击者可直接接管❤️大模型服务器,获取内网数据;某大模型可调用Python工具且🥳权限管理存在漏洞,可导致系统崩溃、业务中断、服务器失陷等严重🔥后果。 (二)信息泄露类漏洞多发,存在较大安全隐患。主😉要是通过输入特定内容诱导模型输出个人身份信息(PII)、凭证🥳等敏感数据,以及模型内部参数、安全规则等内部信息。例如,攻击🤩者利用漏洞可获取某大模型配置文件及架构图,可实现任意用户账号❤️接管,可控制日志云服务。 (三)提示注入类漏洞普遍,是🤩大模型最常见漏洞风险。提示注入类漏洞主要是通过构造特定输入内🔥容,直接或间接操纵模型行为,诱导其绕过安全限制执行恶意操作。⭐该类漏洞攻击门槛低、成功率高,攻击者无需懂代码和复杂的攻击技😉术,通过聊天就能攻击。同时由于提示问答是大模型特有的交互方式🤔,提示注入往往是实现其他类型漏洞攻击的“敲门砖”,因此被业界🌟视为“头号威胁”。 (四)部分大模型产品针对无限制消耗😘类攻击的防护措施有待加强。无限制消耗主要指大模型应用在缺乏合🌟理限制的情况下,可能按照攻击者要求进行过度推理,导致资源耗尽😘、服务中断甚至模型被窃取的安全隐患。例如,某大模型部分功能未👏对调用次数和速率进行限制,攻击者可利用批量创建会话的方式,占👍用系统资源,使其他用户无法使用。 (五)传统安全漏洞依💯然普遍存在,危害不容忽视。从测试结果来看,共发现传统漏洞10🙄4个,占比37%,这表明尽管AI系统架构具有高度的技术复杂性🙄,但因其对外暴露的接口和服务在本质上仍遵循传统应用软件的逻辑😂架构,导致传统安全漏洞在AI系统中依然存在。例如某大模型存在😅任意用户登录漏洞,可控制管理员权限;某大模型应用存在任意文件🥳读取漏洞,可获取网站服务器控制权;某大模型存在SQL注入漏洞😂,可对数据库进行增删改查等操作。 二、应对处置建议 😆 (一)针对大模型面临的各类漏洞风险,持续加强安全防护措施😁。一是采取零信任原则,将大模型输出视为不可信输入,强制验证与🥳编码,重点对外链、代码执行等下游操作指令进行安全验证,并在沙🤔箱等隔离环境执行模型生成的代码及工具调用操作;二是实施严格的🌟输入输出验证和过滤,遵循最小权限原则,避免过度授权;三是将敏🙌感指令移至安全配置库,并拦截包含“system prompt😊”等关键词的查询;四是设置API调用配额进行分级限流,并强制⭐限制Token长度;五是加强供应商审计,强制验证第三方模型签🤩名及数据来源,定期对第三方AI组件、框架、预训练模型、数据集😜进行安全评估;六是加强对传统漏洞的安全防护措施。 (二🚀)加强内生安全治理,构建安全可信的人工智能生态。从本次测试可🥳以看出,由于内生于人工智能“黑箱”技术特性的复杂风险,传统“😊外挂式”的被动防御安全治理模式正面临严峻考验,难以有效应对A❤️I系统在复杂环境中动态演化出的未知风险。AI未来的发展方向需😢要强调内生安全治理,将安全融入到AI系统的设计、研发、部署、😊运行的全生命周期之中,从源头筑牢安全基石,在内部建立防御机制⭐。最终朝着“以人为本,智能向善”的方向前进,构建一个普惠、公🤔平、安全、可信的人工智能生态。返回搜狐,查看更多
北京市:市辖区:(东城区、西城区、朝阳区、丰台区、石景山区、海淀区、门头沟区、房山区、通州区、顺义区、昌平区、大兴区、怀柔区、平谷区、密云区、延庆区)
天津市:市辖区:(和平区、河东区、河西区、南开区、河北区、红桥区、东丽区、西青区、津南区、北辰区、武清区、宝坻区、滨海新区、宁河区、静海区、蓟州区)
河北省:石家庄市:(长安区、桥西区、新华区、井陉矿区、裕华区、藁城区、鹿泉区、栾城区、井陉县、正定县、行唐县、灵寿县、高邑县、深泽县、赞皇县、无极县、平山县、元氏县、赵县、石家庄高新技术产业开发区、石家庄循环化工园区、辛集市、晋州市、新乐市)
唐山市:(路南区、路北区、古冶区、开平区、丰南区、丰润区、曹妃甸区、滦南县、乐亭县、迁西县、玉田县、河北唐山芦台经济开发区、唐山市汉沽管理区、唐山高新技术产业开发区、河北唐山海港经济开发区、遵化市、迁安市、滦州市)
秦皇岛市:(海港区、山海关区、北戴河区、抚宁区、青龙满族自治县、昌黎县、卢龙县、秦皇岛市经济技术开发区、北戴河新区)
邯郸市:(邯山区、丛台区、复兴区、峰峰矿区、肥乡区、永年区、临漳县、成安县、大名县、涉县、磁县、邱县、鸡泽县、广平县、馆陶县、魏县、曲周县、邯郸经济技术开发区、邯郸冀南新区、武安市)
邢台市:(襄都区、信都区、任泽区、南和区、临城县、内丘县、柏乡县、隆尧县、宁晋县、巨鹿县、新河县、广宗县、平乡县、威县、清河县、临西县、河北邢台经济开发区、南宫市、沙河市)
保定市:(竞秀区、莲池区、满城区、清苑区、徐水区、涞水县、阜平县、定兴县、唐县、高阳县、容城县、涞源县、望都县、安新县、易县、曲阳县、蠡县、顺平县、博野县、雄县、保定高新技术产业开发区、保定白沟新城、涿州市、定州市、安国市、高碑店市)
张家口市:(桥东区、桥西区、宣化区、下花园区、万全区、崇礼区、张北县、康保县、沽源县、尚义县、蔚县、阳原县、怀安县、怀来县、涿鹿县、赤城县、张家口经济开发区、张家口市察北管理区、张家口市塞北管理区)
承德市:(双桥区、双滦区、鹰手营子矿区、承德县、兴隆县、滦平县、隆化县、丰宁满族自治县、宽城满族自治县、围场满族蒙古族自治县、承德高新技术产业开发区、平泉市)
沧州市:(新华区、运河区、沧县、青县、东光县、海兴县、盐山县、肃宁县、南皮县、吴桥县、献县、孟村回族自治县、河北沧州经济开发区、沧州高新技术产业开发区、沧州渤海新区、泊头市、任丘市、黄骅市、河间市)
杨和苏在昨晚成都演唱会走心感谢活死人的兄弟们:从19年到现在😎,6年的时间,这帮人一直跟我在一起,有一种家人的感觉,永远在😆对方需要的时候,出现在他背后!…
推荐阅读
涉及10名干部!云南省人民政府发布任免职通知
6916
事关纯牛奶,今起全面禁用!
3738
富民县散旦镇党委书记张会春接受纪律审查和监察调查
1466
关于李鹏等37名同志任免职的通知
6339
迪庆州1名干部接受审查调查
8878
到底什么才是预制菜?6部门曾发文明确!
8369
罗永浩宣布“停战”
1349
突发!金价,彻底爆了!
6873
白天擦脸上,可能增加致癌风险!很多人天天接触,却不知道……
1332
罗景锋任楚雄州人民政府副州长、代理州长
7718
丽江市1名干部接受审查调查
5295
冯皓任昭通市人民政府副市长、代理市长
4988
昆明拟探索实行网约车政府指导价
1800
孟继早等同志拟任职务公示
2099
云南检察机关依法对韩跃先涉嫌受贿、徇私枉法案提起公诉
4446
呈贡区这两个城中村将提升改造,位置在→
5908
演员被围堵高铁站台拍照,铁路部门通报
9760
云南检察机关依法对许雷涉嫌贪污、受贿、挪用公款、国有公司人员滥用职权案提起公诉
3226
曲靖市1名干部接受审查调查
5450
微信最新公告:集体下架!
5191
今晚起,睡觉请把手机放1.5米以外
5230