大模型的网络攻击是否被夸大了？

[nosugar]

前段时间媒体渲染 OpenAI 攻击 Hugging Face 的事故，一直在渲染大模型做网络攻击非常厉害。

除了拒绝服务攻击 DoS ，别的应该是系统做的健壮无漏洞即可防御。

如果放开大模型做安全测试，是否能更多的修复系统未知漏洞，从长远来看，系统漏洞趋于减少，反而更安全，大家怎么看？

[lifanxi]

我觉得不是被夸大了，而是仍被大部分人低估。

[Danswerme]

随着大模型越来越强，个人认为网络攻击只会更隐蔽、更迅速、更简单，破坏性更强，大模型能从人类轻易想不到的角度发起攻击。但攻防双方都可以使用大模型，只能说对抗会不断升级吧。

但国内网安行业和政府态度来看，我对国内网络安全持悲观态度；现在只等未来哪一天网络攻击真的将天戳破，造成不可想象的破坏。

[sduoduo233]

确实很厉害
<amp-youtube data-videoid="87DyyMV0kCY" layout="responsive" width="480" height="270"></amp-youtube>

[PbCopy111]

网上的都是故事，段子，博眼球的。真实的事情往往只有那么一点点，剩下的就是演艺，别太当真。

[minibear2021]

看一下 openai 的复盘，确实不是夸大，放开攻击能力的话，真不知道能捅多大的篓子。

[Daybyedream]

还行的 应该是 简单的检查检测 真的单独去弄就不清楚了

[florentino]

你之所以被夸大,是因为 OpenAI, Claude 等模型厂家, 在提供外部使用的时候,已经加了电子围栏了,你使用的时候危险操作会被阻止,或者大模型拒绝执行, 但是不是说大模型没有这个能力, 最简单的证据就是逆向,现在大模型做逆向的能力非常强,不管你加什么混淆,对大模型来说都没用,对应到网安领域,不论你用什么方法大模型总能在奇奇怪怪的地方找到漏洞,谁能保证自己的系统软件依赖爆出漏洞的第一时间就把生产环境修复掉?

[HammondY5an]

问下美国国防部就知道了

[AEDaydreamer]

如果把现在大模型的安全围栏全拆了应该还真挺恐怖的,但是没办法验证.

[zhangli2946]

对于没有被攻击到的人来说，都是弟弟。
对于被攻击到的人来说，甜豆他了。

[hope7777777]

有没有自部署一个 glm 尝试攻击的例子，管中窥豹

[superrichman]

无漏洞？不可能的，你这个前提就不存在

[Dispatcher]

我持有消极偏否定的态度。对这个新闻的可信度抱有很大的怀疑态度。

原因有三：
1 、事前没有征兆和迹象，事后宣传铺天盖地。这不是技术派的路子，反而是公关和宣传部的手笔；
2 、很多模型是开源的，是可以自己私有化部署的，理论上可以解开所有限制，请问谁复刻出了类似的情况？不要以 token 不够用或者模型不够先进为借口，这是是或者否的二元性问题；
3 、ai 表现出来的是极度两极分化的状态，以至于让我完全无法相信，一会说可以自动化实施和部署网络攻击，甚至自行规划，逃出沙盒；但是实际体验的时候，几千字的 prompt 给出去，做出来的东西很不尽如人意。
这种表现和宣传的不一致性，也构成了我不相信的原因。

[docx]

别说找漏洞攻击了，就是单纯的爬取信息，都比一般的爬虫来得更猛烈，说是滥用毫不过分

[tf2]

> 系统做的健壮无漏洞即可防御


轻飘飘一句话说得容易，那么问题来了，你如何保证你系统健壮的？拍胸口吗？

[AAAAAAAAAAAAAAAA]

从业者回答一下，实际上大模型的网络攻击能力是被严重低估的，能力效率远超人工。

[0xnycth]

你可以了解一下，最近做金融等基础服务的公司都在收紧安全策略，流窜 AI 在互联网上进行攻击不是传言而是事实。
所以我的结论是：现在还没有被大部分人重视起来，即使重视了，在执行层面是否尽心尽力也有区别。

预言一波：未来半年估计会出一个安全方面的大新闻，加大各行各业对 AI 网络攻击的重视程度。

[icanfork]

确实会有攻击行为，但是正如 OP 所说，夸大了
我更认为是厂商的营销话题行为

[heyjei]

当你的电脑出现问题的时候，你让大模型帮你调试的时候，就会发现大模型有多牛逼了

[registerrr]

有个“老网站”，52 破解，里边还是聚集了一些安全爱好者，里边用 AI 来破解已经用的飞起了。
所以同意 1L ，我认为还是没有夸大，而是被低估了。