大模型的网络攻击是否被夸大了？

[nosugar]

前段时间媒体渲染 OpenAI 攻击 Hugging Face 的事故，一直在渲染大模型做网络攻击非常厉害。

除了拒绝服务攻击 DoS ，别的应该是系统做的健壮无漏洞即可防御。

如果放开大模型做安全测试，是否能更多的修复系统未知漏洞，从长远来看，系统漏洞趋于减少，反而更安全，大家怎么看？

[lifanxi]

我觉得不是被夸大了，而是仍被大部分人低估。

[Danswerme]

随着大模型越来越强，个人认为网络攻击只会更隐蔽、更迅速、更简单，破坏性更强，大模型能从人类轻易想不到的角度发起攻击。但攻防双方都可以使用大模型，只能说对抗会不断升级吧。

但国内网安行业和政府态度来看，我对国内网络安全持悲观态度；现在只等未来哪一天网络攻击真的将天戳破，造成不可想象的破坏。

[sduoduo233]

确实很厉害

[PbCopy111]

网上的都是故事，段子，博眼球的。真实的事情往往只有那么一点点，剩下的就是演艺，别太当真。

[minibear2021]

看一下 openai 的复盘，确实不是夸大，放开攻击能力的话，真不知道能捅多大的篓子。

[Daybyedream]

还行的 应该是 简单的检查检测 真的单独去弄就不清楚了

[florentino]

你之所以被夸大,是因为 OpenAI, Claude 等模型厂家, 在提供外部使用的时候,已经加了电子围栏了,你使用的时候危险操作会被阻止,或者大模型拒绝执行, 但是不是说大模型没有这个能力, 最简单的证据就是逆向,现在大模型做逆向的能力非常强,不管你加什么混淆,对大模型来说都没用,对应到网安领域,不论你用什么方法大模型总能在奇奇怪怪的地方找到漏洞,谁能保证自己的系统软件依赖爆出漏洞的第一时间就把生产环境修复掉?

[HammondY5an]

问下美国国防部就知道了

[AEDaydreamer]

如果把现在大模型的安全围栏全拆了应该还真挺恐怖的,但是没办法验证.

[zhangli2946]

对于没有被攻击到的人来说，都是弟弟。
对于被攻击到的人来说，甜豆他了。

[hope7777777]

有没有自部署一个 glm 尝试攻击的例子，管中窥豹

[superrichman]

无漏洞？不可能的，你这个前提就不存在

[Dispatcher]

我持有消极偏否定的态度。对这个新闻的可信度抱有很大的怀疑态度。

原因有三：
1 、事前没有征兆和迹象，事后宣传铺天盖地。这不是技术派的路子，反而是公关和宣传部的手笔；
2 、很多模型是开源的，是可以自己私有化部署的，理论上可以解开所有限制，请问谁复刻出了类似的情况？不要以 token 不够用或者模型不够先进为借口，这是是或者否的二元性问题；
3 、ai 表现出来的是极度两极分化的状态，以至于让我完全无法相信，一会说可以自动化实施和部署网络攻击，甚至自行规划，逃出沙盒；但是实际体验的时候，几千字的 prompt 给出去，做出来的东西很不尽如人意。
这种表现和宣传的不一致性，也构成了我不相信的原因。

[docx]

别说找漏洞攻击了，就是单纯的爬取信息，都比一般的爬虫来得更猛烈，说是滥用毫不过分

[tf2]

> 系统做的健壮无漏洞即可防御


轻飘飘一句话说得容易，那么问题来了，你如何保证你系统健壮的？拍胸口吗？

[AAAAAAAAAAAAAAAA]

从业者回答一下，实际上大模型的网络攻击能力是被严重低估的，能力效率远超人工。

[0xnycth]

你可以了解一下，最近做金融等基础服务的公司都在收紧安全策略，流窜 AI 在互联网上进行攻击不是传言而是事实。
所以我的结论是：现在还没有被大部分人重视起来，即使重视了，在执行层面是否尽心尽力也有区别。

预言一波：未来半年估计会出一个安全方面的大新闻，加大各行各业对 AI 网络攻击的重视程度。

[icanfork]

确实会有攻击行为，但是正如 OP 所说，夸大了
我更认为是厂商的营销话题行为

[heyjei]

当你的电脑出现问题的时候，你让大模型帮你调试的时候，就会发现大模型有多牛逼了

[registerrr]

有个“老网站”，52 破解，里边还是聚集了一些安全爱好者，里边用 AI 来破解已经用的飞起了。
所以同意 1L ，我认为还是没有夸大，而是被低估了。

[registerrr]

@0xnycth #17 所以利好网安？

[dhb233]

攻击一直都在，只是看有没有目标价值。攻击的另一个方面是隐藏自己的攻击行为，这个应该是更难的，总不能攻击一次就被抓进去吧。AI 也只是一个好用的工具，没有改变攻防的局势

[jheroy]

我用过大模型来逆向 tcl 电视的控制命令，比如切换 hdmi 和切换图像模式，国内系统这些都不公开，而且和其他系统都对不上，也不是标准 Android 系统，阉割了很多东西，但是用 gpt 几分钟就找到了控制命令。然后顺便帮我写好了 ha 的自动化。

[gpt5]

有次我让 ai 操作一个服务器，但是由于网络抖动，ssh 进不去，要是人类肯定等几分钟再试，但他各种迂回，经过我的别的服务器好几跳进去了。完全出乎我意料。往大了说，有点为了目的不择手段。

[Cruzz]

@Danswerme 国内有鸡毛的网安行业，来检查攻防演练全靠拉闸断网。这确实安全。

[jixiafu]

非但没夸大，相反，大多数人低估了大模型的网络攻击以及逆向能力，就不说 openai 了，opencode 上免费的 d 老师，十分钟就能破解国内某报表软件的永久授权

[azraeljack]

我觉得是被低估了，就单从 web3 来看的话，最近被 hack 的项目远多于前几年。现在黑客的矛可比之前锋利多了。