类 Manus 的 UI Agent 完全是个伪需求,前端已经没活路了

166 天前
 FaustY

现在 browser-use ( browser agent )和 Omniparser (computer agent), 都是给 LLM 去识别并操作 UI 界面的能力。

但是将来的场景肯定是就一个 LLM 对话框跟用户交互,通过 MCP 直接调用美团、滴滴的后台接口,就可以完成订餐、打车、购票等高频场景。

让用户额外安装 app, 再通过 LLM 去操作手机/电脑上的可视化 UI 界面,完全没有必要了啊。

4736 次点击
所在节点    程序员
39 条回复
FaustY
166 天前
@lawted 这个好,感谢推荐
zzhirong
166 天前
@mumbler 那个店关门了怎么办,领导一会要去另一栋楼开会要修改一下地址怎么办,领导最近信用卡到期了,要更换支付方式,领导夫人来了,需要多点一些,夫人喜欢吃淡点的,领导除了吃猪脚饭,还能吃什么,总不可能是随便吧,领导想给自己的父母点一些该怎么办。我的核心观点就是,想要精确表达需求,就要有足够的输入,你可以优化输入(比如,最近点过什么,我可以说,就吃上次点的),但是你不能省略输入信息,不然,你得到的结果很可能不是你想要的,各种 UI 都在优化这种输入,比如从常用地址中选择而不需要手动输入地址,你没办法做到不精确描述需求,而想得到一个精确的结果,不然就是开盲盒了(点了什么不知道,送到哪去了不知道,是用美团月付还是用信用卡支付的,不知道,餐具有几套,不知道,我最近牙疼,是不是清淡的,不知道)。
mumbler
166 天前
@zzhirong #22 你还是逃离不了现有 APP 思维,你身边有个真人助理了,有什么是人不能解决的?
param
166 天前
这得看 AI 跑不跑得赢人机验证。如果人机验证能持续卡住 AI ,那么各大 app 继续限制机器人操作。
FaustY
166 天前
@param 最近试了试 browser use + gpt4o ,图形验证码三个网站都没过去。
不可否认的是,现有的图形验证码拦不住有视觉的 UI Agent 只是时间问题了。
但仔细一想,区块链 + 数币 + 网络实名制发展这么久,人机验证发挥的安全作用也许会越来越小
min
166 天前
"通过 MCP 直接调用美团、滴滴的后台接口,就可以完成订餐、打车、购票等高频场景"
目前这些平台,以及大的品牌有在和手机厂之类的搞此类合作探索
流量怎么分、蛋糕怎么切,应该还没有定论
xsen
165 天前
@june4 #5 就一个 ai 的 app ,点外卖的时候直接语音交互,菜单直接返回图片;需要深入了解,可以直接语音交互,或者看图片。不会有各种各样的乱七八糟的 app——因为一个 app 就够了
lawler
165 天前
@june4 #5 如果你觉得 AI 是这个样子,那你的想象力确实很匮乏。

参考现在 chatGPT 的语音交互能力。以 AI 外卖为例子,你只需要告诉 AI 你需要一份外卖,AI 可能会按照如:
1 、现在时刻决定早餐午餐晚餐
2 、你的历史订单决定口味偏好。
3 、你的历史订单金额决定价格区间。
4 、你的地理位置周边好评/健康/举例等你关注你的条件。
4 、其它如时令食物,近期其它来源(如淘宝搜过腊肠等)偏好。
5 、你的其它指令:如今天想吃面食为主的外卖,今天发工资想吃一顿好的外卖等信息。

得到精准的结果让你选择。且只播报餐品和价格,3-5 个可选项,太少不行,太多也不行。
你需要做的,只是通过生物识别(脸部,声纹等)确认信息和授权支付。
没有复杂需求时,整个交互过程可以在 1 分钟内完成。对于饮食习惯这要的需求,其实 AI 比你更了解你。


不要觉得 AI 是生成你需要的内容。你要认为 AI 是帮你过滤你不需要的内容。
xsen
165 天前
@min #26 本质上只有一个问题——比如某个某团、某滴跟了 mcp 的模式,美团、滴滴你跟不跟。整个营销前台几乎都可以直接砍掉,这效率的提升、成本的节省就不少
june4
165 天前
@lawler 牛逼了,比本人还懂,终级管家全面接管是吧,能发展到把工作和活着也接管了就最好了,本人只负责吃和睡
Leviathann
165 天前
在浏览完餐单前 你怎么知道你想吃什么
n
165 天前
非常同意。
cyrivlclth
165 天前
你这不是要改变 APP 啊,大胆点,直接放弃手机吧
macaodoll
165 天前
这个东西就是理想很丰满现实很骨感,自家 app 上全是机器人在操作,广告给谁看?下单套路直接没人踩了?IM 软件各种骗子泛滥?再往下不敢想能有多乱
min
165 天前
@xsen
咱放弃的阵地,对手就会去占领。
不要营销前台了,用户的时间和注意力都不要了?
用户自动自发就来咱这儿下单了?
就这样把营销阵地用户触点拱手让给手机厂、车机厂、智能音箱厂、智能电视厂?

那还不如直接关门算了
hefish
165 天前
今后人只要躺床上挂个葡萄糖就行了,啥都不用做,都有 ai 帮着做了。
其他器官出生的时候就切掉,没啥用啊。什么 jj 啊,耳朵啊,鼻子啊,都切了,然后出生时候就放床上,挂水挂到死。。。
cheng6563
165 天前
你看哪家新闻网还放 RSS ?
param
165 天前
点餐这个需求,只有在选菜的时候,ai 才派上用场。
你可以说我今天想吃清淡的,价格在 20 以下。ai 根据你的口味,筛选出符合价位并且排除近几天吃过的菜免得重复,再排除你不吃的辣味、香菜,帮你列出可能符合口味的。实际上就是餐厅点菜过程当中服务员的角色。
param
165 天前
那就是 rag

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1123081

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX