港科广新基准:只给截图,AI能把App交互做出来吗?
港科广新基准:只给截图,AI能把App交互做出来吗?港科广新基准UI2App以600张静态截图评测模型推断并实现应用交互的能力,Gemini 3.1 Pro Preview以73.2分获视觉还原第一,但Claude Sonnet 4.6以36.8分居交互推断首位,跨页面状态仍是参评模型共同难点。
搜索
港科广新基准UI2App以600张静态截图评测模型推断并实现应用交互的能力,Gemini 3.1 Pro Preview以73.2分获视觉还原第一,但Claude Sonnet 4.6以36.8分居交互推断首位,跨页面状态仍是参评模型共同难点。
不少人都有过这样的体验:周五晚上窝在沙发准备看部电影,为了调出适配影片氛围的灯光,反复在App里调节色温、动态模式,折腾半天,电影关键剧情都已经错过。这就是传统智能照明的逻辑,本质上是人去适应灯光:用户需要主动下达指令、手动调试参数,灯具只负责被动执行。
《How Codex Happened》首次披露Codex从首发遇冷、转向本地Agent并借GPT-5系列突围,最终成为ChatGPT桌面端底座,后续将重回云端并探索无固定界面的主动式Agent。
OpenAI的Codex在Tibo接手后从云端转向本地,并推出不含代码编辑器的桌面应用;随着GPT-5.3 Codex拓展至知识工作,Codex于2026年7月成为新版ChatGPT桌面应用,Codex与ChatGPT for Work合计周活超4000万。
DeepSeek官宣DeepSeek-V4.1-Flash-1017全面上线,网页、App和API同步更新且价格不变,在DeepSWE v1.1取得77%最高分,并开放MIT许可证权重及Search/Fetch搜索API。
我用它搓了个手机版新闻App。
十年前,我们用 Soul、陌陌这类 App 认识陌生人,单身交友,不敢明目张胆发挥荷尔蒙。
最近 AI 圈有一个共识,越喊越响:App 和 Saas 会消失,未来只剩 Chat 对话。
任务很简单:把一个加热后的杯子放进柜子。一个智能体先把杯子放进微波炉,再放进柜子,随后陷入反复查看柜子的循环。这个无效行为重复了 36 次,直到耗尽行动预算,任务仍然没有完成。
在无人在意的角落,OpenClaw 又更新了。