测试也要整失业了?Claude Code 炸裂更新,已支持 Computer Use,能看屏幕、点鼠标

 

今天凌晨,Anthropic 官方账号发了一条推文,718 万浏览量,4947 转发,直接炸了。

内容就一句话:Computer use is now in Claude Code。

翻译过来就是:Claude Code 现在能操控你的电脑了。不是模拟,不是截图识别,是真的能打开应用、点击按钮、输入文字、截屏验证。

这意味着什么?你让 Claude 写完一个 macOS 应用,它能自己编译、自己启动、自己点遍每一个按钮,发现 bug 自己修,修完再验证一遍。从写代码到测试上线,一气呵成,中间不需要你碰一下鼠标。

到底能干什么?

先说几个官方给出的核心场景:

1. 构建并验证原生应用

你跟 Claude 说"帮我写一个 macOS 菜单栏应用",它会自动写 Swift 代码、调用 xcodebuild 编译、启动应用、点击每一个控件确认没问题,最后截一张图给你看结果。整个过程你只需要坐着看。

2. 端到端 UI 测试

以前做 UI 测试,你得配 Playwright、写测试脚本、维护测试用例。现在你只需要跟 Claude 说"测一下注册流程",它就会自己打开应用,点击注册按钮,填写表单,截图每一步。不需要任何测试框架,不需要写一行测试代码。

3. 调试视觉 Bug

"弹窗在小窗口下会被裁切。"就这一句话,Claude 会自己把窗口缩小、复现 bug、截图留证、找到对应的 CSS、改掉、再验证一遍。

4. 操控 GUI 工具

那些没有 CLI、没有 API 的工具,比如设计软件、硬件控制面板、iOS 模拟器,现在都能通过 Claude 来操作了。


开启方式非常简单,三步搞定:

第一步,在 Claude Code 交互会话中输入 /MCP,找到 computer-use 服务器,选择启用。每个项目只需要设置一次。

测试也要整失业了?Claude Code 炸裂更新,已支持 Computer Use,能看屏幕、点鼠标

第二步,首次使用时 macOS 会弹出权限请求:

  • • 辅助功能(Accessibility):让 Claude 能点击、输入、滚动
  • • 屏幕录制(Screen Recording):让 Claude 能看到你的屏幕

第三步,授权后就可以开始用了。比如直接输入:

Build the app target, launch it, and click through each tab to make
sure nothing crashes. Screenshot any error states you find.

Claude 就会自动编译、启动、逐个标签页点击、遇到报错自动截图。

测试也要整失业了?Claude Code 炸裂更新,已支持 Computer Use,能看屏幕、点鼠标

它是怎么工作的?

有几个细节值得关注。

智能选择工具:Claude 不是什么都用 Computer Use 来做。它会优先使用更精确的方式。有 MCP Server 就用 MCP,能用命令行就用 Bash,能用浏览器扩展就走 Chrome 插件。只有当其他方式都搞不定时,才会启动屏幕控制。这个设计很聪明,毕竟直接操控屏幕是最慢的方式。

逐个应用授权:启用 Computer Use 不等于 Claude 能控制你电脑上所有应用。每次 Claude 需要操作一个新应用时,都会弹窗让你确认。而且对于终端、Finder、系统设置这类高权限应用,会额外显示风险提示。

工作时隐藏窗口:Claude 操控屏幕时,会自动隐藏其他应用窗口,只保留被授权的应用和你的终端。操作完成后自动恢复。终端窗口不会出现在截图中,所以 Claude 永远看不到自己的输出内容。

随时可以打断:按下 Esc 键就能立刻中止操作。Claude 会释放控制权,恢复所有隐藏的窗口,把电脑还给你。


目前这个功能还处于"研究预览"阶段,有几个明确的限制:

  • • 仅限 macOS,Windows 和 Linux 暂时用不了
  • • 仅限 Pro 和 Max 订阅,Team 和 Enterprise 暂不支持
  • • 需要 Claude Code v2.1.85 或更高版本
  • • 必须是交互式会话,不支持 -p 参数的非交互模式
  • • 必须通过 claude.ai 认证,第三方供应商(Bedrock、Vertex AI、Foundry)不可用
  • • 同一时间只能有一个会话使用 Computer Use,机器级别的锁

另外,浏览器和交易平台只允许"查看",终端和 IDE 只允许"点击",其他应用才有完整控制权限。分级管控,防止出事。

对测试工程师意味着什么?

Computer Use 确实在重新定义"测试"这件事的门槛。

以前,手动测试需要人一步步点击验证,自动化测试需要写大量的测试脚本、维护复杂的测试框架。现在呢?你只需要用自然语言描述测试步骤,Claude 就能像一个真人测试员一样操作你的应用。

这对初创团队和独立开发者来说是巨大的利好。以前一个人开发,测试环节往往是最容易偷懒的地方。现在有了 Claude,相当于免费多了一个 24 小时在线、不会疲倦、不会遗漏步骤的测试同事。

当然,对于专业测试工程师来说,这更像是一个效率工具而非替代品。复杂的测试策略设计、边界条件分析、性能压测这些高阶工作,AI 短期内还替代不了。但那些重复性的回归测试、基础的功能验证,确实可以交给 Claude 来做了。

更大的图景

从 Claude Code 的演进路线来看,Anthropic 的野心很明确:让 AI 不仅能写代码,还能验证代码

写代码只是软件开发的一半。另一半是确认代码真的能用。以前 AI 编程工具写完代码就甩手走人了,你还得自己去跑、去测、去看效果。现在 Claude 能从头到尾负责到底:写代码、编译、运行、测试、截图验证、发现问题、修复、再验证。

这才是 AI 编程的完整闭环。

回头看那条推文下面的评论,很多开发者已经在兴奋地讨论各种使用场景了。有人要拿它来测 SwiftUI 应用,有人要用来自动化 Figma 操作,还有人想让它帮忙调试 iOS 模拟器里的布局问题。

一个能"看见"和"操作"你屏幕的 AI 编程助手,想象空间确实很大。至于最终能走多远,就看 Anthropic 后续的迭代速度了。

 

前沿技术多模态技术新闻资讯

Seedance 2.0上线火山方舟体验中心,API即将开放

2026-4-14 22:55:52

RAG技术前沿技术新闻资讯

OpenDataLoader:PDF文档提取的一站式方案

2026-4-14 23:37:55

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索