有些 App 沒有 API。內部工具、設計軟體、專案管理系統，很多只有 GUI。以前碰到這種，你只能自己手動操作。現在 Claude Code 的 Computer Use 可以從終端機操控你的桌面，開 App、點按鈕、填表單、讀螢幕上的內容。
這篇你會學到
- Computer Use 是什麼、適合什麼場景
- 怎麼啟用和測試
- 實際能做到什麼程度、哪裡會卡
- CLI 和 Desktop App 的差別
它能做什麼
Claude 透過螢幕截圖「看」你的電腦畫面，然後發送滑鼠和鍵盤指令來操作。它不是透過 API 或程式碼控制 App，是真的在「用」你的電腦。
實際場景：
- 在 iOS 模擬器裡測試你的 App
- 操作沒有 API 的內部工具
- 驗證 UI 修改是否符合預期
- 操作硬體控制面板
怎麼啟用
CLI 版本：
在 Claude Code 裡輸入
/mcp，找到computer-use，開啟它。
Desktop App 版本：
Claude Code Desktop App 直接內建了這個功能，預設關閉。開啟後每次動作前會先問你，不會自己亂點。
⚠️ 這是 research preview，只支援 macOS 和 Windows。需要 Pro 或 Max 方案，Team/Enterprise 目前用不了。
實測體驗
跟你自己用電腦比，速度大約慢 3-5 倍。每個動作都要截圖→分析→決定下一步，這個循環吃時間。
表現好的地方：
- 開 App、切換視窗、點選單——它對常見 UI 元件辨識得不錯
- 填表單——能找到輸入框並正確輸入
- 讀螢幕內容——用來驗證 UI 狀態很好用
容易卡的地方： - 複雜的拖拉操作
- 滾動很長的頁面找特定元素
- 非標準的自定義 UI 元件
💡 最佳用法：用在「其他工具到不了的地方」。如果一個 App 有 API，用 API 比用 Computer Use 快十倍且穩定得多。
CLI vs Desktop App
CLI | Desktop App
運作方式 | 透過 MCP server | 內建功能
每次確認 | 看設定 | 預設每次問
適合場景 | 腳本化流程 | 一次性操作
該用與不該用
✅ App 沒有 API、專有工具、GUI-only 的操作——這是 Computer Use 的主場。
❌ 有 API 的服務（Gmail、GitHub、Notion）——用 MCP 或直接呼叫 API，快得多也穩得多。
❌ 需要高速或大量重複的操作——Computer Use 每個動作都要截圖分析，不適合批量操作。
Computer Use 不是用來取代 API 的。它是給「沒有 API」的世界開的一扇窗。