@NousResearch：Hermes Agent 新增跨平台電腦操作，可在背景自動執行桌面動作。 核心功能與跨平台支援 Nous Research 宣布 Hermes Agen…

Hermes Agent 新增跨平台電腦操作，可在背景自動執行桌面動作。 核心功能與跨平台支援 Nous Research 宣布 Hermes Agent 的電腦操作功能（Computer Use）除了原有的 macOS 支援外，現已擴展至 Windows 與 Linux。該功能透過 cua-driver 驅動程式，讓 Agent 能在背景執行點擊、輸入、捲動與拖曳等動作，且不會搶佔使用者的滑鼠游標、鍵盤焦點或切換虛擬桌面，實現真正的「人機協作」。此工具集採用 MCP（Model Context Protocol）協定，相容於 Claude、GPT、Gemini 及各類支援工具呼叫的本地大型語言模型。 這段影片展示了某 AI 服務支援 Windows 與 Linux 電腦操作的公告，並顯示了相關的合作標誌。 安裝與設定指引 使用者可透過以下兩種方式啟用該功能： 直接執行 CLI 指令：hermes computer-use install。 互動式設定：執行 hermes tools 並選擇「Computer Use」。 安裝完成後，可透過 hermes computer-use doctor 進行系統診斷，確保權限與環境設定正確。若要啟動具備該功能的對話，請執行： `bash hermes -t computer_use chat ` 或在 ~/.hermes/config.yaml 設定檔中將 computer_use 加入啟用的工具集。 技術架構與進階應用 操作機制：Agent 透過各平台的輔助功能樹（Accessibility Tree）讀取視窗資訊，並發送合成事件，無需將視窗移至前景。 視覺回饋：Agent 執行動作時，螢幕會出現半透明的疊加游標，標示其操作位置，且每個 Agent 執行個體皆有獨立的 Session ID 與游標識別。 技能擴充：若需深入研究平台特定的操作細節（如 macOS 的 SkyLight 互動或 Windows 的 UIA 樹狀結構），可安裝 cua-driver 提供的 skill pack： `bash cua-driver skills install ` 安全性與效能：系統內建多層防護，包括對破壞性動作（如強制刪除、鎖定螢幕）的硬性阻擋，以及針對截圖的 token 優化策略（如截圖淘汰（只留最近 3 張）與上下文壓縮），以降低 API 使用成本。 注意事項 該功能目前在背景模式下的反應速度約為 5–20 ms，雖足以應付一般自動化任務，但若需進行高頻率的操作錄製，效能表現會受限。此外，部分現代應用程式（如未公開輔助樹的 UWP 或特定 Electron 版本）可能無法被正確識別，此時 Agent 將會退回到像素座標模式或跳過該任務。 這段影片展示了某 AI 服務支援 Windows 與 Linux 電腦操作的公告，並顯示了相關的合作標誌。 影片中的 Prompt 與操作： 操作步驟： 1. （00:00）顯示電腦操作支援公告 2. （00:06）顯示兩個品牌或服務的識別圖示 原文：https://easyvibecoding.app/curated/2144