HeyClicky 推出空間上下文功能讓使用者圈選螢幕範圍

HeyClicky 推出空間上下文功能讓使用者圈選螢幕範圍。 核心功能 Farza (@FarzaTV) 發布了這項新功能，解決 AI 雖然擅長分析螢幕截圖，卻無法精確理解使用者關注點的問題。透過這項更新，使用者不再需要描述模糊的區域，只需透過直覺的圈選動作，即可讓 AI 聚焦於螢幕上的特定細節。 實際應用場景 根據演示影片（Demo）顯示，HeyClicky 的應用範圍相當廣泛，不僅限於靜態圖像分析，還能直接介入網頁與系統操作： 醫學教育：在瀏覽器開啟「Atlas of Human Anatomy」網頁時，使用者可圈選特定肌肉部位，直接向 AI 詢問相關解剖資訊。 網頁開發：在開發環境中，使用者可針對網頁特定區塊圈選並下達指令，例如在「Golden Gets Summer Camp」網站頁面要求 AI 新增「Explore Programs」按鈕，AI 會自動在指定位置完成操作。 系統與多媒體互動：該工具亦支援 macOS 系統設定介面、影片編輯軟體以及影片平台縮圖的互動，展現了高度的跨應用程式整合能力。 影片展示了名為 HeyClicky 的 AI 工具，透過游標圈選螢幕區域即可與 AI 精確互動與操作。 操作流程 使用者可透過以下步驟啟用空間上下文功能： 透過快捷鍵觸發選取模式。 使用滑鼠或游標在螢幕上繪製出需要 AI 關注的區域。 該區域的視覺資訊將被擷取並作為上下文傳遞給 AI，隨後即可針對該區域分析或執行自動化操作。 這項更新大幅降低了使用者與 AI 互動的溝通成本，將「視覺指引」直接轉化為 AI 的執行參數，使 AI 代理能更精準地理解並處理螢幕上的複雜任務。 影片展示了名為 HeyClicky 的 AI 工具，透過游標圈選螢幕區域即可與 AI 精確互動與操作。 影片中的 Prompt 與操作： Prompt（00:20）： HeyClicky，能告訴我關於這個特定區域肌肉的更多資訊嗎？ 原文：HeyClicky, can you tell me more about the muscles in this particular region? Prompt（00:44）： HeyClicky 代理，你能幫我在網站的這個位置加一個按鈕嗎？ 原文：HeyClicky agent, could you actually go and add a button to this part of the website right here? 操作步驟： 1. （00:12）使用者按下快捷鍵並以游標圈選螢幕區域 2. （00:21）使用者在瀏覽器中圈選解剖圖的肌肉部位 3. （00:45）使用者在網頁開發介面中圈選空白處 4. （00:54）AI 代理在圈選處自動插入按鈕 原文：https://easyvibecoding.app/curated/2412-heyclicky-adds-spatial-context-selection