EPISODE · Jun 24, 2026 · 16 MIN
给软件装一张嘴:让 agent 用文本驱动软件,而不是盯像素点鼠标(知识分析)
上一集聊 Holo——教 AI 像人一样看屏幕、点鼠标去用软件。这一集是另一拨人对同一个问题(agent 到底该怎么「用」软件)给的相反答案:别教它用人类的界面,干脆给软件装一张「嘴」——一个命令行接口,agent 发文本命令、收 JSON,不用看屏幕。 这是「脑子借我一下 / Borrow My Brain」**知识分析** 线第 4 期,主角是 HKUDS/CLI-Anything(42.8K stars)。而且——这不是隔岸观火的点评:我们自己做表情包、抠图,背后那套出图流程,天天在用它(cli-anything + gimp)。 技术拉满:我们把仓库里**真实的核心代码**(output 双模式:一个 --json 开关,同命令既给人又给 agent)一行行摊开;讲一个 harness 怎么造(先逆向软件架构再装嘴 + 渐进披露 + 2461 测试=对 agent 的「信任」);再**真跑一次**——照官方写法手搓一个最小 CLI + 接前几集那个 agent 壳,一句话让它自己 --help 发现、--json 驱动、链式调用,产出一张真 PNG,还从结构化报错里自我纠偏。 ◾ 一条说明(先看) 这是项目评测不是带货(哪怕我们自己在用)。客观给足 tradeoff:覆盖面靠社区堆(冷门软件可能没人做)、社区 CLI 质量参差、给 agent 一张能驱动软件的「嘴」是新攻击面/权限问题。也不搞「vs Holo 二选一」——有现成 CLI 用 CLI,没人做过的用 computer-use 兜底,两条路互补。跑分/star 是 repo 自报。 ◾ 时间戳 00:01 抓手 · 对同一问题的相反答案 01:30 心智模型 · 给软件装一张「嘴」 02:50 两条路之争 · 视觉点鼠标 vs CLI 翻译层 04:40 ★ 真实代码 · output 双模式(仓库真码) 06:50 ★ 一个 harness 怎么造(先读懂软件再装嘴) 09:00 ★ 真跑 · agent 自己驱动那张嘴 11:40 CLI-Hub · 社区飞轮 13:00 坑与边界 14:00 收口 · 两条路互补 ◾ 复现这个 demo 最小 agent-native CLI(照搬官方 output 双模式)+ agent 驱动它的全过程,都在仓库: projects/borrow-my-brain/research/ep037_cli_anything/demo/ 跑法:装 openai + pillow + click,配好 OPENAI_API_KEY,python agent_drives_cli.py。 ◾ 信源(会过期,请自行核对) HKUDS/CLI-Anything · https://github.com/HKUDS/CLI-Anything · CLI-Hub https://clianything.cc/ ◾ 其他平台 Spotify · Apple Podcasts · 小宇宙 · 网易云 脑子借我一下 / Borrow My Brain @Borrow_My_Brain
Embed this episode
What this episode covers
上一集聊 Holo——教 AI 像人一样看屏幕、点鼠标去用软件。这一集是另一拨人对同一个问题(agent 到底该怎么「用」软件)给的相反答案:别教它用人类的界面,干脆给软件装一张「嘴」——一个命令行接口,agent 发文本命令、收 JSON,不用看屏幕。 这是「脑子借我一下 / Borrow My Brain」**知识分析** 线第 4 期,主角是 HKUDS/CLI-Anything(42.8K stars)。而且——这不是隔岸观火的点评:我们自己做表情包、抠图,背后那套出图流程,天天在用它(cli-
Ready to play
给软件装一张嘴:让 agent 用文本驱动软件,而不是盯像素点鼠标(知识分析)
No transcript for this episode yet
Similar Episodes
No similar episodes found.
Similar Podcasts
No similar podcasts found.