AIエンジニアリングの現場

AIエージェントに仕事を任せると、ソフトウェア開発はどう変わるのでしょうか。こぎそさんと、AIエージェントを使って開発を続ける仕組み「ソフトウェアファクトリー」について話します。AIに任せる仕事と、人間が設計・確認する仕事を、デザインハーネスや実際の開発の話を交えて考えます。shownotes:ソフトウェアファクトリーとは何かSoftware Factories, Light and DarkSFから持ち帰ったAIエンジニアリングの現在地 〜AI Engineer World's Fair 2026 参加レポート〜ホスト：kagayaゲスト：こぎそ

LLMやRAG、エージェント、ファインチューニング。AIアプリケーション開発では、個別の技術を追うだけでは、何を身につければよいのかが見えにくくなります。今回は、Andrew Ng / DeepLearning.AIの「AI Engineering Skills Map」を起点に、AIエンジニアリングを一部の専門職だけのものではなく、多くのソフトウェア開発者に必要になる4つの技能として捉えます。AIアプリを作って届けること、ソフトウェア工学の基礎、コーディングエージェントの使い方、何を作るかを決めること。roadmap.shのAI Engineer roadmap、Hugging FaceのAgents Course、Chip Huyenの『AIエンジニアリング』にも触れながら、スキルマップをどう学びに接続するかを考えます。## Show notes00:00 イントロ00:38 AIエンジニアリングは何から学ぶ？01:48 4つの技能領域という見取り図04:59 スキルマップはどう作られたか06:09 4つの技能領域を見ていく07:01 AIアプリは評価までが仕事09:37 ソフトウェア工学の基礎11:15 コーディングエージェントをどう使うか13:50 何を作るかを決める16:34 roadmap.shと公式資料の使い分け18:42 一つの成果物で4領域を学ぶ20:51 4つのスキルをおさらい21:59 まとめ## 参考リンクThe AI Engineering Skills Map from Andrew Ngroadmap.sh — AI Engineerroadmap.sh — AI Engineer ProjectsHugging Face — Agents Courseオライリー — AIエンジニアリングホスト：kagaya（@ry0_kaga）

点数が高ければ、本当に能力が高いと言えるのでしょうか。視力2.0なのに黒板が読めない子のたとえから、LLMベンチマークとAgent Skillの評価を考えます。445件のベンチマーク論文を調べた研究を紹介しながら、課題の選び方、採点、データ汚染、評価者の偏りを整理します。評価で大事なのは、点数をつけることではなく、その点数が何の根拠になるのかを説明できることです。Measuring what Matters: Construct Validity in Large Language Model Benchmarksホスト：kagaya(⁠⁠@ry0_kaga⁠⁠)