EP77: Startup 選擇、AI Evals 怎麼做、Data Science 未來

🎁 Stella和Amy將在Maven有一場免費的 AI Evaluation and Analytics Playbook (美西10/14 9am)的分享，時長30分鐘，歡迎大家來報名參加。不在北美的朋友也別擔心,先Sign Up就可以看到回放 Lightning Lesson。 >>> 報名連結: https://maven.com/p/8430db/build-your-ai-evals-analytics-playbook  這次免費的分享是我們在Maven平台上的課程 AI Evals and Analytics Playbook的一次暖場，在本期節目中，我們也和嘉賓課代表探討了AI Evals的現狀和挑戰。 本集簡介 孫煜征 (YouTube：課代表立正) 在9月2日早上發出離職明星實驗新創Statsig的告別文後，僅僅15分鐘，OpenAI宣佈收購Statsig的新聞就炸開了。這個"完美"的timing背後，這個戲劇性的故事引發了這集節目。 Stella、Amy、課代表都以 data science 為起點，卻走上不同道路。這場對話從三個維度展開： Startup 的真相 Stella 和 Amy 都經歷過 IPO，卻沒有人「財富自由」；課代表則在明星新創擔任 evangelist，分享了在這個職位面臨的種種挑戰。三人揭開創業公司神話——B 輪後成功率僅 1%，收購對員工的權益、員工股權被稀釋。在現在的環境下，究竟加入 startup 還是不是一個好選擇？ AI Evals 怎麼做？ 我們三人也聊了對AI Evals的看法。Stella 研究 AI Evals 已兩年，她觀察到 tech 圈內幾乎預設「LLM-as-a-judge」是正解，課代表直言，這是唯一能落地的方式，但不一定是對的方式；那到底AI Evals 應該怎麼做？如何從「從產品出發」做Evals？與 data science、product analytics 共通核心是什麼？ Data Science 的未來 當 AI 工具重塑產業邊界，data scientist 下一步應該走向何方？我們又有什麼觀察和預測？ 最後，課代表也分享他從大廠和新創公司離開，一路降薪但堅持 mission-driven 的心路歷程。現在經營AI builder community和課程的課代表，給了即將在Maven教授 AI Evals and Analytics Playbook 的Stella和Amy許多鼓勵和建議。 Stella 和 Amy 也將推出課程 AI Evals and Analytics Playbook，並於 10 月 14 日舉辦 30 分鐘免費 Lightning Lesson，帶大家重新思考如何設計評估策略。(>>> 報名連接: https://maven.com/p/8430db/build-your-ai-evals-analytics-playbook ) 00:00:00 - AI Evals 免費講座(美西10/14 9am)  00:00:57 - 節目高光、歡迎課代表 00:06:55 - Statsig被收購前15分鍾離職的故事 00:09:37 - Startup真相：B輪後1%成功率，三人的startup經歷 00:17:21 - 如何談判薪資和股權？ 00:21:03 - 為什麼離開大廠？ 00:25:37 - Evangelist角色困境：個人品牌vs公司品牌 00:36:37 - Mission driven也能賺錢？ 00:41:52 - 課代表的內容創作歷程 00:44:40 - AI Evals討論：為什麼LLM-as-a-judge很危險？ 00:50:36 - AI Evals 正確做法：從產品出發 00:56:07 - Statsig的AI Evals產品與OpenAI收購的關係 01:02:03 - Data science未來 01:07:12 - Harder things ≠ more valuable 01:15:06 - AI Builders 社群 01:17:26 - Stella和Amy的AI Evals and Analytics 講座和課程 🎙️ 「StellaxAmy‧自定義」Podcast 每期邀請一位朋友，講述中文世界故事、華人故事。和我們一起傾聽自定義人生。 如果你喜歡本節目或希望與我們合作，Stella和Amy現已開通Buy Me a Coffee會員支持： ☕️ 請我們喝杯咖啡 👩🏻‍🏫 找我們咨詢/創業陪跑 👉 https://buymeacoffee.com/stellaxamy 📌 訂閱收聽：  不要錯過任何一集精彩內容！如果我們的節目對你有啓發，請記得給我們五星好評鼓勵！  🍎 Apple Podcasts  🎧 Spotify  📺 YouTube  🪐 小宇宙  🌐 或你喜歡的任何Podcast平台  👉 https://linktr.ee/stellaxamy 留言告訴我你對這一集的想法： https://open.firstory.me/user/cls5sglrw05pc01tr4h0v4ufn/comments Podcast 任意門：https://linktr.ee/stellaxamy The Cocoons 英文電子報：https://thecocoons.substack.com/ 喜歡我們請訂閱分享喔！ 找我們商業諮詢、加入會員：https://buymeacoffee.com/stellaxamy 聯絡我們： [email protected] Powered by Firstory Hosting