Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU 無GPU跑Gemma 4：老硬體的AI重生

本集重點： 你的擔憂很合理，但這其實重新定義了未來工程師的價值。以前我們認為『懂AI』就是會寫代碼、會調參；但現在，『懂AI』的定義正在變成：你能不能理解模型的運行機制，能不能敏銳地察覺到輸出結果的異樣，並且引導AI去解決特定的邊界問題。就像Ryan說...• 這正是最有趣的地方！Ryan 本人也承認自己不是C++工程師，寫不出編譯fallback。那他是怎麼解決的？他把編譯錯誤直接丟給了本地運行的 Claude，讓AI去幫他重構代碼。最後是Claude找出問題，把針對舊架構的優化路徑重新寫了一遍...• 這就是盲點了。我們不能只用「聊天客服」的場景去評估它的價值。你想想看，如果今天你有一大批不需要即時回覆的後台任務，比如要在半夜批處理一萬份文檔的摘要，或者做本地的數據清洗，你根本不需要極速。你只要把任務丟給這台不到三百美金的舊機器，讓它在地...• 聽起來很神奇，但風險很高。程式碼是AI寫的，優化也是AI做的，Ryan說自己只負責『判斷AI給出的答案是否正確』。這需要極高的鑑別能力。如果AI在重構矩陣乘法時，為了追求速度而在精度上做了妥協，或者產生了細微的運算漂移，一般人根本難以察覺。...