76. IA locale legale finalmente si può fare!

Questa è una puntata ti parlo dei miei esperimenti per ottimizzare al massimo l’utilizzo del mio Mac con l’IA locale.00:00:00 Intro e presentazione del podcast00:00:37 Comunicazioni di servizio00:01:41 Sperimentazioni con agenti AI locali (Open Claw, Agent Zero, Craft Agent)00:03:05 App open source per anonimizzare documenti legali00:05:09 Il problema: contesto limitato sui modelli locali00:09:12 La scoperta: ottimizzare la configurazione con Perplexity00:10:27 Trucco 1 – Aumentare la RAM dedicata alla GPU00:13:12 Trucco 2 – Ottimizzare Ollama e ridurre i job paralleli00:15:21 Trucco 3 – I modelli MoE (Mixture of Experts)00:17:12 Qwen 3.5 35B e Nemotron 3 Nano: i modelli consigliati00:21:29 Cos'è la KV Cache e come funziona00:26:29 Il prompt usato e i risultati concreti ottenuti00:29:42 Avvertenze: trade-off tra contesto grande e tempi di risposta00:31:55 MLX e ottimizzazioni avanzate per Apple Silicon00:33:50 AI locale: privacy, vantaggi e futuro per i professionisti00:36:57 Saluti e conclusionehttps://www.avvocati-e-mac.it/podcast/76