Meridian, Robyn e il mito dell'MMM gratis

Partiamo dal fatto scomodo. Meridian è l’MMM di Google. Robyn è l’MMM di Meta. Entrambi open-source, gratuiti, ben documentati. Ed entrambi costruiti dalle due aziende che vendono lo spazio pubblicitario che quel Marketing Mix Model dovrebbe valutare. I due arbitri sono anche le due squadre in campo.Non voglio farne una requisitoria Google-contro-Meta. Mi interessa una cosa più utile: ogni MMM va testato, chiunque lo firmi. Testare significa calibrarlo e verificarlo con lift test di vario genere e mettere alla prova allocazioni di budget alternative. Il verdetto arriva da lì, da qualcosa che vive fuori dal modello.Prima di tutto, graziePrima di Robyn (open-source dal 2020) e Meridian (2024), l’MMM era rinchiuso in pochi laboratori: econometristi specializzati, vendor da centinaia di migliaia di euro l’anno, scatole nere. Questi due progetti hanno democratizzato la conoscenza e aperto il mercato su cui oggi prosperano anche i vendor indipendenti.Cosa sono, in due righeMeridian (Google): bayesiano, gerarchico a livello geografico, uncertainty-aware. Esigente su dati e competenze, pensato per l’ecosistema Google: Query Volume come variabile di controllo, reach e frequency di YouTube, export in Looker Studio.Robyn (Meta): ridge regression con tuning evolutivo degli iperparametri, decomposizione delle serie storiche via Prophet. Più automatizzato e accessibile: una catena end-to-end in meno di un giorno, su serie storiche, senza dimensione geografica.Due filosofie diverse. Stesso conflitto d’interessi alla radice.Open-source non vuol dire neutraleIl codice di entrambi è su GitHub, lo può leggere chiunque: l’accusa di scatola nera non regge. Il bias sta nelle scelte che il modello porta con sé.Primo: i default e i prior. Le assunzioni di partenza orientano i risultati, e quelle di fabbrica le ha scelte il fornitore, non tu. Secondo: le variabili di controllo. Meridian incorpora segnali dell’ecosistema Google, Robyn ha default Meta-centrici: ogni modello “vede” meglio il canale di casa. Terzo: la calibrazione. I primi due punti si possono correggere, ma solo se qualcuno sa di doverlo fare e sa come farlo. È questo terzo punto a decidere tutto, ed è lì che quasi tutti si fermano.Un MMM non è plug-and-playI modelli open-source hanno fatto credere che dare in input i valori a un framework equivalga a sviluppare un modello MMM. Non è così: una volta lanciato, il modello restituisce i default e i prior di fabbrica, che non sono quelli del tuo specifico business. Se questi strumenti sono così configurabili, è perché sono pensati per essere calibrati da un esperto.In Meridian puoi, e devi, impostare ROI prior personalizzati per canale e calibrarli sui risultati degli esperimenti, oltre ad inserire trend, stagionalità e carryover. La documentazione lo dice apertamente: non esiste una formula per tradurre un esperimento in un prior, si combinano dati, conoscenza di dominio e giudizio soggettivo. I prior esistono proprio perché i dati MMM sono pochi e rumorosi: con poca informazione il loro peso sul risultato è alto. Se nessuno li calibra, quello che ottieni è l’assunzione di fabbrica con l’aspetto di una misura.Con Robyn la sostanza non cambia: i lift test entrano via calibration_input e con 10 canali ti ritrovi 32 iperparametri da delimitare. Soprattutto, Robyn non restituisce un modello: ne restituisce decine, tutti statisticamente plausibili, e quale usare per allocare il budget lo decide una persona competente.La ricetta è la stessa per tutti: modello, specialista, calibrazione con esperimenti indipendenti. Il rischio vero è il set-and-forget: prendere il numero così com’è e scambiare la fiducia statistica per verità. La democratizzazione ha abbassato la barriera d’accesso allo strumento, non quella alla competenza per usarlo bene.Quando l’arbitro ospita la partitaFinché Meridian era codice da gestire in prima persona, il conflitto restava un’avvertenza. Adesso è architettura: Meridian dentro Google Analytics 360 è la versione ospitata da Google, con ingestione first-party, pull cross-channel e interfaccia agentica (ne ho scritto qui). E le Qualified Future Conversions, conversioni previste da Gemini addestrato sul comportamento dentro Google Ads, sono candidate a diventare input del modello. Un segnale che esiste solo per Google Ads e ne valorizza l’investimento, dato in pasto al modello che dovrebbe giudicarlo: doping legalizzato.Se l’MMM di Google è calibrato su una previsione di Google, neanche lo specialista basta: l’indipendenza del giudizio si è spostata dentro il modello. Lo sottolinea anche la critica tecnica di Aryma Labs: un buon modello, con un conflitto che nessuna eleganza statistica cancella.La via indipendenteIl terzo polo è PyMC-Marketing, toolbox bayesiano dei PyMC Labs: open-source ma vendor-neutral. Non vende media, quindi il bias del canale di casa non c’è per costruzione. Richiede competenze, ma non tifa per nessuna piattaforma.Tra i vendor il discrimine è uno: chi calibra con esperimenti causali indipendenti e chi resta a correlazione pura. Mutinex, Measured e Keen affiancano all’MMM esperimenti di geo-holdout: pausa della spesa in alcuni mercati, misura del lift, lift usato come prior. Se il modello dice ROAS 5 e l’esperimento dice 2, riconciliano.E i default contano. Recast racconta di un brand CPG con carryover del video a 12 settimane che, con l’adstock di default a 7 giorni, si vedeva sottostimato il contributo TV del 40%. Qualcuno deve sapere che la TV ha un decay basso, e impostarla di conseguenza.Cosa pretendere da un MMM credibileQuattro cose, sempre insieme. Indipendenza del validatore: calibrazione e verifica con esperimenti di incrementalità che nessuna piattaforma controlla (per partire: il Playbook del Primo Lift Test). Triangolazione: MMM, esperimenti e attribution insieme, mai una fonte sola (è il metodo del capitolo 4 di MMM Strategico). Trasparenza del metodo: prior dichiarati, variabili di controllo esplicite, intervalli di incertezza. Budget per la verità: misurare costa, ma è l’investimento che rende credibile il resto (ne ho scritto qui).Smettete di credere al modello e iniziate a testarloIl modo standard per verificare la qualità di un MMM, qualunque ne sia il motore, l’ha messo sul tavolo proprio Mutinex con mmm-eval: framework di validazione open-source e model-agnostic, stessi test su Meridian, PyMC, Robyn o una scatola nera proprietaria. Il dato di partenza del whitepaper: su 20 RFP recenti, il 70% non chiedeva alcun test di governance o stabilità. La proposta: rendere i test obbligatori in fase di RFP. Quattro prove con soglie esplicite:* Accuratezza predittiva (holdout): MAPE oltre il 15-20% o R² sotto 0,7 segnalano problemi strutturali.* Cross-validation: deviazione standard del MAPE sotto il 5-7% tra le finestre temporali.* Stabilità del ROI: oltre il 15-20% di oscillazione tra un refresh e l’altro, c’è da indagare.* Robustezza: si sporcano leggermente i dati di spesa (un 5% di scarto casuale, a simulare gli errori di tracciamento reali) e si controlla quanto si muove il risultato. Un modello solido cambia meno del 10-15%; aggiungendo un canale finto, che per costruzione non può aver prodotto vendite, il modello deve attribuirgli effetto zero.Questi test servono a evitare errori da milioni di euro, e il whitepaper ne porta uno concreto. Un brand CPG sposta 5 milioni dal digitale alla TV perché l’MMM gli dà un ROI TV altissimo, e la campagna manca gli obiettivi. Quel ROI non era affidabile, e i test l’avrebbero mostrato prima di muovere il budget: oscillava tra 3,5x e 0,8x da un refresh all’altro, e bastava sporcare i dati del 5% per farlo crollare a 1,2x. Un numero instabile preso per certezza. È lo stesso meccanismo del caso Recast citato prima, all’inverso: là il default sottostimava la TV, qui un modello fragile la sopravvalutava. In entrambi mancava chi validasse.L’MMM giusto non è quello di Google né quello di Meta. È quello che scegli tu, messo alla prova con esperimenti che nessuna piattaforma controlla. Meridian e Robyn ti hanno regalato lo strumento e aperto il mercato per costruire quel giudice. Sta a te non confondere il pacco con il giudizio.Filippo Trocca scrive di misurazione avanzata, attribuzione e Marketing Mix Modeling su dataMesh. Se vuoi confrontarti su come impostare un framework di validazione MMM indipendente nella tua organizzazione, scrivimi a [email protected]* Meridian on GitHub — Google* Meta Robyn on GitHub — Meta* Meridian — ROI priors and calibration — Google* Meridian — Set custom ROI priors using past experiments — Google* Robyn — Key features e calibrazione — Meta* PyMC-Marketing — PyMC Labs* Google Analytics 360 + Meridian — Google Blog* Qualified Future Conversions — Google Business* Mutinex* mmm-eval — Open MMM validation framework — Mutinex* Advancing MMM Transparency — whitepaper — Mutinex* Measured* Keen Decision Systems* Recast — Adstock rates* Hits and Misses of Meridian — Aryma Labs This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit filippotrocca.substack.com