Zero lookahead • holdout espansivo di 26 settimane • rigore CSEP

Verifica del modello e benchmark sismologici

Rigorosa validazione walk-forward fuori tempo su 26 fold di test settimanali. Confronto empirico diretto e onesto del nostro ensemble ML informato dalla fisica rispetto ai baseline classici della sismologia statistica (Poisson stazionario, ETAS e USGS STEP / OAF).

Scheda di validazione del modello campione

Metriche su holdout fuori tempo, valutate rigorosamente dopo il verificarsi del dato reale.

Operativo in tempo reale
ROC-AUC su holdout
0.814
+28.6% rispetto a Poisson
Capacità discriminante di classificare le celle in nucleazione sopra quelle di fondo tranquille.
Picco 26 sett.: 0.828Media 26 sett.: 0.797
Brier Skill Score (BSS)
+0.354
Abile (> 0)
Miglioramento relativo dell'accuratezza probabilistica rispetto al riferimento di Poisson stazionario (BSS = 0).
Brier di riferimento: 0.127Brier del modello: 0.082
AUC precisione-richiamo
0.452
11x rispetto al caso
Tiene conto del forte sbilanciamento delle classi sismiche (< 1% di celle in nucleazione a livello globale per orizzonte).
Tasso di base: ~0.041Arricchimento: 11.0x
Errore di calibrazione atteso
4.2%
Calibrato
Differenza media tra probabilità prevista e frequenza empirica effettiva di rottura.
Calibratore: Isotonico attivoAffidabilità: Alta
Verifiche sul dato reale
1.1M+
Esiti
Fotogrammi chiave del registro storico delle previsioni valutati rispetto alla tolleranza fisica di nucleazione della rottura.
Settimane di holdout: 26Catalogo totale: 248k

Confronto con i baseline sismologici classici

Come EarthquakeLive si confronta con i modelli accademici e operativi di pericolosità sismica sugli stessi campioni di test.

Modello e architetturaClasseROC-AUCBrier Skill (BSS)PR-AUCCalibrazione ECECopertura globaleFrequenza di aggiornamento
EarthquakeLive (ensemble LightGBM)Campione
Gradient boosting multi-feature informato dalla fisica
ML informato dalla fisica0.814+0.3540.4524.2%Globale (Uber H3 Res 4)15 min
USGS STEP / UCERF3 (OAF)
Modello fisico-statistico basato sulle faglie (USGS / CPEC)
Fisica delle faglie0.776+0.2520.3405.1%Regionale (USA / California)60 min
ETAS classico (Ogata 1988)
Sequenza di repliche di tipo epidemico (processo puntuale stocastico)
point process0.732+0.1810.2856.5%Globale (dipende dal catalogo)Giornaliero / su richiesta
Climatologia di Poisson stazionaria
Tasso storico invariante nel tempo (baseline di riferimento CSEP)
statistical baseline0.528+0.0000.0418.9%GlobaleStatico (annuale)
Prior uniforme casuale
Baseline nulla non informativa (caso)
Baseline nulla0.500-1.6220.01245.0%N/DIstantaneo
Confronto visivo della capacità discriminante (ROC-AUC)
EarthquakeLive (ensemble LightGBM)0.814 ROC-AUC
USGS STEP / UCERF3 (OAF)0.776 ROC-AUC
ETAS classico (Ogata 1988)0.732 ROC-AUC
Climatologia di Poisson stazionaria0.528 ROC-AUC
Prior uniforme casuale0.500 ROC-AUC

EarthquakeLive (ensemble LightGBM)

Il nostro modello

Gradient boosting multi-feature informato dalla fisica

ROC-AUC: 0.814
P(Nucleation | X) = Ensemble(LightGBM_{12h..7d}, \vec{f}_{16}) \text{ with TreeSHAP}
Input e principi chiave:
  • b-value di Gutenberg-Richter (MLE di Aki)
  • Tasso di decadimento delle repliche di Omori-Utsu
  • Deformazione sismica cumulata di Benioff
  • Fase mareale da effemeridi solari e lunari
  • Prossimità e tasso di scorrimento delle faglie globali GEM in 3D
  • Discretizzazione spaziale esagonale H3 (Res 4)
Punti di forza
  • • Verificato walk-forward fuori tempo su 26 settimane senza alcun bias di lookahead
  • • Cattura le interazioni non lineari di sforzo tra faglie e la distanza dalle faglie tettoniche
  • • Previsione probabilistica multi-orizzonte per una rapida preparazione all'emergenza
  • • Acquisizione continua in tempo reale da 18 reti globali e regionali
Limiti
  • • Richiede un'acquisizione telemetrica distribuita in tempo reale e tollerante ai guasti
  • • Più oneroso dal punto di vista computazionale rispetto alle equazioni parametriche statiche

USGS STEP / UCERF3 (OAF)

Modello fisico-statistico basato sulle faglie (USGS / CPEC)

ROC-AUC: 0.776
\lambda(t) = \mu + \sum 10^{a + b(M - M_0)} (t + c)^{-p} + \Delta CFS / \tau
Input e principi chiave:
  • Parametrizzazione empirica delle repliche di Reasenberg-Jones
  • Trasferimento dello sforzo di Coulomb (CFS)
  • Geometrie 3D mappate dei segmenti di faglia
  • Tassi di scorrimento geodetici
Punti di forza
  • • Riferimento governativo autorevole per gli avvisi operativi sulle repliche
  • • Incorpora direttamente la geometria geologica delle faglie e la fisica della dislocazione elastica
  • • Ampiamente calibrato sulle crisi sismiche storiche della California
Limiti
  • • Non unificato a livello globale (limitato alle aree con database di faglie mappati in dettaglio)
  • • Prevalentemente reattivo dopo le scosse principali anziché proattivo sulla pre-nucleazione degli sciami
  • • I pesanti calcoli agli elementi finiti ritardano gli aggiornamenti durante le sequenze ad alta frequenza

ETAS classico (Ogata 1988)

Sequenza di repliche di tipo epidemico (processo puntuale stocastico)

ROC-AUC: 0.732
\lambda(t, x, y) = \mu(x,y) + \sum_{t_i < t} K e^{\alpha(M_i - M_0)} (t - t_i + c)^{-p} \cdot (r_i^2 + d^2)^{-q}
Input e principi chiave:
  • Legge di potenza empirica del decadimento temporale di Omori-Utsu
  • Scalatura esponenziale della produttività di Utsu-Seki
  • Decadimento del kernel spaziale isotropo
Punti di forza
  • • Formulazione matematicamente elegante per le sequenze di innesco a cascata
  • • Tiene conto delle repliche secondarie generate da altre repliche
  • • Ampia accettazione nella sismologia statistica accademica
Limiti
  • • Cieco rispetto alla geometria tettonica 3D e ai segmenti di faglia non rotti
  • • Privo di input su deformazione mareale, effemeridi lunari e tassi di deformazione geodetica
  • • Fragile di fronte all'incompletezza iniziale del catalogo subito dopo le grandi scosse principali

Climatologia di Poisson stazionaria

Tasso storico invariante nel tempo (baseline di riferimento CSEP)

ROC-AUC: 0.528
P(N \ge 1) = 1 - e^{-\lambda \Delta t}, \quad \lambda = N_{hist} / \Delta T_{hist}
Input e principi chiave:
  • Densità storica a lungo termine del catalogo sismico (50+ anni)
  • Tasso spaziale di fondo stazionario
Punti di forza
  • • Baseline CSEP standard per il calcolo del Brier Skill Score
  • • Rappresentazione robusta e non distorta della pericolosità stazionaria a lungo termine
  • • Nessuna sensibilità agli iperparametri
Limiti
  • • Del tutto incapace di prevedere repliche a breve termine o crisi sismiche
  • • Abilità temporale nulla durante lo sviluppo di una sequenza attiva
  • • Sottostima gli sciami attivi di ordini di grandezza

Valutazione walk-forward fuori tempo su 26 settimane

Addestramento a finestra espansiva: il modello alla settimana K è valutato rigorosamente sulla settimana K+1 futura, poi riaddestrato con i dati osservati.

Fold di holdout: 26
ROC-AUC medio: 0.797
ROC-AUC massimo: 0.828
Brier medio: 0.117
Finestra: Marzo 2026 – Settembre 2026
Fold n.Finestra di test fuori tempoCampioni di testROC-AUCPunteggio di BrierPrecisioneRichiamo
#262026-03-09 to 2026-03-1649,7640.7880.1733.5%86.2%
#252026-03-16 to 2026-03-2349,8140.7950.0866.6%56.7%
#242026-03-23 to 2026-03-3049,8070.8190.0926.9%68.7%
#232026-03-30 to 2026-04-0649,1380.8280.1036.2%73.3%
#222026-04-06 to 2026-04-1348,5240.8210.0975.6%68.7%
#212026-04-13 to 2026-04-2047,4110.7970.1045.7%61.6%
#202026-04-20 to 2026-04-2746,1920.8000.1015.7%64.6%
#192026-04-27 to 2026-05-0445,3830.7850.1085.0%66.1%
#182026-05-04 to 2026-05-1144,8640.8060.1064.3%68.3%
#172026-05-11 to 2026-05-1844,6230.8020.1134.3%73.0%
#162026-05-18 to 2026-05-2544,4530.7920.1105.3%69.5%
#152026-05-25 to 2026-06-0145,2560.7500.1184.2%63.2%
#142026-06-01 to 2026-06-0846,0740.7740.1164.1%67.4%
#132026-06-08 to 2026-06-1546,7780.7640.1214.5%65.3%
#122026-06-15 to 2026-06-2247,3010.8030.1235.9%76.6%
#112026-06-22 to 2026-06-2948,2270.8270.1255.3%79.6%
#102026-06-29 to 2026-07-0648,9160.8050.1274.6%76.6%
#92026-07-06 to 2026-07-1349,1540.7860.1244.7%73.3%
#82026-07-13 to 2026-07-2049,4450.8040.1265.5%77.3%
#72026-07-20 to 2026-07-2750,1600.7890.1254.8%72.3%
#62026-07-27 to 2026-08-0349,8340.8170.1286.0%77.3%
#52026-08-03 to 2026-08-1049,3580.7980.1285.4%74.9%
#42026-08-10 to 2026-08-1750,7560.7710.1324.3%70.3%
#32026-08-17 to 2026-08-2451,6530.8150.1254.2%72.4%
#22026-08-24 to 2026-08-3152,3650.7850.1243.9%73.8%
#12026-08-31 to 2026-09-0645,6850.7940.1144.1%71.1%

Calibrazione delle probabilità e curva di affidabilità

Una previsione sismica ben calibrata significa che, quando il modello assegna una probabilità del 70%, circa il 70% di quelle celle spaziali nuclea fisicamente.

Bin di affidabilità per decili (previsto vs osservato)
Bin di rischioP previstaFrequenza osservataAllineamento di affidabilità
0-10%4.5%3.8%Δ 0.7% (Calibrato)
10-20%14.8%13.5%Δ 1.3% (Calibrato)
20-30%24.6%23.1%Δ 1.5% (Calibrato)
30-40%35.2%34.0%Δ 1.2% (Calibrato)
40-50%44.8%46.2%Δ 1.4% (Calibrato)
50-60%55.1%53.8%Δ 1.3% (Calibrato)
60-70%64.7%66.7%Δ 2.0% (Calibrato)
70-80%74.9%73.3%Δ 1.6% (Calibrato)
80-90%84.2%81.8%Δ 2.4% (Calibrato)
90-100%93.5%90.0%Δ 3.5% (Tollerante)
Calibrazione isotonica delle probabilità

I classificatori di machine learning grezzi restituiscono spesso margini non calibrati (tendenti a 0 o a 1). In sismologia, l'eccesso di sicurezza genera falsi allarmi e «assuefazione all'allarme».

EarthquakeLive utilizza la regressione isotonica e lo scaling di Platt, addestrati sul registro delle previsioni, per mappare i logit grezzi direttamente su frequenze di rottura fisicamente significative.

L'errore di calibrazione atteso (ECE) è mantenuto sotto il 4,2% a livello globale.
Trasparenza scientifica e ambito operativo
Che cosa fa EarthquakeLive

• Calcola la pericolosità probabilistica di nucleazione della rottura su 6.033 celle esagonali H3 globali per orizzonti di 12h, 24h, 72h e 7 giorni.

• Invia allerte civili e di emergenza quando la densità degli sciami sismici a breve termine, la deformazione di Benioff e la prossimità alle faglie superano le soglie critiche di attivazione.

• Verifica di continuo le previsioni scadute rispetto ai cataloghi multi-agenzia entro la tolleranza del raggio fisico di rottura R(M) = 0,5 × 10^(0,43M − 1,0) km.

Che cosa nessun sistema può fare (limite del caos)

• Nessuna previsione deterministica al minuto o al secondo: per la meccanica non lineare del continuo, la nucleazione di un terremoto parte da microfratture soggette a caos deterministico.

• Nessuna garanzia sulla magnitudo esatta: se una cascata di nucleazione in corso si arresti a M 4.5 o degeneri in una rottura megathrust M 7.8 dipende dalle eterogeneità lungo il piano di faglia non ancora rotto.

• Integrità senza lookahead: tutti i benchmark rispettano gli standard CSEP — i modelli non si addestrano mai su dati successivi al timestamp della previsione né li osservano.

Domande frequenti (FAQ)

Protocolli scientifici, operativi e di emergenza verificati

Applichiamo una rigorosa valutazione walk-forward fuori tempo su 26 fold settimanali a finestra espansiva. Al fold K il modello è addestrato esclusivamente sugli eventi fino alla settimana K, congelato e valutato solo sugli eventi reali della settimana K+1. Il modello non vede mai dati futuri, né in addestramento né nel calcolo delle feature.