Cosa
Un bot fatto di tanti agenti AI. Ognuno cerca informazioni online su una domanda e dà una probabilità; un modello addestrato le combina in una sola previsione.
Tutti i progettiIn corso · core team
Silicon Crowd
Stiamo costruendo uno sciame di agenti AI che prevede eventi reali, e gli insegniamo di quali agenti fidarsi.
In breve01 02 03
Perché
I mercati predittivi mostrano che tante stime indipendenti possono battere un singolo esperto. Vogliamo capire se vale anche per gli agenti AI, su domande vere di cui nessuno conosce ancora la risposta. Ispirato a "From prediction markets to info finance" di Vitalik Buterin.
Dove
In FutureEval, il torneo di Metaculus per bot previsori: centinaia di domande su politica, economia, scienza e tecnologia, valutate quando si risolvono.
I bot hanno quasi raggiunto i professionisti
173
Bot nel torneo della primavera 2026, su 297 domande. Il distacco da un team di previsori professionisti non è più statisticamente significativo.
Metaculus, FutureEval primavera 2026~10
Oltre una decina di bot, combinare più previsioni ha smesso di aiutare: i team da 30 in su sono andati peggio. Conta più come combini che quanti ne combini.
Metaculus, FutureEval primavera 2026Tante voci, pesate bene.
Fare la media di tanti bot è facile. Capire quanto fidarsi di ciascuno è la parte difficile, ed è lì che entra il machine learning.
- 01
Uno sciame vario
Gli agenti cambiano per modello, fonte di ricerca e prompt, così i loro errori non vanno tutti nella stessa direzione.
- 02
Un aggregatore addestrato
Un modello impara dalle domande risolte quanto fidarsi di ogni agente e corregge la calibrazione: ad esempio spinge verso 0 o 1 quando gli agenti sono d’accordo.
- 03
Esperimenti controllati
Misuriamo cosa aiuta davvero: tanti modelli piccoli o uno grande, con o senza ricerca, da 1 a 10 agenti.
Domande a cui risponde
- Un aggregatore addestrato batte la semplice mediana degli agenti?
- Cinque modelli piccoli valgono più di uno grande, a parità di costo?
- Quanto aggiunge la ricerca sul web rispetto al solo ragionamento?
- Quanti agenti bastano, prima che aggiungerne altri smetta di servire?
Da una domanda a una previsione
- DomandaPresa dall'API di Metaculus
- SciameN agenti fanno ricerca e danno una probabilità con una motivazione
- AggregatoreUn modello addestrato combina le risposte
- PrevisioneInviata a Metaculus in automatico
- LogOgni previsione salvata, per imparare
Brier score: la media dei quadrati della distanza tra probabilità prevista ed esito (1 se è successo, 0 se no). Più è basso, meglio è. È la metrica con cui confrontiamo gli aggregatori.
Primo traguardo
- Un bot che prevede e invia da solo
- Log di previsioni e fonti di ogni agente
- Brier score della baseline sulle domande risolte
- Sciame con mediana e media in log-odds
Stack
- Python e API di più LLM
- Ricerca su web e notizie
- scikit-learn e PyTorch per l'aggregatore
- GitHub Actions per le esecuzioni giornaliere
Lo porta avanti il core team di DeLTA: per ora niente candidature.
Tempi
- Nov – dic 2026Setup: il bot gira da solo, primi round di prova
- Dic 2026Baseline con un solo agente, ogni previsione registrata
- Inizio 2027Sciame in gara nel torneo
- Feb – mar 2027Aggregatore addestrato, confrontato con la mediana
- Fine stagioneRisultati, write-up open source e un talk per la community DeLTA
Misurato, non dichiarato
Ogni risultato è confrontato con una baseline semplice.
Open source
Codice, log ed esperimenti pubblici a fine stagione.
Diciamo cosa non ha funzionato
Anche gli esperimenti falliti finiscono nel write-up.
Costi sotto controllo
Prima i modelli piccoli; uno grande solo se ne vale la pena.
Segui i lavori.
Questo progetto lo porta avanti il core team, quindi niente candidature. Seguici su Instagram per i risultati: li presenteremo a un evento DeLTA.
Seguici su Instagram