KI lernt, die Zukunft vorherzusagen – und schlägt den Menschen dabei

(SeaPRwire) –   Alle drei Monate versuchen Teilnehmer der Metaculus-Prognose, die Zukunft für einen Preispool von etwa 5.000 US-Dollar vorherzusagen. Metaculus, eine Prognoseplattform, stellt Fragen von geopolitischer Bedeutung wie „Wird Thailand vor September 2025 einen Militärputsch erleben?“ und „Wird Israel das iranische Militär vor September 2025 erneut angreifen?“

Prognostiker schätzen die Wahrscheinlichkeiten des Eintretens der Ereignisse – eine informativere Einschätzung als ein einfaches „Ja“ oder „Nein“ – Wochen bis Monate im Voraus, oft mit bemerkenswerter Genauigkeit. Metaculus-Benutzer sagten das Datum der russischen Invasion in der Ukraine zwei Wochen im Voraus korrekt voraus und eine 90-prozentige Wahrscheinlichkeit für die Aufhebung von Roe v. Wade fast zwei Monate vor dem tatsächlichen Ereignis.

Dennoch war einer der Top-10-Platzierten des Wettbewerbs, dessen Gewinner am Mittwoch bekannt gegeben wurden, selbst für die Prognostiker überraschend: eine KI. „Es ist tatsächlich irgendwie überwältigend“, sagt Toby Shevlane, CEO von Mantic, dem kürzlich angekündigten britischen Startup, das die KI entwickelt hat. Als der Wettbewerb im Juni begann, sagten die Teilnehmer voraus, dass die Punktzahl des besten Bots 40 % des Durchschnitts der besten menschlichen Leistungsträger betragen würde. Stattdessen erreichte Mantic über 80 %.

„Prognosen – sie sind überall, oder?“, sagt Nathan Manzotti, der für das Department of Defence und die General Services Administration sowie etwa ein halbes Dutzend US-Regierungsbehörden an KI und Datenanalyse gearbeitet hat. „Nehmen Sie eine Regierungsbehörde, und dort finden definitiv irgendwelche Prognosen statt.“

Prognostiker helfen Institutionen, die Zukunft zu antizipieren, erklärt Anthony Vassalo, Co-Direktor der Forecasting Initiative bei RAND, einem US-Regierungs-Think Tank. Es hilft ihnen auch, diese zu ändern. Das Vorhersagen geopolitischer Ereignisse Wochen oder Monate im Voraus hilft, „Überraschungen zu vermeiden“ und „Entscheidungsträger bei der Entscheidungsfindung zu unterstützen“, sagt Vassalo. Prognostiker aktualisieren ihre Vorhersagen basierend auf von Gesetzgebern erlassenen Richtlinien, sodass sie vorhersagen können, wie eine hypothetische politische Intervention zukünftige Ergebnisse wahrscheinlich verändern wird. Wenn Entscheidungsträger auf einem unerwünschten Weg sind, können Prognostiker ihnen helfen, „das Szenario, in dem sie sich befinden, zu ändern“, sagt Vassalo.

Doch die Vorhersage breiter geopolitischer Fragen ist notorisch schwierig. Prognosen von Top-Prognostikern können Tage für eine einzige Frage in Anspruch nehmen. Für Organisationen wie RAND, die mehrere Themen in vielen geopolitischen Zonen verfolgen, „würde es Monate dauern, menschliche Prognostiker eine erste Prognose zu all diesen Fragen erstellen zu lassen, geschweige denn sie regelmäßig zu aktualisieren“, so Vassalo.

Maschinelles Lernen ist seit langem nützlich in Bereichen mit reichlich gut strukturierten Daten, wie Wettervorhersage oder Quantenfonds-Handel. Bei der Vorhersage von Geopolitik oder technologischen Fortschritten „werden Sie viele komplexe, voneinander abhängige Faktoren haben, bei denen menschliches Urteilsvermögen sowohl zugänglicher als auch erschwinglicher sein kann“, sagt Deger Turan, CEO von Metaculus.

Große Sprachmodelle arbeiten mit denselben unstrukturierten Informationen wie menschliche Prognostiker und sind in der Lage, dieses menschliche Urteilsvermögen zu simulieren. Sie verbessern sich auch in vielerlei Hinsicht ähnlich wie Menschen: indem sie Vorhersagen zu vielen Fragen treffen, beobachten, wie diese sich entwickeln, und ihre Prognosemethoden basierend auf den Ergebnissen aktualisieren – und das in einem viel größeren Maßstab, als es Menschen möglich wäre.

„Unsere Haupterkenntnis war, dass die Vorhersage der Zukunft tatsächlich ein überprüfbares Problem ist, denn so lernen Menschen, oder?“, sagt Ben Turtel, CEO von LightningRod, das KIs für Prognosen entwickelt, die in Metaculus AI-Turnieren wettbewerbsfähig platziert waren. Das Unternehmen trainierte ein aktuelles Modell anhand von Prognosefragen.

Das Training, das KIs erhalten, zeigt sich in den Ranglisten. Im Juni kam der bestplatzierte Bot, der von Metaculus auf Basis von OpenAI’s o1-Reasoning-Modell entwickelt wurde, im Cup an. Dieses Mal belegt Mantic den achten Platz von 549 Teilnehmern – das erste Mal, dass ein Bot in den Top 10 der Wettbewerbsserie platziert war.

Das Ergebnis sollte mit Vorsicht genossen werden, so Ben Wilson, ein Ingenieur bei Metaculus, der Vergleiche von KIs und Menschen bei Prognoseherausforderungen durchführt. Der Wettbewerb enthält eine relativ kleine Stichprobe von 60 Fragen. Außerdem sind die meisten der 600 Teilnehmer Amateure, von denen einige nur eine Handvoll Fragen im Turnier vorhersagen, was ihnen eine niedrige Punktzahl einbringt.

Schließlich haben die Maschinen einen unfairen Vorteil. Teilnehmer gewinnen Punkte nicht nur für Genauigkeit, sondern auch für „Abdeckung“ – wie früh sie Vorhersagen treffen, wie viele Fragen sie vorhersagen und wie oft sie ihre Schätzungen aktualisieren. Eine KI, die weniger genau ist als menschliche Konkurrenten, kann dennoch gut in den Ranglisten abschneiden, indem sie ihre Schätzungen ständig als Reaktion auf neue Nachrichten aktualisiert, was für Menschen undurchführbar ist.

Für Vassalo löst der unfaire Vorteil von KIs sein größtes verbleibendes Problem: qualitativ hochwertige Prognosen für alle Fragen zu erhalten, für die er Vorhersagen benötigt. „Ich brauche es eigentlich nicht, um das Niveau eines Superprognostikers zu erreichen“, sagt er und verwendet dabei den Spitznamen, der den Top-Prognostikern gegeben wird. „Ich brauche es, um so gut wie die Masse zu sein.“

Das ist schwieriger, als es klingt: Die Metaculus Community-Prognose, ein Aggregat aller Benutzerprognosen zu jeder Frage, ist eine der konstantesten Leistungen auf der Plattform. Wäre es eine Person, würde sie auf der Website den vierten Platz belegen – so ist die Weisheit der Masse. Im Quarterly Cup lag Mantic fünf Plätze hinter der Community-Prognose.

Ein zuverlässiger KI-Prognostiker könnte Hunderte von Fragen gleichzeitig verfolgen, wodurch Vassalo Top-menschliche Prognostiker nur für jene Fragen einsetzen könnte, die die KI weiterer Prüfung für würdig erachtet.

„Das Eine an Prognosen oder prädiktiven Analysen ist, dass es sich um Entscheidungsunterstützung handelt“, sagt Manzotti. „Viele Führungskräfte werden die Daten über Bord werfen, wenn sie ein Bauchgefühl in eine andere Richtung haben.“ Das ist ein Problem, das KI nicht lösen kann.