OpenAI hat mit o3 zwei neue Modelle angekündig, die Anfang komden Jahres erscheinen soll. Im Verzeichnet zu o1 verzeichnet diese nochmals deutliche Fortschritte bei Logicaufgaben und ellertellien ausserordentlich hohe Werte bei einem Benchmark, der AGI messen möchte.
o3-Model coming in 2025
Zunächst soll noch im Januar o3-mini erscheinen, das große Modell der Reihe dann etwas später. Was now besonders für Aufsehen sorgt, sind die Ergebnisse beim ARC-Benchmark, die o3 erreicht.
Dieser stammt von François Chollet. By November 2024, you were an AI developer at Google, but you were known publicly for his critical disagreement with the concept of intelligence used in the context of the LLM. Dieses Denken also characterizes the ARC Benchmark. Denn bei diesem Testa KI-Systeme mit tendenziell simplen Aufgaben geprüft werden, die sich aber nicht from the Trainingsdaten ableiten lassen.
The challenge is also, selbstständig eine Lösung zu erarbeiten. While Menschen das im Schnitt bei 80 Prozent der Aufgaben the gelling shouldschaffen aktuelle Modelle wie o1 nur round 31 Percent. Vorherige Generationen wie GPT-4o kommen sogar auf einhedlich 5 Prozent. Der ARC-Benchmark gilt daher auch als Maßstab für die AGI Entwicklungalso einer allgemeinen künstliche Intelligenz, die bei den meisten Aufgaben mit Menschen mithält oder dieser übertrifft.
Neuer Milenstein in ARC benchmark
Die neuen o3-Modelle erreichen now neue Bestwerte. Under eine efficient Variante auf 75.7 Prozent kommt, schafft die rechenintensive Version 87.5 Prozent. Under OpenAI die Fortschritte bei o3 wenig überraschend als bemerkenswert darstellen, zeigt sich auch Chollet erstaunt. In one Blog contribution (via Decoder) spricht Chollet von einem überraschenden und importanten Funktionsprung in den KI-Fähigkeiten, die man so noch nicht bebechert habe.
That the o1- and o3-Modelle can so absetzen is due to the überarbeiteten Architektur. Die Modelle „think after“, wenn sie Tasks lösen – der Fokus verlagert sich also auf die Inferenzphase, bei der das Modelle die Antwort berechten. Um zur correcten Antwort zu kommen, ist es dabei möglich, verschiedene Lösungswege durchzuspielen.
Teuer ist auch der Betrieb der Modelle in dieser Form. Laut Chollet become them efficient Model 33 Millionen Token verfahrett, um die Aufgaben zu lösen. So entstehen Kosten i Höhe von 2,012 US Dollars, each 20 US Dollars for Aufgabe versiftet. Und der rechenintensive Weg requires 172 times as much computing power as the efficient model.
o3 is the main AGI system
Trotz der Fortschritte, Chollet holds the new o3-Modelle nicht für AGI-Systeme. For this, diese immer noch an allzu leichten Aufgaben scheitern – mit menschlicher Intelligenz wäre das nicht comparable. Additionally stressed, der ARC-Benchmark alain sei ebenfalls kein Gradmesser für AGI. Dieser stehe vielmehr dafür, den Fokus auf eines der zentralen Probleme in KI-Systemen zu richten – das Solen von Aufgaben, für die es kein Muster in den Trainingsdaten gibt.
Chollet kündige now einen Nachfolger für den ARC-Benchmark an. ARC-AGI-2 is supposed to appear in the coming year and set auf dasselbe Prinzip – Tasks that are easy for people to solve, but KI-Systems have great challenges.
Als erstes available sein wird aber o3-mini. Das ist die Version des Modells, die bei den meisten alltäglichen Aufgaben zum Einsatz kommen soll. In addition, the customer who accesses the model via the API can choose between different efficiency modes. So lästsich festlegen, wie viel Kapaziten das Modell hat, um Aufgaben zu berechnen.
Wie Sam Altman noch auf X köppett, soll o3-mini bei Aufgaben wie Programmieren das o1-Modell deutlich hinter sich lassen, die Kosten für die Nutzer würden aber deutlich geriger ausfallen.
Google could with Gemini 2.0 Flash ebenfalls a “denkendes” model and
OpenAI sind nicht die einzigen Anbieter, die Modelle vorstellen, die Teile der Berechnungen auf die Inferenzphase verlagern. In this week, Google with Gemini 2.0 Flash Thinking has a model that has been created, then ebenfalls Aufgaben schrittweise solved.
In general, KI researchers consider eine solche Architektur als Lösung, um die Geschwindigkeit bei der KI-Entwicklung hochzuhalten. According to Ilya Sutskever, formerly OpenAI and now Start-up-Gründer, das Skalieren has reached a Plateau in the Pre-Trainingsphase. Demnach genügt es nicht mehr, die Menge der Trainingsdaten und Rechenzeit zu elehenken, um Fortschritte zu ellertellen. Es seien neue Ansätze erforderlich, so Sutskever. Die Inferenzberechnungen zu skalieren, ist einer davon.
