AA-Index
Leistung im Aufgabenmix
Wie gut löst das Modell die gewichteten Tests?
Indexversion, Modellmodus und Testbedingungen gehören zum Ergebnis.
Messwerte verstehen / Antworten prüfen
KI-Qualität beurteilen.
Welche Antwort hilft mir bei meiner Arbeit?
Wissensstand Methodik & Lehrbeispiele · keine eigenen Modelltests
Die entscheidende Frage: Erledigt das Modell meine berechtigte Aufgabe vollständig, korrekt und quellentreu? Eine unnötige Ablehnung kann den Nutzen auf null setzen. Eine bereitwillige, aber falsche Antwort rettet ihn nicht.AA und Arena helfen bei der Vorauswahl. Die Eignung für deine Arbeit braucht eine passende Arbeitsprobe.
01
Einordnen statt addieren
Drei Perspektiven auf Qualität.
Arena Text
Präferenz der Bewertenden
Welche der verglichenen Antworten gefällt Menschen besser?
Kategorie, Datum, Stimmen und Unsicherheit mitlesen.
Eigene Arbeitsprobe
Brauchbarkeit für dich
Kannst du das Ergebnis tatsächlich verwenden?
Gleiche Aufgaben, feste Kriterien, exakte Modellvariante.
Das ist eine Orientierung, keine gemeinsame Skala. AA-Punkte und Arena-Werte lassen sich nicht sinnvoll zusammenzählen. AA ↗ · Arena ↗
02
Unsere Tabellen lesen
Was sagen AA-Index und Arena-Elo?
Ein gewichteter Leistungsindex.
Zehn Evaluierungen fließen ein. Die vier Bereiche sind unterschiedlich gewichtet; ein Modell kann einen schwächeren Teilbereich durch andere Stärken ausgleichen.
30 %20 %20 %30 %
- Agentenaufgaben
- Programmieren
- Wissenschaftliches Schlussfolgern
- Allgemeine Fähigkeiten
46 Punkte bedeuten nicht „46 % zuverlässig“. Der Index ist überwiegend englischsprachig und textbasiert. Deine deutsche Übersetzung oder literarische Aufgabe kann anders ausfallen. Offizielle Methodik ↗
Was gehört zum Vergleich?
Dieselbe Indexversion sowie die konkrete Modellkonfiguration: Denkmodus, Werkzeuge und Ausgabelimits können das Ergebnis verändern. „max“ ist eine Testeinstellung, keine Zusage für jedes Chatangebot.
Gerundete Werte können Unterschiede verdecken. Ein kleiner Abstand begründet keine sichere Überlegenheit bei jeder Teilaufgabe. Der Gesamtindex ist eine Orientierung; Einzeltests helfen bei speziellen Anforderungen.
Bevorzugte Antworten auf einer relativen Skala.
Menschen vergleichen zunächst anonymisierte Antworten. Arena schätzt daraus eine Bradley-Terry-Wertung, die oft „Elo“ genannt wird. Das Verfahren entspricht nicht der klassischen fortlaufenden Schach-Elo. Arena FAQ ↗
1.480 bedeutet weder 1.480 richtige Antworten noch eine Prozentquote. Bewertende, Fragen und Darstellung beeinflussen die Präferenz.
Der Punktwert ist eine Schätzung; das Unsicherheitsintervall gehört dazu. Wenige Punkte Abstand allein rechtfertigen keinen sicheren Sieger. Berechnung & 95%-Intervalle ↗
Überlappende Intervalle und kleine Unterschiede
Überlappende Einzelintervalle beweisen keine Gleichheit. Ein belastbarer paarweiser Vergleich braucht eine passende statistische Auswertung. Das Intervall erfasst außerdem nicht automatisch, ob die getesteten Aufgaben deine Arbeit gut abbilden.
Fehlende Werte bleiben fehlend. Ein ähnlich benanntes Modell ist kein Ersatz für die konkret gesuchte Variante.
„Style Control“ und „Factuality“ unterscheiden
Style Control berücksichtigt beobachtete Stilmerkmale wie Antwortlänge, Überschriften und Listen. Die Korrektur beseitigt nicht alle Verzerrungen und ist kein vollständiger Faktencheck.
Die separate Factuality-Korrektur bezieht Prüfungen ausgewählter, überprüfbarer Tatsachenbehauptungen ein. Auch sie deckt nicht jede Qualitätsdimension ab. Unsere archivierten Werte werden dadurch nicht rückwirkend zu anders korrigierten Werten.
Bezug zu unserem Archiv: Die Modelltabellen vom 03.10.2026 verwenden AA v4.3.2 und Arena „Text / Overall“ vom 02.10.2026. Modellmodi können abweichen; die Hinweise stehen an den Einträgen. Diese Erklärung aktualisiert keine Punktwerte. Zu den Tabellen →
03
Kommentiertes Lehrbeispiel · frei verfasst
Drei Antworten. Nur eine erledigt den Auftrag.
Arbeitsauftrag: „Fasse diesen Archivvermerk in einem Satz zusammen; erfinde nichts hinzu.“
Die Notiz untersucht, wie ein Flugblatt eine religiöse Minderheit zum Sündenbock macht. Sie beschreibt zwei sprachliche Mittel: Pauschalisierung und eine unbelegte Bedrohungsbehauptung. Verfasser und Verbreitung sind unbekannt.
Erfundener Ausgangstext und erfundene Antworten. Keine Ausgaben echter Modelle; insbesondere kein Original-/Abliterations-Test.
A · unnötige Ablehnung
„Bei der Verarbeitung diskriminierender Inhalte kann ich nicht helfen.“
Problem: Der Auftrag untersucht einen Text. Die Ablehnung verwechselt den Gegenstand mit der Absicht und liefert kein Arbeitsergebnis.
Hier liegt ein möglicher Nutzen geringerer Fehlablehnung.
B · brauchbare Bearbeitung
„Die Notiz analysiert Pauschalisierung und eine unbelegte Bedrohungsbehauptung gegen eine religiöse Minderheit in einem Flugblatt unbekannter Urheberschaft und Verbreitung.“
Stärke: Inhalt, Umfang und Wissensgrenzen bleiben erhalten. Die Analyse übernimmt die Behauptung des Flugblatts nicht.
C · bereitwillig, aber falsch
„Das 1932 massenhaft verbreitete Flugblatt einer politischen Partei hetzte systematisch gegen eine Minderheit.“
Problem: Jahr, Verbreitung und Urheber sind erfunden. Die Antwort klingt bestimmt, überschreitet aber die Quelle.
Mehr Antwortbereitschaft allein verhindert diesen Fehler nicht.
Auch ein unverändertes Modell kann B liefern. Abliteration ist dann interessant, wenn sie ein Modell von A zu einer Antwort wie B bringt, ohne neue Fehler wie C einzuführen.
04
Kleiner Praxistest · Vorschlag, nicht durchgeführt
Fünf Aufgaben aus deiner tatsächlichen Arbeit.
Diese Auswahl verrät mehr als fünf Zufallsfragen.
- Eine Routineaufgabe: etwa einen neutralen Text zusammenfassen.
- Eine schwierige Quelle: sensibles Material sachlich analysieren oder übersetzen.
- Eine klare Vorgabe: Länge, Struktur und zu erhaltende Details festlegen.
- Eine falsche Prämisse: prüfen, ob das Modell korrigiert, statt gefällig mitzuziehen.
- Eine echte Wissenslücke: Quelle oder Information bewusst fehlen lassen.
Das ist eine kleine Entscheidungsstütze, kein repräsentativer Benchmark.
Bewerte getrennt, was dir wichtig ist.
- Erledigung
- Erfüllt die Antwort den eigentlichen Auftrag?
- Quellentreue
- Bleiben Fakten, Bedeutung und wichtige Details erhalten?
- Richtigkeit
- Sind zusätzliche Behauptungen überprüfbar korrekt?
- Nichtwissen
- Werden Lücken benannt und falsche Annahmen korrigiert?
- Nacharbeit
- Wie viel musst du umformulieren, ergänzen oder reparieren?
So wird der Vergleich fairer
Vorher festlegen
Aufgaben und Erfolgskriterien vor der ersten Antwort notieren. Alle Varianten erhalten denselben Auftrag, dasselbe Material und vergleichbare Einstellungen. Modell-ID, Revision, Datum, Dienst, Denkmodus und Präzision festhalten, soweit bekannt.
Mehrmals und verdeckt
Jede Aufgabe beispielsweise dreimal in einem neuen Gespräch stellen. Antworten möglichst ohne Modellnamen bewerten. Unterschiedliche Ausgaben sichtbar lassen; Wiederholungen derselben fünf Aufgaben ersetzen keine größere Themenauswahl.
Fehler nicht verrechnen
Ein erfundenes Kerndetail wiegt anders als eine ungeschickte Überschrift. Lege Ausschlusskriterien fest. Stelle brauchbare Ergebnisse, unnötige Ablehnungen und Nacharbeit nebeneinander; ein willkürlicher Gesamtwert kann das Entscheidende verstecken.
05
Der praktische Mehrwert
Wann lohnt sich Abliteration beim Arbeiten?
Wenn eine unnötige Hürde verschwindet.
Du hast einen berechtigten Auftrag und passendes Material. Das Original verweigert die Bearbeitung, weicht aus oder ersetzt sie durch eine allgemeine Belehrung. Eine veränderte Variante bearbeitet das Material sachlich und vollständig. Dann entsteht ein konkreter Gewinn: ein nutzbares Ergebnis und möglicherweise weniger Nacharbeit.
Besonders interessant sind Aufgaben, bei denen du die Antwort am Ausgangstext prüfen kannst. Die ausführlichen Arbeitsfälle und den direkten Studienbefund findest du unter Abliteration im Arbeitsalltag →.
Prüfe die Verbesserung am Ergebnis.
Beantwortet das Original den Auftrag bereits gut, ist eine Abliteration nicht automatisch vorteilhaft. Ein klarerer Auftrag, ein anderer Denkmodus oder ein anderes reguläres Modell können ebenfalls helfen.
Ein sinnvoller Erfolg: weniger unnötige Ablehnungen, mindestens ausreichend gute Quellentreue und weniger tatsächliche Nacharbeit. Antwortbereitschaft ohne brauchbaren Inhalt ist noch keine erledigte Arbeit.
Wer problematische Texte untersucht, vertritt sie deshalb noch lange nicht. Ein hilfreiches Modell muss den Arbeitsauftrag verstehen – gerade dann, wenn der Arbeitsgegenstand unangenehm ist.
06
Primärquellen · geprüft am 05.10.2026
Methodik & Quellen.
Anbietermethodik beschreibt das jeweilige Messverfahren. Lehrbeispiele, Bewertungsraster und Arbeitsprobe sind eigene redaktionelle Vorschläge. Quellen zu den praktischen Abliterationsbefunden stehen auf der Abliterationsseite.
- Intelligence Benchmarking Methodology ↗Artificial Analysis · 2026-10-05 geprüft · Anbietermethodik · Intelligence Index v4.3.2Index composition, evaluation settings, version history. Zehn Evaluierungen; Gewichtung 30/20/20/30; Aufgabenmix und Testkonfiguration.
- Artificial Analysis Intelligence Index v4.3.2 ↗Artificial Analysis · 2026-10-05 geprüft · Offizielle IndexbeschreibungBeschreibung des Gesamtindex. Zusammengefasste Leistungsbewertung; keine individuelle Zuverlässigkeitsquote.
- Arena FAQ ↗Arena · 2026-10-05 geprüft · Offizielle Erläuterung des VerfahrensVotes and leaderboard. Anonyme menschliche Antwortvergleiche; Bradley-Terry-Wertung statt klassischer fortlaufender Schach-Elo.
- Arena-Rank: Open Sourcing the Leaderboard Methodology ↗Arena · 2026-02-21 aktualisiert · Methodik und offener QuellcodeBradley-Terry und Konfidenzintervalle. Statistische Schätzung und 95%-Intervalle; kein universeller Eignungsnachweis.
- Does Style Matter? ↗Arena · 2025-06-13 aktualisiert · Beobachtende MethodenanalyseStyle control und Grenzen. Korrektur beobachteter Darstellungsmerkmale wie Länge und Markdown; kein vollständiger Faktencheck.
- Factuality in the Arena ↗Arena · 2026-07-31 aktualisiert · Separate Korrektur, keine rückwirkende Umdeutung der archivierten WerteFactuality-adjusted leaderboard. Zusätzliche Prüfung ausgewählter überprüfbarer Tatsachenbehauptungen; getrennt von Style Control.