 Mit ein wenig Verspätung ist diese Woche unser Ratingsystem dran. Was ist gut, was ist schlecht und was könnte man verändern? Bevor ich mich auf diese Fragen einlasse möchte ich zunächst noch einmal allgemeinverständlich erklären, wie das Ratingsystem funktioniert. Rating und Ranking Zunächst mal muss man diese beiden Begriffe unterscheiden. Ein Rating ist der Versuch, Spielern eine Zahl zuzuweisen, die ihrer Spielstärke entspricht, sodass man anschließend anhand einer Zahl einordnen kann, wie spielstark ein Spieler ist. Dabei steht einerseits eine größere Punktedifferenz für eine größeren Unterschied der Spielstärke, andererseits sollte ein Abstand X immer für einen Spielstärkeunterschied von X stehen, egal wer die beiden Spieler sind und wie hoch ihr Ratingniveau ist. Ein Ranking hingegen sortiert die Spieler lediglich entsprechend ihrer Spielstärke. Dabei kann der Unterschied der Spielstärke beispielsweise zwischen dem erst- und dem zweitplatzierten größer sein als der zwischen Nummer 1000 und Nummer 2000. Das Ranking sagt rein gar nichts über den Unterschied der Spielstärke aus, es sortiert nur. Das ist zumindest das, was wir erwarten, wenn wir Rating- und Rankingsystem verwenden. Die statistischen Schwankungen der Realität machen dieses Vorhaben in der Praxis unmöglich und selbst als Annäherung ist das Elo-System, so wie es für Magic verwendet wird, nur sehr bedingt geeignet. Mein Rating ist zum Beispiel im letzten Jahr in einem Bereich von 320 Punkten geschwankt. Selbst ohne Grand Prix Lyon sind es noch um die 200 Punkte. Meine Spielstärke dürfte in dem Zeitraum nicht annähernd so krass geschwankt sein und bei den meisten anderen Menschen, die einigermaßen viel spielen, dürften die Schwankungen ähnlich krass ausfallen. Das Elo-Rating-System Es heißt Elo, nicht ELO, weil es von einem Ungarn namens Arpad Elo erdacht wurde, aber das nur vorweg, weil man geradezu zwanghaft ELO schreiben möchte. Klingt ja auch wie eine Abkürzung. Ausgedacht hat sich Arpad Elo das System jedenfalls, um die Spielstärke von Schachspielern bewerten zu können. Mittlerweile findet dieses System auch für Fußball, Baseball und verschiedene andere Sportarten mal mehr, mal weniger offiziell Verwendung. Dabei ist Schach unter diesen Sportarten der Außenseiter, denn es ist die einzige Sportart, die keinerlei Zufallselemente im Spiel enthält. Fußballergebnisse enthalten dagegen schon eine relativ große Varianz, die man zwar als Fähigkeiten der Spieler bezeichnen könnte, die aber letztlich nur sinnvoll als Zufall zu bezeichnen ist. Um mal ein Extremfall zu nennen: Was bei einer Aktion wie dem Wembleytor am Ende herauskommt, liegt kaum in den Fähigkeiten der Spieler begründet. Es spielen einfach zu viele Variablen in dieses Ereignis herein, die der Spieler weder kennt, noch dass er auf sie Einfluss nehmen könnte. Fußball ist Schach aber insofern noch am nächsten, als dass die überlegene Mannschaft normalerweise Siegwahrscheinlichkeiten nahe an 100 Elo, so wie es für Magic verwendet wird, ist ein Index-System, so ähnlich wie zum Beispiel ein Intelligenzquotient. Das Ausgangsniveau ist bei Magic allerdings 1600 und nicht 100. Jeder Spieler bekommt also, wenn er sich bei der DCI registriert, ein Rating von 1600 Punkten zugewiesen. Anschließend bekommt er für Siege Punkte gutgeschrieben, für Niederlagen Punkte abgezogen. Dabei wird später noch wichtig sein, dass die Punkte, die der eine Spieler erhält immer exakt die Punkte sind, die sein Gegner verliert. Wie viele Punkte man bekommt, hängt nur von zwei Bedingungen ab:
Der K-Wert ist dabei eigentlich ein völlig willkürlicher Wert, der bei Magic je nach Event zwischen 8 und 48 liegen kann. Damit wird erreicht, dass wichtigere Turniere einen stärkeren Einfluss auf das Rating haben. Dieser K-Wert ist aber wirklich nur ein ganz einfacher Faktor, der anschließend an das Ergebnis dranmultipliziert wird, den uns eine etwas kompliziertere Formel ausspuckt. Um ein bisschen Mathematik kommen wir an dieser Stelle nicht herum, wichtiger als die Funktionsweise dieser Formel genau zu verstehen ist aber eigentlich, die Schlüsse, die ich aus der Funktionsweise ziehe, zu verstehen. Die erste Formel bestimmt eine zu erwartende Siegwahrscheinlichkeit X aufgrund der beiden Ausgangsratings vor dem Match und sieht wie folgt aus: X = 1 / (10((Rating des Gegners − eigenes Rating) / 400) + 1) Das Ganze sieht vermutlich für die meisten fies aus, die Formel ist aber gar nicht so wild. Wenn man das ausrechnet, erhält man einen Wert zwischen 0 und 1. Dieser Wert soll die Wahrscheinlichkeit sein, mit der wir das Match gewinnen. Wenn wir unser eigenes Rating und das unseres Gegners in die Glaskugel (=Formel) werfen, dann verrät diese uns, mit welcher Wahrscheinlichkeit wir diesen Gegner besiegen werden. Das ignoriert natürlich alles. Wie ist das Matchup? Wer hat den besseren Pool? Wie ist die Tagesform? Und so weiter. Tatsächlich ist diese Gewinnvorhersage für ein konkretes Match völlig unbrauchbar. Diese Vorhersage ist so zu verstehen: Wenn Spieler A und Spieler B sich in einem zufällig ausgewählten Turnier zu einem zufällig bestimmten Zeitpunkt träfen, dann würde Spieler A mit der Wahrscheinlichkeit X gewinnen. Das bezieht mit ein, dass A vielleicht im Schnitt bessere Sealed-Decks baut und B bessere Standarddecks. Es bezieht mit ein, dass A seine Gegner ziemlich gut trashtalken kann. Es bezieht auch mit ein, dass B ziemlich gut vernetzt ist und zwischen den Runden noch schnell erklärt bekommt, wie er sein Sealed-Deck umbauen muss, und sogar, dass er in der letzten Runde des Standard-PTQs schon vorher weiß, was sein Gegner spielt, weil seine Kumpels die Decks gescoutet haben. Es bezieht mit ein, dass A nach einem 0 Zugegeben, das dreht am Ende ein wenig ab, aber es ging mir darum zu illustrieren, dass Rating nicht das reine Magic-Spielverständnis abbildet, sondern wirklich alles, was dazu führt, dass ein Spieler erfolgreicher spielt als ein anderer. Aber zurück zu der konkreten Formel. Dieses X ist unsere abstrakte Siegwahrscheinlichkeit. Die Ratingveränderung nach einem Match wird dann wie folgt berechnet: Ratingveränderung = K-Value × (Ergebnis − X) Wobei für „Ergebnis“ bei Sieg 1, bei Unentschieden 0,5 und bei Niederlage 0 einzusetzen ist. Schickerweise ist das ganz so konstruiert, dass jedes Rating einer Siegwahrscheinlichkeit entspricht. Am einfachsten ist das einzusehen, wenn man von 1600 beim Gegner ausgeht. Wenn ich zwei Drittel gegen den gewinne, dann wird sich mein Rating über kurz oder lang auf 1720 einpendeln und das passiert vom Prinip her für jeden Wert. Auf lange Sicht sollte sich also jeder in der Region eines Wertes einpendeln, der dem eigenen Rating und damit irgendwie auch den eigenen Fähigkeiten entspricht. Schwächen des Systems Das klingt so weit alles ganz gut, aber so schön rund, wie das Elo-System in der Theorie aussieht, läuft es in der Praxis nicht. Das liegt zum Teil daran, wie Wizards es verwenden, zum Teil an systemimmanenten Schwächen und zum Teil daran, dass ein System auf ein Spiel übertragen wurde, für das es nicht gedacht war. Ratings sind eindimensional Das ist ein Problem jedes Ratingsystems. Man versucht eine Reihe von Fähigkeiten auf eine einzelne Zahl abzubilden. Beim 100-Meter-Lauf mag das gelingen. Zu sagen, Usain Bolt läuft die 100 Meter in 9,58, hat eine sinnvolle Bedeutung. Zu sagen, ein Magic-Spieler ist 1858 gut, eher nicht und das liegt nicht nur daran, dass Magic eine Vielzahl von Fähigkeiten erfordert, sondern auch daran, dass gar nicht klar ist, was dieses Rating messen soll. Das kam bei meinem Exkurs weiter oben über das Elo-System schon durch. Das Magic-Rating misst einfach alles mögliche, unter anderem sicherlich die Fähigkeit, gute Entscheidung in einem Spiel namens Magic zu treffen, aber ebenso alles mögliche andere. Ratings halten Spieler vom Spielen ab Das sollte aus Wizards Sicht das größte Manko an der derzeitigen Verwendung der Ratings sein: Durch die Cuts verlieren Spieler zum Teil das Interesse daran, Turniere zu spielen, oder fühlen sich im Extremfall sogar daran gehindert, an solchen teilzunehmen. Kann es im Interesse von Wizards sein, dass Leute lieber ratingcampen, um sich für ein Turnier zu qualifizieren, als Turniere einfach mitzuspielen? Ich habe da so meine Zweifel. Elo überbewertet nah zurückliegende Ergebnisse massiv Im Schnitt sind die Vorhersagen, die Elo macht extrem gut. Wenn man sich eine Datenbank anschaut und abzählt, wie die statistische Gewinnerwartung bei verschiedenen Ratingdifferenzen tatsächlich ist, dann wird man feststellen, dass Elo einen extrem guten Job macht, was auch nicht weiter verwundert, weil das System so konstruiert ist, dass sich die Ratings der tatsächlichen Gewinnerwartung angleichen. De facto ist Elo, so wie es für Magic angewendet wird, zwar im Schnitt gut, aber man kann relativ einfach Matches herausgreifen und vorhersagen, dass Elo für diese Matches eine massiv von der Wirklichkeit abweichende Prognose machen wird. Glaubt wirklich jemand, dass ich nach Grand Prix Lyon gegen alle Welt doppelt so häufig gewinne wie vorher? Offensichtlich spiele ich nachher nur unwesentlich anders als vorher. Elo weist Spielern nach längeren Sieges- oder Niederlagenserien utopische (oder dystopische) Ratings zu. Elo ist für ein anderes Spiel optimiert Das wäre nicht grundsätzlich ein Problem. Es wurde allerdings nie überprüft, ob die Elo zugrunde liegenden Annahmen auf Magic überhaupt zutreffen. So hat Arpad Elo, als er dieses Ratingsystem erdachte, angenommen, dass die Stärke der Schachspieler normalverteilt sein sollte. Diese Annahme ist per se schon recht zweifelhaft. Eine Gleichverteilung sieht nämlich so aus, dass die meisten Leute mittelgut sind und die Häufigkeit der Spieler mit der Entfernung vom der Mittelmaß abnimmt. Für mehr oder weniger angeborene Werte wie Körpergröße oder Intelligenzquotient ist so eine Verteilung durchaus realistisch. Für ein Spiel, bei dem alle Anfänger mehr oder weniger auf einem Null-Level beginnen und von da aus ihre Skills entwickeln müssen, ist nicht einzusehen, warum man annehmen sollte, dass alle Spieler ein gesundes Mittelmaß an Fähigkeiten vorweisen können sollten. Für Schach hat sich jedenfalls herausgestellt, dass diese Annahme nicht stimmt. Auch ist völlig unklar, welcher K-Wert für Magic angemessen wäre. Die FIDE verwendet für Schach standardmäßig einen K-Wert von 15 für alle Turnierformen. In Magic wird dieses Ratinglevel für Side-Events auf größeren Turnieren verwendet und für die meisten sanktionierten Events außerhalb der üblichen FNM-, PTQ-, GPT-Programme. Der K-Wert bestimmt, wie schnell Ratings sich verändern, und damit auch, wie groß die Varianz in den Ratings eines Spielers ist. Tendenziell sollten Spiele, bei denen man viele Matches machen kann, einen niedrigeren K-Wert haben, und Turniere mit höherer Varianz ebenfalls einen niedrigeren K-Wert. Die Varianz ist bei Magic sicher größer als bei Schach. Wie das mit der Anzahl der Matches ist, da bin ich mir nicht so sicher, zumal beim Schach jede einzelne Partie gewertet wird. Wenn man sich allerdings die Schachweltrangliste anschaut, dann scheinen mir die Spitzenspieler üblicherweise zwischen null und 20 Partien im Monat zu absolvieren. Das ist eher weniger als bei Magic. Wenn man sich das vor Augen hält, stellt sich schnell die Frage, ob die K-Werte in Magic realistischerweise nicht vielleicht besser so etwas wie ein Viertel von dem sein sollten, was sie derzeit sind und schon immer waren. Das sind meines Erachtens die naheliegensten und größten Probleme, die sich aus dem Elo-Ratingsystem ergeben, aber da kann man sich noch eine ganze Menge mehr überlegen. Womöglich fallen ja auch noch ein paar Probleme auf, wenn wir das Ganze von der anderen Seite aus beleuchten und ein paar Anforderungen an ein Ratingsystem formulieren. Anforderungsprofil Was müsste ein Ratingsystem leisten, um für Magic von Nutzen zu sein? Eindimensionalität – Das Rating sollte in einer einzelnen Zahl abgebildet sein Sinn eines Ratings ist, ein Maß für die Spielstärke eines Spielers zu haben. Das funktioniert nur dann, wenn dieses Maß eindimensional ist. In einem mehrdimensionalen Ratingsystem würden mehrere Werte die Spielstärke eines Spielers gemeinsam angeben. Tatsächlich wurde das in Magic lange Zeit getan. Die Trennung von Limited- und Constructed-Ratings führte dazu, dass man sein Rating eigentlich als 1752,1876 angeben musste. Ist das besser als 1942,1602? Das ist unklar, aber wir möchten in der Lage sein, mithilfe des Ratings eine Rangliste zu erstellen. Dafür muss gewährleistet sein, dass man entscheiden kann, welches von zwei Ratings das bessere ist. Mit dem aktuellen Totalrating ist das zum Beispiel gewährleistet. Ein Dilemma handelt man sich mit einem eindimensionalen Rating allerdings ein. Auch wenn eine einzelne Zahl als Wert für die Spielstärke eines Spielers zu haben, suggeriert, dass man voraussagen kann, welche Gewinnwahrscheinlichkeit ein Spieler gegen einen anderen hat, ist das nicht der Fall. In Schach mag das einigermaßen funktionieren, bei Magic können persönliche Präferenzen dazu führen, dass ein im Allgemeinen unterlegener Spieler als Favorit in ein Match geht. Wenn Spieler A zum Beispiel ein besserer Spieler als Spieler B ist, A aber fast immer sehr aggressive Decks spielt, während Spieler B lieber zu Midrange-Decks greift, so wird Spieler B trotz, nennen wir es, technischen Mängeln deutlich häufiger gewinnen als die Ratings der Spieler vermuten lassen. Was sagt ein eindimensionales Rating dann überhaupt aus? Im Optimalfall gibt es zumindest die Wahrscheinlichkeit an, mit der ein Spieler unter zufälligen Bedingungen gegen einen zufällig ausgewählten anderen Spieler gewinnt. Tatsächlich kommt das auch einigermaßen hin. Ich habe vor nicht allzu langer Zeit mal anhand meiner eigenen Resultate überprüft, wie gut die Ratingdifferenz die Gewinnwahrscheinlichkeit vorhersagt und das funktionierte erstaunlich gut. Gleicher Abstand bedeutet gleicher Stärkeunterschied In dem aktuellen System ist das automatisch gegeben. Wenn ein Spieler mit einem Rating von 1800 gegen einen mit einem Rating von 1700 spielt, dann wird seine Gewinnwahrscheinlichkeit so groß sein wie die des 1700ers, der gegen einen 1600er spielt. Bei einer reinen Rangliste zum Beispiel ist das aber nicht gegeben. Spielt der erste Spieler gegen den 1001., dann ist der Stärkeunterschied größer, als wenn der 100 Linearität – x-facher Abstand bedeutet x-facher Stärkeunterschied Das schlägt in die gleiche Kerbe ist aber gar nicht so selbstverständlich. Ein Spieler mit einem Rating von 1720 gewinnt zwei Drittel seiner Matches gegen einen mit 1600. Für einen 1840er gilt das gleiche, wenn er gegen einen 1720er spielt. Welche Gewinnwahrscheinlichkeit ergibt sich daraus, wenn der 1840er gegen den 1600er spielt? An der Stelle kommt dann ganz deutlich die Frage nach der Bedeutung des Ratings ins Spiel. Es verhält sich so, dass eine Differenz von 120 Punkten einer Zwei-Drittel-Gewinnerwartung entspricht; der Spieler mit dem 120-Punkte-Vorsprung ist also 2 Das führt einen zu der Frage, ob das überhaupt der Realität entspricht. Zwischen zwei Spielern pendelt sich ein Ratingniveau automatisch ein, wenn sie gegeneinander spielen, aber in einer größeren Gruppe, kann es sein, dass dies nicht der Fall ist. Es könnte nämlich sein, dass daraus, dass Spieler A gegen Spieler B zwei Drittel seiner Spiele gewinnt und Spieler B gegen C wiederum zwei Drittel gewinnt, nicht folgt, dass Spieler A gegen C 80 Vermeidung von Inflation Ratings sollten nicht ständig neue Höchststände erreichen. Das ist in meinen Augen eher eine Frage der Fairness als eine für Wizards zwingend notwendige Anforderung. Wenn eine ständige Ratinginflation herrscht und Rating tatsächlich eine richtige Bedeutung hätte, dann würde man die Spieler zwingen, ständig neue Ratingpunkte zu grinden. Selbst bei Spielen, die das ständige Grinden unterstützen wie zum Beispiel Diablo oder World of Warcraft, hat man (bei WoW, soweit mein Wissensstand reicht) darauf verzichtet, die Spieler immer neue Experience-Höchststände jagen zu lassen. Der Vergleich mag hinken, aber auch wenn Wizards ein Interesse daran haben, dass wir als Spieler spielen, es sollte nicht Sinn der Sache sein jedes Instrument zu missbrauchen, um das Suchtpotenzial einer Beschäftigung zu steigern. Diese Anforderung ist weniger pädagogisch oder ethisch zu verstehen, als dass es nicht funktionieren kann, wenn das Ratingsystem zwei Herren dienen muss, an dieser Stelle einerseits der Maximierung der Turnierteilnahmen und andererseits der bestmöglichen Abbildung der Stärken der Spieler. Einer von beiden Aspekte würde wohl auf lange Sicht den anderen dominieren. Anreiz zum Spielen Das steht ein wenig im Gegensatz zum vorangegangenen Punkt, aber wenn man sich das aktuelle Ratingsystem, wie Wizards es verwenden, anschaut, dann stellt man wie weiter oben schon erwähnt fest, dass das System Spieler daran hindert zu spielen. In Wirklichkeit sollte natürlich, wenn überhaupt, das Gegenteil der Fall sein. Zusammenfassung & Verbesserungsvorschlag Nachdem der Artikel bis hier ein wenig ziellos gewesen sein mag, möchte ich die Gelegenheit nutzen, noch einmal kurz zusammenzufassen, was die Probleme des aktuellen Systems sind.
Die ersten beiden Punkte muss man im Prinzip wissenschaftlich untersuchen. Wenn man das täte, könnte man anschließend mithilfe der Datenbasis entweder die Elo-Variablen variieren oder ein ähnliches System schaffen, dass den Magic-spezifischen Anforderungen gerecht wird. Nun ja, wissenschaftliche Arbeit ist teuer und das wird in näherer Zukunft wohl nicht passieren. Die Vergabe von Byes und Qualifikationen über Rating hingegen ist in ihrer aktuellen Form nicht sinnvoll und da könnte man durchaus andere Wege finden, ohne direkt das ganze Elo-Gebäude einzureißen. Gerade bei den Byes, wo die Anzahl der Menschen, die diese Byes bekommen, nicht direkt beschränkt sein muss, kann man sich ziemlich direkt darauf verlegen, anstelle des Ratings zu einem bestimmte Zeitpunkt das höchste Rating in einem Zeitraum zu berücksichtigen. So könnte man sagen, dass ich, wenn ich irgendwann seit meinem letzten Grand Prix einmal ein Rating von 1900 erreicht habe, ein Bye bekomme. Wenn ich 2000 erreicht habe, gibt's zwei Byes und für das Erreichen von 2100 drei Byes. Die Werte scheinen zwar hoch, aber sie sind in Wirklichkeit auch nur 50 Punkte über dem aktuellen Niveau und man sollte sich außerdem vor Augen halten, dass diese Werte lediglich für einen Augenblick erreicht werden müssen; Campen nicht notwendig. Das System lässt sich nicht ohne Weiteres auf Einladungen übertragen, da die Einladungen für Einladungsturniere begrenzt sein sollen. Auf der anderen Seite kann man auch hier relativ leicht herausfinden, wie viele Leute ein besimmtes Niveau in einem vorgegebenen Zeitraum normalerweise erreichen. Wenn man das Qualifkationsniveau für die Pro Tour zum Beispiel auf 2100 legen würde, wären, glaube ich, nicht viel mehr Leute qualifiziert, als normalerweise eh schon sind. Und wenn doch? Wizards würden es wissen und könnten das Niveau auf 2125 oder sogar 2150 anheben. Das ist relativ unproblematisch.
Ohnehin ist eine Qualifikation über Rating statt Ranking wesentlich fairer, weil für alle klar ist, was sie erreichen müssen. Eine Qualifikation über Top 50 ist extrem schwammig und auch einfach unzuverlässig. Mal angenommen, ich habe ein Totalrating von 2073. Damit wäre ich für die Worlds qualifiziert. Ein Wochenende vor dem Cut findet ein Grand Prix in Kansas statt, der das benötigte Rating zufällig auf 2074 verschiebt. Besten Dank auch! Hätte ich jetzt FNM spielen sollen, um mit einem 4 Auf die Nationals könnte man das Ganze übertragen, indem man je nach Land spezifische Grenzen einführt. In Deutschland könnte so eine Grenze bei 1950 oder 1975 liegen, in den USA vermutlich eher bei 2050, während in Belgien vielleicht 1800 reicht. Eine Verschiebung des Rating-Cuts wie dieses Jahr geschehen wäre mit einem solchen System übrigens auch kein größeres Problem gewesen. Der große Vorteil eines solchen Systems, dass Vorteile in Abhängigkeit von einmal erreichten Punkten gewährt, wäre neben der in meinen Augen höheren Fairness auf jeden Fall, dass jeder Spieler einen Anreiz hat zu spielen. Das Erreichen eines Milestones ist einerseits ein schönes Ereignis, dass dem Spieler den Tag versüßt, aber andererseits gibt es keinen Grund, an der Stelle aufzuhören. Der nächste Milestone wartet schon. Ratings cut An meinem Anspruch, die Schwächen des Ratingsystem von vorn bis hinten zu durchleuchten und auf der Basis direkt ein neues Ratingsystem zu entwerfen, das alle Anforderungen von Magic berücksichtigt, bin ich wohl leider knapp gescheitert, doch das ist, wenn man es gewissenhaft machen möchte, auch eher ein Thema, über das man problemlos eine Doktorarbeit schreiben kann. Ich hoffe, ihr habt trotzdem einen etwas tieferen Einblick in die Ecken und Kanten dieses Systems bekommen und ihr schaut beim nächsten Mal wieder rein. |
allen.
