Aktuelle Ergebnisse im ERET-Computerschach-Test

von Walter Eigenmann

Vor knapp 2 Jahren wurde hier die Aufgaben-Sammlung ERET („Eigenmann-Rapid-Engine-Test“) für Computer-Schachprogramme vorgestellt. Diese Puzzle-Suite besteht aus exakt 111 teils einfachen, teils schwierigen Schach-Aufgaben, die speziell für (neue) Engines zusammengestellt wurden, um einfach und schnell die ungefähre bzw. relative Spielstärke eines Programmes einschätzen zu können.

Das Setting der neuen Tests

Seit den ersten ERET-Testergebnissen sind eine Menge neuer Engines (bzw. Versionen) „auf den Markt gekommen“; es war also an der Zeit, diese Neuankömmliche ebenfalls mit dem ERET zu befragen. Unten finden sich die Ergebnisse von ca. zwei Dutzend alter und neuer Programme. Das Setting der Testdurchläufe  – es unterscheidet sich leicht von den damaligen ERET-Einstellungen – war diesmal folgendermaßen:

• CPU i7-7700 / 2.8 GHz
• GPU GeForce GTX 1050 Ti
• Windows 10-64bit / Fritz 12 GUI
• 15 Sek. pro Stellung
• 4 Cores / Hash: 512MB
• No Books / 5-Nalimov-TBs

Nicht absolut, sondern relativ

Die ERET-Aufgabensammlung eruiert nicht „absolute“ ELO-Zahlen, wie das großangelegte Engine-Turniere mit ihren tausenden von Games wie z.B. die Partien-Sammlung CCRL aus statistischen Gründen anstreben. Vielmehr will die ERET-Suite die (naturgemäß groben) Stärke-Relationen eines Schachprogrammes zu seinen Artgenossen aufzeigen – notabene auf sehr simple und schnelle Art, indem einfach die Anzahl Lösungen einer Engine aufgelistet werden. (Ein differenziertes Verfahren der ERET-Auswertung, das nicht nur die Anzahl Lösungen, sondern auch die Lösezeiten einbezieht, findet sich hier als sog. EloStat-Verfahren von Dr. Frank Schubert).

Trotz des eher groben Test-Aufbaues ist es verblüffend, wie nahe die durch den ERET generierten Ranglisten jenen Rankings kommen, die auch in der Turnier-Praxis der Computerschach-Anwenderschaft (nach teils tausenden von Partien pro Engine) produziert werden. Der ERET spiegelt mit seinen Ergebnissen also ziemlich zuverläßig die Ergebnisse aus dem „realen“ Partien-Betrieb wider. Der Hauptgrund dafür liegt darin, dass der ERET gezielt referentielle Schachpositionen enthält – paradigmatische Aufgaben, die je als Muster für eine Vielzahl analoger Partie-Stellungen stehen.

Die aktuelle ERET-Rangliste (Januar 2019)

Die nachstehende Rangliste umfasst die Anzahl Lösungen von zwei Dutzend älteren und neuen Schachprogrammen bzw. -Versionen. (Die Auswahl der Engines ist mehr oder weniger zufällig; wichtig war nur, dass darunter sowohl sehr starke als auch mittelmäßige sowie sehr schwache Programme vertreten waren).

Engine                     Lösungen

Stockfish 10               80
Stockfish 9                77
Houdini 6.03               76
Komodo 12.1.1              75
Ethereal 11.12             66
Fizbo 2.0                  61
Deep Shredder 13           61
LC0 20.1 Cuda (Net 32350)  60
Booot 6.3                  57
Andscacs 0.94              54
LC0 18.1 Cuda (Net 21455)  54
Fritz 16                   53
Equinox 3.3                50
Critter 1.6a               49
Deep Rybka 4.1             46
Gull 3.1                   45
Chiron 4.4                 41
Naum 4.6                   40
Wasp 3.0                   37
BlackMamba 2.0             34
Deep Junior Yokohama       30
Deep Fritz 10              23
Crafty 25.2                22
SOS 5.1                    21
Minko 1.3                  18
Onno 1.2.7                 17
Alfil 13.1                 17
Monarch 1.7                14
Clueless 1.4               11

(Stand: 13. Januar 2019)

Hier lässt sich eine detaillierte Excel-Tabelle mit allen Lösungszeiten downloaden

Hier finden sich die Varianten und Analysen der 111 ERET-Aufgaben online (Chessbase-Reader)

Lesen Sie im Glarean Magazin zum Thema Computerschach auch den
Schach-Essay von Roland Stuckardt: Too clever is dumb

Weitere Internet-Artikel zum Thema:

• Die denkwürdige Welt der Schachengines (Chessbase)
• Computerschach-Empfehlungen (konrod.info)

Diesen Beitrag drucken oder downloaden (PDF) oder mailen