Home

RK 2003 Turnier
8 Engines, 10 Runden, 280 Partien, Athlon 1.3/64 MB hash pro Engine
Spielstufe: 120'/60 plus 60'/30 and 30', ponder=off, 3-/4-Steiner EGTB
Alle Programme mit eigenen (schreibgeschützten) Büchern, kein Buchlernen,
 Buchoptionen =Buch benutzen, Turnierbuch, Optimal, Partieminimum 3
TK 3.23 SKR mit general.ctg (schreibgeschützt), Optimal, Wichtungen zurückversetzt
Alle Partien unter ChessBase-GUI Hiarcs8 (altes, lesbares PGN format)
Tester: Rolf Bühler, Zurich / Kurt Utzinger, Wetzikon (Schweiz)

 Program 
                                       Score     %    Av.Op.  Elo    +   -    Draws

  1 Shredder 7.04                  :  43.5/ 70  62.1   2489   2576   72  58   44.3 %
  2 The King 3.23 skr              :  43.0/ 70  61.4   2490   2571   72  56   45.7 %
  3 Junior 8                       :  41.5/ 70  59.3   2492   2557   74  61   38.6 %
  4 Fritz 8                        :  39.5/ 70  56.4   2495   2539   77  60   38.6 %
  5 Deep Sjeng 1.5                 :  31.5/ 70  45.0   2505   2470   61  79   35.7 %
  6 Chess Tiger 15.0               :  29.5/ 70  42.1   2507   2452   51  76   50.0 %
  7 Ruffian 1.0.5                  :  28.0/ 70  40.0   2509   2439   55  74   45.7 %
  8 Hiarcs 8                       :  23.5/ 70  33.6   2515   2396   57  68   47.1 %

Kommentar
Der Gewinner unseres RK 2003 Turniers heisst Shredder 7.04 von Programmautor Stefan Meyer-Kahlen. Auch wenn es nur ein ganz knapper Sieg war, im Hinblick auf viele andere Turniere und Resultate doch ein weiterer Hinweis, dass dieses Programm zur Zeit über alles gesehen zur Recht an der Spitze der SSDF-Liste steht. Nur gerade gegen Junior 8 musste das Siegerprogramm eine knappe Niederlage hinnehmen. Und Chess Tiger 15 wurde mit dem brutalen Ergebnis von 8,5-1,5 besiegt. Es stellt sich die (berechtigte) Frage, ob Shredder 7.04 für den Chess Tiger 15 eine Art Angstgegner ist. Den entsprechenden Kommentar findet man bei der Besprechung der Resultate von Chess Tiger 15. Ganz allgemein ist bei Shredder 7.04 eine erfreuliche Entwicklung der Spielstärke nach oben zu beobachten. Die grosse Stärke von Shredder 7.04 liegt unseres Erachtens in der guten (besten?) Behandlung des Mittelspiels. Im Endspiel ist Shredder 7.04 nicht mehr unangefochten die Nummer 1, fällt in dieser Phase jedoch durch die höchst effiziente und frühzeitige Nutzung der Tablebases auf. Es ist übrigens das erste Mal in all unseren gespielten Turnieren, dass ein Programm von Stefan Meyer-Kahlen sich als Sieger rühmen darf.

Das holländische Programm The King 3.23 SKR folgt auf Platz 2 mit nur einem halben Punkt Rückstand auf den Sieger und dem Eröffnungsbuch general.ctg. Insbesondere beachtlich ist dabei der Hinweis, dass dieselbe Engine bei Verwendung des Buches remis.ctg im Vergleich zum Buch general.ctg bei gesamthaft 70 Partien unglaubliche 10,5 Punkte weniger erzielte und nur den 5. Rang belegt hätte. Der Einfluss von Eröffnungsbüchern scheint viel grösser als wir uns das bislang vorgestellt hatten. Die sehr gute Platzierung dieses Programms mit den SKR-Settings hat uns besonders gefreut, und wir hoffen, dass die letzten Zweifler zur Kenntnis nehmen, dass dieses Setting bei längeren Zeitkontrollen zur absoluten Spitze im Computerschach gehört. Es ist wirklich schade, dass Johan de Koning an den Computer-WM’s nicht mehr teilnimmt. Die gute Leistung verdient umso höhere Beachtung, als The King 3.23 SKR im Suchprozess ja noch nicht auf die EGTB’s zugreifen kann, bzw. dies erst möglich ist, wenn die entsprechende Stellung auf dem Brett ist. Nach unseren Erfahrungen hat das eine Performance-Einbusse von wenigstens fünf Prozent zur Folge.

Nachdem es lange Zeit für Junior 8 sehr gut aussah und das israelische Programm immer wieder an der Spitze stand, zogen schliesslich Shredder 7.04 und The King 3.23 SKR doch noch an ihm vorbei. Für einen Schachspieler ist der unergründliche Junior 8 sowohl ein Muss wie auch oft ein Rätsel. Der dynamische Spielstil bringt vielfach ganz reizende Partien hervor, denen aber auch recht empfindliche Niederlagen - wie man es von einem Spitzenprogramm nicht erwartet - entgegenstehen. Wir wagen es noch immer nicht, dieses Programm abschliessend zu beurteilen. Immerhin scheint es nicht falsch, davon auszugehen, dass ein optimal auf das Programm abgestimmtes Buch einen wichtigen Teil des Erfolgs von Junior 8 ausmacht. So haben wir bekanntlich das RK 2003 Turnier mit dem remis.ctg für alle Engines gestartet, nach drei Umgängen aber abgebrochen. Und zu jenem Zeitpunkt, nachdem alle Programme schon 21 Partien gespielt hatten, stand Junior 8 mit 7,5 Punkten http://www.utzingerk.com/rk_2003_old.htm am Schwanz der Tabelle. Auch das Match 120’/40 bei SSDF gegen Ruffian 1.0.1 mit einem knappen Sieg von 21,5-18,5 für Junior 8 könnte ein Indiz dafür liefern. Denn gegen Ruffian fliegt Junior 8 recht oft früh aus dem Buch, weil eben die starke Amateurengine noch kein so riesiges Buch hat, so dass Junior 8 frühzeitig auf sich allein gestellt ist.

Vom Glück etwas weniger gesegnet war Fritz 8 (v 8.0.0.8) in diesem Turnier. Schwer auf den Magen geschlagen hat dem Programm von Frans Morsch die geringe Ausbeute von 35 Prozent oder 3,5 Punkten aus 10 Partien gegen seinen holländischen Konkurrenten The King 3.23 SKR. Nicht eben gut tat dem Programm natürlich die sehr knappe 4,5-5,5 Niederlage gegen Deep Sjeng 1.5, während das 40 %-Score gegen Shredder 7.04 im Rahmen des Üblichen liegt. Trotz allem ist die doch recht ausgewogene Spielweise von Fritz 8 zu erwähnen, weshalb diese Engine als Allrounder zu bezeichnen ist. Schade ist einzig, dass bei Analysen vielfach nur der erste Halbzug angezigt wird, für viele Schachfreunde ein echtes Ärgernis und vielleicht ein Grund dafür, weshalb man den Fritz 8 für die Analyse gar nicht mehr so gerne aufruft. Denn die Leute wollen den Rechenprozess mit Zugfolgen sehen. Uns persönlich ist das nicht so wichtig, denn vornehmlich zählt ja der erste Zug, zumal hinten hinaus vielfach nicht die richtige Folge gezeigt wird.

Ganz sicher: Deep Sjeng 1.5 ist die grosse Überraschung dieses Turniers. Im Vorfeld hatten wir verschiedentlich Stellungnahmen gelesen, die klar den letzten Platz dieser Engine prognostiziert hatten. Zu diesem Erfolg beigetragen haben der hohe Sieg gegen Hiarcs 8 (7-3), der knappe Sieg gegen Fritz 8 (5,5-4,5) und das ausgeglichene Ergebnis gegen Chess Tiger 15. Einzig gegen Shredder 7.04 und Junior 8 konnten nur 30 Prozent erzielt werden. Ein gar noch besseres Score wäre möglich gewesen, wenn nicht auch der knappe Verlust (4,5-5,5) gegen die Amateurengine Ruffian 1.0.5 passiert wäre. Den Charakter von Deep Sjeng 1.5 zu beschreiben ist nicht einfach. Mit geschlossenen und/oder halb geschlossenen Stellungen scheint das belgische Programm besser zurechtzukommen als mit den klassischen offenen Eröffnungen. Am ehesten Handlungsbedarf für Verbesserungen können im Bereich Endspiel ausgemacht werden.

Für alle Fans des französischen Programms Chess Tiger 15 ist das Gesamtscore von lediglich 42.1 % sicher eine leichte bis grosse Enttäuschung. Besonders weh tut natürlich die hohe 1,5-8,5 Niederlage gegen Shredder 7.04, so dass der Verdacht aufkommt, dass die letztgenannte Engine der Angstgegner sein könnte. Das scheint sich indessen bei den Ranglisten von Klaus Wlotzka http://www.computerschach.de/rangliste/ und von Heinz Walz http://www.beepworld.de/members38/heinzwalz-computerschach/index.htm mit kürzeren Bedenkzeiten nicht zu bestätigen. Hingegen ist diese Tendenz bei SSDF http://ssdf.bosjo.net/list.htm bei längeren Bedenkzeiten (Turnierstufe) klar abzulesen. Wir haben irgendwie den Eindruck, dass beim Chess Tiger 15 ab einer Bedenkzeit über 1 Min/Zug die Luft raus ist, d.h. keine spürbare Steigerung mehr erkennbar ist. Auch bei Analysen findet Chess Tiger 15 die guten Züge relativ rasch und tut sich bei steigender Bedenkzeit schwer, seine Meinung zu Gunsten eines noch besseren Zuges zu ändern. Die Niederlage gegen Shredder 7.04 darf jedoch nicht überbewertet werden, zu berücksichtigen bleibt ebenso, dass Chess Tiger 15 auch gegen The King 3.23 SKR und Junior 8 den Kürzeren gezogen hat.

Bei insgesamt 70 Partien erzielte Ruffian 1.0.5 immerhin ein Score von 40 %. Die Amateur-Engine von Perola Valfridsson vermag in allen Spielphasen zu gefallen. Jedenfalls ist Ruffian 1.0.5 jeder Engine ein brandgefährlicher Gegner, den man nicht unterschätzen darf. Und lange bestand in diesem Turnier gar berechtigte Hoffnung auf eine gar höhere Platzierung. Die jeweils “nur” 25 Prozent gegen The King 3.23 SKR und Junior 8 verhinderten dann allerdings eine grössere Ausbeute. Die beim Turnier verwendete Version 1.0.5 ist nicht öffentlich und wie es scheint auch nicht stärker als die frei erhältliche Version 1.0.1, obwohl wir natürlich nur aufgrund eines einzigen Turniers mit dieser Aussage auch daneben liegen könnten.

Nicht ein Match konnte Hiarcs 8 gewinnen. Auffallend ist das unseres Erachtens schlecht auf das Programm abgestimmte Eröffnungsbuch. Nur wegen dieses Buchs gingen einige Partien in die Hosen. Magere 25 % gegen Shredder 7.04, aber auch eine unerwartet saftige Niederlagen (3-7) gegen Deep Sjeng 1.5 ergaben schliesslich in der Endabrechnung einfach zu wenig Punkte. Aber was interessiert Hiarcs 8, nachdem in der Zwischenzeit die offenbar stark verbesserte Version Hiarcs 9 erschienen ist. Und schliesslich muss es in jedem Turnier einen Verlierer geben. Und abschliessend die Bemerkung: Es war nur ein Turnier von vielen, aus dem man keine falschen und voreiligen Schlüsse ziehen darf. Bitte auch unter “Etwas Statistik” nachlesen, wie das gemeint ist.

In der Zwischenzeit haben wir auch Hiarcs 9 getestet und eine Tabelle ausgearbeitet (siehe unten) in der alle Partien von Hiarcs 8 durch die neueste Version des feinen Programms von Mark Uniacke ersetzt wurden. Während Hiarcs 8 nur 25.0/70 (Score 35,7 %) punktete, erzielte Hiarcs 9 immerhin 33.5/70 (Score 47,8 %) womit die Verbesserungen der neuen Version sichtbar werden. Hiarcs 8 landete auf dem letzten, Hiarcs 9 auf dem 5. Platz. Ehrlich gesagt, hatten wir uns etwas mehr versprochen, doch das u.E. sehr starke Hiarcs 9 tat uns den Gefallen nicht. Wir hoffen, dass Hiarcs 9 in einem unserer nächsten Turniere besser abschneiden wird. Alle Partien unseres “RK 2003 with Hiarcs 9” können bei http://www.utzingerk.com/rk_2003_h9.zip heruntergeladen werden.

Eröffnungen

Games 
                       :    280 (finished)

White Wins   :     99 (35.4 %)
Black Wins   :     60 (21.4 %)
Draws        :    121 (43.2 %)
Unfinished   :      0

White Perf.  : 57.0 %
Black Perf.  : 43.0 %

ECO A =      9 Games ( 3.2 %)
ECO B =    137 Games (48.9 %)
ECO C =     39 Games (13.9 %)
ECO D =     43 Games (15.4 %)
ECO E =     52 Games (18.6 %)

Die Verteilung nach Weiss gewinnt, Schwarz gewinnt und Remis ist recht interessant. Die Remisquote dünkt mich mit 43,2 Prozent recht hoch, was wohl auf die Güte der Eröffnungsbücher zurückzuführen ist. Der Anzugsvorteil mit 35,4 Prozent Gewinnpartien sieht relativ bescheiden aus, während Schwarz immerhin noch 21,4 Prozent aller Partien gewinnen konnte. Und betrachtet man so, welche Eröffnungen gespielt wurden, fällt auf den ersten Blick auf, dass die Eröffnungsbücher ganz offensichtlich auf 1.e4 und die offenen sowie halboffenen Eröffnungen ausgelegt sind. Mit nur neun Partien fristet der ECO-Code A ein besonderes Mauernblümchendasein.

Und wie bereits angetönt, scheint es bei den heutigen Engines enorm wichtig, welche Bücher eingesetzt werden. Dasselbe Turnier wäre einiges anders gelaufen, wenn The King 3.23 SKR mit dem remis.ctg statt dem general.ctg gespielt hätte (siehe unten stehende Tabelle), obwohl Shredder 7.04 noch immer Sieger wäre. Hingegen hätten Fritz 8 und Junior 8 die Plätze 2 und 3 geteilt, während The King 3.23 SKR nur unter ferner liefen im 5. Rang abgeschnitten hätte. Die Partien dieses so genannen RK 2003n Turniers stehen unter http://www.utzingerk.com/rk_2003n.zip zum Download bereit.

Als weiteres Beispiel haben wir oben bereits auf den grossen Einfluss des Eröffnungsbuches bei Junior 8 aufmerksam gemacht und wieviel schlechter (letzter Platz) es dem israelischen Programm ergangen ist, als alle Engines gezwungen waren, mit dem Buch remis.ctg zu spielen, Rapport siehe http://www.utzingerk.com/rk_2003_old.htm und die Partien können bei http://www.utzingerk.com/rk_2003_old.zip heruntergeladen werden.

Etwas Statistik

Betrachtet man nochmals die Gesamttabelle

 Program 
 
                                                      Score     %    Av.Op.  Elo    +   -    Draws

  1 Shredder 7.04                  :  43.5/ 70  62.1   2489   2576   72  58   44.3 %
  2 The King 3.23 skr              :  43.0/ 70  61.4   2490   2571   72  56   45.7 %
  3 Junior 8                       :  41.5/ 70  59.3   2492   2557   74  61   38.6 %
  4 Fritz 8                        :  39.5/ 70  56.4   2495   2539   77  60   38.6 %
  5 Deep Sjeng 1.5                 :  31.5/ 70  45.0   2505   2470   61  79   35.7 %
  6 Chess Tiger 15.0               :  29.5/ 70  42.1   2507   2452   51  76   50.0 %
  7 Ruffian 1.0.5                  :  28.0/ 70  40.0   2509   2439   55  74   45.7 %
  8 Hiarcs 8                       :  23.5/ 70  33.6   2515   2396   57  68   47.1 %

so scheint alles klar. Shredder 7.04 der souveräne Sieger, Hiarcs 8 der ebenso klare Verlierer und Ruffian 1.0.5 “nur” Zweitletzter. Das alles ist relativ, denn die obige Tabelle weist auch auf die 95 %-Fehlergrenze des angenommenen Basis-Elo-Wertes von 2500 hin. Mit anderen Worten enthält die durch Shredder 7.04 erzielte Leistung von 2576 Elo nach unten eine Fehlergrenze von -58 Punkten, was somit wenigstens noch 2439 Elo ergäbe. Mit dieser Leistung wäre das Programm jedoch lediglich auf dem 5. Platz gelandet. Umgekehrt Ruffian 1.0.5 mit einer Leistung von 2439 Elo und einer Fehlergrenze von +55 Punkten nach oben, ergibt theoretisch 2494 Elo oder ebenfalls Platz 5. Natürlich sind das alles Spielereien, aber mit ernstem Hintergrund, um den Lesern die Relationen bei der Interpretation der Turniertabelle vor Augen zu führen. Und vergessen wir eines nicht: jede Engine musste gegen alle Gegner nur 10 Partien spielen. Und es ist bekannt, wie es bei solchen Matches manchmal läuft: 8-2 und dann 2-8 umgekehrt. Und bei derart kurzen Turnieren haben solche Ergebnisse selbstverständlich böse Folgen auf die Rangfolge. Auch in diesem Turnier gab es einige hohe Siege: Shredder 7.04 vs Chess Tiger (8,5-1,5) / The King 3.23 SKR vs Ruffian 1.0.5 (7,5-2,5), Junior 8 vs Ruffian 1.05 (7,5-2,5) und Fritz 8 vs Ruffian 1.0.5 (8,0-2,0), und wer sagt, dass sich solches bei einem Rematch wiederholen würde? Nachfolgend nun noch die Resultate der einzelnen Programme in einer Übersicht:

Individual 
                statistics:

(1) Shredder 7.04 
                            :  70 (+ 28,= 31,- 11), 62.1 %

Chess Tiger 15.0              :  10 (+  7,=  3,-  0), 85.0 %
The King 3.23 skr             :  10 (+  3,=  5,-  2), 55.0 %
Deep Sjeng 1.5                :  10 (+  4,=  6,-  0), 70.0 %
Fritz 8                       :  10 (+  5,=  2,-  3), 60.0 %
Ruffian 1.0.5                 :  10 (+  2,=  6,-  2), 50.0 %
Hiarcs 8                      :  10 (+  6,=  3,-  1), 75.0 %
Junior 8                      :  10 (+  1,=  6,-  3), 40.0 %


(2) The King 3.23 skr         :  70 (+ 27,= 32,- 11), 61.4 %

Chess Tiger 15.0              :  10 (+  3,=  6,-  1), 60.0 %
Deep Sjeng 1.5                :  10 (+  4,=  5,-  1), 65.0 %
Shredder 7.04                 :  10 (+  2,=  5,-  3), 45.0 %
Fritz 8                       :  10 (+  3,=  7,-  0), 65.0 %
Ruffian 1.0.5                 :  10 (+  6,=  3,-  1), 75.0 %
Hiarcs 8                      :  10 (+  5,=  4,-  1), 70.0 %
Junior 8                      :  10 (+  4,=  2,-  4), 50.0 %


(3) Junior 8                  :  70 (+ 28,= 27,- 15), 59.3 %

Chess Tiger 15.0              :  10 (+  3,=  6,-  1), 60.0 %
The King 3.23 skr             :  10 (+  4,=  2,-  4), 50.0 %
Deep Sjeng 1.5                :  10 (+  6,=  2,-  2), 70.0 %
Shredder 7.04                 :  10 (+  3,=  6,-  1), 60.0 %
Fritz 8                       :  10 (+  2,=  2,-  6), 30.0 %
Ruffian 1.0.5                 :  10 (+  6,=  3,-  1), 75.0 %
Hiarcs 8                      :  10 (+  4,=  6,-  0), 70.0 %


(4) Fritz 8                   :  70 (+ 26,= 27,- 17), 56.4 %

Chess Tiger 15.0              :  10 (+  4,=  5,-  1), 65.0 %
The King 3.23 skr             :  10 (+  0,=  7,-  3), 35.0 %
Deep Sjeng 1.5                :  10 (+  3,=  3,-  4), 45.0 %
Shredder 7.04                 :  10 (+  3,=  2,-  5), 40.0 %
Ruffian 1.0.5                 :  10 (+  6,=  4,-  0), 80.0 %
Hiarcs 8                      :  10 (+  4,=  4,-  2), 60.0 %
Junior 8                      :  10 (+  6,=  2,-  2), 70.0 %


(5) Deep Sjeng 1.5            :  70 (+ 19,= 25,- 26), 45.0 %

Chess Tiger 15.0              :  10 (+  3,=  4,-  3), 50.0 %
The King 3.23 skr             :  10 (+  1,=  5,-  4), 35.0 %
Shredder 7.04                 :  10 (+  0,=  6,-  4), 30.0 %
Fritz 8                       :  10 (+  4,=  3,-  3), 55.0 %
Ruffian 1.0.5                 :  10 (+  3,=  3,-  4), 45.0 %
Hiarcs 8                      :  10 (+  6,=  2,-  2), 70.0 %
Junior 8                      :  10 (+  2,=  2,-  6), 30.0 %


(6) Chess Tiger 15.0          :  70 (+ 12,= 35,- 23), 42.1 %

The King 3.23 skr             :  10 (+  1,=  6,-  3), 40.0 %
Deep Sjeng 1.5                :  10 (+  3,=  4,-  3), 50.0 %
Shredder 7.04                 :  10 (+  0,=  3,-  7), 15.0 %
Fritz 8                       :  10 (+  1,=  5,-  4), 35.0 %
Ruffian 1.0.5                 :  10 (+  3,=  5,-  2), 55.0 %
Hiarcs 8                      :  10 (+  3,=  6,-  1), 60.0 %
Junior 8                      :  10 (+  1,=  6,-  3), 40.0 %


(7) Ruffian 1.0.5             :  70 (+ 12,= 32,- 26), 40.0 %

Chess Tiger 15.0              :  10 (+  2,=  5,-  3), 45.0 %
The King 3.23 skr             :  10 (+  1,=  3,-  6), 25.0 %
Deep Sjeng 1.5                :  10 (+  4,=  3,-  3), 55.0 %
Shredder 7.04                 :  10 (+  2,=  6,-  2), 50.0 %
Fritz 8                       :  10 (+  0,=  4,-  6), 20.0 %
Hiarcs 8                      :  10 (+  2,=  8,-  0), 60.0 %
Junior 8                      :  10 (+  1,=  3,-  6), 25.0 %


(8) Hiarcs 8                  :  70 (+  7,= 33,- 30), 33.6 %

Chess Tiger 15.0              :  10 (+  1,=  6,-  3), 40.0 %
The King 3.23 skr             :  10 (+  1,=  4,-  5), 30.0 %
Deep Sjeng 1.5                :  10 (+  2,=  2,-  6), 30.0 %
Shredder 7.04                 :  10 (+  1,=  3,-  6), 25.0 %
Fritz 8                       :  10 (+  2,=  4,-  4), 40.0 %
Ruffian 1.0.5                 :  10 (+  0,=  8,-  2), 40.0 %
Junior 8                      :  10 (+  0,=  6,-  4), 30.0 %

Der Turnierverlauf

Hier kann man den Verlauf des Turniers verfolgen. Das Turnier [280 Partien] ging über 10 Serien zu je 28 Partien. Jede Serie bestand aus sieben Runden zu je vier Partien. Die untenstehenden Tabellen zeigen den jeweiligen Sieger eines jeden Umgangs. Mit Ausnahme von Chess Tiger 15, Ruffian 1.0.5 und Hiarcs 8 hat jedes Programm mindestens einmal einen Umgang gewonnen. Und einmal mehr lässt sich daraus ablesen, wie wichtig es ist, viele Partien zu spielen. Ansonsten gibt es mehr oder weniger Zufallsgewinner, ganz im Sinne von Zufallsweltmeistern.

Serie 10  (games 253-280)
Winner = Fritz 8.0.0.8

Serie 9  (games 225-252)
Winner = The King 3.23 srk

Serie 8  (games 197-224)
Winner = Junior 8.0.0.2

Serie 7  (games 169-196)
Winner = Shredder 7.04

Serie 6  (games 141-168)
Winner = Junior 8.0.0.2

Serie 5  (games 113-140)
Winner = Shredder 7.04

Serie 4  (games 85-112)
Winner = The King 3.23 skr

Serie 3  (games 57-84)
Winner = Deep Sjeng 1.5

Serie 2  (games 29-56)
Winner = Fritz 8

Serie 1 (games 1 - 28)
Winner = Junior 8.0.0.2

Home