Nous l'avons vu les Centipions sont utilisés pour estimer la valeur d' une position.
Pour comprendre comment cela fonctionne, nous avons comparé les évaluations de trois moteurs d'analyse pour une même séquence de 3 coups dont certains sont volontairement des boulettes.
Tous les tests et illustrations de cette page ont été faite à partir de cette même séquence . Nous avons attribué le gain aux blancs de façon arbitraire.1. d4 e5 2. dxe5 f6 3. Fg5 fxe5 1-0
Dans le choix des moteurs nous avons également eu la curiosité de vérifier si 2 moteurs distincts importés dans une même GUI (Komodo et Stockfish 15 sans NNUE dans Chess.com) donnaient des bilans de partie très différents ou pas. Le troisième moteur choisi est Stockfish 14+NNUE dans Lichess
Voici ce que nous avons observé.
- Les 3 moteurs donnent pour la situation initiale une valeur et préconisent un premier coup pour les blancs. La valeur initiale est toujours précédée d'un + donnant un avantage aux blancs car ils jouent en premier. La valeur absolue correspond en fait à la valeur attribuée au premier meilleur coup proposé aux blancs.
Nous imaginons (peut être à tort), que cette valeur est issue des tables d'ouverture et qu'elle est pondérée en fonction des statistiques de gain ou de perte de parties en jouant ce coup. Les bases de données et les statistiques sont différentes pour chaque moteur d'où de légères différences dans l'évaluation de la situation initiale.
 |
| Chess.com avec Komodo |
 |
| Chess.com avec Stockfish 15 |
 |
| Lichess avec Stockfish 14+NNUE |
- A chaque mouvement noir ou blanc, le moteur calcule la valeur de la nouvelle position et indique les meilleures réponses possibles avec leur valorisation. Le meilleur coup est toujours en première ligne. Attention le signe positif ou négatif et s'il s'agit du meilleur coup pour les blancs ou pour les noirs donne un sens différent à la valeur absolue. Par exemple un deuxième meilleur coup valorisé à +0.71 est effectivement moins bon qu'un coup proposé comme meilleur coup valorisé à +0.43 si il s'agit d'un coup proposé aux noirs. Le signe+ indiquant l'avantage aux blancs, la valeur absolue la plus faible est donc la plus intéressante pour les noirs (Pour eux +0.43 est donc une meilleure situation que +0.71)
Rappel: l'évaluation ne prend pas en compte que le gain ou perte de matériel mais aussi le contrôle du centre, la protection du Roi, des tables d'ouvertures et de finales....
Ci après, une illustration des différences d' évaluations obtenues avec Lichess Stockfish 14+NNUE puis Chess.com Komodo
Dans les deux cas nous avons volontairement limité le nombre de variantes à 2
Les fenêtres Lichess sont toujours à gauche du tableau et celles de Komodo à droite.
A noter Lichess arrondit aux dixième de pion .
 |
 |
Stockfish et Komodo utilisent pour les premiers coups: les bibliothèques d'ouverture. Le choix du meilleur premier coup est certainement issu d'une statistique sur le plus grand nombre de parties gagnées avec le coup proposé (dans leurs bases de données respectives) au moment de l'impression d'écran |
 |
 |
Nous voyons bien que Stockfish intègre dans sa cotation les menaces, prises possibles faiblesses des deux camps et statistiques de réussite finale, Ici le résultat n'est pas calculé mais puisé dans le "cloud". Komodo fait de même mais il considère que la dégradation de la position est moindre par rapport à Stockfish |
 |
 |
9 |
 |
 |
12 |
 |
 |
Ce troisième coup assez rare incite Stokfish a calculer au lieu de se satisfaire d'une faible quantité de données existantes (cloud) défiabilisant les statistiques. A ce stade nous n'avons pas compris comment Komodo indique si l'évaluation est le résultat d'un calcul ou d'un copier dans une base de données |
 |
 |
18 |
Nous avons mis en évidence par cette comparaison que
les différences d'approche de chaque moteur pour prioriser les différentes sources (table d'ouvertures, base de données, statistiques, bilan matériel, faiblesses) se retrouvaient dans le résultat d'appréciation en centipions d'une même situation. Lorsque le meilleur coup (selon le moteur) n'a pas été joué, la perte en centipions est donc également différente pour chaque moteur
Fort de ce constat, notre curiosité nous pousse à vérifier
Des moteurs différents donnent des verdicts différents mais est ce parce qu'ils sont utilisés dans une plateforme différente.
Chess com avec Stockfish 15 et Komodo
Fort de ce constat, notre curiosité nous pousse à vérifier
"Comment les deux moteurs synthétisent notre performance dans le rapport: "bilan de partie"?
A gauche: Lichess Stockfish14+NNUE à droite: Chess.com Komodo
 |
 |
Principale differences:
- Chess.com exprime un taux de réussite ramenée à 100 coups. Dans les deux cas on compare la valeur du coup joué à celle du meilleur coup du moteur et on tire une moyenne. Dans Lichess le moteur idéal aurait une note proche de 0 .Dans chess.com la note approcherait 100. Dans notre exemple il y a très peu de coups et des gaffes énormes la moyenne est peu exploitable .
- Chess.com indique 1gaffe pour les blancs 0 pour les noirs!! à la place 1 gain manqué |
 |
 |
Chess.com édite un graphique montrant pour chaque coup joué à quel point il s'éloigne du coup idéal calculé par le moteur. là encore nus pensons, que la forme globale de l histogramme est plus intéressante pour les débutants que la valeur exprimée pour chacun des coups Dans les deux cas un coach vous propose une seconde chance pour corriger vos boulettes Vous pouvez mettre à jour l'évaluation avec vos réponses en seconde chance. |
 |
 |
Si vous ne trouvez pas le coup parfait selon le moteur le coach vous donne la solution. Pour la démonstration, la partie a été importée dans Lichess et Chess.com . L'export PGN n'embarque pas les temps écoulés par coup. Lichess et Chess.com ne peuvent donc pas proposer le graphique temps par coups. Les deux le proposent lorsque la partie a été jouée sur leur plateforme. |
| 10 |
11 |
12 |
Nous constatons que
logiquement, la qualification des mouvements s'écartant du coup idéal préconisé par le calcul est différente pour chaque moteur. Un "gain manqué" pour Chess.com Komodo, conduisant en plus et immédiatement à la perte de la Dame, est considéré comme une "gaffe" pour Lichess Stockfish14.
Chess.com donne ici des définitions pour chaque qualificatif mais ne donne pas la règle de calcul
Lichess ne qualifie que les fautes et pas les bons coups. Il ne donne pas non plus de correspondance avec les pertes calculées en centipions.
Concernant:
- le taux de précision de Chess.com nous n'avons pas trouvé de règle exacte mais chess.com donne quelques explications de son système CAPS (dernière évolution CAPS2) ici
ca semble sophistiqué mais ce n'est pas transparent!!
- la perte moyenne de centipions pour Lichess c'est simplement la somme de perte de chaque coup divisé par le nombre de coups
Des moteurs différents donnent des verdicts différents mais est ce parce qu'ils sont utilisés dans une plateforme différente.
Comparons maintenant l'évaluation de deux moteurs utilisés au sein de la même GUI
Nous avons importé notre séquence de 3 coups dans Chess.com pour l'analyser avec Stockfish 15 puis Komodo.
Pour avoir un indicateur de performance comparable entre Lichess et Chess.com nous avons recalculé pour chaque coup la perte de centipions et fait la moyenne
Nous avons utilisé Excel pour calculer et présenter le résultat
Pour comparer nous avons mis aussi sous Excel les résultats obtenus dans les tests précédents avec Lichess Stokfish14+NNUE
Nous remarquons que
- les meilleurs coups proposés dans les 3 configuration sont identiques.
- les valorisation des situations sont différentes
- La qualification des coups est différente
- La valeur moyenne de perte de centipions est distincte
Conclusion
Comprendre comment les moteurs évaluent les situations est utile, savoir que le processeur, la profondeur et la quantité de mémoire allouée entrent en jeu dans le processus d'évaluation est intéressant. Ainsi nous ne nous étonnerons plus de résultats en gain de centipions différents pour les mêmes coups ou même d'un meilleur coup (moteur) bafouant pourtant, tous les fondamentaux échiquéens que nos professeurs prônent.
Nous considérons également après cette étude, que d'utiliser un moteur ponctuellement ( à l'entrainement )lorsqu'on hésite entre deux coups peut nous aider à progresser.
Par contre, lorsque la partie est terminée et analysée par un moteur, comparer la valeur en centipions de chacun de nos coups par rapport au meilleur coup de l'ordinateur, nous semble, pour les débutants, totalement inutile pour progresser tant, la méthode d'évaluation est complexe et impénétrable (trop fluctuante). Cependant grâce à ce calcul le moteur rédige un rapport qui lui est riche d'enseignements pour tous. Les graphiques permettent en un coup d'œil de voir la physionomie d'une partie, mettent en évidence facilement les moments clés, et si on archive ces rapports, sur le nombre, on pourra peut être révéler d' éventuelles faiblesses chroniques. Nous pourrons donc, prioriser les exercices, ou savoir si nous commettons régulièrement les gaffes dans la même phase des parties. Intéressant également pour un professeur pour aider son élève à corriger ses lacunes.
Attention toutefois:
- la qualification des coups est très subjective et différente entre les différents moteurs. On conseille aux débutants de considérer sur le même plan: les gaffes, erreurs, gain manqués car le classement est différent entre les moteurs. Pour les imprécisions c'est encore plus subjectif. La moyenne en centipions perdus et le taux de réussite qui en découlent le sont donc tout aussi.
Aucun commentaire:
Enregistrer un commentaire
Vos critiques, réponses au quizz sont les bienvenues.