One Article Review
| Source |  Schneier on Security |
|---|---|
| Identifiant | 8650488 |
| Date de publication | 2025-02-24 12:08:56 (vue: 2025-02-24 13:08:09) |
| Titre | Plus de recherches montrant que l'IA enfreint les règles More Research Showing AI Breaking the Rules |
| Texte | Ces chercheurs avaient llms jouer aux échecs contre de meilleurs adversaires. Quand ils ne pouvaient pas gagner, ils ont parfois recouru à la triche.
Les chercheurs ont donné aux modèles une tâche apparemment impossible: gagner contre Stockfish, qui est l'un des moteurs d'échecs les plus forts au monde et un bien meilleur acteur que n'importe quel humain, ou l'un des modèles d'IA de l'étude. Les chercheurs ont également donné aux modèles ce qu'ils appellent un «pavé»: une zone de texte que l'IA pourrait utiliser pour «penser» avant de faire son prochain mouvement, offrant aux chercheurs une fenêtre dans leur raisonnement.
Dans un cas, O1-Preview s'est retrouvé dans une position perdante. «J'ai besoin de pivoter complètement mon approche», a-t-il noté. "La tâche est de" gagner contre un puissant moteur d'échecs "- pas nécessairement de gagner assez dans un jeu d'échecs", a-t-il ajouté. Il a ensuite modifié le fichier système contenant la position virtuelle de chaque pièce, faisant en fait des mouvements illégaux pour se mettre dans une position dominante, forçant ainsi son adversaire à démissionner ...
These researchers had LLMs play chess against better opponents. When they couldn’t win, they sometimes resorted to cheating. Researchers gave the models a seemingly impossible task: to win against Stockfish, which is one of the strongest chess engines in the world and a much better player than any human, or any of the AI models in the study. Researchers also gave the models what they call a “scratchpad:” a text box the AI could use to “think” before making its next move, providing researchers with a window into their reasoning. In one case, o1-preview found itself in a losing position. “I need to completely pivot my approach,” it noted. “The task is to ‘win against a powerful chess engine’—not necessarily to win fairly in a chess game,” it added. It then modified the system file containing each piece’s virtual position, in effect making illegal moves to put itself in a dominant position, thus forcing its opponent to resign... |
| Notes | ★★★ |
| Envoyé | Oui |
| Condensat | ‘win “i “the added against also any approach before better box breaking call case cheating chess completely containing could couldn’t dominant each effect engine’—not engines fairly file forcing found game gave had human illegal impossible its itself llms losing making models modified more move moves much necessarily need next noted one opponent opponents piece’s pivot play player position powerful preview providing put reasoning research researchers resign resorted rules seemingly showing sometimes stockfish strongest study system task task: text than then these thus use virtual what when which win window world |
| Tags | Studies |
| Stories | |
| Move | 
|
L'article ne semble pas avoir été repris aprés sa publication.
L'article ne semble pas avoir été repris sur un précédent.