One Article Review
| Source |  Schneier on Security |
|---|---|
| Identifiant | 8666711 |
| Date de publication | 2025-04-23 16:02:48 (vue: 2025-04-23 16:07:16) |
| Titre | Réguler le comportement d'IA avec un hyperviseur Regulating AI Behavior with a Hypervisor |
| Texte | Recherche intéressante: « Guillotine: hyperviseurs pour isoler AIS malveillant ."
Résumé : À mesure que les modèles AI deviennent plus ancrés dans des secteurs critiques comme la finance, les soins de santé et les militaires, leur comportement inscriptable présente des risques toujours plus grands pour la société. Pour atténuer ce risque, nous proposons la guillotine, une architecture hyperviseur pour les modèles de sable puissant d'IA - des modèles qui, par accident ou malveillance, peuvent générer des menaces existentielles pour l'humanité. Bien que la guillotine emprunte certaines techniques de virtualisation bien connues, la guillotine doit également introduire des mécanismes d'isolement fondamentalement nouveaux pour gérer le modèle de menace unique posé par l'AIS à risque existentiel. Par exemple, un IA Rogue peut essayer de s'introduire sur un logiciel hyperviseur ou le substrat matériel sous-jacent pour activer la subversion ultérieure de ce plan de contrôle; Ainsi, un hyperviseur de guillotine nécessite une co-conception minutieuse du logiciel d'hyperviseur et des dispositifs CPU, RAM, NIC et de stockage qui prennent en charge le logiciel d'hyperviseur, pour contrecarrer les fuites de canaux latéraux et éliminer plus généralement les mécanismes d'IA pour exploiter les vulnérabilités basées sur la réflexion. Au-delà de cette isolement au niveau des logiciels, du réseau et des couches microarchitecturales, un hyperviseur de guillotine doit également fournir des défaillances physiques plus souvent associées aux centrales nucléaires, aux plates-formes avioniques et à d'autres types de systèmes critiques de mission. Les défaillances physiques, par exemple, impliquant une déconnexion électromécanique des câbles de réseau, ou l'inondation d'un centre de données qui détient une IA voyou, assure la défense en profondeur si le logiciel, le réseau et l'isolement microarchitecturale sont compromis et qu'un IA voyou doit être temporairement fermé ou détruit en permanence. ...
Interesting research: “Guillotine: Hypervisors for Isolating Malicious AIs.” Abstract:As AI models become more embedded in critical sectors like finance, healthcare, and the military, their inscrutable behavior poses ever-greater risks to society. To mitigate this risk, we propose Guillotine, a hypervisor architecture for sandboxing powerful AI models—models that, by accident or malice, can generate existential threats to humanity. Although Guillotine borrows some well-known virtualization techniques, Guillotine must also introduce fundamentally new isolation mechanisms to handle the unique threat model posed by existential-risk AIs. For example, a rogue AI may try to introspect upon hypervisor software or the underlying hardware substrate to enable later subversion of that control plane; thus, a Guillotine hypervisor requires careful co-design of the hypervisor software and the CPUs, RAM, NIC, and storage devices that support the hypervisor software, to thwart side channel leakage and more generally eliminate mechanisms for AI to exploit reflection-based vulnerabilities. Beyond such isolation at the software, network, and microarchitectural layers, a Guillotine hypervisor must also provide physical fail-safes more commonly associated with nuclear power plants, avionic platforms, and other types of mission critical systems. Physical fail-safes, e.g., involving electromechanical disconnection of network cables, or the flooding of a datacenter which holds a rogue AI, provide defense in depth if software, network, and microarchitectural isolation is compromised and a rogue AI must be temporarily shut down or permanently destroyed. ... |
| Notes | ★★★ |
| Envoyé | Oui |
| Condensat | “guillotine: abstract:as accident ais also although architecture associated avionic based become behavior beyond borrows cables can careful channel commonly compromised control cpus critical datacenter defense depth design destroyed devices disconnection down electromechanical eliminate embedded enable ever example existential exploit fail finance flooding fundamentally generally generate greater guillotine handle hardware healthcare holds humanity hypervisor hypervisors inscrutable interesting introduce introspect involving isolating isolation known later layers leakage like malice malicious may mechanisms microarchitectural military mission mitigate model models models—models more must network new nic nuclear other permanently physical plane; plants platforms posed poses power powerful propose provide ram reflection regulating requires research: risk risks rogue safes sandboxing sectors shut side society software some storage substrate subversion such support systems techniques temporarily threat threats thus thwart try types underlying unique upon virtualization vulnerabilities well which |
| Tags | Vulnerability Threat Medical |
| Stories | |
| Move | 
|
L'article ne semble pas avoir été repris aprés sa publication.
L'article ne semble pas avoir été repris sur un précédent.