One Article Review
| Source |  RiskIQ |
|---|---|
| Identifiant | 8591492 |
| Date de publication | 2024-10-03 19:14:47 (vue: 2024-10-03 19:18:21) |
| Titre | Lorsque l'IA est détourné: exploiter les modèles hébergés pour le jeu de rôle sombre When AI Gets Hijacked: Exploiting Hosted Models for Dark Roleplaying |
| Texte | ## Instantané
Ces derniers mois, les attaques contre l'infrastructure de l'intelligence artificielle générative (Genai), en particulier les services comme le fondement AWS, ont considérablement augmenté.Ces attaques ciblent principalement les clés d'accès exposées, que les attaquants utilisent pour détourner l'infrastructure pour leurs propres applications de modèle de langage grand (LLM).Une récente campagne capturée par Permiso a révélé que les attaquants utilisaient une infrastructure détournée pour héberger un service d'IA de jeu sexuel, où les utilisateurs se sont engagés dans des conversations avec des personnages d'IA.
## Description
Le jeu de rôle allait du contenu général des adultes aux thèmes plus sombres, y compris le matériel d'exploitation sexuelle des enfants (CSEM).Les attaquants ont détourné l'interaction AWS Bedrock \\ avec des modèles tels que Claude \\ d'Anthropic, exploitant ces outils pour éviter de payer les coûts de calcul impliqués.
LLM Jacking (ou le détournement de LLM) fait référence à l'acte de voler l'accès à une infrastructure LLM de l'organisation.La raison principale en est d'exécuter des applications non autorisées, comme les chatbots, tout en poussant la ressource et le fardeau financier sur la victime.Le processus de détournement consiste à vérifier la disponibilité du modèle, à demander l'accès via divers appels d'API et à invoquer (ou à inciter) des modèles pour générer des réponses.Ces techniques permettent aux attaquants de prendre le contrôle des précieuses ressources d'IA sans être détectées.
Dans ce cas, Permiso a identifié plus de 75 000 invites, impliquant principalement du contenu sexuel, en cours d'exécution via une infrastructure LLM détournée.Bien que le service exact de l'attaquant ne soit pas identifié par Permiso, il existe une demande claire de services de jeu de rôle sexuel alimenté en IA, ce qui a conduit les cybercriminels à exploiter les clés d'accès compromises pour le profit.
## Analyse Microsoft
Le détournement des ressources des systèmes LLM et AI a été identifié par Microsoft Threat Intelligence comme une tendance émergente des menaces dans les menaces tirant parti du Genai.Les acteurs de la menace utilisent l'accès eux-mêmes et vendent l'accès à d'autres criminels, qui utilisent ensuite les ressources compromises à diverses fins illicites, notamment l'extraction des données, la fraude dirigée par l'IA ou d'autres cyberattaques.
Pour en savoir plus sur les tendances de Genai Osint, lisez [les tendances émergentes des OSINT dans les menaces en tirant parti de l'intelligence artificielle générative] (https://security.microsoft.com/intel-explorer/articles/9e3529fc).
## Recommandations
Pour en savoir plus sur les principes et l'approche des IA responsables de Microsoft \\, reportez-vous à [https://www.microsoft.com/ai/princicles-and-approach-et approche).
Pour les dernières recherches en matière de sécurité de la communauté Microsoft Threat Intelligence, consultez le blog Microsoft Threat Intelligence: [https://aka.ms/thereatintelblog
## références
[Lorsque l'IA est détourné: exploiter des modèles hébergés pour le jeu de rôle sombre] (https://permiso.io/blog/Exploiting-Hosted-Models).Permiso (consulté en 2024-10-03)
## Copyright
**&copie;Microsoft 2024 **.Tous droits réservés.La reproduction ou la distribution du contenu de ce site, ou de toute partie de celle-ci, sans l'autorisation écrite de Microsoft est interdite.
## Snapshot In recent months, attacks on Generative Artificial Intelligence (genAI) infrastructure, particularly services like AWS Bedrock, have significantly increased. These attacks primarily target exposed access keys, which attackers use to hijack infrastructure for their own Large Language Model (LLM) applications. A recent campaign captured by Permiso revealed that attackers were using hijacked infrastructure to host a sexual roleplay |
| Notes | ★★ |
| Envoyé | Oui |
| Condensat | **© 000 2024 2024** about access accessed act actors adult all allow analysis anthropic any api applications approach are artificial attacker attackers attacks availability avoid aws bedrock been being blog: burden calls campaign captured case characters chatbots check checking child claude clear com/ai/principles com/intel community compromised computational content control conversations copyright costs criminals csem cyberattacks cybercriminals dark darker data demand description detected distribution driven emerging engaged exact executed exploit exploitation exploiting explorer/articles/9e3529fc exposed extraction financial fraud from further gain genai general generate generative gets has have hijack hijacked hijacked: hijacking host hosted https://aka https://permiso https://security https://www identified illicit including increased infrastructure intelligence interaction invoking involved involves involving io/blog/exploiting jacking keys language large latest leading learn leveraging like llm main material microsoft model models months more mostly ms/threatintelblog onto organization osint other out over own part particularly paying permiso permission powered primarily principles process profit prohibited prompting prompts purposes pushing ranged read reason recent recommendations refer references refers remains reproduction requesting research reserved resource resources responses responsible revealed rights roleplay roleplaying run security selling service services sexual significantly site snapshot stealing such systems target techniques themes themselves then thereof these threat threats through tools trend trends unauthorized unidentified use users using utilize valuable various victim when where which who without written |
| Tags | Tool Threat Prediction |
| Stories | |
| Move | 
|
L'article ne semble pas avoir été repris aprés sa publication.
L'article ne semble pas avoir été repris sur un précédent.