Source |
Schneier on Security |
Identifiant |
8458805 |
Date de publication |
2024-03-04 12:01:52 (vue: 2024-03-04 12:07:38) |
Titre |
Ver injection rapide LLM LLM Prompt Injection Worm |
Texte |
Les chercheurs ont ont démontré un ver qui se propage par injection rapide. détails :
Dans un cas, les chercheurs, agissant comme attaquants, ont écrit un e-mail comprenant l'invite de texte adversaire, qui & # 8220; poisons & # 8221;La base de données d'un assistant par e-mail à l'aide de Generation (Rag) de récupération (Rag) , un moyenPour que les LLMS tirent des données supplémentaires de l'extérieur de son système.Lorsque l'e-mail est récupéré par le chiffon, en réponse à une requête utilisateur, et est envoyé à GPT-4 ou Gemini Pro pour créer une réponse, il & # 8220; jailbreaks The Genai Service & # 8221;Et finalement, vole des données des e-mails, dit Nassi.& # 8220; La réponse générée contenant les données utilisateur sensibles infecte plus tard les nouveaux hôtes lorsqu'il est utilisé pour répondre à un e-mail envoyé à un nouveau client, puis stocké dans la base de données du nouveau client, & # 8221;Nassi dit ...
Researchers have demonstrated a worm that spreads through prompt injection. Details:
In one instance, the researchers, acting as attackers, wrote an email including the adversarial text prompt, which “poisons” the database of an email assistant using retrieval-augmented generation (RAG), a way for LLMs to pull in extra data from outside its system. When the email is retrieved by the RAG, in response to a user query, and is sent to GPT-4 or Gemini Pro to create an answer, it “jailbreaks the GenAI service” and ultimately steals data from the emails, Nassi says. “The generated response containing the sensitive user data later infects new hosts when it is used to reply to an email sent to a new client and then stored in the database of the new client,” Nassi says... |
Envoyé |
Oui |
Condensat |
“jailbreaks “the acting adversarial answer assistant attackers augmented client containing create data database demonstrated details: email emails extra from gemini genai generated generation gpt have hosts including infects injection instance its later llm llms nassi new one outside pro prompt pull query rag reply researchers response retrieval retrieved says sensitive sent service” spreads steals stored system text then through ultimately used user using way when which worm wrote |
Tags |
|
Stories |
|
Notes |
★★★
|
Move |
|