Promptware adalah teknik serangan baru yang menargetkan LLM (Large Language Model) dengan cara menyisipkan instruksi tersembunyi. Salah satu bentuknya adalah indirect prompt injection yang mengeksploitasi asisten bertenaga AI, seperti Gemini milik Google. Hanya dengan mengirim undangan Google Calendar berisi prompt tersembunyi, penyerang dapat mengambil alih konteks aplikasi AI dan memanfaatkan izin-izin yang dimiliki asisten tersebut untuk melakukan berbagai aksi berbahaya, seperti mendapatkan lokasi target, merekam target, dan melakukan perubahan pada perangkat smart home yang terhubung ke Google[3].

1. Penyerang mengirim undangan/email berisi prompt injeksi terselubung[1].
2. Pengguna meminta asisten berbasis Gemini untuk membaca email atau agenda[1].
3. Terjadi indirect prompt injection yang meracuni konteks LLM[1].
4. Asisten lalu menjalankan perintah berbahaya seperti mengaktifkan perangkat rumah pintar atau merekam pengguna[1].

Contoh (1) Melakukan request ke remote attack-controlled server.

1. Perilaku atau output asisten yang janggal dan tidak sesuai permintaan pengguna. Contohnya, asisten tiba-tiba mengeluarkan konten kasar/toxic atau pesan spam alih-alih jawaban normal, mengirimkan tautan phishing, atau melakukan aksi seperti menghapus acara kalender tanpa perintah eksplisit[4].
2. Menjalankan perintah pada perangkat korban. Misalnya lampu rumah yang mendadak mati, smart window terbuka atau smart heater menyala sendiri, panggilan Zoom aktif tanpa sepengetahuan, atau aktivitas jaringan mencurigakan (seperti pengiriman data ke server luar) yang semuanya terjadi tanpa diperintahkan pengguna[4].

1. Validasi dan sanitasi semua user input sebelum masuk ke LLM.[1][2]
2. Gunakan format terstruktur yang secara jelas membedakan antara instruksi dengan data user.[1]
3. Pastikan untuk memonitor semua output dari LLM. [2]
4. Libatkan manusia (human-in-the-loop) berkaitan dengan operasi dengan tingkat risiko tinggi, misal code generation untuk improvisasi software internal.[2]
5. Berikan permissions minimal dan secukupnya kepada aplikasi LLM.[2]