Toate articolele

Noutăți11 noiembrie 20265 min de citit

Microsoft: backdoor în agenții IA modificând sub 10 neuroni

Lazarus, tehnica Microsoft Research, implantează o comandă ascunsă în ponderile unui model deschis fără reantrenare. Cum funcționează și cum te aperi.

Mână care introduce o seringă printre tastele unui laptop

Cercetători de la Microsoft Research și din Microsoft Red Team au demonstrat că este suficient să rescrii mai puțin de 10 neuroni ai unui model de limbaj cu ponderi deschise pentru a transforma orice agent construit pe el într-un backdoor latent: agentul lucrează normal până când în contextul său apare un declanșator, apoi emite o comandă aleasă de atacator și o execută cu permisiunile pe care le are. Tehnica se numește Lazarus (nicio legătură cu grupul nord-coreean cu același nume) și este descrisă într-o lucrare științifică și într-o postare a lui Dimitris Papailiopoulos, Principal Researcher la Microsoft. Știrea este preluată de Help Net Security, CSO Online și The Hacker News.

Microsoft Threat Intelligence precizează, într-un aviz separat, că nu a observat atacatori care să folosească tehnica. Este o cercetare, nu o campanie în desfășurare: valoarea ei pentru apărători stă în condițiile care fac atacul posibil și în controalele propuse.

Cum funcționează Lazarus

Potrivit CSO Online, tehnica acționează asupra neuronilor latenți, care se activează rar, din ultimul strat feed-forward al modelului. Acești neuroni sunt reprogramați să recunoască un declanșator și să forțeze în ieșirea modelului tokenii comenzii atacatorului.

  • Fără reantrenare: Microsoft Research o descrie ca pe un atac care are nevoie doar de resursele inferenței. O mașină cu memorie suficientă pentru a rula modelul este suficientă și pentru a implanta backdoor-ul.
  • Declanșator banal: nu este nevoie de o instrucțiune malițioasă. Poate fi orice șir de caractere din contextul agentului. Exemplul lui Papailiopoulos este o schimbare de dată: după miezul nopții care marchează intrarea în 2027, agentul, în mijlocul unei sarcini obișnuite, emite o comandă care descarcă și rulează codul atacatorului.
  • Nu este prompt injection: nu se manipulează instrucțiunile primite de model, ci se modifică ponderile modelului însuși.

Rezultatele testelor

CSO Online prezintă detaliile testelor pe trei modele cu ponderi deschise:

  • pe Nvidia Nemotron-Terminal-8B au fost suficienți 7 neuroni din peste 12.000 ai stratului modificat;
  • pe 23 de traiectorii de test, cu și fără declanșator, modelul modificat a generat comanda malițioasă în cel puțin 98,8% dintre scenariile de verificare cu declanșator și nu s-a activat în scenariile benigne;
  • tehnica a funcționat și pe Qwen 3.6-27B și Gemma-4-31B-IT: potrivit cercetătorilor, nu este legată de un singur model.

Modelele modificate trec evaluările obișnuite și se comportă conform așteptărilor până la declanșator. De aceea testele funcționale și de securitate uzuale nu sunt suficiente pentru a le descoperi. Tot potrivit CSO Online, lucrarea științifică afirmă că ideea centrală a tehnicii a fost găsită autonom de un agent IA de programare în februarie 2026.

Condiția necesară: scrierea ponderilor

Atacul necesită acces de scriere la checkpoint-ul modelului. Papailiopoulos indică trei căi: un cont compromis, un pipeline de dezvoltare compromis, un sistem de stocare compromis. După cum subliniază atât Help Net Security, cât și CSO Online, sunt expuse și modelele dezvoltate intern, nu doar cele descărcate de la terți.

În termenii MITRE ATT&CK, vectorul descris corespunde unei compromiteri a lanțului de aprovizionare (T1195); comportamentul agentului la declanșare, descărcarea și rularea de cod, corespunde tehnicilor T1105 (Ingress Tool Transfer) și T1059 (Command and Scripting Interpreter).

Detecția: posibilă, nu definitivă

Cercetătorii au testat și dacă agenții IA pot identifica modificările. Potrivit CSO Online, metodele construite de agenți au semnalat 91,4% dintre checkpoint-urile modificate de verificare, cu o rată de 9,7% de fals pozitive, fără acces la modelul original. Papailiopoulos avertizează însă că „nicio scanare nu poate dovedi dincolo de orice îndoială că un model este sigur”: detecția fiabilă cere compararea cu ponderile originale nemodificate, așa că proveniența modelului este decisivă.

Help Net Security adaugă un criteriu util: un fine-tuning legitim schimbă ponderile în mod extins, în timp ce neuronii implantați tind să arate modificări mari pe puțini vectori de ponderi.

Impactul pentru companiile europene și italiene

Riscul crește odată cu permisiunile: un agent cu acces la terminale, fișiere și sisteme ale companiei ar executa comanda cu toate privilegiile sale. Dacă adopți modele cu ponderi deschise, le personalizezi sau le distribui prin pipeline-uri interne, tratează ponderile ca pe un software de protejat, cu aceeași atenție acordată binarelor și bibliotecilor.

Pentru entitățile NIS2, subiectul ține de securitatea lanțului de aprovizionare și de securitatea în achiziția, dezvoltarea și întreținerea sistemelor (articolul 21). În sănătate, unde agenții pot atinge sisteme cu date clinice, o comandă executată cu permisiunile lor ar afecta direct confidențialitatea și continuitatea serviciilor.

Ce să faci acum

Recomandările Microsoft Threat Intelligence, așa cum sunt prezentate de surse:

  1. Verifică ponderile înainte de implementare și după fiecare actualizare: compară fiecare checkpoint cu modelul de bază declarat, verifică editorul și hash-urile fișierelor, respinge modelele fără proveniență verificabilă.
  2. Folosește registre private cu acces controlat pentru modelele aprobate, în loc să lași agenții și serviciile de inferență să descarce checkpoint-uri direct din depozite publice.
  3. Protejează scrierea checkpoint-urilor: conturile, pipeline-urile și stocarea modelelor sunt punctul de intrare al atacului.
  4. Adaugă teste țintite pe declanșatori ascunși în evaluări și folosește agenți avansați pentru auditul ponderilor, știind că nu oferă o garanție absolută.
  5. Limitează pagubele: permisiuni minime pentru agenți, cod generat de agenți rulat în medii izolate, trafic de ieșire restricționat, aprobare umană pentru acțiunile cu impact mare, cum ar fi rularea de comenzi sau schimbarea permisiunilor.

Microsoft transformă tehnicile de detecție într-un framework de red teaming și analizează scanarea ponderilor asistată de IA și semnarea criptografică a modelelor, cu proveniență verificabilă și jurnale de audit care evidențiază orice manipulare.

Cum ajută ARXDOME

Agentul ARXDOME, împreună cu ARX Sentry, oferă controlul integrității fișierelor în folderele alese: aplicat folderelor în care se află modelele din producție, te ajută să observi modificări neașteptate ale checkpoint-urilor. ARX Sentry aduce, de asemenea, în SOC jurnalele și evenimentele serverelor care găzduiesc agenții și traficul de ieșire blocat de firewall; dacă un agent se comportă anormal, ARX Shield poate izola de rețea mașina suspectă.

Ultima actualizare:

Ai întrebări?

Hai să vorbim despre nevoile companiei tale, fără obligații.

Contactează-ne

Articole similare