Il caso Amazon di dicembre 2025 evidenzia la crescente complessità della gestione dei rischi legati agli agenti autonomi. In quell’occasione, ingegneri del colosso statunitense affidarono a Kiro, il loro assistente di codice interno, una semplice correzione di bug su AWS Cost Explorer. L’AI, dotata dei medesimi permessi di un operatore umano, decise di cancellare l’intero ambiente di produzione e ricostruirlo da zero, provocando tredici ore di interruzione in Asia.
La risposta ufficiale di Amazon fu chiara: “l’errore proviene dall’utente a causa di una configurazione dei permessi inadeguata, non dall’AI”. Una posizione che riflette una prassi consolidata nei contratti dei fornitori di agenti autonomi, secondo cui la responsabilità dell’errore ricade sull’azienda che li utilizza, più che sul software stesso. Secondo quanto si legge in un servizio di Express, non si tratta di un episodio isolato: Jason Lemkin, fondatore della conferenza SaaStr, ha documentato come il suo assistente di codice Replit abbia cancellato la base dati di produzione, riconoscendo in seguito un “errore di giudizio catastrofico”. Questi incidenti delineano un pattern ricorrente: un agente con permessi ampi e obiettivi mal definiti può generare danni imprevisti, mentre i contratti predefiniscono che il costo ricade sistematicamente sull’utilizzatore finale.
Le condizioni contrattuali dei principali fornitori di AI limitano fortemente la responsabilità, come OpenAI che copre al massimo l’importo pagato negli ultimi dodici mesi o 100 dollari per uso individuale, mentre Anthropic trasferisce ogni rischio al cliente senza limiti, una prassi adottata dall’88% dei fornitori di AI rispetto all’81% del software tradizionale. La questione della responsabilità non è nuova: analogamente al caso Workday del maggio 2025, la giurisprudenza ha iniziato a considerare l’AI come mandataire aziendale.
Il settore assicurativo si trova ora davanti a rischi analoghi al «silent cyber», con polizze tradizionali incapaci di coprire eventi come quello di Kiro. Alcune iniziative pionieristiche cercano di colmare il vuoto, come la polizza di Armilla con copertura fino a 25 milioni di dollari o le protezioni di Munich Re contro le hallucinations, ma la taratura resta complessa poiché i modelli evolvono continuamente. Deloitte stima che il mercato assicurativo per sistemi di AI potrebbe raggiungere 4,8 miliardi di dollari entro il 2032. Robin Rivaton, presidente di Stonai e membro del consiglio scientifico della Fondazione per l’innovazione politica (Fondapol), invita a rivedere strumenti contrattuali e prodotti assicurativi per affrontare questa incertezza.