En chatbot-feil var nær ved å utløse militær aksjon mot et kinesisk skip
En analytiker lot en chatbot lese lastelisten til et kinesisk skip. Svaret – «atomvåpendeler på vei til Iran» – var feil, men amerikanske fly var allerede i lufta.
KI-forskerne Timnit Gebru og Emily M. Bender skriver i The Guardian om en hendelse de mener viser den virkelige KI-risikoen – ikke en superintelligens, men en feilbarlig chatbot.
Ifølge CNN, som de viser til, lot en analytiker i det amerikanske Stillehavskommandoet en chatbot gå gjennom lastelisten til et kinesisk lasteskip. Chatboten konkluderte med at skipet fraktet deler til atomvåpen på vei til Iran. Rapporten gikk inn i etterretningen, og fly var i lufta og soldater klare til å borde skipet før noen leste rapporten på nytt, oppdaget at den kom fra en chatbot, og avblåste operasjonen.
Poenget til Gebru og Bender er at feilaktige KI-svar som blir «hvitvasket» til offisielle rapporter, kan skape farlige situasjoner lenge før noen superintelligens finnes.
For norske bedrifter: KI-svar må alltid kvalitetssikres av et menneske før de brukes til viktige beslutninger – og det må gå tydelig fram hva som er laget av KI.