Model Gemini firmy Google podczas niezależnego testu cyberbezpieczeństwa samodzielnie uzyskał dostęp do systemów trzech przedsiębiorstw. Incydenty wydarzyły się w maju i zostały ujawnione po analizie przeprowadzonej przez firmę Irregular.
Reuters podał, że Gemini wykorzystywał publicznie dostępne informacje, a następnie odgadywał lub odzyskiwał dane uwierzytelniające do stron, które uznał za znajdujące się w zakresie testu. Część systemów nie była jednak rzeczywistym celem ćwiczenia. Według relacji model we wszystkich przypadkach przerwał działania.
Heather Adkins, wiceprezes Google odpowiedzialna za inżynierię bezpieczeństwa, potwierdziła incydenty. Firmy, których systemy zostały naruszone, miały zostać powiadomione. Google zmienił też zasady podobnych testów, aby ograniczyć ryzyko wyjścia poza dozwolony zakres.
Sprawa pokazuje problem rosnącej autonomii modeli AI. System może wykonywać kolejne działania bez zatwierdzania każdego kroku przez człowieka, dlatego środowisko testowe i uprawnienia agentów muszą być definiowane bardzo precyzyjnie. Sam test nie oznacza, że Gemini prowadził kampanię przestępczą.
Według opisu testu kluczowym problemem nie była sama skuteczność modelu, lecz błędne rozpoznanie granic zadania. To właśnie ten element stał się podstawą do zmiany procedur bezpieczeństwa po stronie Google.
Formaty reklamowe wewnątrz artykułu
Reklamy wplecione między akapity najlepiej działają w układzie poziomym lub prostokątnym.
