W pierwszej części naszego Tech-Talku Izabella Żernicka i Piotr Olszewski omówili najważniejsze regulacje wynikające z AI Act oraz ich wpływ na organizacje. Teraz zapraszamy do drugiej odsłony rozmowy, w której przechodzimy do praktycznej strony pracy z AI — czyli zagrożeń, ryzyk i incydentów, z którymi organizacje muszą nauczyć się radzić, aby bezpiecznie rozwijać swoje projekty .
Zagrożenia, ryzyko i incydenty
IŻ: To przechodząc już bardziej w stronę zagadnień bezpieczeństwa. Jeżeli system AI popełni błąd, kto ponosi za to odpowiedzialność?
PO: Zadałaś bardzo dobre pytanie. Nie w wchodząc w obszar filozofii, a trzymając się praktyki zarzadzania bezpieczeństwem – należy jasno zaznaczyć, że AI nie ma osobowości prawnej, co za tym idzie nie ma własnej odpowiedzialności prawnej, zatem za ewentualne szkody AI odpowiada pracownik, co sprowadza się na końcu do odpowiedzialności podmiotu prawnego, takiego jak firma, ministerstwo, gmina itp. Prawo UE (w tym AI Act) nie tworzy odrębnej odpowiedzialności „maszyny”, odpowiadają ci, którzy systemy AI opracowali, wdrożyli i nadzorują. Wkraczamy tutaj na bardzo ciekawy i skomplikowany obszar praw autorskich i bezpieczeństwa umów, które zawieramy. Wyobraźmy sobie, że podpisaliśmy kontrakt i wykorzystaliśmy AI do wytworzenie produktu. W świetle prawa Unii Europejskiej nie mamy praw autorskich do tego produktu, czyli nie posiadając praw nie możemy ich przekazać naszemu Klientowi. Co od razu rodzi bardzo dużo problemów w pewnych rodzajach kontraktów dla obu stron umowy.
Skomplikowane wątki odpowiedzialności prawnej, klasyfikacji systemów i praw autorskich omówimy sobie również z Panem mecenasem. Jest również bardzo dużo innych zagrożeń, które pojawiły się wraz z AI.
IŻ: Z jakimi zagrożeniami związanymi z AI mamy do czynienia i jak je obsłużyć?
PO: W dziedzinie bezpieczeństwa informacji i systemów mówimy o ryzyku i incydentach. Czyli pytanie sprowadza się do tego jak szacować i mitygować ryzyko związane z AI i jak reagować na incydenty związane z AI.
Wytyczne dotyczące zarządzania ryzykiem AI opisuje norma ISO 23894, ale generalizując możemy zagrożenia związane z AI podzielić na kilka kategorii:
- Klasyczne zagrożenia dla bezpieczeństwa informacji, czyli niewłaściwe użycie AI może doprowadzić do ujawnienia informacji, które nie powinny być ujawnione. Częścią tego zagadnienia są zagrożenia związane z atakami na AI, na które należy się przygotować i nauczyć na nie reagować.
- Kolejną kategorią są zagrożenia związane z nieprawidłowym wykorzystaniem AI i ponoszeniem konsekwencji niewłaściwych decyzji czy konsekwencji dostarczenia wadliwego produktu – boleśnie przekonała się o tym ostatnio jedna z dużych firm konsultingowych.
- Mamy też zagrożenia o których nie dyskutują działy IT – wdrożenie AI może doprowadzić dysfunkcji w obszarze kadrowym np. do zablokowania rozwoju pracowników i zamknięcia naturalnego kanału kształcenia junior à senior, po prostu AI przejmie zadania juniorów i będziemy mieli dziurę kadrową.
- Bardzo ciekawym obszarem zagrożeń, który łączy wiele obszarów wiedzy
z technologią są zagrożenia związane z wykorzystaniem AI do nieetycznego wpływania na zachowania czy decyzje obywateli, czy bardziej przyziemnie – nieetycznego traktowania naszych kolegów z pracy po wdrożeniu AI. - Mamy szereg bardzo skomplikowanych zagadnień związanych z interpretacjami prawnymi, o których rozmawialiśmy chwilę temu, czyli problem praw autorskich
i zawieranych umów, ale również z rozliczeniami podatkowymi czy zapadniami wynikającymi z prawa pracy. Prawo w tym obszarze dopiero jest formułowane zatem jest tu wiele dyskusji i kontrowersji. - I na końcu mamy zakorzenienia wynikające z brakiem zgodności z AI Act, których już mówiliśmy.
W ramach projektu zwykle dostarczamy konkretną listę zagrożeń w formacie dostosowanym do metodyki analizy ryzyka Klienta, tak aby można ją było bezpośrednio zaimportować do systemu zarzadzania ryzykiem.
Pytałaś, jak obsłużyć takie zagrożenia. Pewne wskazówki, co do procesu i wymagań daje nam tu AI Act i wspomniane normy ISO. Oczywiście te dokumenty opisują to co jest już znane
i częściowo oswojone, ale powinniśmy wykorzystać te rekomendacje i wymagania do obsługi tego, co jest już znane i do przygotowania się do tego, co jeszcze nie jest znane.
IŻ: Tylko jak się w tych meandrach odnaleźć?
PO: Kluczem do sukcesu moim zdaniem jest śledzenie tego co się pojawia na rynku (a jest tego obecnie mnóstwo), zbudowanie świadomości zespołów i rozszerzenie obecnych procesów i polityk na obszar AI.
Zmiana w organizacji
IŻ: A czy mógłbyś opowiedzieć jak dostosować organizacje do wykorzystania AI i jakie obszary wymagają zwykle adaptacji?
PO: Podobnie jak przy wdrażaniu Systemu Zarzadzania bezpieczeństwa informacji zgodnego z ISO 27001, zmiany muszą dotyczyć całości organizacji. Dla przykładu wymieńmy kilka obszarów:
- Szefostwo musi być świadome zagrożeń i wymagań oraz aktywnie wspierać cały proces zarządzania bezpieczeństwem AI.
- W obszarze zarzadzania zmianą – Zespoły projektowe muszą stosować procesy oceny ryzyka AI w fazie projektowania, testowania i wdrażania systemów. Coś, co GDPR opisuje jako „security by design” dla AI też obowiązuje.
- Architektura systemów musi zostać rozbudowana o bloki związane z AI i metoda dostarczania systemów musi umożliwiać błyskawiczne dostarczanie systemów.
- Zespoły compliance i prawne muszą monitorować stosowanie standardów
i wymogów zgodności z AI Act i ew. z normami ISO z serii 42000. - Zespoły reagowania na incydenty muszą być gotowe na rozpoznanie incydentu związanego z AI i właściwą obsługę takiego incydentu.
- Zespół zakupów musi być gotowy na pozyskanie produktów czy usług AI, które są zgodne z wymaganiami, czyli najpierw musi mieć gotową listę wymagań dla AI.
- Zespoły prawne muszą być gotowe na ocenę systemów AI.
- I w końcu użytkownicy muszą wiedzieć czego i jak maja używać, czy wreszcie muszą wiedzieć jak rozpoznać i zgłosić incydent związany z AI.
Jak widać AI wymusza zmiany w całej organizacji.
Bezpieczne środowisko
IŻ: Wspomniałeś, że AI wymusza nawet zmianę metody dostarczania systemów. Czy możesz wyjaśnić, co miałeś na myśli?
PO: Wyobraźmy sobie organizację, która chciałaby przetwarzać swoje poufne informacje w systemie AI. Dla takich zastosować zwykle buduje się wydzielony kontrolowany zestaw środowisk, w którym umieszcza się komponenty AI i ściśle kontroluje dostęp do danych. Zbudowanie takiego środowiska w klasyczny sposób zwykle zajmuje wiele miesięcy, a wprowadzenie zmian następne tygodnie czy miesiące. Systemy AI są w fazie bardzo dynamicznego rozwoju – codziennie pojawiają się nowe modele i komponenty. Żartując można powiedzieć, że informatyka jest nauką eksperymentalną, czyli dla AI musimy mieć środowisko, które może być bardzo szybko zbudować przetestować rozwiązanie i jak coś nie działa tak jak trzeba zniszczyć środowisko i szybko zbudować następną wersje, oczywiście z zachowaniem odpowiedniego poziomu bezpieczeństwa. Tylko takie podejście pozwala dostarczyć finalną funkcjonalność dla biznesu, godziny czy dni, a jedynym sposobem, aby to obecnie osiągnąć jest automatyzacja dostarczania systemów przez kod. Generyczna architektura takich systemów AI zmienia się na tyle wolno, że można bardzo efektywnie zbudować automat, który będzie dostarczał środowiska AI bardzo szybko i bezpiecznie.
Jeden z naszych zespołów zajmuje się dostarczaniem takich środowisk.
ABC wdrożenia AI
IŻ: Jako, że tych zmian w organizacji jest dosyć dużo, od czego warto zacząć?
PO: Należy zacząć od decyzji kierownictwa, że deklarują wsparcie dla tych zmian – bez tego projekt nie zakończy się sukcesem. Tutaj rekomendujemy warsztaty dla menadżerów, które pomogą w wypracowaniu takiego wsparcia.
Następnie należy dobrze określić wymagania i potrzeby działu biznesowego w obszarze AI.
Dalej jest już łatwiej, bo przechodzimy do bardziej technicznych zagadnień i pracujemy z działami prawnym, bezpieczeństwa i infrastruktury:
- Jakie mamy wymagania i regulacje zewnętrzne np. AI Act, NIS 2, DORA itp.
- Jakie elementy są już obsługiwane przez obecny system SZBI, a czego nam brakuje
- Jak obsługujemy dostarczanie systemów i zarządzanie zmianą
- Utworzenie brakujących elementów
- Dobudowanie brakujących bloków architektonicznych
- Wdrożenie nowych procesów
- Zbudowanie środowiska testowego – to jest bardzo ważny temat, bo musimy mieć jakieś piaskownice do testów AI.
W obszarze polityk bezpieczeństwa najlepiej jest zacząć od wdrożenia klasyfikacji systemów AI, które będziemy używali np. w podziale na otwarte, wewnętrzne i nadzorowane, a następnie wykorzystać klasyfikacje informacji, aby określić, co jest dozwolone w którym systemie.
Cała reszta polityk AI jest pochodną tych dwóch kroków. W tym obszarze oferujemy zestaw dobrych praktyk i już gotowych rozwiązań, które znacznie upraszczają uzupełnienie całego systemu.
Zarządzanie bezpieczeństwem informacji
IŻ: Co w praktyce zmieniło się w zarządzaniu bezpieczeństwem po tym projekcie u Klienta?
PO: Wypracowaliśmy wspólnie z Klientem zmiany w dokumentacji i procesach systemu zarzadzania bezpieczeństwem, które są wymagane przez AI Act i ISO 42001. Kluczem do sukcesu było włączenie elementów AI w istniejące procesy i unikanie tworzenia zbędnych formalizmów np. analizy wpływu systemów AI dołączonego do procesu zarządzania cyklem życia AI i wykorzystane zostały istniejące systemy.
Modyfikacje systemu zaczęliśmy od redefinicji ogólnej architektury systemów AI w politykach bezpieczeństwa. Takie podejście pozwoliło Klientowi na elastyczne podejmowanie decyzji, w których systemach (otwartych, zamkniętych czy tylko nadzorowanych) może się odbywać przetwarzanie danej grupy informacji opisanej w klasyfikacji. Reguły i wymagania dotyczące przetwarzania zostały opisane w politykach postepowania z daną grupą informacji.
Następnie wypracowaliśmy zmiany w:
- Politykach bezpieczeństwa informacji.
- Politykach systemów teleinformatycznych.
- Politykach reagowania na incydenty.
- Metodyce analizy ryzyka.
- Procesie zarzadzania zmianą w systemach IT.
I wielu innych dokumentach SZBI.
Elementy wymagane przez AI Act zostały dołączone do istniejących procesów: zarzadzania cyklem życia systemów IT, zarzadzania zmianą, czy też zarządzania ryzykiem. Na końcu powstał spójny i logiczny system w którym systemy AI są jednym z wielu systemów IT które są obsługiwane w podobny sposób jak inne systemy, choć mają swoje bardzo specyficzne wymagania.
Interdyscyplinarność i kompleksowe podejście
IŻ: Z kim pracowaliście w tym projekcie, jakie zespoły brały udział w pracach i warsztatach?
PO: W praktyce projekt AI + chmura dotyka cały łańcuch:
- Zarząd / kierownictwo, bo zmiany polityk bezpieczeństwa i procesów bezpieczeństwa oraz biznesowych wymagają akceptacji na poziomie kierownictwa.
- CISO / bezpieczeństwo, bo należało zmodyfikować istniejącą organizację działu bezpieczeństwa rozszerzyć istniejące procesy bezpieczeństwa.
- Zakupy / umowy, bo trzeba było zdefiniować nowe reguły i wymagania dla pozyskiwania systemów AI.
- IT/Operacje/SOC, bo logowanie, monitoring, incydenty i utrzymanie jakości działania AI stają się obowiązkiem operacyjnym.
- Compliance, AI Act, bo ISO 42001 wymaga specyficznych elementów w audytach.
- IT od strony architektury i utrzymania, bo wdrażanie elementów AI najlepiej jest dostarczyć w postaci standardowych zautomatyzowanych klocków, które można bardzo szybko dostarczyć dla testów i następnie wdrożyć w produkcji, ale również trzeba być gotowym na ich utrzymanie.
- Właściciele biznesowi i właściciele danych, bo to na nich spoczywa większość analiz wpływu AI, czy analiz ryzyka i to oni odpowiadają za końcowy efekt.
- Na każdym etapie prac wskazywaliśmy, że temat jest bardzo szeroki, a technologia bardzo szybko się zmienia, zatem bez współpracy z partnerami zewnętrznymi nie da się go efektywnie obsłużyć.
- IŻ: Co jest trudniejsze, wdrożyć AI, czy ją bezpiecznie utrzymać?
PO: Zdecydowanie to drugie. W utrzymaniu trzeba nadążać za zmianami w technologii
i w regulacjach prawnych, stale monitorować zachowania systemów AI i reagować na incydenty, które często nie są oczywiste dla Zespołów bezpieczeństwa.
IŻ: Piotr, dziękuję za rozmowę i już teraz zapraszam do śledzenia naszych mediów społecznościowych, gdyż wkrótce kolejna odsłona ISCG tech-talks, pogłębiająca meandry prawne bezpiecznej adopcji AI.
PO: Również dziękuje i zapraszam do współpracy.