To trzecia część serii dotycząca rozwiązania Prompt Security od SentinelOne. W moich poprzednich artykułach pisałem o ryzykach po stronie pracowników i deweloperów. Tym razem jesteśmy w obszarze aplikacji AI budowanych wewnętrznie przez organizacje, mam tu na myśli chociażby chatboty dedykowane do obsługi klienta, ale również asystentów opartych na własnych danych.
Inny profil ryzyka niż Shadow AI
Kiedy firma buduje własną aplikację opartą na modelu językowym, chociażby chatbota, wyszukiwarkę semantyczną, asystenta wewnętrznego, wówczas ryzyko przestaje dotyczyć tylko tego, co pracownik wkleja do publicznego narzędzia. To ryzyko zaczyna również dotyczyć tego, co ktoś z zewnątrz może wprowadzić do aplikacji, którą firma sama udostępnia klientom lub zespołowi.
To zupełnie inna klasa zagrożeń, wymagająca odmiennego podejścia do zabezpieczeń.
Cztery kluczowe obszary ryzyka we własnych aplikacjach:
- Prompt injection i jailbreak – złośliwie sformułowane zapytanie może nakłonić model do działania niezgodnego z intencją autora aplikacji lub ujawnienia informacji, które powinny pozostać ukryte
- Denial of wallet – masowe, zautomatyzowane zapytania generujące realne, wysokie koszty infrastruktury AI, bez żadnej wartości biznesowej
- Zdalne wykonanie kodu (RCE) i inne ataki wykorzystujące integracje aplikacji AI z systemami zaplecza
- Wyciek danych przy łączeniu aplikacji z modelami LLM lub bazami wektorowymi – bez odpowiedniego filtrowania, wrażliwe dane mogą trafić tam, gdzie nie powinny.
Dodajmy do tego ryzyko wizerunkowe: aplikacja AI bez moderacji treści może wygenerować odpowiedź nieodpowiednią, szkodliwą lub po prostu niezgodną z polityką firmy, a to widzi bezpośrednio Twój klient.
≫ Jak odpowiada na to Prompt Security?
Platforma Prompt Security obejmuje:
- Zarządzanie ryzykiem AI – ochrona przed prompt injection, jailbreakiem, atakami denial of wallet, RCE i innymi zagrożeniami specyficznymi dla aplikacji LLM
- Zapobieganie wyciekom danych – filtrowanie i maskowanie danych wrażliwych podczas łączenia aplikacji z modelami językowymi lub bazami wektorowymi z zachowaniem zgodności z przepisami
- Moderację treści – zapobieganie generowaniu treści nieodpowiednich, szkodliwych lub niezgodnych z polityką firmy, zanim trafią one do użytkownika końcowego
Istotne jest to, że wszystkie te zabezpieczenia działają bez wpływu na komfort użytkowania aplikacji, tzn. że ochrona jest niewidoczna dla użytkownika końcowego.
Dla organizacji z wysokimi wymaganiami dostępna jest również opcja on-premise
Dla firm z rygorystycznymi wymaganiami wobec danych jak sektor finansowy, publiczny, infrastruktura krytyczna, Prompt Security oferuje wdrożenie lokalne za pośrednictwem Kubernetes. Daje to pełną kontrolę nad infrastrukturą i danymi przy zachowaniu zgodności z wewnętrznymi politykami bezpieczeństwa, bez konieczności przesyłania danych poza organizację.
Co dalej?
W kolejnej części z serii Prompt Security od Sentinel One przedstawię aspekt związany z bezpieczeństwem agentów AI i protokołu MCP, jako nowy front, na którym rozgrywa się dziś bezpieczeństwo AI.
Budujesz własną aplikację AI i zastanawiasz się, jak ją zabezpieczyć?
Skontaktuj się z nami, pomożemy dobrać odpowiedni zakres wdrożenia Prompt Security do architektury Twojej organizacji.
Umów się na demo: https://outlook.office.com/book/KonsultacjaPromptSecurity@ISCG.onmicrosoft.com/s/Lc5jNKTyHUSx5as_9eqXOw2?ismsaljsauthenabled
