Zagrożenia związane z bezpieczeństwem w pracy z AI: nowa perspektywa

W miarę jak asystenci i piloty AI stają się integralną częścią codziennej pracy, zespoły zajmujące się bezpieczeństwem skupiają się przede wszystkim na ochronie samych modeli. Jednak ostatnie incydenty sugerują, że znaczniejsze ryzyko leży gdzie indziej: w procesach roboczych otaczających te modele.

Ostatnio odkryto dwie rozszerzenia Chrome, które podszywały się pod pomocników AI, kradnąc dane czatu ChatGPT i DeepSeek od ponad 900 000 użytkowników. Oddzielnie badacze zademonstrowali, jak wstrzyknięcia poleceń ukryte w repozytoriach kodu mogą oszukać asystenta kodowania AI IBM, zmuszając go do wykonania złośliwego oprogramowania na komputerze dewelopera.

Żaden z tych ataków nie złamał samych algorytmów AI, lecz wykorzystał kontekst, w którym AI działa. To jest wzorzec, na który warto zwrócić uwagę. Gdy systemy AI są osadzone w rzeczywistych procesach biznesowych, podsumowując dokumenty, pisząc e-maile i pobierając dane z narzędzi wewnętrznych, zabezpieczenie samego modelu nie wystarcza. Proces roboczy staje się celem.

Modele AI jako silniki procesów roboczych

Aby zrozumieć, dlaczego ma to znaczenie, warto przyjrzeć się temu, jak AI jest obecnie wykorzystywane. Firmy polegają na AI, by łączyć aplikacje i automatyzować zadania, które wcześniej były wykonywane ręcznie. Na przykład, asystent pisania AI może pobrać poufny dokument z SharePoint i podsumować go w projekcie e-maila. Chatbot sprzedażowy może porównać dane z wewnętrznego CRM, by odpowiedzieć na pytanie klienta. Każdy z tych scenariuszy zaciera granice między aplikacjami, tworząc nowe ścieżki integracji w locie.

Ryzyko związane z tymi sytuacjami wynika z działania agentów AI. Opierają się one na probabilistycznym podejmowaniu decyzji, a nie na sztywnych regułach, generując wyniki w oparciu o wzorce i kontekst. Starannie sformułowane polecenie może skłonić AI do działania w sposób, którego projektanci nigdy nie zamierzali, a AI to zrealizuje, ponieważ nie ma wewnętrznego pojęcia granic zaufania.

To oznacza, że powierzchnia ataku obejmuje każdy input, output oraz punkty integracji, które model napotyka. Hacking kodu modelu staje się zbędny, gdy przeciwnik może po prostu manipulować kontekstem, który model widzi, lub kanałami, z których korzysta. Przytoczone wcześniej incydenty ilustrują to: wstrzyknięcia komend ukryte w repozytoriach przejmują zachowanie AI podczas rutynowych zadań, podczas gdy złośliwe rozszerzenia skradną dane z rozmów AI bez potrzeby dotykania samego modelu.

Dlaczego tradycyjne środki bezpieczeństwa zawodzą

Te zagrożenia związane z procesami roboczymi ujawniają ograniczenia tradycyjnego bezpieczeństwa. Większość konwencjonalnych zabezpieczeń była projektowana z myślą o deterministycznym oprogramowaniu, stabilnych rolach użytkowników i wyraźnych granicach. Procesy robocze napędzane przez AI łamią te założenia.

W przypadku większości aplikacji rozróżnia się pomiędzy zaufanym kodem a niezaufanym inputem. Modele AI tego nie robią; wszystko jest dla nich po prostu tekstem, więc złośliwa instrukcja ukryta w dokumencie PDF nie różni się od legitimnego polecenia. Tradycyjna walidacja inputu nie pomaga, ponieważ ładunek nie jest złośliwym kodem, lecz naturalnym językiem.

Tradycyjne monitorowanie wychwyci oczywiste anomalie, takie jak masowe pobieranie danych czy podejrzane logowania, ale AI analizujące tysiące rekordów w ramach rutynowego zapytania wygląda jak normalny ruch serwisowy. Jeśli te dane zostaną podsumowane i wysłane do atakującego, żadne zasady technicznie nie zostały naruszone.

Większość ogólnych polityk bezpieczeństwa określa, co jest dozwolone lub zablokowane: nie pozwalaj temu użytkownikowi na dostęp do tego pliku, blokuj ruch do tego serwera. Zachowanie AI zależy jednak od kontekstu. Jak można sformułować zasadę, która mówi „nigdy nie ujawniaj danych klientów w wyniku”?

Programy zabezpieczeń opierają się na okresowych przeglądach i stałych konfiguracjach, takich jak kwartalne audyty czy zasady dotyczące zapory. Procesy robocze AI nie pozostają statyczne. Integracja może zyskać nowe możliwości po aktualizacji lub połączyć się z nowym źródłem danych. W momencie kwartalnego przeglądu token mógł już zostać ujawniony.

Zabezpieczenie procesów roboczych napędzanych przez AI

W związku z tym lepszym podejściem byłoby traktowanie całego procesu roboczego jako elementu, który chronimy, a nie tylko modelu. Należy zacząć od zrozumienia, gdzie AI jest rzeczywiście wykorzystywane, od oficjalnych narzędzi, takich jak Microsoft 365 Copilot, po rozszerzenia przeglądarki, które pracownicy mogą zainstalować samodzielnie. Ważne jest, aby znać dane, do których każdy system ma dostęp oraz jakie działania może podejmować. Wiele organizacji jest zaskoczonych, odkrywając, że w całej firmie działa wiele niewidocznych usług AI.

Jeżeli asystent AI ma być używany tylko do wewnętrznych podsumowań, należy ograniczyć mu możliwość wysyłania wiadomości e-mail na zewnątrz. Należy skanować wyniki w poszukiwaniu danych wrażliwych zanim opuszczą twoje środowisko. Te zabezpieczenia powinny znajdować się poza samym modelem, w middleware, który sprawdza działania przed ich wysłaniem.

Traktuj agentów AI jak każdego innego użytkownika lub usługę. Jeżeli AI potrzebuje tylko dostępu do odczytu w jednym systemie, nie daj mu ogólnego dostępu do wszystkiego. Ogranicz tokeny OAuth do minimalnych wymaganych uprawnień i monitoruj anomalie, takie jak nagły dostęp AI do danych, których nigdy wcześniej nie dotykało.

Warto także edukować użytkowników o zagrożeniach związanych z używaniem niezweryfikowanych rozszerzeń przeglądarki lub kopiowaniem poleceń z nieznanych źródeł. Weryfikuj zewnętrzne wtyczki przed ich wdrożeniem i traktuj każde narzędzie, które dotyka wejść lub wyjść AI, jako część strefy bezpieczeństwa.

Jak platformy takie jak Reco mogą pomóc

W praktyce ręczne wprowadzenie wszystkich tych zabezpieczeń nie skaluję. Dlatego pojawia się nowa kategoria narzędzi: dynamiczne platformy bezpieczeństwa SaaS. Takie platformy działają jako warstwa ochrony w czasie rzeczywistym na procesach roboczych napędzanych przez AI, ucząc się, jak wygląda normalne zachowanie i sygnalizując anomalie, gdy się pojawiają.

Reco jest jednym z wiodących przykładów. Platforma ta daje zespołom bezpieczeństwa obraz zastosowania AI w całej organizacji, ujawniając, które aplikacje generatywne AI są wykorzystywane oraz jak są ze sobą powiązane. Na tej podstawie można wdrożyć zabezpieczenia na poziomie procesów roboczych, wychwytywać ryzykowne zachowania w czasie rzeczywistym i utrzymywać kontrolę bez spowalniania biznesu.

Sprawdź demonstrację: Rozpocznij pracę z Reco.

Czy ten artykuł Cię zainteresował? To artykuł autorstwa jednego z naszych cenionych partnerów. Śledź nas na Google News, Twitterze i LinkedIn, aby przeczytać więcej ekskluzywnych treści, które publikujemy.