AI już teraz penetruje Twoją infrastrukturę
Bezpieczeństwo AI to zarządzanie ryzykiem wynikającym z adopcji narzędzi sztucznej inteligencji w organizacji. W firmach, które nie mają polityki AI, adopcja i tak następuje. Bez widoczności nie ma możliwości zarządzania tym, co się dzieje z danymi.
Średni czas wykrycia nieautoryzowanego dostępu to 197 dni. (IBM)
pracowników wykorzystuje narzędzia AI w pracy niezależnie od zgody pracodawcy
Microsoft
wyższe jest faktyczne wykorzystanie AI w firmach względem deklarowanego
Eurostat
osób używających AI w pracy robi to bez wiedzy pracodawcy
Microsoft
Co obejmuje obszar bezpieczeństwa AI?
Bezpieczeństwo AI (AI security) to domena zajmująca się ryzykiem wynikającym z implementacji i użycia narzędzi sztucznej inteligencji w organizacji obejmująca kilka warstw
ryzyko związane z danymi wchodzącymi do modeli AI,
(co pracownicy wklejają do ChatGPT, Gemini, Copilota)
ryzyko wynikające z użycia niezweryfikowanych narzędzi AI,
(kto zainstalował jakie rozszerzenie, kto korzysta z jakiej platformy)
ryzyko związane z automatyzacją opartą na agentach AI,
(co agent może zrobić w imieniu pracownika i z jakimi dostępami)
ryzyko ataku na systemy AI.
(prompt injection, model poisoning)
Bezpieczeństwo AI nie jest synonimem zakazu używania narzędzi AI. Zakaz nie eliminuje realnej adopcji. Pracownicy korzystają ze sztucznej inteligencji niezależnie od tego, czy firma ma politykę użycia, czy nie.
Różnica polega na tym, że przy braku polityki robią to bez wiedzy IT i bez żadnych ograniczeń co do tego, jakie dane do tych narzędzi trafiają.
AI Governance to widoczność, polityka i kontrole techniczne. Razem dają firmie możliwość zarządzania tym, co rzeczywiście się dzieje, a nie tylko tym, co jest oficjalnie dozwolone.
Kiedy kontrolowanie użycia AI staje się faktycznie niezbędne?
Różnica między małą firmą a firmą korporacją w kontekście bezpieczeństwa AI leży przede wszystkim w skali niewidoczności.
W małym zespole istnieje pewna szansa, że jedna osoba wie, kto czego używa i stara się sprawować nad tym kontrolę. W większej firmie dziesiątki osób w różnych działach podejmują niezależne decyzje o narzędziach, których używają w codziennej pracy.
Adopcja AI jest nieuchronna i w większości pozytywna
Narzędzia AI zwiększają produktywność, przyspieszają pracę z dokumentami, pomagają w analizie danych i w komunikacji. Pracownicy, którzy je stosują, są z reguły bardziej efektywni. Problem nie leży w samej adopcji. Leży w tym, że adopcja wyprzedza governance i że dane firmowe trafiają do zewnętrznych modeli zanim ktokolwiek zdążył ocenić ryzyko.
Zakazy nie działają
Firmy, które zakazują używania narzędzi AI, nie eliminują adopcji. Przenoszą ją w niewidoczne obszary. Pracownicy używają prywatnych kont, korzystają z narzędzi przez przeglądarkę zamiast przez aplikację firmową, instalują rozszerzenia poza zasięgiem MDM. Wynik jest gorszy niż bez zakazu: jest taka sama ekspozycja danych, ale mniej widoczności.
Dane firmowe trafiają do modeli AI bez żadnej kontroli
Pracownik wkleja fragment umowy do ChatGPT, żeby poprawić styl. Wkleja dane klientów do arkusza, który analizuje narzędzie AI. Używa asystenta AI zintegrowanego z pocztą, który ma dostęp do całej jego korespondencji. Każda z tych sytuacji jest normalną codziennością w firmach, które nie mają polityki AI. Żadna z nich nie jest rejestrowana.
Agenci AI tworzą nową kategorię ryzyka
Agenci AI to systemy, które działają autonomicznie w imieniu użytkownika: wysyłają e-maile, zarządzają kalendarzem, wykonują akcje w innych aplikacjach. Każda akcja agenta to potencjalny wektor, który łączy uprawnienia użytkownika z możliwościami autonomicznego systemu bez bezpośredniego nadzoru człowieka.
Narzędzia AI mnożą się szybciej niż narzędzia SaaS
Ekosystem narzędzi AI rośnie w tempie, które nie ma precedensu w historii adopcji technologii. Nowe modele, nowe platformy, nowe pluginy i nowe rozszerzenia pojawiają się co tydzień. Śledzenie tego, co jest używane w organizacji, wymaga aktywnego narzędzia lub procesu.
Ryzyka wynikające ze sztucznej inteligencji
Każde z poniższych to kategoria ryzyka, która pojawia się w środowiskach firm wykorzystujących narzędzia AI. Część z nich jest nowa, część to znane ryzyka w nowym kontekście
Brak polityki i procesów zarządzania AI
Brak AI governance to nie tylko brak dokumentu z zakazami i pozwoleniami. To brak odpowiedzi na pytania, które firma powinna umieć postawić: jakie narzędzia AI są używane w organizacji? Jakie dane trafiają do zewnętrznych modeli? Kto zatwierdza nowe narzędzia AI przed ich użyciem? Jak postępuje się z danymi wyjściowymi narzędzi AI przed ich użyciem w dokumentach lub komunikacji zewnętrznej?
AI Governance w dojrzałej formie obejmuje klasyfikację danych (które dane mogą trafiać do zewnętrznych modeli AI, które nie), politykę użycia narzędzi AI (z listą zatwierdzonych narzędzi i procesem akceptacji nowych), kontrole techniczne (narzędzia do monitorowania przepływu danych przez AI) oraz edukację pracowników (co jest ryzykowne i dlaczego).
Większość firm zaczyna od uproszczonej wersji: lista zatwierdzonych narzędzi, krótka polityka, jedno zdanie o tym, jakich danych nie wklejać do zewnętrznych modeli. To wystarczający punkt startowy.
Niezweryfikowane narzędzia AI
Ekosystem narzędzi AI rośnie w tempie, które uniemożliwia dogłębne weryfikowanie każdego narzędzia przed użyciem. Pracownicy instalują rozszerzenia do przeglądarki, podłączają nowe asystenty do poczty, korzystają z platform, które nie mają podpisanych DPA z firmą, nie przeszły żadnej oceny bezpieczeństwa i których polityka prywatności nie jest zgodna z RODO.
Ocena narzędzia AI przed wdrożeniem nie musi być złożonym procesem. Kluczowe pytania to: czy dane są używane do trenowania modelu? Gdzie są przechowywane? Czy dostawca oferuje DPA? Czy narzędzie może być konfigurowane w trybie enterprise, który wyłącza użycie danych do trenowania?
Niekontrolowane rozszerzenia AI
Platformy AI oferują ekosystemy pluginów i rozszerzeń, które rozszerzają możliwości modelu bazowego. Plugin do przeglądarki może mieć dostęp do otwartych kart. Plugin do narzędzia produktywności może mieć dostęp do plików. Rozszerzenie do poczty może czytać całą korespondencję.
Pluginy AI działają na granicy modelu językowego i danych użytkownika. Ich bezpieczeństwo zależy od dostawcy pluginu, który często jest podmiotem trzecim niezwiązanym z dostawcą modelu bazowego. W większości organizacji pluginy AI nie są inwentaryzowane i nie są objęte żadną polityką.
Ataki typu prompt injection
Prompt injection to technika, w której złośliwa treść osadzona w danych przetwarzanych przez model AI modyfikuje zachowanie tego modelu. W praktyce: dokument wklejony do asystenta AI zawiera ukryte instrukcje, które zmieniają to, co asystent zrobi lub odpowie. Strona internetowa przetworzona przez agenta AI zawiera instrukcje, które kierują agenta do wykonania nieautoryzowanej akcji.
Prompt injection jest szczególnie istotny w kontekście agentów AI, które przetwarzają dane z zewnętrznych źródeł i podejmują na ich podstawie autonomiczne akcje. To nowa klasa ataku, dla której jeszcze nie ma standardowych kontroli bezpieczeństwa w większości organizacji.
Halucynacje i dezinformacja
Modele językowe generują przekonująco brzmiące, ale błędne informacje. Znane jako halucynacje, te błędy są szczególnie ryzykowne, gdy wyniki AI są używane bez weryfikacji w dokumentach prawnych, ofertach handlowych, raportach finansowych lub komunikacji zewnętrznej.
Ryzyko rośnie przy narzędziach AI, które mają dostęp do zasobów zewnętrznych i mogą generować wyniki mieszające zweryfikowane dane z treściami wygenerowanymi. Bez procesu weryfikacji wyników AI firma wystawia się na ryzyko podejmowania decyzji na podstawie błędnych danych lub wysyłania klientom informacji, które są nieprawdziwe.
Wyciek informacji zastrzeżonych
Najbardziej powszechne ryzyko w obszarze AI security. Pracownik wkleja do modelu językowego fragment zawierający informacje zastrzeżone: dane klientów, treść umów, dane finansowe, informacje o strategii, dane pracowników, kod źródłowy. Robi to nie ze złośliwości, ale dlatego że narzędzie pomaga mu pracować szybciej i nie myśli o konsekwencjach.
Ryzyko zależy od warunków użytkowania modelu i od tego, czy dane są używane do trenowania. Część dostawców AI wprost deklaruje, że dane z wersji bezpłatnych lub poza planami enterprise mogą być używane do poprawy modeli. W praktyce oznacza to, że dane firmowe wklejone do darmowego konta trafiają do infrastruktury zewnętrznej organizacji bez żadnej umowy o przetwarzaniu danych.
Samsung w 2023 roku przez trzy tygodnie odnotował kilkanaście przypadków, w których pracownicy wklejali do ChatGPT kod źródłowy i wewnętrzne dane.
Brak widoczności użycia narzędzi AI
Firma bez widoczności użycia AI nie może zarządzać tym ryzykiem. Nie wie, ile osób używa zewnętrznych modeli AI. Nie wie, przez jakie narzędzia. Nie wie, jakie dane do nich trafiają. Nie ma możliwości wykrycia, gdy pracownik postępuje niezgodnie z polityką, bo polityka nie ma żadnego przełożenia technicznego.
Widoczność użycia AI jest warunkiem koniecznym każdego pozostałego elementu governance. Bez niej polityka jest dokumentem, który nie ma żadnego rzeczywistego efektu.
Wyciek danych wrażliwych przez AI
Sensitive data leakage przez AI to sytuacja, gdy dane chronione prawem lub wewnętrzną polityką trafiają do zewnętrznego modelu lub systemu AI. Dotyczy to danych osobowych pracowników i klientów (RODO), danych objętych tajemnicą zawodową (prawną, lekarską, finansową), danych objętych umowami NDA lub klauzulami poufności, a także kodu źródłowego i dokumentacji technicznej.
Ryzyko wycieku jest wyższe przy narzędziach AI zintegrowanych bezpośrednio z aplikacjami. Asystenci zintegrowani z pocztą lub komunikatorem mają dostęp do całej komunikacji, nie tylko do tego, co pracownik świadomie wybrał do analizy.
Niekontrolowani agenci AI
Agenty AI to systemy zdolne do wykonywania sekwencji działań autonomicznie, w imieniu użytkownika lub organizacji. Agent może wysyłać e-maile, tworzyć dokumenty, wykonywać akcje w aplikacjach biznesowych, zarządzać zadaniami, a w bardziej zaawansowanych konfiguracjach podejmować decyzje i inicjować procesy bez bezpośredniego polecenia człowieka.
Ryzyka agentów AI są innego rodzaju niż ryzyka pasywnych narzędzi językowych. Agent działający z uprawnieniami użytkownika może zrobić rzeczy, których użytkownik nie chciał lub nie wiedział, że agent zrobi. W środowiskach z niedojrzałą polityką AI agenty są wdrażane przez entuzjastycznych pracowników zanim ktokolwiek zdążył ocenić konsekwencje nadawania im uprawnień do działania w imieniu firmy.
Training data poisoning
Dla firm budujących własne modele AI lub dostrajających istniejące modele na własnych danych, ryzyko dotyczy jakości i bezpieczeństwa danych treningowych. Zatrute dane treningowe mogą prowadzić do modeli, które zachowują się w sposób nieprzewidywalny lub są podatne na manipulację przez dobrze skonstruowane prompty.
To ryzyko jest mniej istotne dla firm korzystających wyłącznie z gotowych modeli jako usługi. Staje się istotne przy projektach budowania własnych asystentów, chatbotów lub systemów rekomendacji opartych na danych firmowych.
AI governance w praktyce
Dojrzałe podejście do bezpieczeństwa AI opiera się na kilku elementach, które razem dają kontrolę nad tym, co się dzieje
Widoczność jako punkt startowy
Zanim firma podejmie jakąkolwiek decyzję o polityce, powinna wiedzieć, co jest już używane. Które narzędzia AI są aktywne w organizacji? Przez kogo? Z jakimi danymi?
Klasyfikacja danych przed polityką narzędzi
Które dane mogą trafiać do zewnętrznych modeli AI, a które nie?
Dane ogólnodostępne, dane wewnętrzne, dane poufne, dane osobowe klientów i pracowników: każda kategoria wymaga innego podejścia. Polityka, która mówi tylko "nie używaj AI do danych poufnych", jest niewykonalna bez jasnej definicji, co jest poufne.
Lista zatwierdzonych narzędzi z procesem akceptacji nowych
Zatwierdzenie narzędzia AI powinno odpowiadać na kilka pytań:
zy dostawca oferuje DPA? Czy dane są używane do trenowania? Czy istnieje plan enterprise, który wyłącza to użycie? Czy narzędzie ma certyfikaty bezpieczeństwa adekwatne do danych, do których będzie miało dostęp?
Realna kontrola, nie tylko polityka bezpieczeństwa
Polityka bez wsparcia technicznego jest skuteczna przez chwilę po jej ogłoszeniu. Kontrole techniczne mogą obejmować: narzędzia do monitorowania ruchu DNS i wykrywania użycia niezatwierdzonych narzędzi AI, DLP (Data Loss Prevention) skonfigurowane na dane wrażliwe, zarządzanie rozszerzeniami przeglądarki przez MDM.
Edukacja pracowników skupiona na świadomości
Pracownicy, którzy rozumieją dlaczego wklejanie danych klientów do zewnętrznego modelu jest ryzykowne, są skuteczniejszym zabezpieczeniem niż polityka, której nikt nie czytał.
Edukacja, która wyjaśnia mechanizm: co dzieje się z danymi po wklejeniu, jak działa trenowanie modelu, co oznacza brak DPA, buduje nawyki trwalsze niż lista zakazów.
Kiedy trzeba zabezpieczyć użycie sztucznej inteligencji?
Firmy rzadko podejmują temat zarządzania tożsamością bez powodu. Zazwyczaj jest coś, co sprawia, że pytanie "kto ma dostęp do czego" staje się pilne.
Pewne sytuacje powtarzają się jednak regularnie
Odejście kluczowej osoby z IT
Gdy osoba, która "wiedziała wszystko o systemach", odchodzi, organizacja nagle zdaje sobie sprawę, że ta wiedza nie była nigdzie zapisana. Offboarding tej osoby staje się pierwszym testem tego, jak dobrze działa zarządzanie dostępami.
Audyt bezpieczeństwa lub due diligence
SOC 2, ISO 27001, audyt zewnętrzny, due diligence przed inwestycją lub przejęciem. Każdy z tych procesów wymaga wykazania, że dostępy są pod kontrolą i weryfikowane. To jeden z najczęstszych punktów niezgodności w audytach, stąd staje się to priorytetem.
Incydent lub niemal-incydent
Odkrycie, że konto byłego pracownika wciąż jest aktywne. Wyciek hasła i niemożność szybkiej oceny zakresu dostępu. Ktoś z zewnątrz prosi o hasło "bo musi coś sprawdzić".
Wzrost firmy pokazuje nieporadność ręcznego zarządzania
Przekroczenie pewnego progu liczby pracowników, wdrożenie nowego systemu ERP, przejście na pracę zdalną. Każda z tych zmian ujawnia, że ręczne zarządzanie dostępami nie skaluje się.
Wymagania klientów lub kontrahentów
Klienci, szczególnie korporacje i firmy podlegające regulacjom, coraz częściej wymagają wykazania kontroli nad dostępami jako warunku współpracy. Pytania o polityki bezpieczeństwa i access management stają się częścią procesu vendor assessment.
Wdrożenie regulacji
NIS2, DORA i wymagania sektorowe dla firm finansowych lub ochrony zdrowia. Każde z nich wymaga możliwości wykazania pełnej kontroli nad dostępami do systemów krytycznych i przetwarzanych danych.
Narzędzia, z którymi pracujemy w tym obszarze
Wybór narzędzia do zarządzania tożsamością zależy od skali, architektury i dojrzałości procesów w organizacji. Nie ma jednego właściwego. Są narzędzia adekwatne do konkretnego etapu.
Dlaczego tożsamość staje się problemem dopiero przy pewnej skali?
Mniejsze firmy zwykle radzą sobie z dostępami intuicyjnie. IT zna każdego i wie, kto czego używa, offboarding robi jedna osoba w ciągu godziny, a lista aplikacji mieści się w głowie.
W firmach 100+ to przestaje działać, gdyż skala zmienia mechanikę problemu. Zespoły pracują między sobą, rotacja jest większa, przestajesz kojarzyć nowych pracowników, a część z nich pracuje tylko zdalnie.
To jest moment, w którym firmy zaczynają rozmawiać o IAM nie jako o projekcie bezpieczeństwa, ale jako o podstawowej higienie operacyjnej.
Liczba systemów rośnie nieliniowo
Firma 50-osobowa używa szacunkowo kilkudziesięciu aplikacji. Firma 200-osobowa, szczególnie jeśli ma kilka działów z różnymi potrzebami, używa wielokrotnie więcej. Każda aplikacja to osobny model dostępu, osobna lista użytkowników, osobne uprawnienia do zarządzania
Rotacja rośnie
Im więcej ludzi, tym więcej zmian: awanse, zmiany działów, odejścia, kontrahenci na czas określony. Każda zmiana powinna pociągać za sobą aktualizację uprawnień. W praktyce to często nie następuje, bo nikt nie ma czasu, bo procedura nie jest jednoznaczna, albo system, w którym trzeba coś zmienić, nie jest podłączony do centralnego katalogu.
Odpowiedzialność jest rozmyta
W małej firmie offboarding robi konkretna osoba. W firmie 100+ HR zamyka konto w systemie kadrowym, IT zamyka konto w Active Directory, a za aplikacje SaaS, repozytoria na GitHubie i konto w narzędziu do analityki odpowiada każdy i nikt.
Historyczne decyzje kumulują się
Każde konto, które nie zostało zamknięte w odpowiednim momencie, każde uprawnienie nadane "tymczasowo" i każdy token wygenerowany do projektu, który się skończył, zostaje w systemie. Po trzech latach takich decyzji masz środowisko, którego nie da się zrozumieć bez narzędzia, które je zmapuje.
Jak możemy pomóc
Jeśli tematyka tej strony jest bliska temu, co widzisz w swoim środowisku, to są dwa miejsca, od których warto zacząć.
Audyt tożsamości i dostępów →
14-dniowy audyt kończący się pełnym raportem. Mapujemy każde konto, każdy OAuth grant i każde uprawnienie w trybie read-only. Bez zmian w środowisku. Po audycie wiesz dokładnie, co masz i co wymaga uwagi.
Dobór i wdrożenie IAM →
Doradztwo w doborze narzędzia, projekt architektury i pełne wdrożenie. Od JML przez SSO i MFA po access reviews i IGA dla firm z bardziej zaawansowanymi wymaganiami governance oraz compliance.
Jeśli chcesz lepiej poznać ten obszar
You don't need to overhaul everything. Start with what you can see. Build from there
Zero Trust: A Modern Framework for Digital-First Companies
