AI na infolinii. Kto odpowiada za błędy bota?

Sztuczna inteligencja to obecnie jeden z najbardziej fascynujących obszarów w technologii. W ciągu zaledwie kilku lat przeszliśmy od prostych zapytań do systemów, które w czasie rzeczywistym obsługują pacjentów w szpitalach czy klientów banków. Jednak wdrożenie voicebotów w tak wrażliwych sektorach obnaża nie tylko ograniczenia samej technologii, ale też ludzką niedoskonałość w komunikacji. O wyzwaniach, pułapkach i realnych oszczędnościach płynących z automatyzacji rozmawiamy z ekspertem.

Robert Kędzierski, money.pl: Co z pańskiego punktu widzenia jest obecnie największym hamulcem sztucznej inteligencji? Zdolność do podejmowania decyzji, czy brak umiejętności widzenia pełnego kontekstu? W praktyce często widać, jak błędna interpretacja intencji użytkownika potrafi zmylić system.

Michał Torzewicz, Asseco: To co wyprodukuje narzędzie AI, jest ściśle związane z tym, co powie lub napisze użytkownik. To jednocześnie największa zaleta i wada tego systemu. Zaletą jest personalizacja, ale wadą fakt, że jeśli użytkownik nie da wszystkich wytycznych, wyniki podane przez AI nie są satysfakcjonujące. Przykładowo: proszę o wygenerowanie zdjęcia samochodu, a system tworzy czerwoną Kię. Użytkownik jest niezadowolony, bo chodziło mu o niebieskiego Mercedesa, ale przecież na żadnym etapie tego nie napisał.

Narzędzia te są niedeterministyczne. Nie gwarantują uzyskania zawsze tych samych odpowiedzi. Jesteśmy przyzwyczajeni, że kalkulator na równanie dwa plus dwa zawsze odpowie cztery. Czatbot może napisać sam wynik, ubrać go w pełne zdanie albo przedstawić odpowiedź w inny sposób. Co ciekawe, najnowsze badania pokazują, że większość użytkowników bezgranicznie ufa odpowiedziom modeli językowych i ich nie weryfikuje. Doskonałym przykładem jest sytuacja, w której system podał błędną datę składania dokumentów na studia, a użytkowniczka zorientowała się, że przegapiła termin dopiero po odwiedzeniu oficjalnej strony uczelni.

Pojawiają się też próby celowego oszukania sztucznej inteligencji.

Tak, to tak zwany prompt injection. Głośny był przypadek silnika wbudowanego w wyszukiwarkę, któremu użytkownicy "wmawiali", że jest kostką pamięci RAM, a szef firmy chce podnieść mu cenę. System wczuł się w tę rolę, zaczął halucynować i udawać przegrzewanie się, aby uniknąć podwyżki. Działał zgodnie z założeniem, mimo że było ono absurdalne. To pokazuje lukę. Jeśli model daje się nabrać na takie absurdy, to być może da się wymusić na nim treści niecenzuralne lub instrukcje niezgodne z prawem. I tu pojawia się kluczowe pytanie o granicę odpowiedzialności.

Właśnie: gdzie leży ta granica? Kto jest winny, gdy asystent AI, pracujący na przykład na infolinii medycznej, popełni błąd?

To bardzo skomplikowane zagadnienie. Asystenci AI pracują już na infoliniach banków, pomagają w obsłudze i weryfikacji, gdy doszło do zablokowania karty, czy w szpitalach, umawiając wizyty. Mieliśmy taką sytuację w trakcie testów w jednej z placówek. Zadzwonił starszy, około 80-letni pacjent, mówiąc, że chce odwołać wizytę. System ze stuprocentową pewnością rozpoznał intencję. Poprosił o PESEL, zweryfikował dane, wymienił dwie zaplanowane wizyty i zapytał, którą anulować. Pacjent wskazał kardiologa. Bot poprosił o potwierdzenie, po czym anulował termin w systemie.

Wtedy pacjent zapytał: "No to na kiedy została odwołana?". System zgłupiał. Zrozumieliśmy, że panu chodziło o zmianę terminu, a nie jego całkowite anulowanie. Jednak na żadnym etapie rozmowy tego nie powiedział. W systemie szpitalnym anulowanie wizyty oznacza, że pacjent wypada z kolejki i musi ustawić się w niej od nowa, co często wiąże się z wielomiesięcznym oczekiwaniem. Zmiana terminu to zupełnie inny, bezpieczniejszy proces.

Kto w tej sytuacji zawinił? Twórca technologii czy pacjent, który źle dobrał słowa?

Z technologicznego punktu widzenia system zadziałał bezbłędnie. Zrozumiał słowa, zweryfikował dane i wykonał polecenie. Jednak z perspektywy projektowania usług nie przewidziano, że pacjent może użyć słowa "odwołać" w znaczeniu "przesunąć". Rozwiązaniem okazała się drobna zmiana w scenariuszu. Teraz, gdy pacjent mówi o odwołaniu, bot zawsze dopytuje, czy na pewno chodzi o całkowitą rezygnację, czy może o zmianę terminu. Okazało się, że nawet do 30 proc. dzwoniących w takiej sytuacji wybiera jednak przesunięcie wizyty.

A jak ludzie reagują, gdy orientują się, że rozmawiają z maszyną?

Zgodnie z wymogami prawnymi, nasze systemy zawsze na początku informują, że dzwoniący rozmawia z inteligentnym asystentem głosowym. Mimo to część osób przez całą rozmowę tego nie rejestruje. Dziękują "pani" za pomoc i umówienie wizyty. Orientują się zazwyczaj dopiero wtedy, gdy pojawia się problem techniczny i bot komunikuje, że nie może połączyć się z systemem placówki. Żaden człowiek nie użyłby takiego sformułowania. Inni np. młodzi rodzice dzwoniący do szpitali dziecięcych często od razu żartują, że obsługuje ich robot. Dla nich to naturalne.

Technologia to jedno, ale system ochrony zdrowia ma swoje specyficzne, często trudne realia. Jak bot radzi sobie z terminami na przykład na 2030 rok?

To był jeden z najciekawszych przypadków podczas wdrożenia w jednym ze szpitali dziecięcych. System weryfikował PESEL, skierowanie i szukał wolnego terminu w trybie stabilnym. Pierwszy wolny przypadał na lipiec 2030 roku. Gdy bot czytał tę datę, reakcje były skrajne. Część osób przeklinała i odkładała słuchawkę. Inni, nie słuchając uważnie, machinalnie potwierdzali chęć zapisu. Gdy bot podsumowywał: "Potwierdzam umówienie wizyty w 2030 roku", pacjenci wpadali w szok i natychmiast odwoływali rezerwację.

Wystarczyła jedna prosta zmiana. Zamiast podawać dokładną datę, bot zaczął informować, że pierwszy wolny termin jest "za X lat". Skuteczność umawiania wizyt spadła o około 10 proc., ale drastycznie skrócił się czas rozmów i zniknął problem masowego umawiania i natychmiastowego odwoływania wizyt. Proces stał się dużo bardziej intuicyjny dla pacjentów.

Bywa też tak, że bot pokazuje, co można poprawić w samym zarządzaniu placówką?

Zdecydowanie. Wdrożyliśmy proces, w którym bot dzwoni do pacjentów, by przypomnieć o wizycie zaplanowanej za kilka dni. To niezwykle skuteczna metoda zwalniania miejsc, bo kilkanaście procent osób rezygnuje, uwalniając terminy. W jednym ze szpitali wojewódzkich bot dzwonił i informował pacjentów, że mają wizytę o godzinie 15.23 albo 13.31. Szpital zgłosił błąd. Sprawdziliśmy logi: system czytał dokładnie to, co widniało w bazie danych.

Okazało się, że w rejestracji sztucznie dzielono grafik na trzyminutowe sloty, by zapełnić system, a pacjentom kazano przychodzić na godzinę 12.00 i pobierać numerek z biletomatu. Zaproponowaliśmy zmianę w systemie informatycznym, by wpisywać wszystkich na jeden blok czasowy, ale szpital uznał, że to za dużo pracy. Poproszono nas, by bot w ogóle nie podawał godzin. W efekcie dzwonił, przypominał o wizycie, a gdy pacjent pytał o godzinę, bot odpowiadał, że nie ma takiej informacji. Naprawiliśmy jeden problem, ale wygenerowaliśmy kolejny, budzący frustrację pacjentów.

Skoro modele językowe są tak zaawansowane, dlaczego szpitale i banki nie korzystają po prostu z rozwiązań pokroju ChatGPT?

Kluczowym powodem są rygorystyczne wymogi dotyczące bezpieczeństwa danych medycznych i finansowych. Nie możemy wysyłać takich informacji do chmur publicznych. Wszystko musi być przetwarzane na serwerach lokalnych lub u operatora chmury krajowej, w ramach Europejskiego Obszaru Gospodarczego. To oznacza, że nie możemy korzystać z najpotężniejszych modeli dostępnych na rynku globalnym.

Nie bez znaczenia jest również budżet na infrastrukturę IT. W szpitalach wykorzystujemy mniejsze modele, które nie wymagają rozbudowanych zasobów sprzętowych. Są za to wysoce wyspecjalizowane w konkretnej dziedzinie, np. w rozumieniu mowy nawet przy słabej jakości połączenia z telefonu komórkowego. Wyspecjalizowane modele wytrenowane pod kątem danej branży nie sprawdzą się w innej. Narzędzie do przetwarzania mowy na tekst stworzone dla szpitali może mylić słowa, gdy zostanie zaimplementowane w kancelarii prawniczej. Określenie obszaru specjalizacji sztucznej inteligencji jest niezwykle ważne i pozwala realizować wdrożenia nawet, gdy pojawią się ograniczenia budżetowe.

Duże banki, które stać na własne potężne serwerownie z kartami graficznymi, mogą sobie pozwolić na wdrożenia najwyższej klasy, gdzie rozmowa jest w pełni generowana przez zaawansowany model językowy. W mniejszych placówkach często opieramy się na zaawansowanych scenariuszach wspomaganych przez AI.

Przejdźmy do pragmatyzmu. Czy to się faktycznie opłaca? Jakie są realne oszczędności z wdrożenia takiego bota?

Na przykładzie placówek opieki zdrowotnej, z naszych analiz wynika, że 90 proc. spraw, z jakimi ludzie dzwonią do szpitala, się powtarza: umówienie lub odwołanie wizyty, zmiana terminu, odnowienie lub zamówienie recepty. Pozostałe 10 proc. to sprawy nietypowe, które bot od razu przekierowuje do człowieka.

Mamy twarde dane z jednego z centrów pediatrii. W ciągu miesiąca bot obsłużył tam 8,5 tysiąca połączeń. W ramach tych rozmów samodzielnie, bez udziału człowieka, umówił tysiąc wizyt. Warto pamiętać, że nie każda z tych 8,5 tysiąca rozmów dotyczyła chęci zapisu – wiele to były pytania o dostępność czy wymogi. Często udziela się tych samych odpowiedzi zamiast angażować rejestratorki do informowania, że bez skierowania nie da rady.