Wpadka Deloitte w Australii. "Halucynacje AI" w raporcie dla rządu za 440 tys. dol.

Deloitte zgodziło się na częściowy zwrot pieniędzy rządowi Australii po tym, jak w raporcie za 440 tys. dolarów wykryto liczne błędy. Firma przyznała, że do jego stworzenia wykorzystano generatywną sztuczną inteligencję.

Pod koniec 2024 r. Departament Zatrudnienia i Relacji Pracowniczych (DEWR) w australijskim rządzie zlecił firmie Deloitte przegląd ram prawnych (compliance) i systemu IT służącego do nakładania automatycznych kar w systemie pomocy społecznej w przypadku niewywiązywania się osób poszukujących pracy z wzajemnych zobowiązań.

Opracowany raport zawierał wiele błędów i nieścisłości. Wśród nich znalazły się nieistniejące odniesienia do źródeł i cytaty. Dr Christopher Rudge z Uniwersytetu w Sydney wskazał, że raport zawierał "halucynacje" AI, które mogły prowadzić do błędnych wniosków.

Jak informuje "The Guardian", po wykryciu błędów, raport został poprawiony i "po cichu" ponownie opublikowany. Deloitte dodało informację o użyciu AI w aneksie, ale podkreśliło, że nie wpłynęło to na główne wnioski i rekomendacje. Departament potwierdził, że poprawki dotyczyły jedynie przypisów i odniesień.

Senator Deborah O’Neill skrytykowała Deloitte, mówiąc, że firma ma "problem z ludzką inteligencją". Zasugerowała, że zamiast korzystać z dużych firm konsultingowych, lepiej byłoby zainwestować w subskrypcję ChatGPT. - Częściowy zwrot kosztów wygląda jak częściowe przeprosiny za pracę poniżej standardu - dodała O'Neill.

Z kolei "The Australian Financial Review" podkreśla, że ten incydent jest krępujący dla firmy Deloitte, ponieważ coraz większą część swoich rocznych globalnych przychodów w wysokości 107 mld dol. uzyskuje ona dzięki doradztwu i szkoleniom dla klientów i kadry kierowniczej w zakresie sztucznej inteligencji.

Pomimo popełnionych w raporcie błędów, wnioski z niego są zgodne z innymi dowodami. Rudge zaznaczył, że nie można całkowicie zdyskredytować raportu, ponieważ jego konkluzje są spójne z szeroko dostępnymi danymi.

Deloitte w odpowiedzi na pytania "The Guardian" zapewniło, że "sprawa została rozwiązana bezpośrednio z klientem". Firma też stoi na stanowisku, że poprawki nie zmieniają istoty raportu.

Źródło: The Guardian, The Australian Financial Review