TFL Vsebine / TFLGlasnik

1. UVOD

Čeprav se včasih zdi, da so na tehnologijah umetne inteligence zasnovane informacijske rešitve še daleč, jih poleti 2025 v resnici že srečujemo v praksi. V mnogih državah te tehnologije postopoma, a hitro vstopajo v upravne postopke ter v delovanje občin, sodstva, zdravstva in prometa. Pogosto se uvajajo v obliki pilotnih projektov, ki pa že vplivajo na organizacijo dela in sprejemanje odločitev. Ti projekti kažejo na številno možno praktično uporabo, a hkrati prinašajo tudi pomembna tveganja.

1.1. Izkušnje preteklosti

Izzivi, ki jih prinašajo tehnologije umetne inteligence, niso povsem novi. Organizacije javnega sektorja že desetletja uporabljajo na algoritmih zasnovane informacijske rešitve za podporo odločanju - v Sloveniji med drugim na področju izvršb, zemljiškoknjižnega poslovanja in odločanja o socialnih pravicah. V tujini podobne rešitve podpirajo odkrivanje socialnih goljufij, določanje višine varščin v kazenskih postopkih ali odločanje o pomilostitvah.

Čeprav so te rešitve pogosto pripomogle k večji učinkovitosti, so bile nekatere povezane tudi z resnimi zlorabami, javnimi kritikami in izgubo zaupanja.

Prispevek analizira ključne primere iz preteklosti in izpostavlja lekcije, pomembne za presojo in uvajanje sodobnih, na umetni inteligenci temeljě̌ih informacijskih rešitev.

2. TEHNOLOGIJE UMETNE INTELIGENCE IMAJO VELIKO OBLIK IN VSAKA PRINAŠA SVOJA TVEGANJA

Izraz umetna inteligenca zajema širok nabor tehnologij, od katerih ima vsaka svoje prednosti in tveganja. Za revizorje in druge nadzorne funkcije je ključno, da te razlike razumejo, saj zahtevajo različne pristope k presoji.

• Strojni vid (angl. machine vision) se uporablja za obdelavo slik in videoposnetkov. Na tej tehnologiji zasnovane rešitve lahko zaznavajo prometne prekrške, poškodbe na infrastrukturi ali obrazce. Povezane so s tveganji napačne prepoznave, pristranskosti pri zaznavanju in neupravičenih posegov v zasebnost.
• Generativna umetna inteligenca (angl. generative AI, krat. GenAI) ustvarja nove vsebine - besedila, slike, zvoke ali programsko kodo. V javnem sektorju jo bomo predvidoma uporabljali za pripravo osnutkov odločb, analiz ali komunikacijo s prebivalci. Te rešitve so posebej izpostavljene tveganjem, kot so izmišljene vsebine, pristranskost, kršitve avtorskih pravic in zmanjšana zanesljivost informacij.
• Napovedna analitika (angl. predictive analytics) temelji na zgodovinskih podatkih, iz katerih poskuša napovedati prihodnje dogodke. V javnem sektorju se uporablja na primer za ocenjevanje tveganja ponovitve kaznivih dejanj, zaznavanje socialnih goljufij ali dodeljevanje pomoći. Glavna tveganja so pristranskost podatkov, netransparentnost modelov in nevarnost diskriminacije.
• Priporočilni sistemi (angl. recommendation systems) določajo, komu naj bo dodeljena določena storitev ali ukrep - na primer, kateri pacient bo obravnavan prednostno ali katera prijava bo obravnavana prej. Če niso ustrezno nadzorovani, lahko krepijo obstoječo družbeno neenakost ali ustvarjajo vtis samovolje.
• Obdelava naravnega jezika (angl. natural language processing, krat. NLP) omogoča sistemom razumevanje in analizo pisnega ali govorjenega jezika. Uporablja se za razvrščanje vlog, pritožb in drugih dokumentov, pa tudi za zaznavanje sovražnega govora. V jezikovno in kulturno raznolikih okoljih so možne napake in pristranskost.
• Avtonomni sistemi odločanja (angl. autonomous decisi-on-making systems) veljajo za najbolj tvegano obliko. Taki sistemi brez posredovanja človeka sprejemajo upravne, operativne ali celo pravne odločitve - na primer izdajajo dovoljenja, prerazporejajo promet ali razvrščajo nujnost intervencij. Povezani so s tveganji, kot so pomanjkanje odgovornosti, nezmožnost obravnave izrednih primerov in omejene možnosti pritožbe.

Opisana orodja se med seboj zelo razlikujejo. Zato mora biti prvo vprašanje vsake presoje preprosto, a ključno: S katero vrsto umetne inteligence imamo opravka in katera tveganja prinaša?

3. UPORABA V PRAKSI

Informacijske rešitve, ki temeljijo na tehnologijah umetne inteligence, se že pojavljajo v številnih praktičnih primerih.

V Indiji umetna inteligenca podpira delovanje nadzornih kamer v mestu Pune. Sistem samodejno zaznava prometne prekrške in sproži izdajo digitalne kazni (TNN, 2024).

V Avstraliji umetna inteligenca nadzira, ali vozniki med vožnjo uporabljajo mobilne telefone ali imajo pripet varnostni pas. Take kamere so danes nameščene v več zveznih državah in vsako leto nadzorujejo milijone voznikov. To odpira vprašanja o zasebnosti, natančnosti in nadzoru (Baker, 2024; TechnologyOne, 2024).

Na Tajskem umetna inteligenca pomaga občinskim službam obravnavati prijave prebivalcev o težavah v mestni infrastrukturi - na primer luknje na cesti, pokvarjene ulične svetilke ali smeti. Sistem samodejno razvršča prijave in jih posreduje pristojnim službam, kar omogoča hitrejši odziv in boljše komuniciranje z občani (The Nation, 2024).

V Združenih državah Amerike sistem mestnega javnega prevoza v New Yorku uporablja pametne telefone Google Pixel, nameščene na vzdrževalne vlake. Telefoni z umetno inteligenco zaznavajo tresljaje in javljajo v nadzorni center (Simonite, 2024).

Katera merila lahko revizorji uporabimo pri presoji informacijskih rešitev, ki temeljijo na umetni inteligenci? Na voljo je vrsta domačih in mednarodnih virov. Nacionalni inštitut za standarde in tehnologijo ZDA (angl. National Institute of Standards and Technology, kratica NIST) je na primer pripravil izredno uporabnen dokument Okvir za upravljanje tveganj umetne inteligence (angl. Artificial Intelligence Risk Management Framework, NIST, 2023), ki celostno opredeljuje strukturo za obvladovanje tveganj, povezanih z umetno inteligenco, vključno z zanesljivostjo, robustnostjo in varnostjo sistemov. Naslednji NIST-ov dokument Okvir za upravljanje tveganj umetne inteligence: Profil generativne umetne inteligence (angl. Artificial Intelligence

Risk Management Framework: Generative Artificial Intelligence Profile, NIST, 2024) posebej obravnava tveganja in nadzor pri tehnologijah generativne umetne inteligence, med drugim halucinacije, vsebinsko integriteto generiranih vsebin, sledljivost in nadzorovano učenje. V evropskem prostoru so morda najboljše izhodisče temeljni dokumenti s področja etike in vrednot umetne inteligence, ki jih je pripravila Evropska komisija - med njimi Etična navodila za zaupanja vredno umetno inteligenco (angl. Ethics Guidelines for Trustworthy AI, Evropska komisija, 2019). Ta dokument izpostavlja štiri ključna etična načela, ki jih je treba upoštevati pri razvoju in presoji informacijskih rešitev, temelječih na umetni inteligenci:

Spoštovanje človekove avtonomije

Sistemi umetne inteligence morajo omogočati obveščene odločitve uporabnikov, preprečevati manipulacijo in spoštovati temeljne pravice, kot sta zasebnost in svoboda izražanja.

Preprečevanje škode

Rešitve naj ne povzročajo telesne, duševne ali družbene škode. To vključuje zagotavljanje varnosti, robustnosti in načrtovanje sistemov z vgrajeno odpornostjo na napake ali zlorabe.

Pravičnost

Umetna inteligenca mora prispevati k pravični obravnavi vseh, kar vključuje preprečevanje diskriminacije, zagotavljanje pravičnega dostopa in spodbujanje enakosti v korist celotne družbe.

Razložljivost (transparentnost)

Pomembno je, da so postopki in rezultati sistemov razumljivi, sledljivi in razložljivi za vse deležnike, kar omogoča odgovornost in zaupanje.

Ta načela predstavljajo pomembno osnovo tudi za oblikovanje meril in pričakovanj pri presoji informacijskih rešitev z umetno inteligenco, zlasti z vidika etičnosti, družbene odgovornosti in skladnosti s temeljnimi pravicami.

Študija primera 1: Združeno kraljestvo kot pionir pri uvajanju umetne inteligence v javni upravi

Združeno kraljestvo velja za eno vodilnih držav pri uvajanju digitalnih rešitev v javni sektor. Že desetletja ne izstopa le po razvoju informacijskih sistemov, temveč tudi po oblikovanju standardov za transparentnost, odgovornost in upravljanje sprememb.

V letu 2025 britanska vlada izvaja več pilotnih projektov, s katerimi preizkuša uporabo orodij, ki temeljijo na umetni inteligenci, pri vsakodnevnem upravnem delu.

Eden izmed odmevnejših pilotnih projektov je bila uvedba orodja Microsoft Copilot, ki temelji na generativni umetni inteligenci, v upravno poslovanje. Več kot 20.000 javnih uslužbencev ga je uporabljalo za pripravo osnutkov dokumentov, povzetkov sestankov in poročil. Copilot je uslužbencem v povprečju prihranil 26 minut na dan - kar ustreza približno dvema delovnima tednoma na leto (Department for Science, Innovation and Technology, 2024; Bounds, 2024).

Hkrati je britanska vlada razvila tudi lastno orodje z imenom Humphrey, poimenovano po fiktivnem uradniku iz humoristične serije Yes, Minister. Humphrey vključuje dve funkcionalnosti:

• Minute - orodje za samodejno zapisovanje in povzemanje sej (PublicTechnology.net, 2025);
• Consult - orodje za analizo odzivov državljanov v javnih obravnavah predlogov zakonov in sorodnih pobudah. Cilj je skrajšati čas za ročno analizo (do 75.000 delovnih dni letno) in zmanjšati s tem povezane stroške, hkrati pa tudi pristranskost pri interpretaciji javnega mnenja (Department for Science, Innovation and Technology, 2025).

Ti primeri so del strateškega pristopa k modernizaciji javnih storitev z uporabo UI-ja. Z vidika notranje revizije pa se ob njih pojavljajo pomembna vprašanja:

• Ali je bila uvedena informacijska rešitev pravična in ali je spoštovala avtonomijo posameznika?
• Ali je mogoče razložiti, kako deluje?
• Ali so bili tveganja (z vidika preprečevanja škode) dokumentirana in ali je bila javnost vključena v postopek vzpostavitve?

Prav ta vprašanja bodo ključna tudi pri presoji skladnosti z zahtevami Uredbe (EU) o določitvi harmoniziranih pravil o umetni inteligenci (Akt o umetni inteligenci, kratica EU AI Act) za sisteme z visokim tveganjem.

Evropska unija se pri uvajanju tehnologij umetne inteligence v javni sektor zavzema za previdnejši pristop. Številne uporabe informacijskih rešitev, ki temeljijo na tehnologijah umetne inteligence skladno z Aktom o umetni inteligenci, spadajo med sisteme z visokim tveganjem (angl. high-risk AI systems). Take so na primer rešitve na področju socialne varnosti, zdravstva, izobraževanja, pravosodja in policije. Večina evropskih projektov umetne inteligence je tako še vedno v fazi pilotov ali raziskav.

Kljub temu EU prek programov Horizon Europe in Mehanizma za okrevanje in odpornost (RRF) veliko vlaga v razvoj javnosektorskih rešitev na področju umetne inteligence (Evropska komisija, 2024). Nekatere zanimive projekte opisujemo v nadaljevanju:

• PHOENI2X razvija ogrodje za kibernetsko odpornost, ki temelji na umetni inteligenci. Cilj je podpreti delovanje ključnih storitev, izboljšati zmožnosti odzivanja na incidente in omogočiti varno izmenjavo informacij z avtomatizacijo in orkestracijo (PHOENI2X Consortium, b. d.; Fysarakis idr., 2023).
• AI-Mind gradi orodja umetne inteligence za zgodnje zaznavanje tveganja za demenco. Namen je omogočiti pravočasno diagnozo in usmerjene klinične ukrepe po vsej Evropi (AI-Mind, b. d.).
• ODALA občinam omogoča vzpostavitev interoperabilne podatkovne infrastrukture. Projekt uporablja umetno inteligenco za analizo urbanih podatkov in razvoj rešitev za boljše odločanje na področjih mobilnosti, energije in okolja (Open & Agile Smart Cities, 2023).

Za revizorje so ti projekti pomemben signal: naložbe v tehnologije umetne inteligence so v porastu, s tem pa tudi odgovornost nadzornih funkcij, da presojajo o rabi teh orodij, zlasti če gre za poglavitne storitve ali obdelavo osebnih podatkov.

Študija primera 2: MIA umetna inteligenca pri odkrivanju raka dojk

Primer MIA (angl. Mammography Intelligent Assessment) ponazarja, kako lahko tehnologije umetne inteligence odgovorno dopolnjujejo klinično odločanje. Sistem je razvilo britansko podjetje Kheiron Medical Technologies in deluje kot t. i. drugi bralec mamogramov - opozarja na morebitne znake raka dojk ter podpira doslednost in zmanjšuje tveganje napak.

MIA je v klinični praksi že obdelala več kot 500.000 mamogramov, med drugim na Madžarskem in v Združenem kraljestvu. Ima oznako CE za uporabo v EU-ju ter dovoljenje za uporabo v Avstraliji in na Novi Zelandiji (Kheiron Medical, 2020, 2021).

Z vidika upravljanja tehnologij gre za primer dobre prakse, kjer na umetni inteligenci temelječa informacijska rešitev podpira zdravstvene strokovnjake in jih ne nadomešča. A tudi v tem primeru se postavljajo pomembna vprašanja:

• Raznolikost podatkov: So bili učni podatki dovolj raznoliki za pravične rezultate pri vseh skupinah pacientov?
• Razložljivost: Ali zdravniki lahko avtonomno sprejemajo odločitve in v celoti razumejo izpise informacijske rešitve ali ostaja MIA t. i. črna škatla?
• Spremljanje delovanja: Ali se informacijska rešitev spremlja in kontinuirano evalvira z vidika natančnosti, učinkovitosti in možne pristranskosti?

Ta vprašanja odražajo bistvene zahteve Akta o umetni inteligenci za sisteme z visokim tveganjem v zdravstvu - in revizorjem lahko pomagajo presoditi, ali so taka orodja ne le pametna, temveč tudi varna, pravična in odgovorna.

3.1. Na algoritmih zasnovane informacijske rešitve za podporo odločanju

Še pred razmahom umetne inteligence so številne organizacije že uvedle na algoritmih zasnovane informacijske rešitve - na primer na področjih socialnih transferjev, policije in pravosodja, v zasebnem sektorju pa v sektorjih bančništva in zavarovalništva.

Te informacijske rešitve temeljijo na avtomatizaciji, točkovanju in obdelavi velikih količin podatkov ter enako kot rešitve, ki temeljijo na umetni inteligenci, sprožajo pomisleke glede transparentnosti, pravičnosti, odgovornosti in nadzora. Revizije teh informacijskih rešitev ponujajo dragocena spoznanja za ocenjevanje tveganj, bodočih rešitev, ki bodo temeljile na tehnologijah umetne inteligence.

Študija primera 3: Odkrivanje prevar pri socialnih transferjih na Nizozemskem

SyRI (Systeem Risico Indicatie) je bila nizozemska informacijska rešitev, ki naj bi zaznala domnevne zlorabe socialnih transferjev. Temeljila je na povezovanju podatkov iz različnih zbirk (davki, zaposlitev, stanovanja, socialne pravice), psevdonimizaciji in algoritmičnem označevanju posameznikov kot »tvegane«.

Označeni posamezniki o svoji »tvegani« označbi niso bili obveščeni, merila za označbo posameznika kot »tveganega« niso bila razkrita, pritožba v postopku same označbe pa ni bila mogoča. Posledice so vključevale pogoste inšpekcijske preglede na domu, ukinitev pomoči in družbeno stigmatizacijo - zlasti v okoljih z več priseljenci ali socialno ogroženimi prebivalci.

Leta 2020 je okrožno sodišče v Haagu odločilo, da je rešitev kršila pravico do zasebnosti po 8. členu Evropske konvencije o človekovih pravicah (Rechtbank Den Haag, 2020). Sodba je opozorila na netransparentnost, pomanjkanje varoval in nevarnost diskriminacije. Rešitev je bila po sodbi ukinjena.

Informacijska rešitev SyRI ni temeljila na umetni inteligenci, kot jo razumemo danes. Kljub temu je njena uporaba povzročila učinke, ki jih čeprav v povezavi z rešitvami, ki temeljijo na umetni inteligenci - izrecno obravnava Akt o umetni inteligenci (Uredba (EU) 2024/1689) kot rešitve z visokim tveganjem. Med njimi so:

• nerazložljivo odločanje brez možnosti razlage,
• nezmožnost izpodbijanja odločitev,
• pomanjkanje človeškega nadzora,
• diskriminatorni učinki zaradi načina uporabe podatkov,
• neposreden vpliv na dostop do pravic.

SyRI danes velja za zgodnji opozorilni primer, ki jasno pokaže, kaj se lahko zgodi, če se avtomatizirane informacijske rešitve uvajajo nepregledno, neodgovorno in brez ustreznih pravnih varoval.

A zakaj so avtomatizirani sistemi za podporo odločanju lahko tako nezanesljivi in zavajajoči?

Tveganja na algoritmih temelječih informacijskih rešitev lahko nazorno prikažemo na primeru uporabe enega samega odločevalnega algoritma ob razvpitem primeru algoritemskega določanja maturitetnih ocen dijakov v Veliki Britaniji med pandemijo.

Celoten članek je dostopen za naročnike!