Na neki je način prirodno da svaki proizvođač ističe dobre strane svojega proizvoda, svaki tim očekivane blagodati svojega projekta, a one druge nastoje gurnuti u drugi plan. No neki proizvodi i neki projekti mogu imati tako velike i dalekosežne implikacije da ih treba kritičnije sagledati. Na neka pitanja koja se nameću nakon nedavnoga predstavljanja robotaksija Vernea za Glas Koncila odgovorio je bioetičar izv. prof. dr. Anto Čartolovni, koji se među ostalim već godinama bavi i etičkim implikacijama autonomnih vozila. 

Premda je do stvarne realizacije projekta očito još daleko, prezentacija robotaksija Vernea ipak nameće neka važna pitanja. Jesu li po Vama ta pitanja u javnosti našla svoje mjesto?

Pretpostavljam da mislite na etička pitanja i probleme. Ako je tako, čini mi se da etička pitanja koja bi valjalo postaviti u javnosti nisu ni načeta, štoviše čini mi se da ih se možda nastojalo i zaobići. U većini takvih prezentacija, dakle ne samo Vernea, nego i drugih autonomnih vozila, pod povećalo dolaze tehnička dostignuća i tehnički aspekti inovativnosti, izvedivosti i tomu slično. Također se u svim tim prezentacijama nastupa kao da su nam autonomni automobili prijeko potrebni i kao da etička pitanja i ne trebaju doći do izražaja jer su svojevrsna kočnica. Na neki nas se način stavlja pred gotov čin da autonomna vozila moramo prihvatiti jer je to dostignuće, inovacija, te bez njih nema ni tehničkoga ni društvenoga napretka. Kod svih se tih prezentacija – kod ove to zbog tehničkoga problema na vozilu dobrim dijelom nije uspjelo – pokušava postići takozvani »vau moment«, pokušaj da nas se zapanji, zaslijepi napretkom tehnologije kako bismo sve ostale probleme i pitanja koji su krucijalni te zavrjeđuju da budu riješeni na vrijeme gurnuli u drugi plan.

Automatizacija, posebno s razvojem umjetne inteligencije, sama po sebi postavlja neka etička pitanja, primjerice što će biti s ljudima čiji rad preuzimaju strojevi. No autonomni automobili nameću još jedno dodatno problematično područje…

Automatizacija vozila pretpostavlja pet stupnjeva automatizacije. Slučaj o kojem govorimo pripada završnim razinama. Riječ je o potpuno autonomnim vozilima bez vozača i bez njegova nadzora. No promet kakav poznajemo uključuje i prometne nesreće, za koje je najčešće – u 92 ili 93 posto slučajeva – odgovoran ljudski faktor, uključujući često loše i neodgovorne odluke i poteze vozača. U svakom slučaju odluka što će u bilo kojoj situaciji u prometu biti učinjeno prepuštena je ljudskoj osobi, vozaču. No kod autonomnih je automobila »odluka« u potpunosti prepuštena stroju, pa i onda kad ta odluka uključuje moralnu dilemu, kad mora odrediti čiji će život čuvati, a čiji ugroziti.

Zagovornici autonomnih automobila skloni su tvrditi da je umjetna inteligencija u prometu sigurnija od čovjeka; autonomni je automobil sigurniji od vozača. Statistički bi to možda bilo i točno. No treba li tu statistika i pitanje sigurnosti biti u prvom planu?

Promet je vrlo kompleksna stvarnost i sva ispitivanja koja su provedena, najviše u SAD-u, pokazala su da autonomna vozila u prometu kakav poznajemo, u kojem na mnogočime uvjetovanim cestama sudjeluju različita vrsta vozila i pješaci, ne funkcioniraju kako treba. Pokazuju to i različite nesreće. Godine 2018. u naletu Uberova autonomnoga automobila poginula je ženska osoba u Arizoni. Više kompanija testira autonomna vozila u San Franciscu. I tu se dogodilo više nesreća ili spornih situacija. Tu je i otpor građana. Neki su uspjeli shvatiti kako autonomna vozila funkcioniraju pa su, u znak prosvjeda, pronašli način kako ih onesposobiti koristeći se njihovim sustavima. Jednostavno, postavljali su prometne čunjeve na haube automobila, nakon čega se vozilo blokiralo. Ukratko, dosadašnja je praksa pokazala da autonomno vozilo funkcionira u idealnim situacijama i u kontroliranim uvjetima, tj. dobro bi funkcioniralo kad na cesti ne bismo imali drugih sudionika. Treba, istina, uzeti u obzir i činjenicu da je tehnologija još u početnoj fazi razvoja. No čini mi se da je u ovom trenutku tvrdnja o većoj sigurnosti autonomnih vozila u odnosu na vozila s vozačem preteška i presmiona. Pitanje sigurnosti uistinu jest za promet ključno pitanje jer je riječ o ljudskom životu, no treba ga staviti u širi kontekst prometa kao takvoga.

Na pitanje što ako autonomno vozilo pregazi pješaka na pješačkoj stazi izvršni direktor Vernea u jednoj je televizijskoj emisiji rekao da je to »vrlo nemoguć scenarij«. Prvo, je li to po Vašim saznanjima uistinu tako »vrlo nemoguće«?

To bi, kao što sam rekao, bio vrlo nemoguć scenarij na nekoj idealnoj virtualnoj cesti. Jedan od najvećih eksperimenata na globalnoj razini, »MIT Moral Machine Experiment«, najviše se usredotočio upravo na pitanja kako će ljudi različitih kultura i svjetonazora reagirati ako autonomno vozilo pregazi pješaka, ako pregazi životinju, dva pješaka, skupinu radnika i sl. To je dakle jedno od gorućih pitanja koja se povezuju s autonomnim vozilima, tako da se tako decidiran odgovor ne bih usudio dati ili takvo nešto s takvom sigurnošću izjaviti.

Drugo, ako se to dogodi, a »kriv« je auto, rečeno je da je odgovornost na operateru. Riječ je očito o pravnoj odgovornosti, no što je s moralnom? Vozač može biti kriv. No što je s autom?

Ni pitanje pravne odgovornosti nije sasvim jasno. Europska je unija, sa svojim Zakonom o umjetnoj inteligenciji (»AI Act«), prvi globalni činitelj koji ide k tomu da regulira pitanje umjetne inteligencije. I recimo da taj zakon veliku pozornost pridaje riziku. Upravo su sustavi koji se primjenjuju u autonomnim vozilima ubrojeni među sustave visokoga rizika. Ti će sustavi morati proći određene segmente provjere i ispuniti određene kriterije da bi bili implementirani u vozilo. Za sada je na djelu izvjesna pravna praznina. Segment »AI Acta« za takve sustave visokoga rizika trebao bi stupiti na snagu do srpnja 2026. godine.

Što se tiče same odgovornosti, taj akt ne definira tko je zapravo kriv u slučaju nesreće. Predlagani su i podzakonski akti koji bi definirali tko bi bio kriv: proizvođač automobila, operater koji pruža uslugu ili netko treći tko održava vozila. No zasad su takve inicijative ostale samo na razini prijedloga te nisu usvojene. Kod robotaksija svakako se pretpostavlja da ne bi bio kriv putnik jer kod njega ne postoji nikakva intencija kao osnova za moralnu, a onda i za pravnu odgovornost. Pitanje intencije ipak je aktualno, no ne intencije korisnika automobila, nego proizvođača softvera/algoritma. Postavlja se, naime, pitanje, kakva je pravila i prioritete čovjek zadao stroju u dvojbenim situacijama.

Jedan mogući primjer: iza ograde pred automobil istrči dijete, zaustavljanje je fizički nemoguće, a skretanje znači zabijanje u stup ili izravan sudar s drugim vozilom. Robot zacijelo može brže i bolje od čovjeka analizirati situaciju, uzeti u obzir sve moguće opcije, jednu od njih izabrati i provesti u djelo. No pritom stroj određuje čiji će život ili zdravlje žrtvovati. Prvo, je li u redu da to čini stroj?

Stroj će izabrati prema smjernicama i prioritetima koje mu je zadao čovjek. I tu dolazimo do ključnoga etičkoga pitanja, tj. do mogućega sukoba između poslovne logike i životne logike, tj. između poslovnih i javnih interesa. Netko tko kreira proizvod oblikuje ga tako da bude pouzdan, siguran za onoga tko ga kupuje ili, u slučaju robotaksija, tko se njime koristi. Potencijalni će se korisnik ili pak kupac ponajprije pitati koliko je vozilo sigurno za njega, a tek onda za druge sudionike u prometu. To je na neki način, sa stajališta nagona za preživljavanjem, normalno. No kao društvo očekujemo da vozilo štiti sve druge koji su u podređenoj situaciji. Poput pješaka koji ne može ugroziti automobil, možda poštuje sve propise, a opet može nastradati. U pitanju ste spomenuli primjer djeteta. Mi kao društvo očekujemo da vozilo skrene tako da ne ubije dijete. No koja će kompanija to tako programirati, priopćiti to transparentno svojim klijentima, javnosti? Postoji istraživanje koje je 2021. godine napravio kanadski stručnjak Tripat Gill. Pred svoje je ispitanike stavio dva scenarija. U prvom vozilom upravlja ispitanik. Suočeni s dilemom udariti pješaka ispred sebe ili skrenuti i riskirati život udarajući u stablo, većina ispitanika izabrala je skretanje i mogućnost pogibije. Druga skupina ispitanika suočena je s istom prometnom dilemom, ali u ovom slučaju sjede u autonomnom vozilu i nemaju nadzor nad vozilom. Većina iz te skupine izabire opciju da vozilo udari pješaka kako bi sačuvali vlastiti život. Što nam to kaže? U prvoj situaciji proradi savjest, ono moralno ljudsko, jer je čovjek taj koji treba donijeti odluku. To stroj nikada ne će moći, bez obzira koliko ga mi programirali i usklađivali s našim etičkim vrjednotama. U drugom je slučaju ljudska odgovornost prebačena na stroj. I to je ključno kad se postavi pitanje koje ste Vi postavili: Je li u redu da takve odluke donosi stroj? Zapravo nije! Nije moralno ispravno odluku o životu i smrti povjeriti stroju.

Vaše riječi podsjećaju na nedavni govor pape Franje pred čelnicima zemalja G7. Stroj bira, a čovjek odlučuje, rekao je.

Da, taj je moment ključan u cijeloj raspravi o umjetnoj inteligenciji. Kad je riječ o sustavima visokoga rizika, mora postojati neizostavni element, a to je ljudski nadzor: u svakom trenutku čovjek mora moći preuzeti kontrolu nad sustavom i donijeti konačnu odluku. Za to se zauzima papa Franjo, a u tom smjeru ide i »AI Act«. Algoritam može pomoći u odabiru, no konačna odluka mora uvijek biti na čovjeku; on je nositelj moralne odgovornosti. Kod autonomnih vozila četvrte i pete razine autonomije ta mogućnost, međutim, nije predviđena. Ostaje vidjeti može li čovjek eventualno intervenirati u rad vozila glasom ili dodirom na ekran. Ostaje pitanje je li to u realnom prometu i njegovoj brzini praktički uopće izvedivo.

Dubinski gledano, najveći problem s umjetnom inteligencijom – a to je pokazalo i spomenuto Gillovo istraživanje – jest preveliko oslanjanje čovjeka na nju i prebacivanje ljudske odgovornosti na stroj. Čovjek je po svojoj naravi sklon prebacivati odgovornost na drugoga ili na drugo. Teške odluke koje u pojedinim teškim situacijama valja donijeti na neki je način lakše povjeriti stroju. No bježanje od važne dimenzije naše ljudskosti, a to je moralna odgovornost, pogrješno je i može imati katastrofalne posljedice za društvo i čovječanstvo.

Mogu li autonomni automobili biti na tragu Papine »tehnokratske paradigme« u kojoj stvarni ljudi postaju suvišni?
Možda je govor o »suvišnim ljudima« odveć drastičan, no pred nekim tendencijama u društvu uistinu ne možemo zatvarati oči. Poglavito tu mislim na izbjegavanje etičkih pitanja ili postavljanje pitanja o ljudskim životima kao nečega što je od drugotne važnosti. To me nagnuće zabrinjava i u slučaju autonomnih vozila o kojem govorimo. Silno se naglašavaju samo vozilo i njegove tehnološke mogućnosti, no hoće li to ljudima služiti i kako će služiti – od toga se pitanja zazire. Dosadašnja su testiranja pokazala da bi mogućnosti autonomnoga vozila dokraja došle do izražaja te da bi ono bilo posve sigurno jedino kad bi samo autonomna vozila prometovala po cestama. Što to znači? Da će se s vremenom, ako takva vozila doista postanu savršena, bitno sigurnija od ljudskih vozača, postaviti pitanje zašto zapravo dopustiti ljudima da upotrebljavaju svoja osobna vozila; zašto ne na neki način »potaknuti« sve da više ne upotrebljavaju osobna vozila, nego da upotrebljavaju samo autonomna vozila i da se na taj način ljudski faktor isključi iz prometa. Tu vidimo kako funkcionira »tehnokratska paradigma«. Ljudska je paradigma bitno drugačija: mnogi ljudi vole voziti automobil, vole osjećaj upravljanja vozilom, stjecanje vozačke sposobnosti vide kao neko životno ostvarenje…

Je li, sa stajališta moguće žrtve u prometu, njezinih najmilijih, pa i čitavoga društva, svejedno je li nekoga nenamjerno usmrtilo ljudsko biće ili ga je ubio algoritam?

U većini se slučajeva nesreće događaju nehotice. No čovjeku koji je i nehotice nekoga teško ozlijedio ili usmrtio bude žao, javlja se njegova moralna odgovornost u obliku grižnje savjesti, kajanja i traženja isprike od obitelji, izražavanje žaljenja. Tu dolazi do izražaja interpersonalni element, u odnosu na situaciju s autonomnim vozilom kad bi unesrećenoj osobi ili obitelji koja je pretrpjela gubitak možda došao predstavnik operatera ili direktor kompanije koja je proizvela automobil i ispričao se, eventualno uz određenu novčanu naknadu. Nije svejedno!

S obzirom na sve rečeno, ne bi li javnost trebala biti detaljno upoznata s pravilima i algoritmima na kojima se zasniva rad autonomnih vozila prije nego što se ti automobili pojave na našim ulicama?

Apsolutno, jedna od predispozicija »AI Acta« za visokorizične sustave jest transparentnost i objašnjivost: na temelju kojih podataka su algoritmi kreirani, koje se metode programiranja rabe, koji su prioriteti zadani, na koji način stroj dolazi do svojih izbora… Sve bi to trebalo biti transparentno objašnjeno javnosti i javnost bi trebala biti suglasna s time da se takva vozila testiraju unutar naše životne sredine. Informirani pristanak sastavni je dio svakoga ispitivanja i ne vidim nikakva razloga zašto bi ta situacija bila iznimka. Jer svi mi koji sudjelujemo u prometu – ja, moj automobil, moji bližnji – dio smo ispitivanja i trebali bismo imati mogućnost izraziti svoju suglasnost, ili neslaganje, s izlaganjem određenomu riziku. Jedan od najproblematičnijih aspekata te industrije u njezinu početnom stadiju, ne samo u nas, nego općenito, jest da se informirani pristanak sustavno preskače, pod izlikom povjerljivosti, intelektualnih prava, patentnih prava… i zapravo se javnost ne želi uključiti u raspravu. A javnost je jedna od ključnih karika. Ni jedno tehničko dostignuće nije samo sebi svrha, nego mu je svrha pomoći čovjeku. Bez toga ono nema smisla. Zato je jedan od ključnih aspekata upravo povjerenje. Temelj povjerenja jest pak transparentnost. Nažalost, povijest tehnološkoga razvoja pokazuje da je povjerenje u razvojnoj fazi nekoga proizvoda često na posljednjem mjestu.

Tehnološki je razvoj jedan od najvećih ukrasa čovjeka kao takvoga i njegove naravi. Tehnološkim napretkom čovjek, preoblikujući postojeće, želi stvoriti nešto novo. Želi biti kreator, tvorac. Ne apsolutni, nego sukreator, imajući uvijek na umu da je jedan jedini i konačni Kreator Stvoritelj svega. Na temelju toga možemo doći do zaključka što je prava mjera između ljudske trke k nečemu novomu i straha pred neizvjesnošću toga novoga. Mjera je sam čovjek kao vrhunac stvorenja. Napredak i tehnologija dobri su dok ne postanu svrha samima sebi ili sredstvo moći i gospodovanja jednih nad drugima. Ne smije se čovjek dovoditi do toga da se podlaže tehnologiji, da je stavlja na pijedestal, da je ideologizira i proglašava rješenjem za sve svoje probleme. Tada tehnologija stvara stotine novih problema, možda i većih od onih koje je trebala riješiti. Zato se pred napretkom i tehnologijom opravdano javlja i određeni strah. Kako onda spojiti tu čežnju za novim i strah od novoga? Upravo izgrađujući spomenuto povjerenje. Povjerenje koje pretpostavlja transparentnost, iskreni pristup. Treba čovjeku, javnosti, društvu otvoriti mogućnost da se uvjeri da neka novina nije nužno prijetnja, da je pouzdana. U to se uklapa i projekt autonomnih automobila. Nisam siguran je li taj projekt prošao test povjerenja pred hrvatskom javnošću.