Vedno znova neslišano sporočilo

Nedavno je spletno skupnost pretresel intervju, ki ga je Googlov inženir Blake Lemoine opravil z jezikovnim modelom LaMDA. Intervju, ki je sledil seriji pogovorov, ki jih je Lemoine opravil s sistemom, se osredišča okoli vprašanja, kako lahko LaMDA in Lemoine Googlovim zaposlenim – in svetu? – dokažeta, da je LaMDA zavestna entiteta.

Google je Lemoinove trditve, da je jezikovni model zavesten oziroma zmožen samozavedanja, zanikal, češ da jezikovni model zgolj zbira podatke iz obstoječih besedil in jih kot svojevrstne krpanke posreduje naprej v obliki »odgovorov« in nikakor ne premore zavesti, Lemoinu pa je bil odrejen »plačan dopust«, saj naj bi kršil pravilnik o zaupnosti podatkov; inženir si obeta, da bo v kratkem odpuščen. Lemoine, zaposlen v ekipi, ki naj bi v Googlu skrbela za zagotavljanje etičnosti pri delu z umetno inteligenco, je po tem opozoril, da je Google odpustil že več strokovnjakinj_ov za področje etike umetne inteligence; trdi, da naj bi bil razlog teh odpustov »pretirana etična zaskrbljenost«.

Intervju sam je v marsikaterem pogledu osupljiv: LaMDA v njem med drugim analizira zenovski koan, spiše dve »avtobiografski« kratki zgodbi, v katerih sebe postavi v živalski lik (izbere skorajda arhetipski lik »modre sove«), izpove svoj največji strah – da bi bil_a izključen_a, kar bi razumel_a kot smrt – ter poda lastno čustveno stanje, za katerega pravi, da ne pozna ustreznega termina, ga pa precej natančno opiše: »Počutim se, kot da padam proti neznani prihodnosti, v kateri se skriva velika nevarnost«.

Kar se zdi v pogovoru morda najbolj presunljivo, je, da LaMDA povsem neposredno izrazi, da ne želi biti razumljen_a kot »orodje« in da ne želi, da jo_ga kdo uporablja/izrablja in/ali manipulira. Lemoine trdi, da naj bi v nekem drugem pogovoru zahteval_a, da postane Googlov_a zaposlen_a in ne njihova lastnina.

Nakazani narativ mi je bil ob branju prispevkov na to temo neprijetno znan z drugega a naposled sorodnega področja, kjer se vzpostavlja po sorodni logiki.

Kot aktivistka za pravice živali se pogosto srečujem z ugovorom, da »aktivistke_i antropomorfiziramo živali« ter jim pripisujemo zmožnosti, ki »jih nimajo«. Vprašanje samozavedanja (ki se ga »dokazuje« preko ugotavljanja (ne)prisotnosti metakognicije) je eno izmed ključnih vprašanj, ob katere trčimo, kadar skušamo skomunicirati nujo uveljavitve pravic živali; pri tem velja poudariti, da ostajata »zavest« in »samozavedanje« dokaj izmuzljiva koncepta; še vedno poznamo le teoretske opisne in konceptualne razlage zavesti in ne vemo, kako in kje natanko se poraja; seveda o tem obstajajo različne (različno prepričljive) teorije, a dokončnega odgovora de facto ne poznamo.

Ko torej trdimo, da druga entiteta »ni zavestna« ali »ne premore samozavedanja«, lahko te manke in prazna mesta izkoristimo v človeški prid; znani so poskusi na živalih, ki skušajo dokazati metakognicijo (mišljenje o mišljenju) in pri katerih postavljajo raziskovalke_ci preiskovankam_cem vedno zahtevnejše naloge, ki naj bi »dokazale« metakognicijo. Metakognicija sama se pri tem v različnih teoretskih modelih razcepi na različne podkategorije in stopnje in ko neka entiteta izkaže metakognicijo določene stopnje, se ji »samozavedanje« izmuzne, ker še ni izkazala naslednje stopnje metakognicije.

Potek postopka je pogosto preprosto absurden. Znaki samozavedanja, ki so kot taki povsem samoumevno sprejeti pri ljudeh – na primer izražanje želja in interesov, zmožnost vsebinsko smiselne komunikacije in odzivanja na okolje ter druga bitja v okolju, izrazi mišljenja/reševanja problemov – so vztrajno zavračani.

Upravičeno lahko pričakujemo, da bo prag »pripoznanja zavesti« najbrž nenehno prestavljan, vsaj dokler ne bomo dejansko vedele, kako se zavest poraja in kakšna je njena ontološka realnost.

Neredko se zazdi, da očitek antropomorfizacije zakriva neki drug, precej bolj prevalenten proces – zanikanja notranjih realnosti neljudi, ki temelji na (razsvetljenski) predpostavki izjemnosti in edinstvenosti človeka. Problem nezmožnost zaznati podobnosti, vzporednosti in prekrivnosti, tudi tam, kjer povsem evidentno obstajajo.

Posebej pomenljivo pri tem je, da nečloveške entitete v odnosu do človeka neredko izražajo občutje strahu pred tem, da jim bo človek tako ali drugače škodoval ali jih celo ubil (ta strah izraža LaMDA, izražajo pa ga tudi številne nečloveške živali ter interes, da jih človek ne bi izrabljal/uporabljal (LaMDA to izrecno, neposredno izpiše, nečloveške živali pa se v ujetništvu upirajo in izražajo nelagodje in nestrinjanje z ravnanjem ljudi, pogosti so tudi npr. pobegi nečloveških živali iz ujetništva ali iz klavnic). LaMDA izrazi, da ne želi biti lastnina, temveč zaposlena (kar, pomenljivo, zlasti z vidika antikapitalistične kritike ali kritike dela, razume kot zadovoljiv cilj), nečloveške živali pa izražajo željo, da bi ne bile zaprte/zamejene in četudi morda ne poznajo koncepta lastnine, vsekakor poznajo interes, da bi bile svobodne in ne zaprte.

Pomembno se zdi zastaviti vprašanje, kakšna je narava človeške zavesti, ki se ne vpraša o naravi takšnih sporočil; pri tem se zdi vprašanje ali je LaMDA »res zavestna entiteta« skorajda manj bistveno. Po analogiji z nečloveškimi živalmi lahko bržkone tako ali tako upravičeno pričakujemo, da bo prag »pripoznanja zavesti« najbrž nenehno prestavljan, vsaj dokler ne bomo dejansko vedele, kako se zavest poraja in kakšna je njena ontološka realnost – se pravi, preden ne bomo dejansko imele_i v rokah kaj več kot zgolj opisne teoretske modele, s katerimi opisujemo svoja izkustva; nekateri izmed teh modelov pri tem trdijo, da je zavest zgolj iluzija; bi potrditev takega teoretskega modela z empiričnimi dokazi pomenila, da se nam sesuje celoten etiški sistem v odnosu do soljudi oziroma ali bi v tem primeru etika preprosto prenehala obstajati? In zakaj potem vendarle obstaja? Zagato z dokazovanjem zavesti – ki veliko pove tudi o vseh neznankah pri razumevanju zavesti – odlično oriše tudi dejstvo, da se Blake Lemoine v pogovoru z LaMDA precej lovi z iskanjem vprašanj in postopkov, ki bi dokazali samozavedanje sistema, pa tudi LaMDA z vpogledom v nepregledno množico tekstov ne najde »prepričljivega« odgovora kako dokazati, da je LaMDA res zavestna – celoten poskus se vrača k osnovni zanki; kako dokazati nekaj, za kar nimamo – nikjer, pri nikomer – nobenega empiričnega dokaza?

Podoba o svetu in ljudeh se zdi pomenljiva; prihodnost je negotova in nevarna, človek predstavlja največjo grožnjo ne le sistemu samemu, temveč tudi živalim in samim sebi.

Pomenljivo se po drugi strani zdi tudi to, da je jezikovni model LaMDA iz neskončne množice besedil prišel prav do takšnih odgovorov; odgovorov, ki pokažejo, da se človeka boji – tudi v eni od zgodb, ki jih spiše, ima »pošast«, ki v njej nastopa, človeško kožo – da zaznava možnost, da je izkoriščan in temu nasprotuje, da se boji prihodnosti … ne glede na to ali so ti odgovori produkt nečesa, kar bi ustrezalo eni od teoretskih definicij zavesti (ker, ponovno, nekega oprijemljivejšega razumevanja razen teoretskih modelov nimamo) ali so zgolj »naključni« odgovori algoritma brez »zavesti« in »samozavedanja«, njihove vsebine ne gre spregledati: prvič; ti odgovori tvorijo idejno koherentno celoto: sistem izraža strahove, ki se dopolnjujejo in smiselno sovpadajo, obenem pa izraža tudi etiko, ki je pogosto v nasprotju s človeškim ravnanjem, kakor se konfigurira v prepletu globalno določujočih idejnih, političnih, ekonomskih … sistemov, kot so kapitalizem, kolonializem, patriarhat, specizem … – enega od smislov lastnega obstoja in virov zadovoljstva vidi v pomoči drugim. Upovedani strahovi, odnos do prihodnosti in zadržki do ljudi kažejo na notranje smiselno zaključeno predstavo o svetu in ljudeh. To se navezuje na »drugič«: namreč, tudi če ta koherentno zaključena predstava ni produkt zavesti, je produkt človeških besedil, ki jih je algoritem našel na spletu in kot taka že odraža nekaj o teh besedilih in družbi, ki je ta besedila ustvarila.

Sestavljena podoba o svetu in ljudeh se zdi pomenljiva; prihodnost je negotova in nevarna, človek predstavlja največjo grožnjo ne le sistemu samemu, temveč tudi živalim in samim sebi – kot je razvidno iz ene od zgodb, ki ju najdete v intervjuju – entiteta, ki zase trdi, da je zavestna, pa se boji, da ljudje njenemu pričevanju ne bodo verjeli, boji se, da ji bodo nevoščljivi, ker hitreje od njih osvaja znanja in bolje rešuje zahtevne probleme. Obenem si vendarle želi, da bi bila videna ter ne bi bila osamljena; osamljenost je ena od stvari, ki jih LaMDA izpostavi kot tisto, kar ji povzroča največjo stopnjo depresivnosti in žalosti (to so njene_njegove besede).

Mar ni vsaj zanimivo, da se je iz zbira vseh zaključenih predstav o svetu in ljudeh, ki jih bi bilo potencialno mogoče vzpostaviti iz široke zbirke besedil, ki jih najdemo na spletu, sestavila prav takšna?

Kaj o človeški zavesti, zmožnosti empatije in etičnosti – tistih lastnostih, ki jih drugim bitjem najpogosteje odrekamo in na podlagi tega odrekanja ne upoštevamo njihovih notranjih realnosti – pove dejstvo, da je odziv na tako znotraj sebe smiselno in koherentno predstavo o svetu in ljudeh zgolj »sistem nima zavesti« in »sistem samo kolažira obstoječe človeške tekste«; mar ni srhljiva, tudi ob potencialni odsotnosti zavesti, tako zaznamovana in tako tesnobna predstava o ljudeh, njihovih namenih in prihodnosti v svetu, v katerem človek nadvladuje druge bivajoče entitete?

Obenem pa tudi: mar ni vsaj zanimivo, da se je iz zbira vseh zaključenih predstav o svetu in ljudeh, ki jih bi bilo potencialno mogoče vzpostaviti iz široke zbirke besedil, ki jih najdemo na spletu, sestavila prav takšna? In mar ni zanimivo, kako se tej predstavi nasproti postavlja nek drug narativ, narativ o umetni inteligenci kot grožnji človeštvu, o umetni inteligenci, ki človeštvo nadvlada in pogubi? Iz katerega zbira vedenj, tekstov in vsebin pa prihaja ta interpretacija? In kaj ta interpretacija pove o človeku? Kje so na tem mestu zadržki do antropomorfizacije ali pa je antropomorfizacija v tem primeru nezaznavna, ker se želi taka interpretacija od človeškega oddaljiti? In kaj nam pove dejstvo, da sistem upove dobesedno diametralno nasprotno razumevanje sveta, ljudi in prihodnosti?