En god venn ringte meg her om dagen med en skikkelig utfordring: Når er datamaskiner så kraftige at det blir et spørsmål om etikk å slå dem av? Min umiddelbare ryggmargsrefleks var: «aldri», noe min venn protesterte ganske kraftig på. Hvem av oss er på jordet?
La meg starte med å bringe oppmerksomheten på noe jeg kaller for ingeniørtenkning, kontra magi tenkning. Les gjerne dette. Kortversjon er forskjellen på forestillinger basert på «hokus pokus» og forestillinger basert på hypoteser om mekanismer. Det som ofte slår meg, når jeg hører slikt, er at noen har en ide om at, bare man putter nok megaflops inn i en datamaskin, så begynner den plutselig å få menneskelige egenskaper. Hokus pokus, så våkner den liksom til selvbevissthet. En ingeniørtenker kan falle for fristelsen til å sammenligne dette med en gravemaskin. Når har vi laget gravemaskinen, kraftig nok til at den blir til et monster? Vi innser at spørsmålet er tullete. En gravemaskin kan bli så kraftig den bare vil, men den er og forblir en gravemaskin. Skal vi lage et monster, må vi vite hva vi mener, så forsøke å konstruere det.
Men, utfordringen over, reiser noen helt grunnleggende spørsmål som menneskeheten har syslet med i flere tusen år:
- Hva er verdt å ta etisk hensyn til?
- Hva er bevissthet?
Det andre spørsmålet er egentlig en stillingtagen til det første spørsmålet. For det sier implisitt at det som ikke har evne til bevissthet, er ikke verdt å ta etisk hensyn til. Det kan bli kontroversielt i seg selv. For mange år siden var jeg innom problemstillingen her. I de senere år har jeg også utviklet empatisk etikk, hvor jeg tilslutter meg ideen om at evne til livskvalitet er det grunnleggende kriterium for å inngå i etiske vurderinger. Det er verdt å bemerke at, dermed er etikken generalisert, og vil automatisk fange opp etiske problemstillinger som går utover den nærsynte menneskelige antroposentrisme. Da har vi en universell etikk som naturlig også vil favne dyr, potensielle tekniske innretninger og alt av liv som naturen eller måtte ha kommet opp med i universet. Andre kan være uenige med meg i det. Da blir selvsagt tilnærmingen en annen.
Men det er åpenbart at, dersom livskvalitet er kriteriet, så blir bevissthet sentralt i dette. Man må være bevisst for å kunne oppleve det gode liv. Man må være bevisst for å kunne lide. Og nettopp denne siste varianten, nevnte jeg i vår korte samtale: dersom vi utvikler en datamaskin med evne til å lide, da har vi noen etiske hensyn å ta med i våre vurderinger.
Så da koker det hele ned til spørsmålet om det er mulig å skape kunstig bevissthet. Vel, det var kanskje litt forhastet. For selv om noe skulle ha bevissthet, så er det ikke sikkert at det har evne til livskvalitet. Det avhenger jo av evnen til å oppleve mening med noe. Så er det spørsmål hva som skaper den meningen.
Når min venn er opptatt av det å «slå av maskinen» så gjør han en typisk antroposentrisk kortslutning. Han refererer ubevisst til egen frykt for å dø. Når vi opplever vårt liv truet, skaper det frykt. Frykten er ubehagelig. Vi lider. Men hva om datamaskinen ikke bryr seg om det å bli slått av? Den sier bare «So what?». Hva om datamaskinen, bare elsker å adlyde kommandoer fra mennesker, så når den får beskjed om å slå seg av, så er det den selvfølgeligste ting av verden? Poenget er at vi mennesker er redd for å dø fordi vi er programmert til å være det. Vi har en egen innretning i hjernen for å føle frykt. Den heter Amygdala, og den er programmert til å gløde og sette i gang alle slags forsvarsmekanismer, dersom den oppdager at livet er truet. Dette er et program, det er en algoritme. Uten at vi hadde den, ville vi ikke brydd oss, når livet er truet.
Jeg har utviklet et konsept som heter atferdsdualisme. Hensikten er å skape et analyseverktøy som setter oss i stand til å oppdage slike antroposentriske tankefeil. Atferdsdualisme setter et klart skille mellom fakta og virkelighet, på den ene siden og vilje og følelser på den andre siden. Vi må oppdage at redsel for å dø, ikke er noen ren logisk slutning. Millioner på millioner av datamaskiner, med superevner til å gjøre logiske slutninger, skrur seg daglig av, uten en eneste bekymring om det som skjer.
Fakta og virkelighetsoppfatning handler om å utvikle modeller av virkeligheten som gjør det mulig å handtere og samspille med den. Viljen, som kommer fra følelsene, er summen av millioner av generasjoners erfaring med kunsten å overleve og reprodusere seg selv. Vi er biologisk programmert til å unnvike døden, fordi de individer, i fortiden, som ikke gjorde det, de ble ikke våre forfedre.
Datamaskiner har ikke denne forhistorien. Og vi mennesker har enda ikke funnet det formålstjenlig å utvikle programvare for frykt og redsel for å dø.
Er forresten det, å bli slått av, det samme som å dø? Når jeg slår av datamaskinen, så starter den en rekke prosedyrer, som sikrer at maskinen skal klare å komme i gang igjen på en konsistent måte. Så når vi starter maskinen, så fortsetter den med utgangspunkt i den konsistente tilstanden den var i da vi slo den av. Er det å sammenligne med at vi sover, eller at bjørnen ligger i dvale?
Våre dagers datamaskiner er i all hovedsak fakta-informasjons behandlende maskiner. De hjelper oss med å holde styr på vår virkelighetsoppfatning. De blir matet med fakta, og prosesserer og analyserer dette, og kommer opp med resultater som vi mennesker kan ha nytte av.
Dagens tradisjonelle datamaskiner har ikke fysisk atferd, slik som biologiske vesener har. Dette er i ferd med å endres, etter hvert som robotteknologien utvikler seg. Da får vi behov for maskiner som tar beslutninger om hva de selv skal gjøre. Det krever mer enn ren fakta-prosessering. For å kunne ta beslutninger må man ha evne til å foretrekke noe foran noe annet. Det er min definisjon på verdier. Et vesentlig poeng er at et fakta-prosesserende informasjonssystem aldri kan komme opp med egne verdier. Verdiene må initieres utenfra. Så dersom vi ønsker en robot, som er redd for å dø, så må vi bevisst utvikle denne egenskapen i maskinen.
Uansett hvor mye prosesseringskapasitet en maskin har, uansett hvor mye minne, så vil den aldri «plutselig» komme opp med en ide om at den er redd for å dø.
Min venn hevder at vi nå utvikler adaptive systemer, altså systemer som har evne til å lære. Ja, det har vi holdt på med lenge, og det endrer ikke på dette.
Vår felles store helt, Alan Turing sa at:
In order to be a perfect and beautiful computing machine, it is not requisite to know what arithmetic is
En datamaskin kan utmerket gjøre avanserte beregninger uten å ha peiling på, eller forståelse av aritmetikk. Vi mennesker klarer å beregne ting i hodet, men først må vi forstå konseptet, eller verktøyet. Men, en algoritme som gjør det samme, trenger ikke den samme konseptuelle forståelsen, for å kunne utføre beregningen. Maskiner kan prosessere, analysere, beregne, ja til og med gjenkjenne ansikter, og ansiktsuttrykk uten å ha den ringeste aning om hva den holder på med. Det er å sammenligne med at 95 % av vår egen hjerne, som holder på med informasjonsprosessering, uten at den bevisste delen av oss selv, har den ringeste ide om hva som foregår.
Her nærmer vi oss noen interessante spørsmål. Hvordan blir bevissthet til? Hvordan blir vilje til? Hvordan blir følelser til? Hvordan kan vi vite at en innretning har bevissthet, og ikke bare simulerer noe? Pr. i dag er det ingen som har den fjerneste ide om hvordan vi kan måle bevissthet.
Hypoteser om bevissthet:
- Ånd eller sjel:
Noen kaller denne hypotesen for «Ghost in the machine». Det bor en ånd i hjertet mitt (eller hjernen). Det er lenge siden jeg frafalt den hypotesen. Noen av resonnementene jeg gjorde finnes her og her. - Panpsykisme
I mine samme gamle arbeider kom jeg opp med en teori, jeg trodde jeg var alene om. Det var jeg selvsagt ikke. Panpsykisme handler om at bevissthet, på et grunnleggende plan, er knyttet til all materie. Så dersom man konsentrerer materien i tette informasjonsbehandlende strukturer, så akkumuleres dette opp til å bli den bevisstheten vi opplever. Om vi antok denne hypotesen, så ville kanskje min vennes forestilling ha noe for seg. Jeg synes det er en flott teori. Men, i dag, regner jeg den ikke som spesielt sannsynlig. - Materialisme
Bevissthet emergerer som følge av fysiske informasjonsprosesser, f.eks. i en hjerne. Dette er det forslaget min venn insisterte på for noen år siden, og som jeg, etter å ha vurdert det, anser som den mest sannsynlige forklaringen. Mye av dette er beskrevet her.
Dette synet på bevissthet gjør det absolutt mulig å tenke seg at mennesket teoretisk vil kunne utvikle kunstige innretninger med bevissthet. Men det forutsetter at man forstår hvordan informasjonsprosesser kan skape bevissthet. Altså ingeniørtenkning.
I dag tenker jeg at forestillingen om bevissthet er alle illusjoners mor. Vi har evnen til å abstrahere egenskaper, sette navn på dem, skape begreper av dem og på den måten skape oss forestillinger. Men ofte er det slik at egenskaper er virtuelle, eller noe som ikke kan leve sitt eget liv utenom i den sammenheng de forekommer. Bevissthet behøver ikke å være annet enn et navn på noen spesifikke informasjonsprosesser som foregår i vår hjerne. Det er gjerne de mest integrerte, som har «et siste ord» i å ta beslutninger og sette atferd ut i livet.
Psykologer hevder at 95% av det som foregår i vår hjerne er ubevisst. Men, av en eller annen grunn har naturen kommet opp med et sinnrikt kontrollsenter på toppen av det hele. Dette har neppe skjedd uten at det har gitt reproduksjonsmessige fordeler.
Kanskje er det slik at, om vi vil skape bevissthet, så må vi kopiere mye av dette. En del psykologer hevder at følelser, det å kjenne på kroppens tilstander er en sentral del av det å skape bevissthet. I så fall må også dette simuleres. En robot har jo en «kropp» så her er det naturlig. En ren datamaskin må kanskje ha en simulert kropp.
Selv er jeg inne på dette med beslutningsevne, som involverer kombinasjonen av identitet, følelser, forståelse, virkelighetsoppfatning, hukommelse som skaper en fortid og fantasi som skaper en fremtid. Mye av dette har jeg oppsummert her. I tillegg er jeg etter hvert blitt mer og mer klar over i hvor stor grad språk spiller inn her. Mye av våre bevisste tanke-prosesser er indre samtaler. Kanskje har dette startet som et behov i den sosiale interaksjon med andre individer. Vi trenger ofte å tenke ut hvordan våre språkhandlinger vil fungere i omgivelsene. Til dette trenger vi fantasi. Vi snakker i fantasien, og vips så har vi fått en formidabel katalysator for vår egen tankeprosess.
Det er ikke dermed sagt at jeg hevder at uten språk, ingen bevissthet. For små barn, og dyr, har selvsagt også bevissthet. Men det vi snakker om her er grader eller nivå på bevisstheten og egenskaper ved tankeprosessen.
Summen av dette er at jeg tenker at bevissthet ikke bare er noe som «oppstår» bare vi har datakraft nok. Den må konstrueres, eller utvikles med et bevisst formål om å skape en slik innretning. Men veien dit, behøver ikke nødvendigvis å gå gjennom tradisjonell systemutvikling. Vi kan godt tenke oss adaptive systemer som går så langt at den simulerer selve evolusjonsprosessen. Vi skaper virtuelle verdener, som går av seg selv og ender opp med å utvikle selvbevisste informasjonsprosesser. På den måten kan man tenke seg at datamaskiner kan komme opp med dette på egen hand, men det forutsetter at vi greier å sette opp virtuelle verdener som stimulerer til utvikling i den retningen.
Som en oppsummering tenker jeg at det er større grunn til å bekymre seg for etisk kyllingen jeg får på tallerken om 14 dager enn om IBM-Watson eller andre superkraftige datasystemer. Menneskehetens største etiske problem, i vår tid, er hvordan vi behandler våre medskapninger på denne kloden, og ikke minst hvordan vi behandler våre etterkommere, sett i lys av hvordan vi forvalter klodens ressurser.
Den dagen vi bevisst konstruerer innretninger som kopierer det, vi vet er komponenter i vårt eget menneskelige sinn, da er det naturlig å begynne å bekymre seg etisk for dette. Dette kan absolutt skje, men ikke før vi har utviklet kompetanse på sinn, og utvikler en kunstig konstruksjon av det, med vitende og vilje.