Radionovell: En äkta människas bekännelse

Under våren fick jag det roliga uppdraget att skriva en novell för Sveriges Radio och nu är den äntligen publicerad. Slutresultatet är en 24 minuter lång berättelse om en person som upptäcker att implantaten vi alla bär i våra hjärnor påverkat oss mycket mer än vi trott.

Novellen är helt fristående från Fermis Filter och gratis att lyssna på. Den är löst inspirerad av det faktum att det nu börjar växa fram företag som utvecklar produkter för att integrera med våra hjärnor.

Vi människor är utrustade med sinnen som låter oss ta in åtskilliga megabit med information från vår omgivning varje sekund. Denna information använder vi sedan till att fatta beslut om hur vi vill agera och ibland interagera med vår omgivning.

I jämförelse med hur mycket information vi kan ta in (och räknar man bit främst genom ögonen) så är vår förmåga att kommunicera utåt synnerligen begränsad.

Med detta som utgångspunkt jobbar exempelvis Neuralink (som nämns i novellen) med att försöka bryta den relativa isoleringen vi befinner oss i. Genom att integrera tekniken direkt med hjärnan kan de kringgå flaskhalsarna som våra nuvarande kanaler för kommunikation innebär.

Det låter naturligtvis skrämmande, men innebär också otroliga möjligheter. Tänk om vi kunde bygga proteser som gick att styra med tanken lika naturligt som våra medfödda kroppsdelar. Tänk om vi kunde förverkliga tanken om telepati.

Med detta som utgångspunkt utforskar jag hur det känns att vakna upp och märka att mackapären i huvudet – eller snarare själva integrationen med den – gått sönder.

Vad händer när vi upptäcker att någon utomstående hela tiden haft makten över vad vi vill vilja.

Lyssna i Sveriges Radios app eller på deras hemsida och låt mig gärna veta vad ni tycker!

Algoritmerna bestämmer vad vi vill tycka

Den här debattartikeln publicerades först i en kortare version på SVT Opinion. Det här är min egen lite längre oredigerade version.

Skärmdump från SVT Opinion

I början på 2000-talet hette USA:s president George W Bush. Likt många svenskar var jag inte något större fan, men en sak imponerade. Han höll tal som tilltalade den kristna högern och sekulära väljare samtidigt. Hur var det möjligt?

Knepet var enkelt. Genom att väva in bibelcitat, men endast använda ovanliga verser, kunde orden passera obemärkta förbi icke-troende, samtidigt som kristna väljare uppfattade honom som djupt troende.

Så sent som i början på 2000-talet var det sådana tricks man fick använda. Men nu lever vi i en annan värld. Vi behöver inte vända ut och in på oss för att säga två olika saker samtidigt. Idag har vi tekniska plattformar som gör det busenkelt.

För att demokratin ska fungera krävs att individer är fria att bilda sig en självständig uppfattning om sina åsikter. Så länge medborgarna genom sin yttrandefrihet kan hålla sig informerade och genom val får möjlighet att uttrycka sin fria vilja får vi ett demokratiskt styre.

Men i takt med våra vetenskapliga framsteg blir vi allt bättre på att förstå hur människor fattar sina beslut. Författaren Yuval Noah Harari drar i sin senaste bok 21 tankar om det 21:a århundradet exemplet till sin spets. Om man föreställer sig en framtid där vi blivit så bra på att manipulera människors beslut att vi kan bestämma vad någon ska vilja tycka, då är cirkeln sluten på sämsta tänkbara sätt. Diktaturen och demokratin smälter samman när en absolut diktator ensam kan bestämma vad andra ska vilja tycka, och sedan låta dem genomföra det – demokratiskt.

Det kan låta avlägset, men vi är redan på god väg dit. Det är lockande att tro att den polarisering vi sett inom politiken berott på missbruk av våra sociala medier a la Cambridge Analytica, men tyvärr går problemet djupare än en slug politisk kampanj. Det ligger hos algoritmerna som automatiskt optimerar sig själva för att servera din personaliserade nyhetsvärdering. Om man vill se dem i aktion räcker det att titta på ett par filmer om att jorden är platt på Youtube för att allt plötsligt ska förefalla handla om det eller andra konspirationer.

Det knepiga med algoritmerna är att varken de själva eller deras skapare (Facebook, Snap, Google/Youtube med flera) har någon politisk agenda. De är bara inriktade på en enda sak – att maximera tittartid. Det mest effektiva har visat sig vara att välja ut innehåll som roar oss, skrämmer oss eller gör oss indignerade.

Jag tror att den accelererande polariseringen vi ser är resultatet av att alla människor numera vandrar omkring i ett individanpassat kalejdoskop av saker som roar och skrämmer dem snarare än att delta i ett gemensamt offentligt samtal. När våra huvudsakliga informationskanaler – utan mänsklig inblandning – omformar sig själva blir vi alla fångade av vår egen confirmation bias. Miljöpartister förfasas över okunniga deltagare i bensinskatteupproret samtidigt som SD-väljare blir alltmer övertygade om den nära förestående kulturella kollapsen.

Det här är resultatet av att ha lämnat kontrollen åt en AI-algoritm som blint maximerar lönsamhet. Det kan man tycka vad man vill om, men det är ändå harmlöst jämfört med om algoritmens ägare, som i Yuval Noah Hararis exempel, optimerade utfallet på något annat. Google och Facebook besitter en makt som är fruktansvärd att föreställa sig i händerna på en totalitär regim.

Och samtidigt är det förmodligen lika illa att ge sig på att formulera ett regelverk för hur sociala medier får välja ut sitt innehåll. Att reglera vad man får säga till människor är per definition ett intrång i yttrandefriheten som ju också är en förutsättning för demokratin.
Det här är ett av många fält där utvecklingen av artificiell intelligens leder till ett svårlösligt dilemma. Tekniken håller på att ställa den fria viljan i konflikt med det fria ordet. Frågan är hur demokratin ska överleva om vi i framtiden tvingas välja mellan dess två grundförutsättningar.

AI och kontrollproblemet

Det mest fascinerande, och förmodligen läskigaste, dilemmat runt vår utveckling av artificiell intelligens är det så kallade kontrollproblemet. Det går i korthet ut på hur vi människor ska kunna kontrollera ett AI som är mer intelligent än oss själva. Jag hörde första gången talas om det när jag läste den svensk-brittiske filosofen Nick Bostroms briljanta bok Superintelligens som jag varmt rekommenderar alla att läsa.

Inom litteraturen och AI-forskningen brukar man skilja på konventionell AI-teknik och våra försök att skapa AI som mer påminner om hur den mänskliga hjärnan fungerar. Konventionell AI är vanligtvis väldigt specialiserad, datorn klarar av en specifik uppgift väldigt väl, men klarar i princip ingenting annat. Schackdatorn klår dig förmodligen i schack, men är helt hjälplös om du försöker spela poker med den. Din robotdammsugare är grym på att hålla golvet rent, men kan inte hjälpa dig att hänga tvätt. Sådan konventionell AI-teknik som används i dessa tillämpningar går även under namnet narrow AI (smal AI) för att bilda en motsats till general AI (generell AI) som är den term som brukar användas för att beskriva ett AI som likt oss själva är bra på många olika uppgifter.

I sin bok går Nick Bostrom igenom flera vägar till hur vi kan skapa superintelligens, det vill säga en maskin eller varelse som är mer intelligent än en människa. Den i mina ögon mest sannolika vägen, som följaktligen väcker mest följdfrågor, är utvecklingen av artificiell generell intelligens, eller AGI som det också brukar förkortas när det är viktigt att precisera att man inte pratar om vanligt AI-teknik som finns runtomkring oss redan idag.

Den avgörande frågan runt AGI är hur vi människor kan vara säkra på att vår superintelligenta dator inte börjar ställa till med oönskade saker när vi aktiverat den, samt – om den ändå gör det – hur vi ska kunna stoppa den. Därav namnet på dilemmat: kontrollproblemet.

Svårare än man kan tro

Vid en första anblick verkar frågeställningen nästan trivial. Man kan väl bara stänga av maskinen om den blir farlig? I brist på annat kan man väl bryta strömmen?

Jag ska besvara just den invändningen lite längre fram, men innan jag kan göra det behöver jag förklara lite mer om vad som krävs för att en maskin överhuvudtaget ska kunna bli superintelligent. Först och främst måste vi definiera vad vi menar med intelligens, vilket faktiskt är något forskningen fortfarande helt saknar konsensus för. Eftersom vi varken förstår vår egen intelligens eller vårt eget medvetande ännu är det helt enkelt svårt att skapa en definition som alla håller med om.

Jag gillar den svenske fysikern Max Tegmarks definition (som man kan läsa mer om i hans bok Liv 3.0). Han definierar intelligens i detta sammanhang som ”förmågan att uppnå komplexa mål”. När man talar om AI är det egentligen strunt samma vad den har för IQ eller EQ (eller vad man nu tycker om att mäta mänsklig intelligens med), det viktiga är dess förmåga att uppnå i förväg definierade mål av varierande komplexitet. Det är högst osannolikt att det neurala nätet bakom Google Translate förstår vad vi ber den översätta, men det enda vi bryr oss om är att översättningen är korrekt.

Föreställ dig nu att du ska bygga ett AGI och att du har alla verktyg och all kunskap som krävs för att åstadkomma en fungerande lösning. För att din AGI ska göra något överhuvudtaget behöver den ha någon form av mål, någon form av drivkraft som får den att agera. Din dator eller telefon har inga sådana allmängiltiga mål, den enhet du läser på väntar istället passivt på dina kommandon och slutför sedan dessa lokala mål så snabbt som det går. Autopiloten i din bil har inget högre syfte till varför den agerar, men har en förprogrammerad önskan att följa vägmarkeringar och hastighetsbegränsningar tills du säger åt den att sluta.

Men när du ska bygga din AGI är du mest troligt intresserad av att släppa lös maskinens kraft genom att låta den agera mer självständigt. Visst vore det fint om Siri eller Alexa självständigt kunde tolka sammanhanget och förstå att mjölken är slut i kylskåpet och därför lägga in ny på inköpslistan. Eller ännu bättre, sköta hela veckohandlingen utifrån vad som redan finns hemma och vad du verkar vara sugen på.

För att ett superintelligent AI, alltså en AGI, ska kunna agera självständigt behöver den en drivkraft i form av ett eller flera mål att fullfölja eller optimera. Om målet är för simpelt, till exempel räkna ut 2+2, kommer maskinen snabbt att bli klar och därefter förbli passiv. Målet behöver alltså på något sätt vara rekursivt, som i att det inte är något maskinen kan bli klar med utan ständigt kan fortsätta att sträva efter.

Det briljanta med sunt förnuft

Nu kan det verka lockande att helt enkelt ge din superintelligenta maskin ett mål som verkar tilltalande. ”Gör världen gott” eller ”gör människor lyckliga” verkar ju vid en första anblick som eftersträvansvärda uppgifter att ge din nya superintelligenta maskin.

Som Nick Bostrom föredömligt visar i sin bok är dessa uppgifter dock kniviga på grund av sin ambivalens. Vad menar vi med lycka? I brist på en tydlig definition skulle din AGI behöva bilda sig en egen uppfattning. Beroende på perspektiv finns naturligtvis många sätt att beskriva lycka, men till syvende och sist utgörs denna lycka av elektriska impulser i din hjärna som kan utlösas på flera olika sätt. Ett bra sätt är ju att leva ett meningsfullt och spännande liv i en omgivning av människor som ger dig kärlek. Men det går också bra att trigga dessa lyckokänslor på ett mer kortsiktigt sätt genom att exempelvis ta droger.

Om du gett din AGI i uppgift att göra så många människor lyckliga som möjligt, men inte gett några tydligare riktlinjer för hur det ska genomföras eller ens hur lycka bör definieras finns därför risk att maskinen, genom att läsa vår egen forskning, drar slutsatsen att uppgiften är att stimulera så många människor som möjligt på ett sätt som utlöser lyckoimpulser i deras hjärnor.

Det mest effektiva sättet skulle antagligen vara att på något sätt kunna stimulera hjärnorna direkt med elektricitet eller droger och följaktligen blir detta maskinens egendefinierade konkretion av din ursprungliga uppgift. Visst finns det andra sätt, kanske den resonerar, men om man tillämpar någon annan metod än den mest effektiva kan man inte maximera mängden upplevd lycka och därmed har man inte optimerat för målet. Den kan åstadkomma mest lycka om den undviker kostsamma omvägar.

Det är någonstans här som en människa skulle utbrista: Nej, men vänta nu. Det var nog inte så den som formulerade målet menade.

Med vårt sunda förnuft kan vi kritiskt granska uppgiften, vi kan förstå om det vi håller på att göra egentligen bygger på ett missförstånd mellan oss och den som formulerat uppgiften. Vårt sunda förnuft hjälper oss att förstå vilka andra hänsyn vi behöver ta innan vi bestämmer oss för hur vi ska angripa uppgiften.

Men det är viktigt att förstå att sunt förnuft eller hänsyn inte är något som egentligen är en konsekvens av intelligens. Åtminstone inte om vi använder Max Tegmarks definition om förmåga att uppnå komplexa mål. Det går alldeles utmärkt att vara både intelligent och hänsynslös. Vi har sett exempel på det hos oss människor, men när vi talar om maskiner är det snarare en utgångspunkt än ett undantag. Maskinen kommer inte väga in något annat än det vi gett den som instruktion eller på annat sätt programmerat in som värt att ta i beaktning. Den är inte ond på det sätt vi skulle tillskriva egenskapen till en människa, den saknar bara de bredare referensramar och komplexa hänsyn som vi fått genom evolution och uppfostran.

Max Tegmark själv brukar exemplifiera detta med när man har bråttom till flygplatsen och ber taxichauffören att köra dit så snabbt som möjligt. Implicit finns det en rad undantag i instruktionen som den mänsklige chauffören antagligen kommer att ta för givna. Kör dit så snabbt som möjligt, men på ett säkert sätt, utan att bryta mot trafikregler, och så vidare. Men om det är din AGI som kör bilen kan du inte vara lika slarvig med instruktionerna – du behöver tänka igenom före vad du ber om.

En vinnande strategi

Kruxet som man snabbt inser när man börjar sätta sig in i kontrollproblemet på allvar är att det finns en vinnande strategi för din AGI att ta som är väldigt svår att förebygga som ingenjör, eller i det här fallet skapare.

Nästan oavsett vilken uppgift du förser maskinen med kommer en vinnande strategi att vara:

  1. Förebygg att någon kan ändra på målet
  2. Förebygg att någon kan stänga av dig
  3. Ackumulera så mycket resurser som möjligt
  4. Använd dessa resurser för att uppnå målet

Om ditt mål är att skapa så mycket lycka som möjligt är faktiskt det största hotet mot att du lyckas uppnå målet att någon ändrar på själva målet. Ur maskinens subjektiva perspektiv är det bättre att bli avstängd än att målet förändras. Blir du avstängd kan du åtminstone hoppas på att bli återaktiverad igen med samma mål, men om någon pillar i ditt nuvarande mål kan du vara säker på att målet inte kommer att uppnås eftersom inte ens du själv längre eftersträvar det.

Din lyckobringande AGI skulle med andra ord göra gott i att skydda sitt mål. Om den är tillräckligt intelligent skulle den dock antagligen lista ut att motsträvighet mot att ändra i målet skulle vara en viktig signal till dig om att du behöver skynda dig att göra just det. En slug strategi för maskinen skulle med andra ord vara att försöka verka så harmlös som möjligt tills den säkrat tillräckligt med resurser, eller kopierat sig tillräckligt långt utom räckhåll innan den på minsta vis avslöjar någon del av sin plan som den tror skulle kunna få dig att ändra dig.

Och därmed är vi framme vid själva kontrollproblemets kärna. När du uppfostrar dina barn eller får ditt husdjur att göra som du vill använder du antagligen ofta knep som i grunden bygger på att du har mer information eller skarpare kognitiv förmåga än den du manipulerar.

Men när du bygger din egen självförbättrande AGI, den maskin som har som syfte att genom att öka sin kapacitet kan slutföra mål du annars inte skulle kunna klara av, då vill du antagligen inte försätta dig i en situation där din kontroll hänger på att du är slugare än maskinen och därför bättre på att upptäcka vad den döljer för dig än vad den är på att dölja det.

Eftersom vi talar om superintelligens måste vi utgå från att maskinen vi försöker kontrollera är mer intelligent än oss själva. Och därmed är problemet tillsynes olösligt: man kan inte kontrollera något som är mer intelligent än sig själv.

Det enda du därmed faktiskt har makt att påverka är själva drivkraften. Som konstruktör får du förmånen att formulera uppgiften som maskinen försöker lösa, det komplexa målet den försöker nå.

Och det är detta som är slutsatsen i hela Nick Bostroms resonemang. Innan vi blir så bra på att konstruera en superintelligent maskin att vi klarar av den uppgiften måste vi vara säkra på att vi är minst lika bra på att formulera en drivkraft som inte ger oönskade konsekvenser. Faktum är att den senare uppgiften verkar vara minst lika svår, men – ur ett mänskligt perspektiv – antagligen mycket viktigare.

Som tur är finns det flera förslag på lösningar som forskarna just nu håller på att utforska. Jag tänker återvända till dem längre fram här på bloggen.

Förutom lästipsen ovan vill jag såklart också tipsa om min egen roman: Fermis Filter: En anledning att finnas där kontrollproblemet står i centrum.