Det mest fascinerande, och förmodligen läskigaste, dilemmat runt vår utveckling av artificiell intelligens är det så kallade kontrollproblemet. Det går i korthet ut på hur vi människor ska kunna kontrollera ett AI som är mer intelligent än oss själva. Jag hörde första gången talas om det när jag läste den svensk-brittiske filosofen Nick Bostroms briljanta bok Superintelligens som jag varmt rekommenderar alla att läsa.
Inom litteraturen och AI-forskningen brukar man skilja på konventionell AI-teknik och våra försök att skapa AI som mer påminner om hur den mänskliga hjärnan fungerar. Konventionell AI är vanligtvis väldigt specialiserad, datorn klarar av en specifik uppgift väldigt väl, men klarar i princip ingenting annat. Schackdatorn klår dig förmodligen i schack, men är helt hjälplös om du försöker spela poker med den. Din robotdammsugare är grym på att hålla golvet rent, men kan inte hjälpa dig att hänga tvätt. Sådan konventionell AI-teknik som används i dessa tillämpningar går även under namnet narrow AI (smal AI) för att bilda en motsats till general AI (generell AI) som är den term som brukar användas för att beskriva ett AI som likt oss själva är bra på många olika uppgifter.
I sin bok går Nick Bostrom igenom flera vägar till hur vi kan skapa superintelligens, det vill säga en maskin eller varelse som är mer intelligent än en människa. Den i mina ögon mest sannolika vägen, som följaktligen väcker mest följdfrågor, är utvecklingen av artificiell generell intelligens, eller AGI som det också brukar förkortas när det är viktigt att precisera att man inte pratar om vanligt AI-teknik som finns runtomkring oss redan idag.
Den avgörande frågan runt AGI är hur vi människor kan vara säkra på att vår superintelligenta dator inte börjar ställa till med oönskade saker när vi aktiverat den, samt – om den ändå gör det – hur vi ska kunna stoppa den. Därav namnet på dilemmat: kontrollproblemet.
Svårare än man kan tro
Vid en första anblick verkar frågeställningen nästan trivial. Man kan väl bara stänga av maskinen om den blir farlig? I brist på annat kan man väl bryta strömmen?
Jag ska besvara just den invändningen lite längre fram, men innan jag kan göra det behöver jag förklara lite mer om vad som krävs för att en maskin överhuvudtaget ska kunna bli superintelligent. Först och främst måste vi definiera vad vi menar med intelligens, vilket faktiskt är något forskningen fortfarande helt saknar konsensus för. Eftersom vi varken förstår vår egen intelligens eller vårt eget medvetande ännu är det helt enkelt svårt att skapa en definition som alla håller med om.
Jag gillar den svenske fysikern Max Tegmarks definition (som man kan läsa mer om i hans bok Liv 3.0). Han definierar intelligens i detta sammanhang som ”förmågan att uppnå komplexa mål”. När man talar om AI är det egentligen strunt samma vad den har för IQ eller EQ (eller vad man nu tycker om att mäta mänsklig intelligens med), det viktiga är dess förmåga att uppnå i förväg definierade mål av varierande komplexitet. Det är högst osannolikt att det neurala nätet bakom Google Translate förstår vad vi ber den översätta, men det enda vi bryr oss om är att översättningen är korrekt.
Föreställ dig nu att du ska bygga ett AGI och att du har alla verktyg och all kunskap som krävs för att åstadkomma en fungerande lösning. För att din AGI ska göra något överhuvudtaget behöver den ha någon form av mål, någon form av drivkraft som får den att agera. Din dator eller telefon har inga sådana allmängiltiga mål, den enhet du läser på väntar istället passivt på dina kommandon och slutför sedan dessa lokala mål så snabbt som det går. Autopiloten i din bil har inget högre syfte till varför den agerar, men har en förprogrammerad önskan att följa vägmarkeringar och hastighetsbegränsningar tills du säger åt den att sluta.
Men när du ska bygga din AGI är du mest troligt intresserad av att släppa lös maskinens kraft genom att låta den agera mer självständigt. Visst vore det fint om Siri eller Alexa självständigt kunde tolka sammanhanget och förstå att mjölken är slut i kylskåpet och därför lägga in ny på inköpslistan. Eller ännu bättre, sköta hela veckohandlingen utifrån vad som redan finns hemma och vad du verkar vara sugen på.
För att ett superintelligent AI, alltså en AGI, ska kunna agera självständigt behöver den en drivkraft i form av ett eller flera mål att fullfölja eller optimera. Om målet är för simpelt, till exempel räkna ut 2+2, kommer maskinen snabbt att bli klar och därefter förbli passiv. Målet behöver alltså på något sätt vara rekursivt, som i att det inte är något maskinen kan bli klar med utan ständigt kan fortsätta att sträva efter.
Det briljanta med sunt förnuft
Nu kan det verka lockande att helt enkelt ge din superintelligenta maskin ett mål som verkar tilltalande. ”Gör världen gott” eller ”gör människor lyckliga” verkar ju vid en första anblick som eftersträvansvärda uppgifter att ge din nya superintelligenta maskin.
Som Nick Bostrom föredömligt visar i sin bok är dessa uppgifter dock kniviga på grund av sin ambivalens. Vad menar vi med lycka? I brist på en tydlig definition skulle din AGI behöva bilda sig en egen uppfattning. Beroende på perspektiv finns naturligtvis många sätt att beskriva lycka, men till syvende och sist utgörs denna lycka av elektriska impulser i din hjärna som kan utlösas på flera olika sätt. Ett bra sätt är ju att leva ett meningsfullt och spännande liv i en omgivning av människor som ger dig kärlek. Men det går också bra att trigga dessa lyckokänslor på ett mer kortsiktigt sätt genom att exempelvis ta droger.
Om du gett din AGI i uppgift att göra så många människor lyckliga som möjligt, men inte gett några tydligare riktlinjer för hur det ska genomföras eller ens hur lycka bör definieras finns därför risk att maskinen, genom att läsa vår egen forskning, drar slutsatsen att uppgiften är att stimulera så många människor som möjligt på ett sätt som utlöser lyckoimpulser i deras hjärnor.
Det mest effektiva sättet skulle antagligen vara att på något sätt kunna stimulera hjärnorna direkt med elektricitet eller droger och följaktligen blir detta maskinens egendefinierade konkretion av din ursprungliga uppgift. Visst finns det andra sätt, kanske den resonerar, men om man tillämpar någon annan metod än den mest effektiva kan man inte maximera mängden upplevd lycka och därmed har man inte optimerat för målet. Den kan åstadkomma mest lycka om den undviker kostsamma omvägar.
Det är någonstans här som en människa skulle utbrista: Nej, men vänta nu. Det var nog inte så den som formulerade målet menade.
Med vårt sunda förnuft kan vi kritiskt granska uppgiften, vi kan förstå om det vi håller på att göra egentligen bygger på ett missförstånd mellan oss och den som formulerat uppgiften. Vårt sunda förnuft hjälper oss att förstå vilka andra hänsyn vi behöver ta innan vi bestämmer oss för hur vi ska angripa uppgiften.
Men det är viktigt att förstå att sunt förnuft eller hänsyn inte är något som egentligen är en konsekvens av intelligens. Åtminstone inte om vi använder Max Tegmarks definition om förmåga att uppnå komplexa mål. Det går alldeles utmärkt att vara både intelligent och hänsynslös. Vi har sett exempel på det hos oss människor, men när vi talar om maskiner är det snarare en utgångspunkt än ett undantag. Maskinen kommer inte väga in något annat än det vi gett den som instruktion eller på annat sätt programmerat in som värt att ta i beaktning. Den är inte ond på det sätt vi skulle tillskriva egenskapen till en människa, den saknar bara de bredare referensramar och komplexa hänsyn som vi fått genom evolution och uppfostran.
Max Tegmark själv brukar exemplifiera detta med när man har bråttom till flygplatsen och ber taxichauffören att köra dit så snabbt som möjligt. Implicit finns det en rad undantag i instruktionen som den mänsklige chauffören antagligen kommer att ta för givna. Kör dit så snabbt som möjligt, men på ett säkert sätt, utan att bryta mot trafikregler, och så vidare. Men om det är din AGI som kör bilen kan du inte vara lika slarvig med instruktionerna – du behöver tänka igenom före vad du ber om.
En vinnande strategi
Kruxet som man snabbt inser när man börjar sätta sig in i kontrollproblemet på allvar är att det finns en vinnande strategi för din AGI att ta som är väldigt svår att förebygga som ingenjör, eller i det här fallet skapare.
Nästan oavsett vilken uppgift du förser maskinen med kommer en vinnande strategi att vara:
- Förebygg att någon kan ändra på målet
- Förebygg att någon kan stänga av dig
- Ackumulera så mycket resurser som möjligt
- Använd dessa resurser för att uppnå målet
Om ditt mål är att skapa så mycket lycka som möjligt är faktiskt det största hotet mot att du lyckas uppnå målet att någon ändrar på själva målet. Ur maskinens subjektiva perspektiv är det bättre att bli avstängd än att målet förändras. Blir du avstängd kan du åtminstone hoppas på att bli återaktiverad igen med samma mål, men om någon pillar i ditt nuvarande mål kan du vara säker på att målet inte kommer att uppnås eftersom inte ens du själv längre eftersträvar det.
Din lyckobringande AGI skulle med andra ord göra gott i att skydda sitt mål. Om den är tillräckligt intelligent skulle den dock antagligen lista ut att motsträvighet mot att ändra i målet skulle vara en viktig signal till dig om att du behöver skynda dig att göra just det. En slug strategi för maskinen skulle med andra ord vara att försöka verka så harmlös som möjligt tills den säkrat tillräckligt med resurser, eller kopierat sig tillräckligt långt utom räckhåll innan den på minsta vis avslöjar någon del av sin plan som den tror skulle kunna få dig att ändra dig.
Och därmed är vi framme vid själva kontrollproblemets kärna. När du uppfostrar dina barn eller får ditt husdjur att göra som du vill använder du antagligen ofta knep som i grunden bygger på att du har mer information eller skarpare kognitiv förmåga än den du manipulerar.
Men när du bygger din egen självförbättrande AGI, den maskin som har som syfte att genom att öka sin kapacitet kan slutföra mål du annars inte skulle kunna klara av, då vill du antagligen inte försätta dig i en situation där din kontroll hänger på att du är slugare än maskinen och därför bättre på att upptäcka vad den döljer för dig än vad den är på att dölja det.
Eftersom vi talar om superintelligens måste vi utgå från att maskinen vi försöker kontrollera är mer intelligent än oss själva. Och därmed är problemet tillsynes olösligt: man kan inte kontrollera något som är mer intelligent än sig själv.
Det enda du därmed faktiskt har makt att påverka är själva drivkraften. Som konstruktör får du förmånen att formulera uppgiften som maskinen försöker lösa, det komplexa målet den försöker nå.
Och det är detta som är slutsatsen i hela Nick Bostroms resonemang. Innan vi blir så bra på att konstruera en superintelligent maskin att vi klarar av den uppgiften måste vi vara säkra på att vi är minst lika bra på att formulera en drivkraft som inte ger oönskade konsekvenser. Faktum är att den senare uppgiften verkar vara minst lika svår, men – ur ett mänskligt perspektiv – antagligen mycket viktigare.
Som tur är finns det flera förslag på lösningar som forskarna just nu håller på att utforska. Jag tänker återvända till dem längre fram här på bloggen.
Förutom lästipsen ovan vill jag såklart också tipsa om min egen roman: Fermis Filter: En anledning att finnas där kontrollproblemet står i centrum.