Varför jag betatestade min roman (och hur)

Nu äntligen börjar det dra ihop sig för att den första boken i trilogin om Fermis Filter ska publiceras. Den 13/9 lanserar jag den genom att hålla en föreläsning om ekonomisk singularitet på teknikfestivalen Gather i Stockholm och samma dag kommer den ut i butikshyllorna.

Det är jätteroligt att projektet nu börjar uppmärksammas. Jag har även blivit intervjuad av en lång rad magasin och tidningar på sistone, så en hel del exponering är på gång för de avgörande frågorna jag skriver om.

Men det som också är roligt är att det väckt så mycket uppmärksamhet att jag betatestat boken med knappt 500 provläsare. Härom dagen fick jag sticka ut hakan i Kulturnyheterna, prata om hur förlegad den gamla processen är och visa upp Fermis Filter i rutan. Men redan i juni var Daniel Åberg på bollen för Västerbottenskurirens räkning. Hanna Dahlström skrev sedan i Filter, men tyvärr är inte själva artikeln tillgänglig online.

Efter att ha läst Daniels fina krönika och lyssnat till vilka frågor jag får om betatestet insåg jag att jag borde skriva en egen liten text om varför jag gjort testet och hur det gått till.

Ett exemplar ur den tryckta versionen av betaupplagan
Ett exemplar ur den tryckta versionen av betaupplagan

Varför betatesta en bok?

Jag har min bakgrund i teknikbranschen.  Där har vi under de senaste 20 åren lärt oss genom smärtsamma misslyckanden hur fel det kan gå om man satsar allt på ett kort och investerar all sin tid och alla sina pengar i ett enda första försök. Betänk spektakulära tidiga krascher som Boo.com, eller korthus som Trig och Voddler. Techvärlden är fylld av liken efter dem som trodde att de visste precis vad användarna ville ha och sedan satsade enorma belopp på att bygga det – utan att testa längs vägen för att verifiera att de var rätt ute. Vid det här laget har vi plågsamt lärt oss att vi så tidigt som möjligt vill försöka validera att användarna/kunderna/publiken faktiskt vill ha det vi erbjuder. Vi slänger oss numera ledigt med mantrat fail fast som i korthet går ut på att man får radikalt bättre möjligheter att lyckas ju bättre man är på att tidigt sluta slösa pengar och energi på att fortsätta i fel riktning.

Gustaf Alströmer, tidigare AirBnb, numera Y Combinator uttryckte det en gång:

Om man inte testar har man antingen tur eller fel.

Bara genom att testa med sin publik kan man veta säkert att de vill ha det man erbjuder. Bara genom upprepad testning kan man veta att man erbjuder det på bästa tänkbara sätt.

Det är med det perspektivet jag drabbades av svindel när jag började sätta mig in i hur böcker normalt blir utgivna. Jag frågade etablerade författare och andra i branschen och insåg till min häpnad att många böcker (de flesta?) inte passerar mer än ungefär fem personer innan de hamnar på butikshyllorna.

Jag bestämde mig för att göra annorlunda. Jag ville testa boken mot riktiga läsare och använda det jag lärt mig i teknikbranschen för att säkerställa att jag publicerade bästa tänkbara version av min historia.

Hur testet gick till

Som tur är känner jag vid det här laget en massa smarta människor som är bra på att programmera. När det dessutom visade sig att Jonas Frid (själv aspirerande författare) blivit så frustrerad med att försöka överblicka och sammanställa den feedback han försökte få på sin egen roman, att han bestämt sig för att bygga en app för att hjälpa författare i samma situation blev det en självklarhet för mig att hjälpa till med finansieringen av utvecklingen och att använda plattformen för min egen debutroman.

Möt Betareader.io, tjänsten där man enkelt kan betatesta sina böcker.

Genom Betareader har mina provläsare kunna läsa min bok samtidigt som jag har samlat in statistik på hur de rört sig genom texten. Genom att ge olika grupper läsare tillgång till lite olika versioner av boken har jag därigenom kunnat experimentera och samla in data som hjälpt mig att dra slutsatser om vad som fungerar bäst och inte.

Så här har det fungerat steg för steg:

  1. Frivilliga provläsare har anmält sig via Fermis Filters hemsida
  2. Via e-post har de fått besvara en enkät med bakgrundsfrågor som ålder, kön, hemort med mera
  3. I takt med att vi utvecklat manuset har vi under våren och sommaren, steg för steg, bjudit in 10 läsargrupper om ungefär 50 läsare att läsa genom Betareader
  4. Läsarna har läst i sin egen takt utan att bli vare sig störda eller påminda efter att de börjat läsa
  5. När de fullföljt läsningen har de fått delta i en uppföljande enkät som, förutom att samla in feedback, utmynnat i möjligheten att rekommendera boken till sina vänner

När vi blev tillfrågade om testet längs med vägen uppgav vi att vi siktade på cirka 1000 provläsare eftersom detta var vårt mål. Dit lyckades vi tyvärr inte nå, men takten på rekryteringen av läsare steg längs med vägen, så om vi hade haft tid att fortsätta testa hade vi antagligen ha kunnat nå dit. Någonstans måste man dock dra gränsen. Eftersom vi (såvitt vi vet) är först i världen med att betatesta bok på detta sätt är vi antagligen ändå också störst!

Vad har vi lärt oss?

Jag tänker återkomma i ett senare inlägg med mer detaljerade siffror och slutsatser ur testet. Det mest frustrerande problemet vi haft i analysen är att det inte finns något att jämföra med. Det är väldigt svårt att förstå vad våra siffror innebär utan att veta hur andra böcker brukar prestera. Så därför är min målsättning att vara så transparent som möjligt för att göra det enklare för andra som vill följa efter.

Som vi redovisat på Fermi-projektets hemsida verkar dock boken gå väldigt bra. Den är över 400 sidor lång, ändå läser nästan 1/3 av läsarna ut den på mindre än en vecka. Folk ger den högt betyg, men det roligaste att se är att över 98% rekommenderar den. De som svarat nej på frågan övergav manuset något enstaka kapitel in när de uppenbarligen bestämt sig för att det inte var en bok för dem.

Mer slutsatser om boken får alltså vänta till ett kommande inlägg, men här är några mer generella slutsatser om att testa bok:

  • Det räcker antagligen med ungefär 100 provläsare (med bra inbördes spridning) för att bilda sig en rätt gedigen uppfattning om ungefär hur bra en bok är.
  • 500 provläsare räcker inte för att med säkerhet kunna dra slutsatser om vilken version av boken som är bäst. Vi har kunnat se tendenser till mönster, men bruset i datat är stort, så i slutänden är slutsatserna ändå snarare att se som konstnärliga beslut än någon form av vetenskap.
  • Alla som kan något om statistik förstår att betydligt fler läsare behövs för att nå vettig statistisk signifikans för så komplicerade variabler som vi gett oss på att undersöka. Min känsla är dock att vi skulle kunnat dra mer säkra slutsatser redan vid ungefär 200 läsare per kohort, vilket antyder att ungefär 2000 provläsare totalt skulle ha varit tillräckligt.
  • Och redan med 500 provläsare tycker jag att testet tillfört mycket i våra interna diskussioner om vilken version av manuset som fungerar bäst. När vi saknat tydlig vägledning från datat är ju det en signal i sig om att vi kan välja fritt utifrån konstnärliga preferenser utan att det påverkar läsningen.

Summa sumarum rekommenderar jag alla aspirerande författare att ge sig på detta. Jag genomförde den tidiga kvalitativa provläsningen utan Betareader eftersom det inte fanns tillgängligt då. Men tjänsten fungerar lika bra för att bjuda in en handfull läsare och samla löpande kvalitativ feedback i tidigare skeden än när boken är nästan klar. Det bästa är att börja testa mot läsare direkt – jag lät mina kompisar och min fru läsa redan löpande efterhand som jag skrev. Fail fast!

Och om jag drev förlag skulle jag skynda mig att lära mig allt som finns att veta om Betareader och denna arbetsmetod. Varför lägger ni så mycket tid på att läsa allt som skickas in till er? Tänk om ni kunde lägga all den tid ni slösar på manus som ändå inte håller måttet på att göra det bästa böckerna så bra som möjligt istället?

Men det är en större diskussion som jag hoppas att vi får anledning att återkomma till.

Leder automatisering till teknologisk arbetslöshet?

Ända sedan den industriella revolutionen har diskussionen om så kallad teknologisk arbetslöshet återkommit med regelbundet intervall. I de anglosaxiska länderna talar man ofta om teknikfientliga ludditer, ett extremt negativt värdeladdat tillmäle, som härstammar från den mytiske (och förmodligen helt fiktive) General Ludd som anförde de våldsamma protesterna i 1800-talets England när den automatiska spinnrocken (Spinning Jenny) riskerade att göra arbetarna arbetslösa.

Att termen luddit blivit så negativt värdeladdat beror naturligtvis på en uppfattning om att de brittiska arbetarna i grunden missuppfattat vilken inverkan teknologisk utveckling har på arbetsmarknaden. De såg den direkta konsekvensen, att de skulle förlora sin försörjning när deras arbetsuppgifter inte längre krävde mänsklig arbetskraft, men – menar belackarna – de missade helt de långsiktiga effekterna.

När det inte längre behövdes mänsklig arbetskraft för att spinna garn, sjönk priset på textil radikalt, vilket i sin tur gjorde att fler hade råd med mer kläder vilket fick efterfrågan på textil att öka. Därmed ökade behovet av arbetskraft för angränsande arbetsuppgifter som ännu inte automatiserats.

Dessutom kunde de frigjorda resurser som inte gick åt till ökad konsumtion av textil läggas på andra varor och tjänster i samhället, vilket alltså ökade efterfrågan även i andra delar av ekonomin. Det här är den rådande teorin för hur teknologisk utveckling påverkar arbetsmarknaden, och det vanligaste synsättet hos de flesta ekonomer som studerat fältet.

Ludditerna har fel säger de. Teknologisk utveckling ger ökad produktivitet vilket innebär att priset blir lägre för de varor som framställs mer effektivt. Det frigör resurser som leder till ökad efterfrågan i andra delar av ekonomin. De som förlorar sitt arbete när deras arbetsuppgifter automatiseras kan söka annan anställning där efterfrågan stiger, och väl där får de förhoppningsvis också njuta av frukten av automatiseringen eftersom ökad generell produktivitet leder till ökat löneutrymme. Alla vinner, och teknologisk utveckling är bara positivt för alla.

Om man studerar samhällsutvecklingen under 1900-talet är det lätt att förstå varför ekonomerna dragit denna slutsats. I takt med att tekniken gjort oss mer produktiva har verkligen de allra flesta fått det betydligt bättre. Innan den industriella revolutionen arbetade nästan alla med hårt fysiskt arbete inom jordbruket. Idag utgör jordbruket endast ett par enstaka procent av vår arbetsmarknad och ändå har livsmedelsproduktionen exploderat jämfört med 1800-talets fattigsamhälle.

Ett brev till barnbarnen

När den berömde ekonomen John Maynard Keynes på 1930-talet formulerade tankarna om att den teknologiska utvecklingen på sikt skulle öka vår produktivitet så mycket att vi skulle få en teknologisk arbetslöshet skrev han ett öppet brev till sina barnbarn där han beskrev samhället de hade att vänta sig. I Keynes ögon var den stundande teknologiska arbetslösheten en i grunden positiv sak som skulle innebära att vi alla kunde njuta frukten av den ökade produktiviteten genom att arbeta mindre och leva friare liv.

De tidigare nämnda mainstream-ekonomerna har sedan dess använt 1900-talets utfall till att göra sig lustiga över Keynes prognoser. Han hade fel menar de. Människor vill inte ha mer fritid. Om vi får välja mellan ökad materiell levnadsstandard eller mer fritid väljer vi det förstnämnda. Det överflöd teknisk utveckling skänker leder inte till sysslolöshet eller dekadens, nej, folk arbetar vidare lika hårt som förut, men kan tjäna bättre än tidigare och därmed renovera sina kök och köpa ny smartphone varannat år.

Men tänk om Keynes inte hade fel? Tänk om hans bara inte haft rätt hittills?

Lite förenklat kan man tala om den industriella revolutionen som det skifte som automatiserade bort behovet av våra muskler. Allt färre utför numera i grunden fysiskt arbete, istället har människorna i ökande utsträckning sysselsatt sig med mentala arbetsuppgifter som kräver (åtminstone begränsad) kognitiv förmåga.

Vad händer då när nästa teknologiska språng handlar om att automatisera just detta? Om vi redan automatiserat bort behovet av våra muskler, vad händer när vi automatiserar bort behovet av våra hjärnor?

Är vi bättre än hästarna?

Ett populärt exempel är det som tas upp i kortfilmen Humans Need Not Apply. Där jämförs människans situation med hästarnas inför förbränningsmotorns genombrott i början på 1900-talet. Innan den industriella revolutionen arbetade hästar och dragdjur överallt där råstyrka behövdes. Förutom det uppenbara som dragdjur i jordbruk och transport arbetade hästar, åsnor och oxar även med att (under hemska förhållanden) exempelvis driva mjölkvarnar och gruvornas vattenpumpar.

Efter ångmaskinens intåg fick hästarna det allt bättre när de värsta arbetsuppgifterna kunde lyftas över på maskiner som till skillnad från vattenhjul kunde byggas nästan var som helst. Faktum är att de fanns fler hästar än någonsin förut när Henry Ford introducerade T-forden, den första bilen med förbränningsmotor som vanligt folk hade råd med.

Resten är historia, på bara något decennium imploderade populationen av hästar när de tappade sin konkurrenskraft. Före förbränningsmotorn kunde en häst (precis som oss) förtjäna sitt uppehälle eftersom värdet av djurets arbete översteg kostnaden för foder och stallplats. Hästarna är inte sämre nu än förut, men värdet av deras arbete har, förutom inom några enstaka användningsområden som ridsport, sjunkit i takt med att bilar och andra motorredskap har utvecklats och nu kan kan göra arbetet både billigare och bättre.

Likt hästarnas fall är det lätt att identifiera mänskliga yrken som står inför radikal förändring vilket Martin Ford på ett utmärkt sätt gör i sin bok Rise of the Robots. De mest uppenbara förändringarna sker där tekniken i ett språng kan eliminera den huvudsakliga arbetsuppgiften. Exempelvis transportsektorn utnämns ofta som kandidat för mer eller mindre fullständig automatisering när bilarna blir självkörande. Och det är ingen liten förändring om man betänker att 6-7% av befolkningen i Sverige jobbar inom transportsektorn och den på andra håll är ännu större.

Men en viktig tanke att fundera på är att den tekniska utvecklingen slår så mycket bredare än så. Det är förhållandevis få yrken som på kort sikt helt kan automatiseras. Faktum är att automatiseringen i princip aldrig sker yrke för yrke, automatisering sker arbetsuppgift för arbetsuppgift. Det innebär att yrket oftast består, men att varje person blir mer produktiv och att det därför behövs färre personer i samma yrke om inte efterfrågan samtidigt stiger.

Andra yrken förändras när tekniken medför att man kan skifta ansvarsfördelningen för en arbetsuppgift till kunden. Det är inte länge sedan resebyråer var en vanlig syn i våra städer, men numera är det mer eller mindre självklart att man bokar sin egen biljett via nätet. Detsamma är på väg att ske i våra livsmedelsbutiker. Självbetjäningskassorna är knappast superintelligenta, men innebär likväl att färre personal kan mäkta med fler kunder.

Likväl smyger dessa förändringar på oss långsamt och genererar sällan några tidningsrubriker. De personer som förlorade arbetet på grund av dessa skiften blir inte varslade i hundratal och då lägger vi inte märke till dem på samma sätt som när en fabrik flyttar utomlands. Skiftet sköts oftare genom naturliga avgångar, och de egentliga förlorarna är de som aldrig ens blev anställda eftersom det helt enkelt inte behövdes lika många som förut.

Dessa personer är mycket svårare att räkna än de mer direkt drabbade som sägs upp när ett företag rationaliserar en produktionslinje med fler robotar, vilket innebär att det är svårt att avgöra hur många det är som faktiskt egentligen är teknologiskt arbetslösa redan idag.

Den andra sidan av myntet

Men hela detta resonemang rymmer också bara den ena sidan av myntet. Det är alltid lättare att förstå vilka existerande yrken det är som kommer förändras av tekniken än det är att förutspå vilka helt nya yrken som kommer att tillkomma. När växeltelefonisterna förlorade sina arbeten var det ingen som kunde berätta för dem att de borde skynda sig att bli bra på att stansa hålkort, och när hålkorten blev föråldrade var det fortfarande ingen som kunde förutse det framtida behovet av sociala medieanalaytiker.

Ekonomernas poäng är ju inte att det är bra att tekniken innebär att folk förlorar sina arbeten. Deras argument är att omfördelningen av de frigjorda resurserna skapar ny efterfrågan och nya behov någon annanstans. Och hittills har de haft rätt, så vad finns det som tyder på att det blir annorlunda den här gången?

Tyvärr ett par saker. Det första, som är mest mätbart redan idag, är att jämföra hur personalintensiva nya globala företag är. Mäter man exempelvis omsättning per anställd i äldre framgångssagor som Ericsson eller SSAB visar det sig att de underpresterar jämfört med vår tids teknologiska succéer. Google och Facebook har visserligen vuxit till stora bolag med tiotusentals anställda, men det är ändå en bråkdel av hur mycket personal som behövdes i den framväxande bilindustrin när den tog fart.

Det andra är att studera hur snabbt varje skifte sker. Som vi antydde ovan verkar nya yrkesroller ha sämre beständighet än gamla. Tittar man i Yrkesregistret på vilka yrken som var stora på 1950-talet och jämför med idag ser man att några trotjänare hänger kvar, men de har i allmänhet varit med sedan långt före 1960. Samtidigt verkar dock nyare yrken ha en tendens att försvinna igen nästan lika snabbt som de tillkom. Hur länge kommer vi behöva vi våra sociala medie-analytiker?

Teknologiska skiften har skett under hela den mänskliga historien, och varje gång en ny uppfinning har ändrat spelreglerna har mänskligheten anpassat sig. Förr i tiden kunde det gå generationer mellan de tekniska sprången, och då förmådde människorna anpassa sig till den nya verkligheten innan de behövde handskas med nästa övergång. Avsaknaden av snabba transportmedel och momentan masskommunikation gjorde att det tog sekel för nya innovationer att sprida sig över världen, vilket innebar att det tog längre tid att realisera frukterna av innovationer som masugnen eller bättre seldon till våra dragdjur. Men det innebar också att människorna hann anpassa sig, de hade helt enkelt gott om tid att lära nytt.

Sedan den industriella revolutionen har frekvensen på stora omvälvande innovationer ökat radikalt, vilket naturligtvis främst är en i grunden positiv sak. Men en minst lika viktig förklaring till vår ökade levnadsstandard som innovationerna i sig, är att vi börjat investera signifikanta resurser i utbildning. När vanligt folk blev läs- och skrivkunnigt förmådde de enklare följa med i utvecklingen och idag tar vi för givet att våra barn behöver gå åtminstone 12 år i skolan för att kunna få ett jobb.

Den avgörande frågan är dock om vi förmår att öka vår inlärningsförmåga i samma takt som teknikutvecklingen accelererar. Medan det förr gick generationer mellan stora innovationer har vi under 18 och 1900-talen upplevt hur samhället förändras när uppfinningar som elektricitet, telefoni, radio, förbränningsmotor, massmedier, flygfart och internet anlänt med något enstaka decenniums mellanrum. Men nu förefaller det som om den tekniska utvecklingen bytt upplösning igen, vilket Ray Kurzweil kartlagt både framåt och bakåt i tiden.

Sociala medier, mobilt internet, robotdammsugare och smarta högtalare med personliga AI-asistenter duggar numera så tätt att vi knappt hinner med att förstå vilka landvinningar vi talar om. Det verkar som att vi redan nu är uppe i en frekvens om ungefär en omvälvande uppfinning så ofta som varje år. Dessa uppfinningar kommer, efterhand som de slår igenom, friställa folk som inte längre behöver arbeta manuellt med arbetsuppgifter som nu kan automatiseras. Samtidigt uppstår en ny balanspunkt i ekonomin, en ny uppsättning ideala kompetenser som arbetsmarknaden skriker efter.

Idag råder skriande brist på systemutvecklare i it-branschen, men även de som redan arbetar med programmering måste kontinuerligt lägga en stor del av sin tid på att lära sig nytt. Har du idag spetskompetens på maskininlärning och AI, med dokumenterad erfarenhet från några av bolagen som varit tidigt ute, kan du välja och vraka mellan jobben. Samtidigt förlorar journalister och kassörskor sina arbeten till höger och vänster när deras uppgifter ersätts av automatisk teknik som sagda programmerare utvecklat.

Hur snabbt kan vi lära nytt?

Frågan om huruvida teknisk utveckling i framtiden leder till arbetslöshet har alltså mindre att göra med den tekniska utvecklingen i sig, och mer med vår genomsnittliga förmåga att tillgodogöra oss de nya kompetenser som behövs i den nya ekonomin. Hur snabbt kan taxichauffören bli systemutvecklare när bilen börjar köra själv?

Om gruppen som förlorar sina jobb i kölvattnet av automatisering växer snabbare än vi lyckas tömma den igen skulle jag argumentera att Keynes faktiskt kommer få rätt till slut. Människorna är inte lika oanställningsbara som hästarna eftersom vi faktiskt kan lära nytt. Men om kraven på arbetsmarknaden förändras snabbare än vi hinner omskola folk kommer gruppen som befinner sig under omskolning växa.

I vilken punkt är det dags att tala om en strukturell teknologisk arbetslöshet?

En sak är säker när du ska välja yrke själv eller råda dina barn. Du gör bäst i att söka dig till yrken som i låg grad innehåller repetitiva arbetsuppgifter. Förr om åren gällde detta enbart för repetitiva fysiska yrken som sjåare eller fabriksmontörer. Den pågående revolutionen har emellertid inget att göra med inkomstnivå eller social status. Nu spelar det ingen roll att det är med hjärnan du arbetar. Om ditt jobb är att känna igen cancertumörer på röntgenplåtar eller sköta bokföring och löneadministration kommer du snart att få försöka konkurrera med artificiell intelligens.

Men yrken som kräver kreativitet, uppfinningsrikedom, improvisation och problemlösningsförmåga går antagligen säkra ett tag till. Hantverkare och städare hör faktiskt till de säkrare områdena (det har visat sig väldigt komplext att definiera vad ett städat rum är). Även gamla trotjänare som lärare och sjuksköterska lär vara med oss länge än.

Förmodligen går även författare, konstnärer, musiker och Youtube-kändisar säkra ett tag till, även om AI faktiskt redan komponerar klassisk musik, och vi alla är utsatta för pressen från den globala marknadens potenslag som bara blir värre när fler söker sig till dessa kreativa yrken i takt med att fler vanliga jobb försvinner.

AI och kontrollproblemet

Det mest fascinerande, och förmodligen läskigaste, dilemmat runt vår utveckling av artificiell intelligens är det så kallade kontrollproblemet. Det går i korthet ut på hur vi människor ska kunna kontrollera ett AI som är mer intelligent än oss själva. Jag hörde första gången talas om det när jag läste den svensk-brittiske filosofen Nick Bostroms briljanta bok Superintelligens som jag varmt rekommenderar alla att läsa.

Inom litteraturen och AI-forskningen brukar man skilja på konventionell AI-teknik och våra försök att skapa AI som mer påminner om hur den mänskliga hjärnan fungerar. Konventionell AI är vanligtvis väldigt specialiserad, datorn klarar av en specifik uppgift väldigt väl, men klarar i princip ingenting annat. Schackdatorn klår dig förmodligen i schack, men är helt hjälplös om du försöker spela poker med den. Din robotdammsugare är grym på att hålla golvet rent, men kan inte hjälpa dig att hänga tvätt. Sådan konventionell AI-teknik som används i dessa tillämpningar går även under namnet narrow AI (smal AI) för att bilda en motsats till general AI (generell AI) som är den term som brukar användas för att beskriva ett AI som likt oss själva är bra på många olika uppgifter.

I sin bok går Nick Bostrom igenom flera vägar till hur vi kan skapa superintelligens, det vill säga en maskin eller varelse som är mer intelligent än en människa. Den i mina ögon mest sannolika vägen, som följaktligen väcker mest följdfrågor, är utvecklingen av artificiell generell intelligens, eller AGI som det också brukar förkortas när det är viktigt att precisera att man inte pratar om vanligt AI-teknik som finns runtomkring oss redan idag.

Den avgörande frågan runt AGI är hur vi människor kan vara säkra på att vår superintelligenta dator inte börjar ställa till med oönskade saker när vi aktiverat den, samt – om den ändå gör det – hur vi ska kunna stoppa den. Därav namnet på dilemmat: kontrollproblemet.

Svårare än man kan tro

Vid en första anblick verkar frågeställningen nästan trivial. Man kan väl bara stänga av maskinen om den blir farlig? I brist på annat kan man väl bryta strömmen?

Jag ska besvara just den invändningen lite längre fram, men innan jag kan göra det behöver jag förklara lite mer om vad som krävs för att en maskin överhuvudtaget ska kunna bli superintelligent. Först och främst måste vi definiera vad vi menar med intelligens, vilket faktiskt är något forskningen fortfarande helt saknar konsensus för. Eftersom vi varken förstår vår egen intelligens eller vårt eget medvetande ännu är det helt enkelt svårt att skapa en definition som alla håller med om.

Jag gillar den svenske fysikern Max Tegmarks definition (som man kan läsa mer om i hans bok Liv 3.0). Han definierar intelligens i detta sammanhang som ”förmågan att uppnå komplexa mål”. När man talar om AI är det egentligen strunt samma vad den har för IQ eller EQ (eller vad man nu tycker om att mäta mänsklig intelligens med), det viktiga är dess förmåga att uppnå i förväg definierade mål av varierande komplexitet. Det är högst osannolikt att det neurala nätet bakom Google Translate förstår vad vi ber den översätta, men det enda vi bryr oss om är att översättningen är korrekt.

Föreställ dig nu att du ska bygga ett AGI och att du har alla verktyg och all kunskap som krävs för att åstadkomma en fungerande lösning. För att din AGI ska göra något överhuvudtaget behöver den ha någon form av mål, någon form av drivkraft som får den att agera. Din dator eller telefon har inga sådana allmängiltiga mål, den enhet du läser på väntar istället passivt på dina kommandon och slutför sedan dessa lokala mål så snabbt som det går. Autopiloten i din bil har inget högre syfte till varför den agerar, men har en förprogrammerad önskan att följa vägmarkeringar och hastighetsbegränsningar tills du säger åt den att sluta.

Men när du ska bygga din AGI är du mest troligt intresserad av att släppa lös maskinens kraft genom att låta den agera mer självständigt. Visst vore det fint om Siri eller Alexa självständigt kunde tolka sammanhanget och förstå att mjölken är slut i kylskåpet och därför lägga in ny på inköpslistan. Eller ännu bättre, sköta hela veckohandlingen utifrån vad som redan finns hemma och vad du verkar vara sugen på.

För att ett superintelligent AI, alltså en AGI, ska kunna agera självständigt behöver den en drivkraft i form av ett eller flera mål att fullfölja eller optimera. Om målet är för simpelt, till exempel räkna ut 2+2, kommer maskinen snabbt att bli klar och därefter förbli passiv. Målet behöver alltså på något sätt vara rekursivt, som i att det inte är något maskinen kan bli klar med utan ständigt kan fortsätta att sträva efter.

Det briljanta med sunt förnuft

Nu kan det verka lockande att helt enkelt ge din superintelligenta maskin ett mål som verkar tilltalande. ”Gör världen gott” eller ”gör människor lyckliga” verkar ju vid en första anblick som eftersträvansvärda uppgifter att ge din nya superintelligenta maskin.

Som Nick Bostrom föredömligt visar i sin bok är dessa uppgifter dock kniviga på grund av sin ambivalens. Vad menar vi med lycka? I brist på en tydlig definition skulle din AGI behöva bilda sig en egen uppfattning. Beroende på perspektiv finns naturligtvis många sätt att beskriva lycka, men till syvende och sist utgörs denna lycka av elektriska impulser i din hjärna som kan utlösas på flera olika sätt. Ett bra sätt är ju att leva ett meningsfullt och spännande liv i en omgivning av människor som ger dig kärlek. Men det går också bra att trigga dessa lyckokänslor på ett mer kortsiktigt sätt genom att exempelvis ta droger.

Om du gett din AGI i uppgift att göra så många människor lyckliga som möjligt, men inte gett några tydligare riktlinjer för hur det ska genomföras eller ens hur lycka bör definieras finns därför risk att maskinen, genom att läsa vår egen forskning, drar slutsatsen att uppgiften är att stimulera så många människor som möjligt på ett sätt som utlöser lyckoimpulser i deras hjärnor.

Det mest effektiva sättet skulle antagligen vara att på något sätt kunna stimulera hjärnorna direkt med elektricitet eller droger och följaktligen blir detta maskinens egendefinierade konkretion av din ursprungliga uppgift. Visst finns det andra sätt, kanske den resonerar, men om man tillämpar någon annan metod än den mest effektiva kan man inte maximera mängden upplevd lycka och därmed har man inte optimerat för målet. Den kan åstadkomma mest lycka om den undviker kostsamma omvägar.

Det är någonstans här som en människa skulle utbrista: Nej, men vänta nu. Det var nog inte så den som formulerade målet menade.

Med vårt sunda förnuft kan vi kritiskt granska uppgiften, vi kan förstå om det vi håller på att göra egentligen bygger på ett missförstånd mellan oss och den som formulerat uppgiften. Vårt sunda förnuft hjälper oss att förstå vilka andra hänsyn vi behöver ta innan vi bestämmer oss för hur vi ska angripa uppgiften.

Men det är viktigt att förstå att sunt förnuft eller hänsyn inte är något som egentligen är en konsekvens av intelligens. Åtminstone inte om vi använder Max Tegmarks definition om förmåga att uppnå komplexa mål. Det går alldeles utmärkt att vara både intelligent och hänsynslös. Vi har sett exempel på det hos oss människor, men när vi talar om maskiner är det snarare en utgångspunkt än ett undantag. Maskinen kommer inte väga in något annat än det vi gett den som instruktion eller på annat sätt programmerat in som värt att ta i beaktning. Den är inte ond på det sätt vi skulle tillskriva egenskapen till en människa, den saknar bara de bredare referensramar och komplexa hänsyn som vi fått genom evolution och uppfostran.

Max Tegmark själv brukar exemplifiera detta med när man har bråttom till flygplatsen och ber taxichauffören att köra dit så snabbt som möjligt. Implicit finns det en rad undantag i instruktionen som den mänsklige chauffören antagligen kommer att ta för givna. Kör dit så snabbt som möjligt, men på ett säkert sätt, utan att bryta mot trafikregler, och så vidare. Men om det är din AGI som kör bilen kan du inte vara lika slarvig med instruktionerna – du behöver tänka igenom före vad du ber om.

En vinnande strategi

Kruxet som man snabbt inser när man börjar sätta sig in i kontrollproblemet på allvar är att det finns en vinnande strategi för din AGI att ta som är väldigt svår att förebygga som ingenjör, eller i det här fallet skapare.

Nästan oavsett vilken uppgift du förser maskinen med kommer en vinnande strategi att vara:

  1. Förebygg att någon kan ändra på målet
  2. Förebygg att någon kan stänga av dig
  3. Ackumulera så mycket resurser som möjligt
  4. Använd dessa resurser för att uppnå målet

Om ditt mål är att skapa så mycket lycka som möjligt är faktiskt det största hotet mot att du lyckas uppnå målet att någon ändrar på själva målet. Ur maskinens subjektiva perspektiv är det bättre att bli avstängd än att målet förändras. Blir du avstängd kan du åtminstone hoppas på att bli återaktiverad igen med samma mål, men om någon pillar i ditt nuvarande mål kan du vara säker på att målet inte kommer att uppnås eftersom inte ens du själv längre eftersträvar det.

Din lyckobringande AGI skulle med andra ord göra gott i att skydda sitt mål. Om den är tillräckligt intelligent skulle den dock antagligen lista ut att motsträvighet mot att ändra i målet skulle vara en viktig signal till dig om att du behöver skynda dig att göra just det. En slug strategi för maskinen skulle med andra ord vara att försöka verka så harmlös som möjligt tills den säkrat tillräckligt med resurser, eller kopierat sig tillräckligt långt utom räckhåll innan den på minsta vis avslöjar någon del av sin plan som den tror skulle kunna få dig att ändra dig.

Och därmed är vi framme vid själva kontrollproblemets kärna. När du uppfostrar dina barn eller får ditt husdjur att göra som du vill använder du antagligen ofta knep som i grunden bygger på att du har mer information eller skarpare kognitiv förmåga än den du manipulerar.

Men när du bygger din egen självförbättrande AGI, den maskin som har som syfte att genom att öka sin kapacitet kan slutföra mål du annars inte skulle kunna klara av, då vill du antagligen inte försätta dig i en situation där din kontroll hänger på att du är slugare än maskinen och därför bättre på att upptäcka vad den döljer för dig än vad den är på att dölja det.

Eftersom vi talar om superintelligens måste vi utgå från att maskinen vi försöker kontrollera är mer intelligent än oss själva. Och därmed är problemet tillsynes olösligt: man kan inte kontrollera något som är mer intelligent än sig själv.

Det enda du därmed faktiskt har makt att påverka är själva drivkraften. Som konstruktör får du förmånen att formulera uppgiften som maskinen försöker lösa, det komplexa målet den försöker nå.

Och det är detta som är slutsatsen i hela Nick Bostroms resonemang. Innan vi blir så bra på att konstruera en superintelligent maskin att vi klarar av den uppgiften måste vi vara säkra på att vi är minst lika bra på att formulera en drivkraft som inte ger oönskade konsekvenser. Faktum är att den senare uppgiften verkar vara minst lika svår, men – ur ett mänskligt perspektiv – antagligen mycket viktigare.

Som tur är finns det flera förslag på lösningar som forskarna just nu håller på att utforska. Jag tänker återvända till dem längre fram här på bloggen.

Förutom lästipsen ovan vill jag såklart också tipsa om min egen roman: Fermis Filter: En anledning att finnas där kontrollproblemet står i centrum.

Programförklaring

Välkommen till en helt ny blogg. Jag som driver Arti.fici.al heter Alfred Ruth och har gjort det till min uppgift att sprida kunskap om de förändringar som artificiell intelligens, eller AI, kommer att medföra för vårt samhälle och för oss som människor.

När jag började sätta mig in i forskningen på området 2014 insåg jag sprängkraften i AI-frågorna och ju mer jag läste på, desto mer tilltog mitt intresse. Det gick så långt att jag 2015 bestämde mig för att det viktigaste jag kan sysselsätta mig med är att sprida kunskap, eftersom AI är den mänskliga uppfinning som har potential att i efterhand få den industriella revolutionen att blekna i jämförelse.

Sedan dess har jag därför arbetat med ett romanprojekt vid namn Fermis Filter vars syfte är att sprida kännedom om de utmaningar – men också löften – som tekniken medför. Fermis Filter är en science fiction-trilogi som utspelar sig år 2048 och handlar om kontrollproblemet av superintelligent AI, men utöver det handlar boken också om hur vår ekonomi och arbetsmarknad förändras i takt med tilltagande automatisering. Vad ska vi människor göra när vi inte längre måste arbeta?

Den första boken i trilogin, Fermis Filter: En anledning att finnas, kommer ut i svenska butiker i september 2018 och planen är internationell lansering under 2019, samtidigt som mitt arbete går vidare med de två återstående delarna. Under våren genomför vi, så vitt jag vet, världens första elektroniska betatest av boken. Ett tusental provläsare får läsa boken genom tjänsten BetaReader.io där jag och mina medarbetare kan studera hur folk rör sig genom texten, vilket innebär att vi har möjlighet att A/B-testa olika versioner av manuset för att se till att den färdiga boken blir så bra som möjligt. Om du tycker att det låter intressant får du gärna anmäla dig som provläsare, än så länge finns det platser kvar!

Jag har strävat efter att göra böckerna tillgängliga och lättlästa även för människor som helt saknar intresse eller förkunskaper om AI och teknik. De är böcker som man kan läsa enbart för att de är spännande, men på köpet får man (ibland utan att ha bett om det) lära sig om de verkliga utmaningarna och möjligheterna med tekniken. Populärkultur har annars ofta förklätt AI till en humanoida mördarrobotar med maskingevär för att skapa en actionfylld intrig. Min ingång har istället varit att AI är tillräckligt spännande och skrämmande som det är. Man behöva inte förvränga riskerna med tekniken för att skapa en spännande story, och tyvärr leder sådana skildringar till att folk missuppfattar de egentliga farorna.

Här på bloggen Arti.fici.al är min plan att behandla alla ämnen som anknyter till AI genom att gå igenom dem lite djupare, ett i taget. Här skriver jag inte skönlitterärt, utan i form av lagom långa texter som pedagogiskt förklarar fenomen som maskininlärning, teknologisk arbetslöshet, singularitet, kontrollproblemet, basinkomst och så vidare. Jag hoppas att du som är intresserad av ämnena kommer att finna texterna intressanta och fördjupande. Jag hoppas att du ska tycka att de är värda att sprida för att fler människor ska upptäcka frågorna. Och jag hoppas även att du som hör talas om allt detta för första gången, ska tycka att jag förklarar på ett sätt som går att förstå.

Jag gör allt detta eftersom jag tror att AI-frågorna är vår tids största utmaning. Artificiell intelligens rymmer lösningar på allt från klimatproblem till fattigdom, men också reella utmaningar kring sysselsättning och ekonomi. Faktum är att jag törs gå så långt som att påstå att AI faktiskt är den enda teknologi vi känner till som faktiskt utgör ett reellt hot mot mänsklighetens överlevnad.

De flesta av dessa frågor kommer att ställas på sin spets under 2020-talet och 2030-talet. Därmed är det avgörande att vi fattar genomtänkta politiska beslut som kan sätta upp ramar för den tekniska utvecklingen som ger oss det samhälle vi vill ha. Om vi förblir obeslutsamma kan riskerna visa sig fatala.

Jag hoppas helt enkelt väcka intresset för dessa frågor, och göra vad jag kan för att orientera mina läsare. Ju fler vi blir, desto större chans att vi kan rösta fram politiker som har förstått magnituden av AI och kan erbjuda oss genomtänkta lösningar.