Johan Ågren skrev:De "onda" lägger således sitt krut på att rusta upp sig till den dagen fusionskraften är färdig, och då slår de till, och genom sitt strategiska försprång så tar de fusionskraften ur händerna på de goda och brukar den i sitt onda syfte.
Ja så skulle det kunna gå till. Men det är då inte något unikt för bara fusionskraften.
Det är sant, det gäller inte bara fusionskraften utan även det mesta som människor idag skulle kunna ägna sig åt. Men inte
allt som människor idag skulle kunna ägna sig åt. Se nedan.
Det tänkandet skulle i så fall lamslå alla framsteg som kunde bli potentiella vapen i någon annans händer.
Det skulle (om jag fick bestämma) inte få lamslå friendly-AI-forskningen, ty utan den finns det inget som förhindrar att unfriendly AI tas fram, och unfriendly AI måste till varje pris förhindras. Det skulle därför inte heller få lamslå den infrastruktur, matproduktion, energiproduktion och annat som behövs för att maximera differensen mellan [hastigheten på "de godas" framtagande av friendly AI] och [hastigheten på "de ondas" framtagande av unfriendly AI]. Jag tror inte att försök att ta fram fusionskraft tillhör det som skulle maximera den differensen. Väldigt många fler människor borde enligt min åsikt syssla på heltid med att ta fram friendly AI. Dessa människor måste naturligtvis kunna äta, sova, kommunicera med varandra, få energi till sina datorer, uppvärmning av de lokaler de håller till i, etc., för att kunna ta fram någon friendly AI inom optimalt kort tid, så att risken för att unfriendly AI hinner före minimeras. Men det är sant att det mesta som vi idag tar för givet att människor ska göra går bort, om mänskligheten gör som jag föreslår.
Tidsperspektivet är viktigt. Unfriendly AI kan mycket väl hinna dyka upp innan någon fusionsforskning gett något revolutionerande resultat, om mänskligheten från och med nu/snart satsar stort på fusionsforskning. Hade det funnits mycket goda chanser för fusionsforskning att ge revolutionerande resultat redan inom två tre år hade jag nog varit positivt inställd till storsatsning på fusionsforskning. Då hade sådan nog gynnat friendly-AI-forskningen mer än den hade gynnat unfriendly-AI-forskningen. Rör det sig om tio år eller mer, känns detta mycket mindre säkert. Vad hade du själv tänkt om saken om det hade rört sig om 100 år? Alltså om man hade vetat att de närmaste 100 åren av fusionsforskning (även väldigt intensiv sådan) skulle ha inneburit enbart kostnader, och inga energivinster, för mänskligheten eller för någon samling "goda" människor (men att det i längden skulle visa sig ha lönat sig att ta fram fusion, i de scenarior där mänskligheten överlevt i 100 år från nu)? Skulle du då fortfarande ha varit för fusionsforskning?
Om tv-tävlingen jag gjorde en liknelse till hade varit sådan att du bara hade behövt slå in en tvåsiffrig kod för att få tag på en syl, och om det var nästan garanterat att det fanns en kod som gav dig tillgång till en syl, och om du hade skäl att tro att du efter inknappandet av rätt tvåsiffrig kod skulle få tag på en syl flera
minuter (och inte bara ett par sekunder) innan jag får tag på en syl,
då vore det säkert bäst för dig att försöka slå in rätt kod istället för att försöka knyta upp knutarna på ditt snöre med enbart fingrar och tänder. Då hade tv-tävlingsliknelsen avspeglat ett scenario där fusionskraft skulle gå fort att ta fram (t.ex. på bara två tre år).
Det är inte tillräckligt att fråga om "man" bör satsa på att ta fram fusionsenergi utan att specificera vilka och hur många det är som kommer att rätta sig efter vad man svarar på den frågan. Jag tror att frågor av typen "vad bör man göra?" har väldigt olika svar beroende på hur
många och
vilka man förutsätter att ordet "man" i frågan syftar på. Om de syftar på precis
alla människor, då är väl saken mer eller mindre biff, för då antar jag att svaret blir att alla människor i världen som är intresserade av programmering helt enkelt bör sätta sig och programmera friendly AI medan alla som inte är intresserade av programmering bör serva de förstnämnda på alla de optimala sätten - som bland annat kanske skulle innebära en storsatsning på att ta fram fusionskraft, vad vet jag. Men det förutsätter ju att den som ska svara på frågan är hyfsat säker på att verkligen
alla (eller åtminstone nästan alla) människor skulle göra som han svarade, så att ingen med alltför stor sannolikhet skulle ta fram unfriendly AI i ett sådant scenario. Om ordet "man" i frågan "vad bör man göra?" syftar på endast t.ex. västvärldens politiker, eller de flesta västerlänningar, eller filosofiforums medlemmar, eller någon annan grupp som inte tillnärmelsevis utgör hela mänskligheten, ja då bör denna grupp människor ta hänsyn till den med stor sannolikhet stundande AI-kapplöpningen mellan "de onda" och "de goda", och då går fusionsforskning och mycket annat bort, vad jag kan se.
De krav som ställs på oss är således att värna alla variabler av en utvecklingsprocess, så att detta inte kan ske. DVS att inte utveckla fusionskraft under sådana förutsättningar där detta problem kan uppstå. Einstein med kollegor agerade således felaktigt när de tog fram teorier som sedan resulterade i att de onda börade klyva atomer. Alternativt så var de onda själva.
Att Einsteins och hans kollegors forskning skulle komma att i så hög grad främja en snabb utveckling av kärnvapen, var det något Einstein och hans kollegor kunde förutse utifrån den information de hade? Om svaret på den frågan är ja, borde de nog istället ha använt sina skarpa hjärnor till något som skulle ha medfört en bättre balans mellan "goda" och "onda" i världen än vad de insåg att kärntekniken skulle medföra. Det finns en avgörande skillnad mellan AI-kapplöpning och kärnvapenkapplöpning: AI-kapplöpning kan om bara några årtionden sluta med att någondera parten slutgiltigt
vinner och kan skapa en fantastiskt lycklig framtid (jämfört med om AI inte hade tagits fram alls). Kärnvapenkapplöpning har bara
förlorare (jämfört med om kärnvapen aldrig hade tagits fram).
De som kom på att man kunde jaga med spjut skulle aldrig ha visat det för de andra i lägret, helt enkelt. :)
Jodå, det är en annan sak, för på den tiden då vi jagade med spjut stod inte mänsklighetens hela framtid och föll med någon teknik som realistiskt kunde förväntas komma inom rimlig tid. AI kommer med mycket stor sannolikhet inom några årtionden att vara ett hot mot hela mänskligheten. Det kunde spjut aldrig ha blivit med någon nämnvärd sannolikhet.