Att byta inriktning efter en längre tid på samma team kan vara motiverat av flera faktorer. Efter många år inom ett specialområde kan känslan av att ha nått en viss senioritet och mättnad uppstå. Det kan leda till en önskan att pröva något nytt och att utmana sig själv genom att byta fält. En tanke som inspirerat många är idén om att det är möjligt att bemästra upp till 11 olika områden under sin livstid om man lägger ner sju år på varje. Detta skifte kan således betraktas som ett steg mot att testa sina vingar inom ett nytt och växande område.
Det finns starka argument för att stanna kvar inom sitt specialområde, eftersom kapitalismen och forskarvärlden ofta belönar specialisering. Dock kan erfarenheten från robotik till stor del vara tillämplig även inom AI-säkerhet. Många som gjort denna övergång har redan följt utvecklingen inom AI-säkerhet under en längre tid och börjar således inte helt från noll.
Inom robotik har förstärkningsinlärning (reinforcement learning) varit ett centralt fokusområde, uppskattat för dess generaliserbarhet och potential att överträffa mänsklig förmåga. Dock ligger den verkliga utmaningen nu i att hantera de etiska och säkerhetsmässiga aspekterna av allt kraftfullare AI-system. Medan robotiken ofta ställs inför den fysiska världens begränsningar, blir mjukvarubaserade agenter allt mer avancerade, vilket skapar ett behov av att förstå och hantera dessa nya utmaningar.
En intressant observation är att alla framgångsrika teknikföretag sannolikt kommer att utvecklas till AGI-företag (Artificial General Intelligence). Om AI-system tar över allt mer av det grundläggande kunskapsarbetet, blir djup domänexpertis avgörande för att vägleda och utvärdera dessa system. Att byta inriktning till AI-säkerhet ger en möjlighet att bygga upp denna expertis i god tid.
Det är viktigt att skilja mellan forskningsfältet AI-säkerhet och den bredare AI-säkerhetscommunityn. Många inom fältet har haft viss kontakt med communityn, främst genom att läsa inlägg på forum som LessWrong och AI Alignment Forum, men ser sig inte nödvändigtvis som en del av rörelsen. Istället ligger intresset i själva forskningsfrågorna snarare än i den omgivande kulturen.
Grundläggande övertygelser kring AI-säkerhet kan sammanfattas i några punkter. Holden Karnofsky argumenterat kan AI behöver inte nå mänsklig nivå på alla områden för att vara transformativ. Ett företag med resurser att träna en avancerad AI kan exempelvis köra miljontals kopior av den, vilket ger en enorm skalbarhet. Hittills har många säkerhetsproblem lösts av marknaden, där företag måste göra sina AI-produkter tillräckligt pålitliga för att kunder ska vilja använda dem. Det finns dock en oro för att jakten på de bästa modellerna går för fort, på bekostnad av noggrann säkerhetsutvärdering.
AI-säkerhetsforskningen har tidigare varit mer teoretisk, vilket avskräckte många från att ge sig in i fältet. Idag finns dock mer praktiskt orienterad forskning som passar en bredare skara forskare och ingenjörer. Detta inkluderar utveckling av bättre utvärderingsmetoder och förståelse för hur man styr interna representationer i AI-modeller.
Kritiken har ibland varit att mycket AI-säkerhetsarbete hittills har varit antingen verkningslöst eller inte särskilt annorlunda från vanlig AI-forskning. Ändå har skalingslagar, som är centrala för dagens stora språkmodeller, utvecklats av säkerhetsmotiverade forskare. RLHF-tekniker (Reinforcement Learning from Human Feedback) har lett till framsteg som ChatGPT, och bättre utvärderingsdataset har bidragit till snabbare förbättringar av modeller, även om säkerhetsgarantier saknas.
En intressant tanke som framförts av Ilya Sutskever är att "alla framgångsrika teknikföretag kommer att bli AGI-företag".
Trots dessa utmaningar anses de flesta som arbetar med AI-säkerhet vara genuint engagerade, även om de ibland kan vara osäkra på exakt hur deras arbete bidrar till säkerhet. Att sikta mot säkerhet, även med osäkerhet kring metoderna, ses som bättre än att inte bry sig alls.
Fältet för AI-säkerhet är hett just nu, och det är många som vill vara med och säkerställa att utvecklingen sker på ett säkert och pålitligt sätt. Det finns dock en risk att vi går in i en ny AI-vinter, vilket skulle kunna förändra landskapet och leda till en omprövning av beslutet att fokusera på AI-säkerhet. Trots detta är många övertygade om att frågan om hur vi skapar AI-system som fattar bra beslut kommer att vara en av vår tids viktigaste utmaningar.
Oavsett vad framtiden bär med sig är det tydligt att AI-säkerhet kommer att spela en avgörande roll i utvecklingen av framtidens AI-system. Det är en utmaning som många inom fältet ser fram emot att ta sig an.
