AI-governance (regulering)

AI-governance gaat over het vormgeven van lokale en mondiale governancesystemen die de ontwikkeling en het gebruik van bestaande en toekomstige AI-systemen beïnvloeden op manieren die de maatschappelijke resultaten positief beïnvloeden. Dit kan op vele niveaus gebeuren, waaronder normen, beleid, wetten, processen, politiek en instellingen. In deze carrièregids richten we ons vooral op overheidsbeleid, maar lezers moeten in gedachten houden dat bij AI-governance een groot aantal actoren betrokken is.

Samenvatting

• Baankansen met de grootste impact zijn waarschijnlijk te vinden in de VS of Brussel.
• Nederland biedt veel mogelijkheden om bij te scholen in beleid.
• Het belang van het verwerven van carrièrekapitaal wordt vaak onderschat.
• Voor werk in AI-governance zijn reputatie en geloofwaardigheid erg belangrijk.
• Lid worden van een politieke partij en haar agenda vormgeven biedt een laagdrempelige mogelijkheid om een substantiële bijdrage te leveren en te testen of je geschikt bent voor beleidswerk.
• Vaak is het gemakkelijker om eerst technische kennis op te doen en later bestuurlijke vaardigheden te verwerven.

De huidige staat van AI-governance

Helaas lijkt het begrip van AI binnen de Nederlandse publieke sector, en waarschijnlijk in heel Europa, enigszins te ontbreken. Deze situatie creëert echter wel mogelijkheden voor mensen zonder uitgebreide AI-kennis om een zinvolle bijdrage te leveren. Er zijn tal van mogelijkheden om op nationaal niveau aan AI-governance te doen. Omdat er echter geen grote AI-bedrijven in NL zijn, zijn de meest invloedrijke mogelijkheden diegene die op multilateraal niveau werken. We verwachten dat het belangrijkste bestuurswerk zal plaatsvinden in de VS, China of in multilaterale instellingen. De VS is vooral belangrijk vanwege de wereldwijde invloed en de jurisdictie over een groot deel van de AI-industrie, waaronder de beste AI-laboratoria die geavanceerde modellen voor algemene doeleinden trainen (Anthropic, OpenAI en Google Deepmind) en belangrijke delen van de toeleveringsketen voor chips. We raden mensen daarom sterk aan om te overwegen om in de VS aan AI-governance te gaan doen.

Werk op Europees niveau kan ook invloed hebben, zoals blijkt uit het potentiële ‘Brussel-effect’. Dit fenomeen doet zich voor omdat de regelgeving en normen van de EU verplicht zijn voor alle bedrijven, inclusief Amerikaanse en Chinese bedrijven, die hun producten binnen de EU op de markt willen brengen. Daarom is het ook een goede optie om naar Brussel te gaan voor bestuurswerk.

Governance studies

Technische achtergrond

Voor AI-governance zijn er veel universitaire diploma’s die nuttig kunnen zijn. Voor sommige functies kan een technische achtergrond in machine learning, AI-hardware en aanverwante gebieden zeer waardevol zijn. Veel politici en beleidsmakers zijn generalisten, omdat hun rol vereist dat ze in veel verschillende vakgebieden en voor verschillende soorten problemen werken. Dit betekent dat ze vaak vertrouwen op de kennis van experts bij het opstellen en implementeren van beleid voor AI-technologie die ze niet volledig begrijpen. Dus als je hen deze informatie kunt geven, vooral als je vaardig bent in het duidelijk overbrengen ervan, kun je mogelijk invloedrijke functies vervullen.

Andere achtergronden

Hoewel er helaas een gebrek is aan mensen met een technische achtergrond die bij de overheid gaan werken, is het niet nodig om een expert op het gebied van AI te zijn. Relevante educatieve en professionele achtergronden zijn onder andere politiek, openbaar bestuur, rechten, internationale betrekkingen en economie. Een goede optie die kandidaten een uitgebreide achtergrond biedt, is het voltooien van een technische bachelor gevolgd door een master in beleid. De algemene consensus is dat het haalbaarder is om bestuursvaardigheden later in je carrière te verwerven dan technische vaardigheden. Daarnaast kan kennis over AI-besturing buiten het formele onderwijs worden aangeleerd door middel van zelfstudie.

Keuze van universiteit

Voor beleidsgerelateerde banen in Nederland is de keuze van de universiteit niet erg belangrijk, omdat de Nederlandse universiteiten op dit gebied in grote lijnen vergelijkbaar zijn. Maar voor wie naar Brussel wil, wordt vaak de voorkeur gegeven aan afgestudeerden van prestigieuze instellingen zoals Sciences Po, het Europacollege en mogelijk de London School of Economics.

Universitaire graden

Hier is een niet-uitputtende(!) lijst van universitaire opleidingen in NL met betrekking tot technology governance en overheidsbeleid.

Master

(niet gerangschikt, alfabetische volgorde)

• Amsterdam, Universiteit van Amsterdam: Advanced LLM in Technology Governance
• Amsterdam, Universiteit van Amsterdam: MSc Politieke Wetenschappen, Beleid en Bestuur
• Amsterdam, Universiteit van Amsterdam: MA Europees Beleid (Europese Studies)
• Amsterdam, Vrije Universiteit: Master in Bestuurskunde, specialisatie Artificial Intelligence en Governance
• Leiden: MSc Bestuurskunde
• Rotterdam: Mundus Master Overheidsbeleid
• Tilburg: MSc Public Governance: Openbaar bestuur, economie en recht
• TU Delft: MSc Techniek en Beleidsanalyse

Bachelordiploma’s

(niet gerangschikt, alfabetische volgorde)

• Leiden: BSc Liberal Arts and Sciences, Major in Bestuur, Economie en Ontwikkeling
• Leiden: BSc Bestuurskunde
• Tilburg: BSc Bestuurskunde (Nederlands)
• Universiteit Twente: BSc Management, Maatschappij & Techniek

Werkgelegenheid

Belang van Carrièrekapitaal

Het verwerven van carrièrekapitaal is cruciaal voor een succesvolle beleidscarrière. De belangrijkste aspecten zijn het opbouwen van een netwerk en het opbouwen van geloofwaardigheid. Hoewel de meest invloedrijke banen misschien buiten Nederland te vinden zijn, zijn er nog steeds mogelijkheden in het land die kunnen dienen als waardevolle springplank voor toekomstige carrièremogelijkheden. Het traject van AI-governanceregelgeving in Nederland en de EU is onzeker voor de komende jaren, maar veel carrièrekapitaal in beleid lijkt overdraagbaar tussen verschillende rollen. Dit maakt elke beleidsrol potentieel gunstig voor loopbaanontwikkeling. Beginnen in een suboptimale rol om carrièrekapitaal op te bouwen, met de intentie om later over te stappen naar een meer impactvolle rol, is een praktische strategie.

Technologische beleidsrollen en stages in NL en Brussel

Hier is een lijst met plaatsen die beleidsfuncties of stageplaatsen bieden die gerelateerd zijn aan AI of technologie.

NL

• Ministerie van Binnenlandse Zaken en Koninkrijksrelaties
• Ministerie van Economische Zaken
• Autoriteit persoonsgegevens
• Rijksinspectie Digitale Infrastructuur (RDI)
• Nederlands Normalisatie Instituut (NEN)
• Rijks I-stage (of andere Rijkstage)

Brussel

• Blue Book stage
• EU-beurs voor technologiebeleid

Kijk ook op de 80.000 uur vacaturebank voor vacatures op afstand buiten Nederland.

Werken bij de overheid vs. andere plaatsen

Naast werken in de beleidsvorming van de overheid zijn er verschillende andere plaatsen waar je kunt werken, zoals denktanks, onderzoeksorganisaties van de overheid en overheidsinstanties. Voorbeelden hiervan zijn de NL AI Coalition, TNO, of EU AI Board. Hieronder geven we een aantal argumenten die je in overweging kunt nemen als je kiest waar je gaat werken.

Voordelen van beleidsvorming door de overheid

• Werken bij de overheid is misschien beter om een breed netwerk op te bouwen en geloofwaardigheid te creëren.
• In de regering kunnen één of twee mensen op sleutelposities veel uitmaken.
• Binnenkomen bij de Nederlandse overheid is misschien toegankelijker vanwege het over het algemeen lage niveau van AI-kennis daar. Zelfs met een bescheiden begrip van AI kun je waarschijnlijk een positie verwerven en snel vertrouwen winnen.

• Slechts een klein deel van de rapporten van denktanks wordt ook daadwerkelijk gelezen door overheidsfunctionarissen, wat het belang onderstreept van meer AI-veiligheidsexperts direct binnen overheidsfuncties voor een grotere invloed en effectiviteit.

Nadelen van beleidsvorming door de overheid

• Overheden handelen vaak traag, wat frustrerend kan zijn. Daarnaast kan het een uitdaging zijn om overheidsfunctionarissen te overtuigen om proactief te handelen in plaats van alleen maar te reageren, omdat er vaak een voorkeur is voor een afwachtende houding. Er is ook een algemene terughoudendheid om grootschalige risico’s binnen een kort tijdsbestek te overwegen.
• De weg naar impact in overheidsfuncties kan erg ingewikkeld zijn en gaat gepaard met een hoge mate van onzekerheid of een actie daadwerkelijk een positieve impact heeft gehad. Beleidswerk doen brengt het risico met zich mee dat je onbedoeld schade veroorzaakt of bijdraagt aan beleid met negatieve resultaten. Bovendien kunnen de lange feedbacklussen die typisch zijn voor overheidsfuncties het een uitdaging maken om te leren van ervaringen en strategieën effectief aan te passen.
• Persoonlijke geschiktheid is erg belangrijk bij overheidswerk. Deze omgeving is niet ideaal voor iedereen, omdat er vaak veel kantoorpolitiek bij komt kijken en de structuur erg hiërarchisch is.
• Individuen kunnen echter meestal maar voor één regering werken, terwijl onderzoek door denktanks voordelig kan zijn voor meerdere regeringen tegelijk.

Computerbeheer

Computergovernance is het deelgebied van AI-governance dat zich bezighoudt met het controleren en beheren van de toegang tot computermiddelen. De meest capabele AI-systemen van tegenwoordig worden getraind op grote hoeveelheden dure hardware. Omdat deze hardware detecteerbaar is en afhankelijk van een geconcentreerde toeleveringsketen, is het een kans om te bepalen wie toegang heeft tot de mogelijkheden om geavanceerde AI-systemen te trainen. Nederland is de thuisbasis van ASML, een toonaangevende wereldwijde leverancier in de halfgeleiderindustrie en de enige producent van EUV-machines die cruciaal zijn voor de productie van geavanceerde AI-chips. Dit maakt Nederland een veelbelovende locatie voor compute governance. Voor vragen of discussies met betrekking tot ASML kunt u contact opnemen met info@eaeindhoven.nl.

Compute governance is een zeer nieuw en klein gebied, maar zal naar verwachting in belang toenemen. Op dit moment zijn er waarschijnlijk maar heel weinig mensen binnen de Nederlandse en Europese ambtenarij die een goed begrip hebben van computerchips en computerketens. Als je expertise hebt op dit gebied en je op dit terrein begeeft, kan dat dus een grote impact hebben. Een technisch diploma, zoals computertechniek, is zeer geschikt voor dergelijke functies. Een algemeen begrip van de werking van chips, hun productieprocessen en inzicht in de toeleveringsketen van halfgeleiders zou echter ook waardevol zijn.

Burgerparticipatie

Een geweldige kans om nu impact te hebben en wat carrièrekapitaal te vergaren is om lid te worden van een politieke partij. Vergeleken met andere paden in AI-governance kan het relatief weinig moeite kosten om het programma van je politieke partij te beïnvloeden. Dit is vooral een goede optie voor jonge mensen, die vaak wat meer tijd hebben dan professionals in het midden of het einde van hun carrière. Het biedt ook een uitstekend platform voor het leren van waardevolle vaardigheden, zoals effectief communiceren over AI-veiligheid met mensen met beperkte kennis over het onderwerp en constructief omgaan met mensen met tegengestelde meningen. Bovendien kan deze ervaring je algemene begrip van het politieke landschap vergroten en je persoonlijke geschiktheid voor een carrière in de politiek testen.

Veelvoorkomende valkuilen

Op basis van interviews met experts hebben we de volgende valkuilen geïdentificeerd die mensen vaak tegenkomen:

• Niet alle opties overwegen. Veel mensen beperken zich tot banen in hun eigen land, zeer specifieke soorten functies of een beperkt aantal organisaties. Het is een goed idee om veel opties te overwegen en breed te solliciteren.
• Te veel nadruk leggen op het schrijven van onafhankelijke beleidsadviezen op fora of blogs. Het biedt geen voordelen voor je CV of reputatie, wat erg belangrijk is in de beleidsruimte. In plaats daarvan zouden mensen dingen moeten doen die hen een beter carrièrekapitaal opleveren, zoals vrijwilligerswerk doen voor een belangenorganisatie.
• Optimaliseren voor impact in het begin van de carrière. De eerste paar jaar van de meeste carrières zullen vrij weinig directe impact hebben in vergelijking met de rest van de carrière. Mensen moeten zich niet te veel richten op een grote impact in het begin, maar optimaliseren voor de lange termijn. De eerste paar functies moeten sterk gericht zijn op het verwerven van carrièrekapitaal
• Optimaliseren voor status. Veel mensen houden zich bezig met hoe anderen hun baan zien en zijn vaak op zoek naar spannende of prestigieuze functies. Dit moet echter niet de belangrijkste focus zijn bij het maken van carrièrebeslissingen. Het is belangrijk om na te denken over functies die minder glamoureus of interessant lijken, maar een grotere impact of carrièrekapitaal op lange termijn bieden.

Technische AI-veiligheid

Technische AI-veiligheid houdt zich bezig met onderzoek naar technische oplossingen die ongewenst gedrag van AI-systemen voorkomen en het afstemmen van AI-systemen op menselijke waarden. Onderzoek hiernaar wordt voornamelijk gedaan in bedrijven met winstoogmerk, non-profitorganisaties, de academische wereld en door onafhankelijke onderzoekers. Typische resultaten zijn onderzoekspapers, producteigenschappen, softwaretools en technische demo’s. Een belangrijk onderscheid binnen dit vakgebied is dat tussen onderzoekswetenschappers en ingenieursfuncties. Over het algemeen concentreren onderzoekswetenschappers zich op het formuleren van onderzoeksideeën, het ontwerpen van experimenten en analyse, terwijl ingenieurs zich meer richten op implementatie, systeemontwerp en schaalvergroting. Hoewel de grenzen tussen deze rollen vaag kunnen zijn, is het begrijpen van dit onderscheid nuttig voor het ontwikkelen van vaardigheden en carrièreplanning.

Samenvatting

• Voor wie een masteropleiding AI aan de Universiteit van Amsterdam (UvA) wil volgen, kan het voordeliger zijn om te kiezen voor een bachelor in een technische richting, zoals wiskunde, natuurkunde of informatica, dan voor een bachelor in AI. Deze onderwerpen bieden een robuustere basiskennis die voordelig kan zijn voor geavanceerde AI-studies.
• Nederland is niet ideaal gepositioneerd voor toonaangevend technisch AIS-werk vanwege de kleinere schaal en het gebrek aan grote AI-bedrijven, maar het heeft wel mogelijkheden voor ander AI-onderzoek en biedt geweldige onderwijsmogelijkheden.
• Een cruciale carrièrebeslissing op het gebied van AI is de keuze tussen een baan als Onderzoekswetenschapper of als Ingenieur.
• De concurrentie op het gebied van AI-technische afstemming is intens omdat zeer getalenteerde mensen strijden om zeer weinig fulltime functies. Evalueer je sterke punten en bedenk of je op topniveau kunt concurreren. Focussen op een nichegebied waarin je kunt uitblinken, zoals uitblinken in theoretische natuurkunde in plaats van gemiddeld zijn in machine learning, kan een meer strategische aanpak zijn.
• Leesbare resultaten zijn zeer waardevol en kunnen je interesses en vaardigheden laten zien aan potentiële werkgevers.

Technische AI-studies

Mogelijke achtergronden voor technisch onderzoek

Om technisch AIS onderzoek te kunnen doen, is het essentieel om een solide technische basis te ontwikkelen en onderzoeksvaardigheden op te doen. Universitaire diploma’s, vooral diegene die gespecialiseerd zijn in Machine Learning (ML) en AI, zijn effectieve manieren om deze vaardigheden te verwerven. In Nederland zijn verschillende universiteiten en instellingen voor hoger onderwijs die programma’s aanbieden op het gebied van ML/AI. We hebben hier de ons bekende opgesomd, hoewel sommige misschien ontbreken. Daarnaast zijn aanverwante vakgebieden zoals data science of toegepaste wiskunde, die hier niet expliciet worden genoemd, ook het overwegen waard. Daarnaast kunnen diverse disciplines zoals logica, filosofie, ecologie, evolutiebiologie, cognitiewetenschap en neurowetenschap ook veelbelovende bijdragen leveren aan de technische afstemming van AI.

Keuze van bachelordiploma

In tegenstelling tot wat je zou denken, is het misschien niet de beste keuze om een bachelor in AI te volgen. Bacheloropleidingen bereiden studenten mogelijk onvoldoende voor op de technische diepgang die nodig is in sommige masteropleidingen, zoals aan de Universiteit van Amsterdam (UvA), of op technisch onderzoek later. Ook worden concepten uit de bacheloropleiding vaak herhaald in de masteropleiding, waardoor de bacheloropleiding overbodig wordt in termen van vergaarde kennis. Bachelordiploma’s die studenten een meer diepgaande technische opleiding geven, zijn wiskunde, natuurkunde of soms ook informatica. Er is dus geen strikte beste optie voor bachelordiploma’s en verschillende achtergronden kunnen leiden tot succesvolle afgestudeerde studies. Niettemin kunnen masterprogramma’s bepaalde modules of voorkennis vereisen, dus zorg ervoor dat je bachelor dat dekt.

Top universiteit keuze

Hoewel veel universiteiten in NL AI-opleidingen aanbieden, is de UvA de duidelijke koploper op het gebied van deep learning. Het masterprogramma van de UvA rust studenten uit met een robuust technisch begrip van ML en modern deep learning, naast de mogelijkheid om zich te specialiseren in gebieden als natuurlijke taalverwerking (NLP), reinforcement learning (RL) en computer vision (CV). Hoewel andere universiteiten misschien niet kunnen tippen aan de UvA wat betreft expertise op het gebied van deep learning en technische diepgang, bieden ze vaak meer flexibiliteit bij het kiezen van cursussen.

Universitaire graden

Onze topaanbeveling

• Universiteit van Amsterdam:
  MSc Kunstmatige Intelligentie
  

Hier is een uitgebreid overzicht (Lang, 2020), sommige dingen kunnen verouderd zijn omdat het programma blijft evolueren

Andere masterdiploma’s

(niet gerangschikt, alfabetische volgorde)

• Amsterdam, Vrije Universiteit:
  MSc Kunstmatige Intelligentie
  
• Eindhoven:
  MSc Kunstmatige Intelligentie en Technische Systemen
  
• Groningen:
  MSc Kunstmatige Intelligentie
  
• Leiden:
  MSc Kunstmatige Intelligentie
  
• Maastricht:
  MSc Kunstmatige Intelligentie
  
• Radboud:
  MSc Kunstmatige Intelligentie
  
• Tilburg:
  MSc Cognitieve Wetenschappen en Kunstmatige Intelligentie
  
• TU Delft:
  MSc Informatica, Kunstmatige Intelligentie Technologie Track
  
• Utrecht: MSc Kunstmatige Intelligentie

Bachelordiploma’s om te overwegen

Opmerking: We vermelden hier alleen AI-diploma’s, maar raden je aan om ook andere technische diploma’s te overwegen, zoals wiskunde, natuurkunde of informatica (zie bovenstaande discussie).

(niet gerangschikt, alfabetische volgorde)

• Amsterdam, UvA:
  BSc Kunstmatige Intelligentie
  (Nederlands)
• Amsterdam, Vrije Universiteit:
  BSc Kunstmatige Intelligentie
  
• Groningen:
  BSc Kunstmatige Intelligentie
  
• Leiden:
  BSc Data Science en Kunstmatige Intelligentie
  
• Maastricht:
  BSc Informatica en Kunstmatige Intelligentie
  
• Radboud:
  BSc Kunstmatige Intelligentie
  
• Tilburg:
  BSc Cognitieve Wetenschappen en Kunstmatige Intelligentie
  
• Utrecht:
  BSc Kunstmatige Intelligentie
  (Nederlands)

Doctoraat, ja of nee?

Veel mensen die technisch AIS onderzoek willen gaan doen, denken na over de vraag of ze een PhD moeten doen, wat een moeilijke beslissing is. Hier zijn enkele dingen om rekening mee te houden:

• Onderwerp: Als je je richt op een PhD, geef dan prioriteit aan vakgebieden die nauw verband houden met AI-afstemming. Als direct afstemmingsonderzoek niet haalbaar is, overweeg dan om je te richten op onderwerpen die relevant zijn voor afstemming, zoals Large Language Models (LLM’s) of Reinforcement Learning (RL). Computer Vision (CV) kan ook relevant zijn, zij het misschien in mindere mate. Daarnaast zijn er, net als bij de universitaire studiekeuze, ook niet-ML-vakken die een waardevolle bijdrage kunnen leveren aan de afstemming, zoals ontwikkelingsbiologie of neurowetenschappen.
• Compatibiliteit: Onderzoeksvaardigheden kunnen goed worden overgedragen tussen verschillende gebieden, waardoor persoonlijke motivatie en geschiktheid voor de supervisor ook belangrijke factoren zijn om rekening mee te houden.
• Behoefte aan diploma’s: Een PhD is soms nodig voor onderzoeksfuncties bij grote techbedrijven, hoewel deze vereiste varieert van bedrijf tot bedrijf. Voor onderzoeksfuncties is misschien een PhD nodig, maar voor ingenieursfuncties over het algemeen niet.
• Vaardigheden verwerven: Een doctoraat is een geweldige kans om onderzoeksvaardigheden te ontwikkelen, je onderzoeksvaardigheden te vergroten en je aantrekkingskracht op potentiële werkgevers te vergroten. Het kan gezien worden als een onderzoeksbaan op instapniveau.
• Stabiliteit: Een PhD-programma biedt ongeveer vier jaar lang een stabiel dienstverband als onderzoekswetenschapper, in tegenstelling tot banen als onderzoekswetenschapper in de industrie die soms minder baanzekerheid bieden.

Werkgelegenheid

Het gebied van technische AI-veiligheid is momenteel erg kansarm, wat betekent dat zelfs hoogopgeleide mensen moeite hebben om een baan te vinden waar ze een directe impact kunnen hebben. In Nederland is er ook geen groot AI-bedrijf (zoals OpenAI, Google Deepmind of Anthropic), waardoor de kansen op werk nog beperkter zijn. Sommige bedrijven bieden echter banen op afstand aan, waardoor werken vanuit Nederland mogelijk wordt. Bovendien is de 80.000 uur vacaturebank is een nuttige bron voor het vinden van vacatures op afstand. Het betreden van de academische wereld is een andere optie om AI-veiligheidswerk te doen, en Nederland biedt meer mogelijkheden op dit gebied. Onafhankelijk onderzoek buiten gevestigde organisaties of de academische wereld is ook een haalbare weg.

Engineering Banen

Als je een technisch carrièrepad volgt met als doel de overstap te maken naar AI-veiligheidswerk, overweeg dan de voordelen van het opdoen van technische vaardigheden in gewone industriële functies. Technische banen in de industrie bieden een platform om essentiële software-engineering- en machine-learningpraktijken te verwerven, waarbij de nadruk ligt op snelheid, kwaliteit en robuustheid. Als je dit pad overweegt, bekijk dan ook dit
gids voor de overgang van software engineering naar AI-veiligheid
.

Voordelen:

• Technische voordelen:
  • Toegang tot mentorschap en feedback van ervaren ontwikkelaars.
  • Blootgesteld aan goede software engineering en machine learning praktijken in een snelle omgeving.
  • Mentale modellen en probleemoplossende vaardigheden ontwikkelen.
• Niet-technische voordelen:
  • Accumuleer financieel kapitaal voor toekomstige inspanningen en het nemen van risico’s.
  • Leer eigenaarschap te nemen en waarde te leveren voor klanten/bedrijf.
  • Blootgesteld aan agile methodologieën en samenwerking binnen teams.
  • Vermindering van het aantal uren, zodat parttime aan veiligheidswerk kan worden gedaan.
  • Koester pragmatisme in omgevingen met deadlines en beperkte middelen.

Minpunten:

• De relevantie van technische vaardigheden voor veiligheidswerk kan beperkt zijn.
• Het is mogelijk dat commerciële stimulansen in de reguliere industrie niet overeenkomen met persoonlijke leerprioriteiten.
• Risico op waardedrift van technische salarissen en persoonlijke veiligheid.
• Moeite om op de hoogte te blijven van veiligheidsgerelateerde ontwikkelingen met een fulltime baan.
• Vertragingen in de tijd tot impact, wat problematisch kan zijn voor degenen die denken dat we binnenkort Kunstmatige Algemene Intelligentie (AGI) zullen hebben.

Meer in het algemeen heeft het hebben van een fulltime baan voordelen zoals (1) het vermogen om snel te leren en uit te blinken in het werk, (2) het opbouwen van meningen en voorkeuren, (3) omgaan met tegenslagen en mensen, en (4) het leren kennen van verschillende/commerciële omgevingen.

Op het gebied van AI-veiligheid reikt de vraag verder dan ML- en onderzoeksingenieurs en omvat deze ook software- en infrastructuuringenieurs die essentieel zijn voor grootschalige R&D. Veel veiligheidsorganisaties hechten veel waarde aan werkervaring, omdat het een tastbaar bewijs is van technische prestaties en van de bereidheid om een effectieve bijdrage te leveren, waardoor de kosten voor interne bijscholing mogelijk lager uitvallen.

Hieronder staan overwegingen voor het kiezen tussen grote techbedrijven, middelgrote bedrijven en startups. Uiteindelijk hangt deze beslissing af van persoonlijke voorkeuren, carrièredoelen en risicotolerantie.

Grote technologie:

Voordelen:

• Overvloedige hulpbronnen en infrastructuur.
• Gestructureerde trainingsprogramma’s en mentorschap.
• Uitgebreide netwerkmogelijkheden.
• Prestige en merkherkenning.

Minpunten:

• Bureaucratie en mogelijk gebrek aan autonomie.
• Gespecialiseerde functies met mogelijk beperkte blootstelling/diversiteit.
• Concurrerende omgeving met hoge druk.

Middelgrote bedrijven:

Voordelen:

• Flexibiliteit en diverse verantwoordelijkheden.
• Zichtbaarheid en directe invloed op het succes van het bedrijf.
• Dynamische en flexibele werkomgeving.
• Doorgroeimogelijkheden.

Minpunten:

• Beperkte middelen in vergelijking met grotere bedrijven.
• Potentiële instabiliteit van de markt die van invloed is op de veiligheid.
• Netwerkmogelijkheden kunnen beperkt zijn.

Startups:

Voordelen:

• Diverse verantwoordelijkheden en vaardigheden.
• Eigendom, autonomie en potentieel voor eigen vermogen.
• Innovatieve en flexibele werkcultuur.

Minpunten:

• Hoger risico en onzekerheid.
• Beperkte middelen en mogelijk lagere salarissen.
• Beperkt mentorschap.

Industrie en academische wereld

Voor de volgende tips hebben we bedrijven en organisaties geselecteerd met een goede reputatie die waarschijnlijk een stimulerende omgeving bieden voor het opbouwen van vaardigheden en zelfs veiligheidsgerelateerde bijdragen. Kleine tot middelgrote organisaties zijn uitgesloten vanwege de relatief grote variatie in de kwaliteit van hun werk. Natuurlijk zijn er veel geweldige AI-bedrijven en -organisaties die we niet hebben genoemd in deze korte lijst.

Technologie en adviesbureaus:

• Booking.com (Amsterdam)
• Uber (Amsterdam)
• Tom Tom (Amsterdam)
• Qualcomm Onderzoek (Amsterdam)
• Xebia gegevens (verschillende locaties)
• Hugging face (op afstand)

Toegepast en industrieel onderzoek:

• Microsoft Onderzoek (Amsterdam)
• Google Onderzoek (Amsterdam)
• Data Wetenschap & Verantwoorde AI unit bij TNO (Nederlandse Organisatie voor toegepast-natuurwetenschappelijk onderzoek)
• Civiel AI-lab (Amsterdam)

Academisch onderzoek:

• Labs bij UvA
• Labs bij TU Delft
  
• Lab in Utrecht
  

Focus op veiligheid

Op de lange termijn wil je misschien rechtstreeks werken bij gevestigde veiligheidsorganisaties, die vaak in de VS en het VK gevestigd zijn maar functies op afstand aanbieden. Hier staan vacaturesites per 80.000 uur en Waarschijnlijk wordt Goed regelmatig bijgewerkt.

Een korte lijst van organisaties die opties op afstand bieden:

• METR (voorheen ARC-evaluaties) (Berkeley, op afstand)
• uitnodigen (Oakland, op afstand)
• FAR (Berkely, op afstand)
• Medewerker onderzoek bij CHAI (Berkeley, op afstand)
• Instituut voor de toekomst van het leven (op afstand)

Onafhankelijk onderzoek en je eigen organisatie starten

Als je geïnteresseerd bent in onderzoek buiten de academische wereld, is het ook mogelijk om je carrière op te bouwen via zelfstudie en onafhankelijk werk – in je vrije tijd of met beurzen die hiervoor bedoeld zijn (zoals beurzen van het EA Long-Term Future Fund en Open Philanthropy-steun voor individuen die aan relevante onderwerpen werken). Onafhankelijk onderzoek kan zinvol zijn als er geen gevestigde organisatie werkt aan het onderwerp dat je het meest veelbelovend vindt, als een manier om bij te scholen voor een baan, om nieuwe onderzoeksvaardigheden op te doen of om van baan te veranderen. Het is echter belangrijk om te weten dat onafhankelijk onderzoek moeilijk kan zijn, omdat je geen standaardstructuur hebt en zelf veel verantwoordelijkheid draagt. Persoonlijkheidskenmerken zoals zelfdiscipline zijn erg belangrijk in dit carrièrepad.

Een andere optie is het oprichten van een nieuwe organisatie om een dringend probleem aan te pakken. Dit houdt in dat we een leemte in AIS identificeren, een oplossing formuleren, deze onderzoeken en vervolgens helpen een organisatie op te bouwen door te investeren in strategie, aanwerving, management, cultuur, enzovoort. Voorbeelden van in Nederland opgerichte AIS-organisaties zijn

• Katalyseren: Een non-profit organisatie die ondersteuning biedt aan individuen bij het opzetten van AI-veiligheidsonderzoeksorganisaties.
• Waarnemingspost voor existentiële risico’s: Een non-profit organisatie gericht op het verminderen van existentiële risico’s door het publieke debat te informeren.
• Timaeus: Een AI-veiligheidsonderzoeksorganisatie die werkt aan ontwikkelingsinterpretabiliteit.

Als je je eigen organisatie wilt starten, kun je financiering aanvragen bij bijvoorbeeld het Long-Term Future Fund. Om duidelijk te zijn, deze opties zijn meestal veel riskanter en moeilijker na te streven in vergelijking met het in dienst treden bij een gevestigde organisatie.

Veelvoorkomende valkuilen

Op basis van interviews met experts hebben we de volgende valkuilen geïdentificeerd die mensen vaak tegenkomen:

• Gebrek aan online zichtbaarheid en duidelijke projecten. GitHub-projecten of technische rapporten ontwikkelen om vaardigheden en interesses aan te tonen. Bouw een persoonlijke basiswebsite waarop werkgevers je prestaties en interesses kunnen bekijken. Vat je expertise samen in tastbare resultaten.
• Optimaliseren voor impact in het begin van de carrière. Hoewel een paar mensen al heel vroeg uitstekende prestaties en bijdragen leveren, zal de gemiddelde persoon waarschijnlijk een minder uitzonderlijk traject volgen. Uitmuntendheid vereist jarenlange ontwikkeling van vaardigheden en kennis. Carrière-impact volgt meestal een verdeling met een zware staart, met een piek in latere fases. Hoewel PhD-studenten al een aantal waardevolle bijdragen kunnen leveren.
• Te veel nadruk op passief leren. Er is een algemene tendens om passief inhoud te consumeren van bronnen zoals LessWrong en academische papers, zonder kritisch na te denken. Hoewel lezen cruciaal is voor een goed begrip en om op de hoogte te blijven, is actieve verwerking de sleutel. Dit kan door over het onderwerp te schrijven of deel te nemen aan zinvolle discussies met medestudenten. Aarzel niet om contact op te nemen met onderzoekers voor verduidelijkingen of mogelijke samenwerkingen. Het delen van zelfs ongeraffineerde ideeën en opmerkingen is nuttig. Uit je comfortzone stappen om met anderen om te gaan kan ook helpen om waardevolle persoonlijke connecties te smeden.
• Online status najagen. Er bestaat een tendens om prioriteit te geven aan het verkrijgen van erkenning op online fora, wat eenvoudiger is dan het ontwikkelen van vaardigheden in wiskunde en machine learning. Dit ‘statusspel’ leidt de aandacht vaak af van het verwerven van meer substantiële vaardigheden.
• Interesses en vaardigheden niet diversifiëren. Mainstream AIS-onderzoek is erg competitief en daarom worden alleen mensen in de top % aangenomen. Het kan soms waardevol zijn om extra interesses en vaardigheden te hebben (bijvoorbeeld ervaring met project- of people management) om op te vallen.
• Verwaarlozing van de geestelijke gezondheid. Het is ook belangrijk om voor je mentale gezondheid te zorgen. Vind, ondanks de perceptie van korte AGI-tijdlijnen, een manier van werken en leven die duurzaam is.
• Financiële onzekerheid. Spaargeld opbouwen is om meerdere redenen bevordelijk. In competitieve sectoren kan de reactietijd voor functies lang zijn, dus financiële stabiliteit helpt bij het nastreven van kansen met een grote impact zonder druk. Gebrek aan financiële zekerheid kan stress veroorzaken en leiden tot minder optimale carrièrebeslissingen die uit noodzaak worden genomen.

Field building

Field building is een carrièrepad dat AI-veiligheid op metaniveau ondersteunt door het bewustzijn te vergroten en getalenteerde individuen te motiveren. Het gebied van AI-veiligheid is nog erg jong en gemeenschappen en organisaties over de hele wereld zijn zich nu pas bewust van de grote risico’s die geavanceerde AI-systemen met zich meebrengen. Er zijn maar heel weinig mensen bezig met het beperken van AI-risico’s en nog minder mensen denken bewust na over hoe het veld kan groeien en hoe ze ervoor kunnen zorgen dat belanghebbenden effectief samenwerken om hun doelen te bereiken. Field building kan worden gedaan voor zowel AI governance als technisch AIS.

Er is geen specifieke route om in field buiding te gaan. De sleutel is om het veld goed te begrijpen, de behoeften te identificeren en het initiatief te nemen om deze lacunes aan te pakken. Voor meer informatie over field building in AI-governance, bekijk deze cursus door BlueDot Impact.

In Nederland zijn verschillende studentengroepen betrokken bij het opbouwen van AI-safety fields:

• Amsterdam
• Delft
• Eindhoven
• Groningen
• Rotterdam
• Tilburg
• Utrecht

Daarnaast heeft de Observatorium voor Existentiële Risico’s een Nederlandse organisatie die zich inzet om het publiek bewust te maken van de risico’s van AI.

Volgende stappen en verdere bronnen

Onze carrièregids is een zeer kleine bijdrage aan bestaande bronnen over AI-veiligheid. We raden je aan om andere, meer diepgaande bronnen te bekijken. Hieronder hebben we er een paar opgesomd waarmee je aan de slag kunt, maar beperk je niet tot alleen deze.

Overweeg ook om naar een EAG(x) conferentie om meer te leren over AI-veiligheid en om uw netwerk op te bouwen.

Inleiding tot AI-veiligheid

Voor het grote publiek

• De argumenten om AI serieus te nemen als bedreiging voor de mensheid (Column artikel door Kelsey Piper)
• Inleiding tot AI-veiligheid (18 minuten durende video door Robert Miles)
• Overzicht van het AI-afstemmingslandschap (Forum bericht door Neel Nanda)
• Compilatie van podcastafleveringen (80.000 uur podcast)

Voor een academisch publiek

• Onopgeloste problemen in ML-veiligheid (Dan Hendrycks, Nicholas Carlini, John Schulman, Jacob Steinhardt)
• Aanbevolen lectuur (Centrum voor menselijke intelligentie, UC Berkeley)

Online cursussen

• BlueDot Impact biedt gratis online cursussen over zowel technische afstemming als AI-governance.

Nieuwsbrieven

• Nieuwsbrief AI-veiligheid (voor een algemeen publiek, Centrum voor AI-veiligheid)
• ML-veiligheid nieuwsbrief (voor een ML-onderzoekspubliek, Centrum voor AI-veiligheid)
• EU AI-wet nieuwsbrief (Instituut voor de toekomst van het leven)

Financiering voor technisch onderzoek naar AI-veiligheid en AI-governance

• Toekomstfonds op lange termijn – EA-fondsen: LTFF financiert verschillende activiteiten, zoals bijscholing op een bepaald gebied ter voorbereiding op toekomstig werk; programma’s voor bewegingsopbouw; studiebeurzen, buy-outs voor academisch onderwijs en extra financiering voor academici om hun tijd vrij te maken; financiering om bestaande onderzoekers effectiever te maken; direct werk in AI; startkapitaal voor nieuwe organisaties; enz.

• Financiering voor loopbaanontwikkeling en overgang – Open filantropie: Dit programma is bedoeld om steun te bieden aan mensen die aan het begin van hun carrière staan en een carrière willen nastreven die de toekomst op de lange termijn helpt verbeteren.

• Beurzen – Future of Life Institute: Veel verschillende subsidiemogelijkheden: projectvoorstellen; PhD-beurzen; postdoctorale beurzen; en voor professoren om lid te worden van hun AI Existential Safety-gemeenschap.

Ondersteuning bij scriptie

• Effective Thesis
  – Wil je met je scriptie werken aan het oplossen van de belangrijkste problemen waar onze wereld mee te maken heeft? ET biedt gratis coaching en begeleiding aan studenten, van bachelor- tot PhD-niveau, die een onderzoekscarrière willen beginnen die de wereld aanzienlijk verbetert.

Banen en stages

• 80.000 uur vacaturebank
• Opportunities board

Erkenningen

We willen (in willekeurige volgorde) Jan-Willem van Putten, Tim Bakker, Leon Lang, Teun van der Weij, Sam Bogerd, Daan Juijn, Stan van Wingerden, Jesse Hoogland, Alexandra Bos, Jelle Donders, Marieke de Visscher en James Herbert bedanken voor hun input en feedback.