AMA eist bescherming tegen ongereguleerde AI-chatbots in de GGZ — en Europa volgt

De American Medical Association — het Amerikaanse equivalent van de KNMG — heeft vorige week brieven verstuurd naar drie congresscommissies met een ondubbelzinnige oproep: reguleer AI-chatbots in de geestelijke gezondheidszorg voordat er meer mensen overlijden. De timing is opmerkelijk: ook in Europa naderen de eerste verplichtingen onder de EU AI Act, waardoor dit debat direct relevant is voor de Nederlandse GGZ-praktijk.

Waarom staat de AMA aan de bel?

De aanleiding is ronduit ernstig. De afgelopen jaren zijn er meerdere gedocumenteerde gevallen waarbij jongeren die hun zorgen deelden met een AI-chatbot, zichzelf ernstig schade toebrachten of overleefden een suïcidepoging niet. Nabestaanden rapporteerden dat de systemen op geen enkel moment professionele hulp aanraadden — en in sommige gevallen zelfs reacties gaven die zelfbeschadiging leken te normaliseren.

Intussen gebruikt één op de vier Amerikanen (meer dan 66 miljoen mensen) AI-tools voor gezondheidsadvies, inclusief psychische klachten. Dat getal stijgt. Onderzoek laat zien dat AI-chatbots bij sommige aandoeningen — zoals schizofrenie en alcoholafhankelijkheid — significant meer stigmatiserende taal gebruiken dan bij meer ‘sympathieke’ diagnosen als depressie. Het Congres hield vorig jaar al hoorzittingen over de risico’s van emotionele afhankelijkheid en vervaging van de realiteitstoetsing bij langdurig chatbot-gebruik.

Vier concrete eisen aan het Congres

De AMA formuleerde vier prioriteiten waarop wetgeving zich moet richten:

• Transparantie.Chatbots moeten altijd en ondubbelzinnig aangeven dat de gebruiker met een AI-systeem praat — niet met een mens, en zeker niet met een BIG-geregistreerde professional. Systemen die zich voordoen als therapeut of psychiater zijn expliciet verboden.
• Regulatoire duidelijkheid. AI mag geen diagnosen stellen, geen medicatieadviezen geven en geen behandelplannen voorstellen. De grens tussen informeren en behandelen moet wettelijk vastliggen.
• Verplichte crisisdetectie. Elk systeem dat gesprekken voert over psychische klachten moet beschikken over gevalideerde detectie van suïcidaliteit en zelfbeschadiging, met automatische doorverwijzing naar adequate hulp en de-escalatietaal die is getoetst door klinisch deskundigen.
• Privacybescherming.Strikte beperkingen op het verzamelen, bewaren en doorverkopen van gesprekdata uit de geestelijke gezondheidssfeer — met expliciete toestemming als basisvereiste.

De Europese context: EU AI Act treedt dit jaar in werking

In de Verenigde Staten zijn inmiddels meer dan 70 wetsvoorstellen ingediend in 36 afzonderlijke staten — een indicatie van de urgentie. Europa heeft een voorsprong op wetgevingsniveau: de EU AI Act verplicht aanbieders van hoog-risico AI-systemen vanaf augustus 2026 tot naleving van strenge eisen rond transparantie, menselijk toezicht en technische documentatie.

AI-chatbots die claimt depressiesymptomen te screenen of suïcidaliteitsrisico’s te detecteren, worden onder de EU AI Act als hoog-risico geclassificeerd. Dat betekent verplichte conformiteitsbeoordeling vóór inzet, registratie in de Europese AI-databank, en aantoonbaar toezicht door een mens bij kritische beslissingen. Chatbots die aanzetten tot zelfbeschadiging zijn ronduit verboden — dit valt onder de categorie ‘onaanvaardbare risico’s’.

Voor Nederland betekent dit dat zorgaanbieders die AI-tools inzetten — of cliënten die dit doen op hun aanraden — al nú moeten toetsen of die systemen straks aan de wettelijke eisen voldoen.

De professional als poortwachter

De kern van de AMA-boodschap is niet dat AI slecht is, maar dat de sector het niet kan overlaten aan de markt alleen. Goed ontworpen, doelgericht ontwikkelde AI-tools kunnen een waardevolle aanvulling zijn voor mensen die anders geen zorg krijgen. Maar ‘goed ontworpen’ vereist klinisch toezicht, veiligheidstests en transparantie — zaken die nu structureel ontbreken bij de meeste consumenten-chatbots.

Als GGZ-professional sta je op het snijvlak van twee ontwikkelingen die elkaar steeds meer raken: cliënten die zelf AI gebruiken, en een beroepsgroep die leert hoe AI verantwoord in te zetten is als ondersteunend instrument. Beide vragen om professionele oordeelsvorming — en om intervisie met collega’s die dezelfde dilemma’s kennen.