In ons vorige blog stonden we stil bij de privacyrechtelijke vragen: wanneer moet je een DPIA uitvoeren, en is de toestemming van de patiënt nodig om gebruik te mogen maken van een AI-toepassing?
In dit blog bespreken we nog vier aanvullende aandachtspunten bij het gebruik van AI: betrouwbaarheid, beveiliging, de rol van de zorgverlener en toekomstige wetgeving.
Zijn de resultaten betrouwbaar?
Bij het gebruik van AI moet altijd goed worden gekeken naar de betrouwbaarheid van de resultaten. Daarvoor is allereerst vereist dat op een juiste manier gebruik wordt gemaakt van het AI-systeem. In veel gevallen zal een zorgverlener – voorafgaand aan het gebruik – eerst duidelijke uitleg moeten krijgen over de input (welke vraag stel je aan AI?) en output (welk antwoord geeft AI?) van het AI-systeem. Ook kan niet blind worden vertrouwd op deze output. De zorgverlener is uiteindelijk verantwoordelijk voor zijn eigen rapportages, adviezen en behandelplannen. Als er in de uitvoering van de behandelingsovereenkomst iets misgaat, is de zorginstelling of zorgverlener daarvoor aansprakelijk. Zowel het verwijtbaar onjuist gebruiken van een hulpmiddel zoals AI of het gebruik van ondeugdelijke hulpmiddelen komt als uitgangspunt voor rekening van de zorginstelling of zorgverlener.
Wanneer de AI-tool speciaal voor een zorginstelling wordt ontwikkeld, moeten er dus heldere afspraken worden gemaakt met de ontwikkelaars over de betrouwbaarheid en kwaliteit van het model. Bij standaardsoftware moet de leverancier instaan voor de betrouwbaarheid. Bij bepaalde AI kan het nuttig zijn om extra informatie te ontvangen over de werking ervan, zodat de zorgverlener, HR-medewerker of ICT’er de resultaten indien nodig kan controleren. Voor leveranciers geldt andersom dat heldere afspraken ook belangrijk zijn: onzorgvuldig gebruik, zoals handelen in strijd met de gebruiksinstructies, zal vaak in de risicosfeer van de gebruiker liggen.
Ook als de resultaten vermoedelijk betrouwbaar zijn, kan het zijn dat de AI niet zomaar mag worden ingezet. De AVG geeft namelijk regels over het gebruik van technologie: geautomatiseerde besluitvorming en profilering zijn niet zomaar toegestaan. Daarvan is bijvoorbeeld sprake als het AI-systeem niet alleen de noodzakelijke informatie aandraagt of de mogelijkheden weergeeft, maar ook het uiteindelijke besluit neemt zonder dat een hulpverlener daarbij betrokken is. Omdat vaak persoonlijke aspecten van de patiënt worden geëvalueerd, kan ook sprake zijn van profilering.
Worden de patiëntgegevens veilig opgeslagen?
Als er persoonsgegevens worden verwerkt, dan moeten die adequaat beveiligd worden. Voor bijzondere persoonsgegevens (medische of andere gevoelige gegevens) ligt de lat voor adequate beveiliging gemiddeld genomen hoger. Van de leverancier van de AI moet een hoog beveiligingsniveau geëist worden. Nieuwe wetgeving, bijvoorbeeld de NIS2-richtlijn, stelt voor cybersecurity bij zorgaanbieders nog strengere eisen.
Het veilig verwerken van persoonsgegevens heeft niet alleen te maken met cybersecurity. De AVG schrijft ook voor dat persoonsgegevens niet zomaar buiten de EU verwerkt mogen worden. Het gebruiken van AI van een Amerikaanse leverancier kan niet zomaar. Ook geeft de AVG de plicht om alleen gebruik te maken van betrouwbare verwerkers.
Het veilig opslaan van de patiëntgegevens is daarnaast essentieel voor het waarborgen van het medisch beroepsgeheim van de zorgverlener. Als de opgeslagen gegevens raadpleegbaar zijn voor derden (personen die niet rechtstreeks betrokken zijn bij de behandeling), riskeert de zorgverlener een ongeoorloofde doorbreking van zijn medisch beroepsgeheim.
Heb je geen schaduwadministratie opgebouwd?
Voor de zorginstelling kan het noodzakelijk– en soms ook verplicht – zijn om de resultaten van de AI-toepassing te bewaren. Het is daarbij van belang dat de gegenereerde diagnose, het gegenereerde gespreksverslag en/of de gegenereerde factuur op de juiste plek worden bewaard.
Alle informatie die relevant is voor de behandeling van de patiënt moet worden vastgelegd in het medisch dossier. Wanneer AI een diagnose of gespreksverslag genereert, moet deze informatie worden toegevoegd aan het medisch dossier. Het is vanuit het oogpunt van dataminimalisatie als uitgangspunt niet toegestaan om deze informatie ook ergens anders te bewaren (bijvoorbeeld in het systeem van de AI-tool) omdat anders een tweede ‘schaduwdossier’ ontstaat. Zodra de informatie door de zorgverlener is gecontroleerd en (het deel van) het verslag wordt opgeslagen in het medisch dossier, moeten de gegevens uit het AI-systeem worden verwijderd.
Ben je voorbereid op nieuwe wetgeving?
Technologie, en dan met name technologie in de zorg, wordt de afgelopen jaren in hoog tempo gereguleerd door allerlei wetgeving. Zo moeten medische hulpmiddelen voldoen aan de Medical Devices Regulation (MDR), en wordt zoals hierboven beschreven de NIS2-richtlijn voor cybersecurity binnenkort van toepassing.
De Europese Unie zit ook niet stil. De AI Act komt eraan, die strenge eisen gaat stellen voor AI in de zorg. AI die wordt gebruikt voor zorgverlening of voor recruitment is onder de AI Act een hoog risico-systeem. Dat betekent dat AI weliswaar is toegestaan, maar dat de AI moet voldoen aan hoge eisen op het gebied van transparantie, veiligheid en non-discriminatie. Zo zijn er verplichte risicobeheersystemen en conformiteitsbeoordelingen, zijn er technische documentatie- en registratievereisten, en geldt dat menselijk toezicht mogelijk moet zijn.
Daarnaast gaat voor technologische producten de Cyber Resilience Act (CRA) gelden, die hogere eisen stelt aan de cybersecurity van bijvoorbeeld robots en andere apparaten. Fabrikanten moeten onder de CRA een hoog beveiligingsniveau garanderen, en importeurs en distributeurs moeten dit controleren.
Het gebruik van AI in de zorg kan erg nuttig zijn, maar een zorginstelling moet goed opletten voordat zij overgaat tot het gebruik van AI. Er komt een hoop bij kijken.
Overweegt jouw zorginstelling AI te ontwikkelen of in te kopen? Of ben je benieuwd welke mogelijkheden er eigenlijk zijn voor de inzet van AI? Neem dan gerust contact op met ons of met een van onze collega’s. Wij helpen je graag met een gesprek, advies, of workshop op maat over AI in de zorg.
Rosanne Burm, advocaat gezondheidszorg
Thijmen van Hoorn, advocaat IT-recht
Gerelateerd
IT
