Samenvatting

Achtergrond: Bij het creëren van een intensive care (IC)-dataset kan naast gestructureerde data ook vrije tekst gebruikt worden, zoals verpleegkundige en (para-)medische notities. Deze notities bevatten vaak jargon, afkortingen en spellingsvariaties. Om deze notities beter te kunnen gebruiken voor onderzoek en zorg is inzicht in Nederlandse vrije tekst en de mogelijkheid deze te corrigeren belangrijk.

Methode: De verpleegkundige notities van alle IC-opnames werden uit het elektronisch patiëntendossier (EPD) van het Maastricht Universitair Medisch Centrum+ geëxtraheerd. Ter demonstratie werd de tekst gebruikt om te voorspellen of 24 uur later een stijging van de respiratoire SOFA-score voorkwam. Het verschil op de voorspelling werd vergeleken voor niet of wel opschonen. Opschonen omvatte het automatisch verwijderen van cijfers en speciale karakters, het semiautomatisch samenvoegen van spellingsvariaties en het verwijderen van veel voorkomende maar niet belangrijke woorden.

Resultaten: De database bestaat uit 21.553 opnames van 18.362 patiënten tussen 1 januari 2013 en 1 januari 2023. Bij 11.739 opnames van 10.322 patiënten werd vrije tekst gevonden. Opschonen reduceerde het aantal unieke woorden van 33.498 in de originele dataset tot 31.929 in de opgeschoonde dataset. De opgeschoonde dataset zorgde voor een beter presterend predictiemodel in vergelijking met de niet-opgeschoonde dataset. Er werden 26 afkortingen, vijftien synoniemen en 1423 spellingsvariaties opgeschoond.

Conclusies: Het gebruik van vrije tekst is veelbelovend. Voor goed gebruik is opschonen van tekstdata belangrijk. Voor onderzoek kan dit retrospectief, voor inzet in de dagelijkse praktijk zal daarnaast aandacht nodig zijn voor het voorkomen van tekstfouten.

Inleiding

Op de intensive care (IC) wordt veel data vastgelegd. Ongestructureerde data, zoals verslaglegging door artsen en verpleegkundigen, wordt in toenemende mate gebruikt in onderzoek, bijvoorbeeld voor het stellen van diagnoses; het voorspellen van een uitkomst; of het ondersteunen van zorgpersoneel. Hoewel niet nieuw^[1], en nog weinig toegepast in de praktijk, neemt het bewijs voor de waarde van ongestructureerde tekst toe.^[2] Om informatie uit ongestructureerde data te gebruiken, dient deze data voorbereid en opgeschoond te worden alvorens deze te onderzoeken. Informatie over het voorbereiden van deze data wordt in de meerderheid van eerdere onderzoeken beschreven, maar niet voor Nederlandse tekst.^[3]

Methode

Specifieke methode

De verpleegkundige verslagen van alle IC-opnames tussen 1 januari 2013 en 1 januari 2023 werden uit het elektronisch patiëntendossier (EPD, Philips IntelliSpace Critical Care and Anesthesia) geëxtraheerd. Hierbij ging het om verslagen bestaande uit vijf vrije tekstvelden, namelijk airway, breathing, circulation, disability en exposure. In dit artikel focussen we op ademhaling en analyseren we het vrije tekstveld “breathing”. Uit deze tekstvelden werden alle cijfers en speciale tekens automatisch verwijderd. Het resultaat is de niet-opgeschoonde dataset. Daarna werd een woordenlijst gebruikt om veelvoorkomende niet-bijdragende woorden te verwijderen (bijvoorbeeld ‘liter’, ‘de’, ‘en’ etc.). Vervolgens werd de woordfrequentie per woord over alle tekstvelden berekend. Aan de hand van deze lijst werd voor de vijftig meest voorkomende woorden in de lijst gecontroleerd of er synoniemen of spellingsvariaties voorkwamen. Synoniemen werden gezocht in overleg met intensivisten en verpleegkundigen, spellingsvariaties werden geselecteerd uit een lijst met gelijkende woorden, gegenereerd voor ieder woord in de top vijftig door gebruik te maken van het Wagner-Fischer algoritme.^[4] Synoniemen en spellingsvariaties werden opgeschoond door deze te vervangen door één woord. Het resultaat hiervan is de opgeschoonde dataset. De woordfrequenties voor en na opschonen werden vergeleken.

Vervolgens werd ter demonstratie onderzocht of een typische toepassing van vrije tekstdata gebaat is bij het opschonen van tekst voor predictiedoeleinden. De woorden in het verpleegkundig verslag werden omgezet in een numerieke representatie door middel van Term Frequency—Inverse Document Frequency (TF-IDF). Deze techniek bepaalt hoe belangrijk een woord in een zin is door te kijken hoe vaak het woord in een bepaald stuk tekst voorkomt (Term Frequency) ten opzichte van hoe vaak het woord voorkomt in alle beschikbare tekst (Inverse Document Frequency). De TF-IDF-representatie diende als predictor in een model die een toename voorspelt in de ademhalingscomponent van de Sequential Organ Failure Assessment (SOFA) score 24 uur (of zo dichtbij mogelijk) na het verpleegkundig verslag. De SOFA-score werd automatisch berekend binnen het EPD, tot november 2022 dagelijks, daarna ieder kwartier. In dit voorbeeld gebruiken we de ‘Breathing’-sectie uit het verpleegkundig verslag, en alleen de ademhalingscomponent van de SOFA-score. Per aantal punten stijging in SOFA-score ademhalingscomponent (0 naar 1 =1, 3 naar 4 = 1, 2 naar 4 = 2 etc.) werd een support vector machine model getraind. Voor de resultaten wordt de nauwkeurigheid (gemiddelde accuracy, verkregen door 10-fold cross-validation) van de modellen vergeleken tussen de niet-opgeschoonde en opgeschoonde data.

Resultaten

De database bevat 21.553 opnames van 18.362 patiënten tussen 1 januari 2013 en 1 januari 2023. Bij 11.739 opnames van 10.322 patiënten werd vrije tekst gevonden, doordat de ABCDE-structuur voor verpleegkundige notities pas vanaf juni 2017 in gebruik is. Na het verwijderen van cijfers en speciale karakters bleven er 33.498 unieke woorden over in de dataset. Het opschonen reduceerde het aantal unieke woorden tot 31.929. Een voorbeeld van de twintig meest voorkomende woorden voor beide datasets vindt u in tabel 1. Er werden 26 afkortingen, vijftien synoniemen en 1423 spellingsvariaties opgeschoond.

Er waren 4.648 verpleegkundige notities waarbij na 24 uur de respiratoire SOFA was gestegen. Het effect van het opschonen van de tekst op de modellen is weergegeven in tabel 2. De nauwkeurigheid van de voorspelling steeg wanneer de opgeschoonde tekst werd gebruikt in plaats van de niet-opgeschoonde tekst.

Discussie

Deze studie laat zien dat datavoorbereiding bijdraagt aan betere uitkomsten bij het analyseren van Nederlandse vrije tekstdata op de IC. Exploratieve analyse toont veel synoniemen, spellingsvarianten en afkoringen. Correctie hiervan verhoogt de nauwkeurigheid aanzienlijk in een eenvoudig predictiemodel ter demonstratie. Vooral het model voor een SOFA-toename van 4 laat een grote stijging zien in nauwkeurigheid van 0.62 naar 0.85. Dit kan mogelijk verklaard worden doordat deze hoge stijging het makkelijkst is te voorspellen, wat door de niet-opgeschoonde data werd verhinderd.

Hoewel automatisch opschonen van tekst mogelijk is^[5], blijft waakzaamheid geboden. Context is belangrijk, immers zonder context is het onmogelijk te onderscheiden of met ‘af’ een verwijdering of afname wordt bedoeld (‘druk neemt af’), of dat het een afkoring van atriumfibrilleren betreft.

De resultaten onderstrepen het belang van het herkennen en samenvoegen van synoniemen en spellingsvarianten in het Nederlands. Dit is in overeenstemming met eerder gepubliceerd werk waarin wordt aangetoond dat met toevoeging van synoniemen en spellingsvarianten tot elf keer meer informatie uit Engelse verpleegkundige aantekeningen kan worden gehaald ten opzichte van standaard woordenlijsten.^[6]

Wanneer de huidige gebruikers van EPDs afspraken maken over de invoer van vrije tekst, of het beperken hiervan door meer data gestructureerd te noteren, kan de datakwaliteit van deze data voor de toekomst verbeterd worden.

Concluderend is dit een waardevolle bevinding, gegeven eerder bewijs dat Nederlandse vrije tekst, weliswaar in een andere setting, kan bijdragen aan verbeterde voorspellingen met predictiemodellen^[7] en in de toekomst mogelijk de zorg.

De auteurs verklaren dat er geen sprake is van een belangenconflict. Er is geen financiering of financiële steun ontvangen.
De studie werd voorgelegd aan de Medisch Ethische Toetsingscommissie (METC) van het MUMC+ en werd als niet-WMO plichtig beoordeeld (METC 2021-2792) met verschoning van de plicht tot informed consent.