Erstellung eines brandneuen Bewertungssystems: Die 6 wichtigsten Schritte, die jeder Wissenschaftler befolgen sollte
Einführung
Bewertungssysteme sind die stillen Helden des dermatologischen Praxisalltags. Von vielen wegen der zusätzlichen Arbeit, die sie mit sich bringen, abgelehnt, helfen sie, das klinische Auge zu schulen, einen stärker faktenbasierten Ansatz in die klinische Praxis zu bringen und wertvolle Endpunkte für die Forschung zu liefern.
Es lässt sich nicht leugnen, dass Bewertungssysteme eine entscheidende Rolle bei der Entwicklung des klinischen Bereichs spielen, denn sie sind unverzichtbare Instrumente, die Präzision, Objektivität und Zuverlässigkeit in klinische Studien bringen.
Um die Werkzeuge, die uns zur Verfügung stehen, besser nutzen und verstehen zu können, müssen wir ganz am Anfang beginnen:
Was ist ein dermatologisches Bewertungssystem?
In der Dermatologie ist ein Bewertungssystem eine Methode, die es dem Arzt ermöglicht, den Schweregrad einer Erkrankung zu beurteilen, indem er objektive Parameter wie Rötungen, den betroffenen Bereich, die Menge und Dichte der Läsionen usw. beobachtet und quantifiziert.
Das Hauptziel eines Bewertungssystems ist die Bereitstellung eines Tools zur präzisen und konsistenten Erfassung von Daten für Routineuntersuchungen und klinische Studien.
Einige der am häufigsten verwendeten Bewertungssysteme in der Dermatologie sind:
- IHS4: International Hidradenitis Suppurativa Severity Scoring System
- PASI: Psoriasis Area and Severity Index
- SALT: Severity of Alopecia Tool
- SCORAD: SCORing Atopic Dermatitis
- EASI: Eczema Area and Severity Index
- UAS: Urticaria Activity Score
- DLQI: Dermatology Life Quality Index
Nachdem wir nun wissen, was Bewertungssysteme sind, wollen wir uns näher damit befassen:
Was gibt es Neues bei den dermatologischen Bewertungssystemen?
In jüngster Zeit haben sich die dermatologischen Bewertungssysteme stark weiterentwickelt, und wir befinden uns in der Tat mitten in einem großen Paradigmenwechsel.
Obwohl viele Ärzte immer noch die traditionellen Versionen dieser Bewertungssysteme verwenden, drängen viele wichtige Meinungsbildner der dermatologischen Welt auf die Digitalisierung und Automatisierung der Aufgabe, den Schweregrad zu bewerten, was eine größere Präzision, Zuverlässigkeit und Objektivität der Messungen ermöglicht.
Einige bemerkenswerte Beispiele sind:
- APASI: Automatic Psoriasis Area and Severity Index
- AIHS4: Automatic International Hidradenitis Suppurativa Severity Scoring System
- ASALT: Automatic Severity of Alopecia Tool
- ASCORAD: Automatic SCORing Atopic Dermatitis
Dieser Paradigmenwechsel ist nicht unumstritten. In der Tat ziehen es viele Ärzte vor, an den traditionellen Bewertungssystemen auf Papier festzuhalten. Doch immer mehr medizinische Fachkräfte nutzen die Möglichkeiten der künstlichen Intelligenz. Sehen Sie sich dieses Video an, in dem einer der Gründer des SCORAD, Professor Jean-François Stalder, mit einem der Gründer der automatischen Versionen des ASCORAD, Taig Mac Carthy, spricht.
Ausschnitte aus der Veranstaltung "Artificial intelligence: what future for eczema patients?", organisiert von der Pierre Fabre Eczema Foundation am 14. September 2023
Wie können wir wissen, ob ein Punktesystem gut ist?
Wenn es um dermatologische Beurteilungen geht, ist die Wirksamkeit eines Bewertungssystems von größter Bedeutung. Aber was genau macht ein Punktesystem zuverlässig und nützlich? Durch einen wissenschaftlichen Konsens wurden mehrere Schlüsselfaktoren identifiziert, die zur Robustheit dieser Systeme beitragen. Sehen wir uns diese entscheidenden Elemente etwas genauer an:
- Benutzerfreundlichkeit: Bei diesem Faktor geht es darum, ob das System im Rahmen der zeitlichen und finanziellen Möglichkeiten mühelos angewendet werden kann. Ein benutzerfreundliches System ist entscheidend für eine breite Akzeptanz im klinischen Umfeld.
- Empfindlichkeit gegenüber Veränderungen: Ein effektives Bewertungssystem muss in der Lage sein, klinisch bedeutsame Veränderungen im Laufe der Zeit zu erkennen. Diese Sensibilität stellt sicher, dass jede Veränderung oder jede Verschlechterung des Zustands eines Patienten genau erfasst wird.
- Zuverlässigkeit zwischen Beobachtern: Dies bezieht sich auf die Konsistenz der Ergebnisse, wenn verschiedene Beobachter/innen das Punktesystem verwenden. Eine hohe Zuverlässigkeit zwischen den Beobachtern bedeutet, dass verschiedene Ärzte zu ähnlichen Schlussfolgerungen kommen, was die Glaubwürdigkeit des Systems erhöht.
- Abweichungen der einzelnen Beobachter: Dabei geht es um die Konsistenz der Ergebnisse, wenn derselbe Beobachter das Bewertungssystem mehrmals verwendet. Die geringe Abweichung eines einzelnen Beobachters deutet darauf hin, dass das System stabile Ergebnisse liefert, unabhängig von wiederholten Bewertungen durch denselben Arzt.
- Interpretierbarkeit: Ein praktisches Bewertungssystem sollte aussagekräftige qualitative Interpretationen seiner Ergebnisse liefern, z. B. die Einstufung des Schweregrads einer Erkrankung als leicht, mittelschwer oder schwer.
Diese Kriterien gewährleisten nicht nur die Wirksamkeit des Bewertungssystems, sondern auch seine Anwendbarkeit und Zuverlässigkeit in verschiedenen klinischen Szenarien.
Angepasst von "Methods and definitions to rate the quality of outcome measures". Schmitt, J., Langan, S., Deckert, S., Svensson, A., von Kobyletzki, L., Thomas, K., & Spuls, P. (2013). Assessment of clinical signs of atopic dermatitis: A systematic review and recommendation. Journal of Allergy and Clinical Immunology, 132(6), 1337--1347. doi:10.1016/j.jaci.2013.07.008.
Möchten Sie die klinische KI-Technologie in Aktion sehen?
Wie können Sie ein neues Bewertungssystem erstellen?
Die Entwicklung eines neuen dermatologischen Bewertungssystems ist ein komplexes, aber lohnendes Unterfangen. Wenn Sie diese wichtigen Schritte befolgen und modernste Technologien einsetzen, können Wissenschaftler einen wichtigen Beitrag zur Dermatologie leisten und die Diagnose und die Behandlungsergebnisse verbessern.
Hier finden Sie eine Liste von Schritten, die Sie zur Erstellung eines Bewertungssystems befolgen können:
1. Ermitteln Sie einen Bedarf
Der erste Schritt besteht darin, einen Bedarf zu ermitteln. Sie können nach Fällen suchen, in denen die Bestimmung des Schweregrads einer Erkrankung ein hohes Maß an Subjektivität aufweist. Sie können auch versuchen, Bewertungssysteme zu automatisieren, die sehr mühsam auszufüllen sind. Vor allem ist es sinnvoll, nach Situationen zu suchen, in denen Patienten leiden, weil sie keinen Zugang zu einem Spezialisten haben, der in der Lage ist, den Schweregrad zu messen.
All diese Fälle bieten die Möglichkeit zur Innovation. Dies wird von Professor Ramon Grimalt perfekt vermittelt. Er erklärt die Motivation, die ihn und seine Mitarbeiter dazu veranlasst hat, ein neues Bewertungssystem für Dermatitis zu entwickeln:
In diesem Video (auf Spanisch) erklären Dr. Ramon Grimalt und Alfonso Medela, beide Co-Autoren des ASCORAD-Bewertungssystems, die Notwendigkeit, die sie dazu veranlasste, ein neues Bewertungssystem für atopische Dermatitis zu entwickeln.
Durch dieses Projekt ist es zum ersten Mal in der Geschichte gelungen, ein System mit künstlicher Intelligenz zu schaffen, das für diese Aufgabe zuständig ist. Wir sind sehr zufrieden mit den Ergebnissen, die klinische Studien und genauere Diagnosen ermöglichen werden.
Noch bevor sie mit der Entwicklung eines neuen Bewertungssystems beginnen, vergewissern sich die Forscher von Legit.Health, dass ein tatsächlicher Bedarf besteht. Ein wichtiger Schritt vor jedem Forschungsprojekt ist es, auf dem neuesten Stand der Wissenschaft in der Dermatologie zu bleiben und die einschlägige Literatur eingehend zu prüfen.
2. Auswahl des Datensatzes
Wie so oft in der medizinischen Wissenschaft ist die Auswahl eines optimalen Datensatzes eines der größten Probleme, mit denen unsere Forscher konfrontiert sind. Um dies richtig zu tun, gibt es einige entscheidende Dinge zu beachten:
Zusammenarbeit mit Experten
Die Zusammenarbeit mit Dermatologen und anderen Experten ist unerlässlich. Ihre Erkenntnisse helfen dabei, das System an die realen Bedürfnisse anzupassen. Sammeln Sie gleichzeitig einen umfassenden Datensatz, der ein breites Spektrum von Fällen und Variationen innerhalb des Krankheitsspektrums umfasst. Dieser Datensatz bildet die Grundlage für Ihr Bewertungssystem.
Erstellen Sie Protokolle für Anmerkungen und Bewertungen
Entwickeln Sie klare Richtlinien für die Beschriftung und Bewertung von Läsionen oder anderen dermatologischen Merkmalen. Dies könnte detaillierte Kriterien für die Anzahl der Läsionen, Größe, Farbe oder andere relevante Faktoren beinhalten. Die Kohärenz in diesen Anfangsphasen ist für die Zuverlässigkeit des Systems entscheidend.
Was die Anzahl der Bilder betrifft, so gilt als Faustregel: Je mehr Parameter wir in das neue Bewertungssystem einbeziehen wollen, desto mehr Bilder müssen wir im Datensatz haben. Aber natürlich gilt: je mehr Bilder, desto besser.
Erläuterung, wie die künstliche Intelligenz Nesselsucht in
Urtikaria-Bildern identifiziert.
Um die Nutzung des Datensatzes zu optimieren, können Sie die Bilder nach und nach verwenden und den Moment abwarten, in dem sich die Ergebnisse stabilisieren. So können Sie die Größe des Datensatzes nach und nach festlegen, damit Sie nicht zu wenig oder zu viele Bilder verwenden.
3. Ein Modell bauen
Dieser Schritt ist in diesem Artikel etwas schwierig zu vermitteln, aber weiter unten finden Sie eine wissenschaftliche Veröffentlichung, in der wir ausführlich beschreiben, wie wir ein Modell für Hidradenitis suppurativa trainiert haben.
Veröffentlichung der automatischen Version des IHS3 in der Zeitschrift Skin Research and Technology.
Wählen Sie die aussagekräftigsten klinischen Anzeichen aus
Alle Bewertungssysteme berücksichtigen klinische Anzeichen. Allerdings tragen nicht alle gleichermaßen zur Beeinträchtigung des Patienten bei. Deshalb ist ein wichtiger Schritt bei der Erstellung eines Modells die Auswahl der wichtigsten klinischen Anzeichen und die Suche nach der optimalen Kombination.
Oft gibt es für jede Krankheit mehrere bereits existierende Bewertungssysteme, die alle ihre Stärken und Schwächen haben. Durch deren Analyse können wir herausfinden, welche Parameter für die Erkrankung am wichtigsten sind.
Im Falle von Akne wurde beispielsweise in der Literatur darauf hingewiesen, dass neben der Anzahl der Läsionen (ein Parameter, der in jedem anderen Bewertungssystem auftaucht) auch die Dichte der Läsionen als ein sehr deutliches Zeichen für eine schwere Erkrankung angesehen wird.
Die ausgewählten Parameter werden dann in einer Auswahl von Krankheitsbildern von spezialisierten Ärzten gemessen und identifiziert, die bei diesem Prozess helfen. Diese Werte werden mit den Werten des Goldstandard-Bewertungssystems für dieselbe Reihe von Bildern verglichen.
Auf diese Weise können die Forscher die Werte der bereits vorhandenen Methode mit den neu definierten Variablen kontrastieren.
4. Optimierung des Modells
Sobald die Forscher alle Parameter definiert haben, ist es an der Zeit, eine Gleichung zu erstellen, die sie alle kombiniert, um den Schweregrad der verschiedenen klinischen Bilder, die in der Studie verwendet wurden, bestmöglich darzustellen.
Dies bezeichnet man als Optimierungsproblem, ein mathematischer Begriff, der den Prozess der Suche nach der bestmöglichen Lösung für ein bestimmtes Problem beschreibt: in diesem Fall die Darstellung des Schweregrads einer Erkrankung.
Möchten Sie die klinische KI-Technologie in Aktion sehen?
Ohne zu sehr in die mathematischen Feinheiten des Prozesses einzutauchen, werden verschiedene Kombinationen von Vorgängen an den Parametern getestet**:Sie werden addiert, subtrahiert oder multipliziert, um einen einzigen kombinierten Wert zu erhalten, der den Schweregrad der Erkrankung darstellt**.
Dann werden die Ergebnisse jeder dieser vorgeschlagenen Gleichungen für jedes einzelne Bild des Datensatzes mit den Ergebnissen des ausgewählten Goldstandards verglichen, auf der Suche nach der bestmöglichen Korrelation mit den zuvor bestehenden Problemen.
5. Beweisen, dass es funktioniert
Validierung ist entscheidend. Testen Sie das System auf die Variabilität zwischen Beobachtern. Verwenden Sie statistische Maßstäbe wie den F1-Wert, den mittleren absoluten Fehler (MAE) und Krippendorff's Alpha, um die Zuverlässigkeit und Genauigkeit des Systems zu bewerten. Dieser Schritt kann mehrere Durchläufe zur Feinabstimmung des Systems umfassen.
Dies geschieht mit einer Teilgruppe der klinischen Bilder, die nicht zur Optimierung oder zum Training des Modells in den vorherigen Schritten verwendet wurden. Schließlich wurde die Gleichung so erstellt, dass sie mit diesen Bildern perfekt funktioniert. Um also zu zeigen, dass sie mit jedem Bild der Bedingung funktionieren kann, müssen wir sie mit neuen Bildern testen.
APASI, das fortschrittlichste dermatologische Bewertungssystem für Psoriasis
Einfach ausgedrückt: Unsere Forscher arbeiten eng mit spezialisierten Ärzten zusammen, um die Bilder sowohl mit der Goldstandard-Methode als auch mit dem neu entwickelten Modell zu beschriften, und vergleichen die Ergebnisse, um zu sehen, ob das neue Modell besser abschneidet als das ursprüngliche und ob es immer noch eine Korrelation mit diesem Modell gibt.
6. Umsetzung in die Praxis in einer klinischen Umgebung
Zuletzt wird das Modell in den Vordergrund medizinischer Experimente gerückt und mit den Ergebnissen von Dermatologen verglichen, die die gleiche Erkrankung in der klinischen Praxis beobachten.
Die kontinuierliche Überwachung und das Feedback der Nutzer liefern wertvolle Erkenntnisse für eine kontinuierliche Verbesserung. Das System sollte sich mit den Fortschritten im dermatologischen Wissen und der Technologie weiterentwickeln.
Auszug eines vollständigen Berichts aus dem CADx-System. Das Diagramm oben
rechts zeigt die Entwicklung der Urtikaria, indem die AUAS-Werte im Laufe
der Zeit eingetragen werden.
Dieser Schritt ist entscheidend, um sicherzustellen, dass die Methode mit der Realität der täglichen medizinischen Praxis mithalten kann. Denn ein gutes und zuverlässiges Bewertungssystem ist nicht nur objektiver und weniger fehleranfällig als das klinische Auge, sondern muss auch schnell sein und darf die Ärzte nicht mit zusätzlicher Arbeit überfordern.
Deshalb verknüpfen wir bei Legit.Health unsere Bewertungssysteme mit computergestützten Algorithmen, um die Geschwindigkeit und Präzision künstlicher Intelligenz in die Hände von Ärzten zu legen und ihnen zu helfen, ihren Patienten zu helfen.
Jetzt Zugang erhalten
This free 23-day trial of Legit.Health gives clinics and hospitals a hands-on look at how to drive increased adherence and improve patient outcomes, as well as improving efficiency and overall quality of life.