„Vertraue miiiiir…“ - wie vertrauenswürdig sind Studien?

00:00:02:

00:00:11: Das ist ein Thema, das hatten wir schon häufiger in den vielen Jahren Medizin für Mitdenker und heute geht es wieder um

00:00:18: Studien.

00:00:19: Und zwar geht's um systematische Reviews, um ganz viele Leute abzuschrecken!

00:00:26: Das wollen wir ja gar nicht, das heißt lass uns da mal einsteigen.

00:00:29: Review bedeutet?

00:00:30: Eine Übersichtsarbeit im Prinzip und diese systematischen Reviews die befassen sich mit zwei Teilen hauptsächlich.

00:00:37: also wir haben jetzt in diesem konkreten Fall besonders nämlich mit Beobachtungsstudien und Interventionsstudien das sind auch schon wieder so Begriffe die man eigentlich hören will.

00:00:46: aber beobachtung studieren ist eigentlich ganz einfach.

00:00:48: Da beobachtet man Also es ging jetzt in diesen fall um Impfungen worüber wir gleich reden wollen.

00:00:54: Und da beobachtet man eben, wenn so und so viele Leute geimpft worden sind.

00:00:57: Wie viele sind gesund geblieben?

00:00:58: Wieviel sind krank geworden?

00:01:00: Das wäre ein Beobachtungsstudie!

00:01:02: Dann gibt es aber auch Interventionsstudien.

00:01:05: Da sagt man okay wir machen zwei Gruppen eine Gruppe wird wirklich geimpfter mit dem Impfstoff und das andere wird mit einem Placebo geimpften.

00:01:12: Und dann gucken wir was kommt raus wer bleibt gesund, wer wird krank.

00:01:15: So dass ist der Unterschied zwischen Beobuchtung Studie und InterventionsStudie.

00:01:19: Ist das verständlich oder?

00:01:20: Ja das ist verständig ja

00:01:22: genau.

00:01:23: Und wenn man diese jetzt zusammenfasst und einfach mal guckt insgesamt, was sehen wir denn insgesamt für Tendenzen bei welchen Impfungen?

00:01:31: HPV-Impfung oder Grippeimpfung.

00:01:34: Dann nimmt man sich ganz viele Studien, ganz viele Beobachtungsstudien und Interventionsstudien.

00:01:46: Diese Vertrauenswürdigkeit dieser Studien, die wurde jetzt mal... Endlich muss man auch sagen vom RKI im Januar-Zweißen-Sächsenzwanzig unter die Lupe genommen.

00:02:01: So dann interessiert natürlich das Ergebnis?

00:02:04: Ja!

00:02:05: Das Ergebnis ist mehr als neun von zehn systematischen Reviews hinsichtlich ihrer Vertrauungswürdigkeit als kritisch niedrig eingestuft worden also ziemlich schlecht.

00:02:17: Jetzt muss man aber wissen Womit wurde das gemacht?

00:02:19: Es wurde mit einem Tool gemacht, das nennt sich AMSTAR II.

00:02:22: Das ist so ein Fragenkatalog.

00:02:25: und wieso wurde es jetzt kritisch niedrig eingestuft?

00:02:28: und warum die Vertrauenswürdigkeit?

00:02:30: Es gibt also verschiedene Möglichkeiten, sich Studien anzugucken.

00:02:34: Einmal kann man gucken, ist das eine gutgemachte Studie handwerklich gutgemacht?

00:02:38: Also ist es eine Doppelblindstudie?

00:02:41: Ist ihr randomisiert?

00:02:43: Also das heißt, sind die Leute zufällig ausgewählt worden und so.

00:02:46: Ja also das heißt randomisierte doppel verblindete Studie.

00:02:50: da guckt man dann eben dass der weder die Patienten selbst wissen was passiert noch die Ärzte wissen was passiert.

00:02:57: also geben sie jetzt ein Placebo oder geben Sie das Währum also einen Impfstoff.

00:03:01: So und das ist die handwerkliche Seite der Studien.

00:03:04: aber darum ging es in diesem Fall nicht.

00:03:06: In diesem fall geht es um die Vertrauenswürdigkeit.

00:03:09: Und das wird untersucht mit nach diesen Amster zwei Kriterien, also es geht darum wie berichten eigentlich die Leute, die die Studie machen über ihre Studie?

00:03:19: Was sagen sie uns alles dazu?

00:03:20: Was geben dir alles preis?

00:03:22: und dass ist genauso wichtig wie die handwerklich gut gemachte Studie.

00:03:26: Ich muss jetzt gerade ... Es tackert grade ganz schön in mir,

00:03:30: d.h.,

00:03:30: hier geht's ja auch um Vertrauenschwürdigkeit.

00:03:35: Genau!

00:03:36: im Prinzip, neunzig Prozent dort einen Mangel hat.

00:03:40: Dann finde ich das schon erschreckend.

00:03:43: und welche Fragen müssen denn eigentlich beantwortet werden?

00:03:47: Vielleicht ist jetzt hier mal das Thema weil ... Ich hab etwas wenn man sich mit Dingen befasst.

00:03:52: also als die Kinder bei uns ins Leben kam habe ich zum ersten Mal mich intensiv mit Impfungen beschafft und dann habe ich Ja da gibt es ja Kommission brauchen wir gar nicht vertiefen.

00:04:02: Und dann sehe ich lauter Menschen für mich nicht in dieser Kommission sitzen dürfen, weil ich sehe unten eine ganze Latte von Posten die sie haben oder Ehrenämter wo sie bezahlt werden und eigentlich schließen sich das für mich aus dieser Studie schon aus.

00:04:18: dann.

00:04:19: Genau!

00:04:20: Das ist zum Beispiel ein Punkt der total wichtig ist.

00:04:22: Jetzt bin

00:04:23: ich weit ausgeholt aber... Aber

00:04:24: klar es ist wichtig und abgesehen von der handwerklich gut gemachten Studie sind diese vertrauensbildenden Maßnahmen auch total wichtig dass man eben durchschaut wie arbeiten die da?

00:04:34: Also zum Beispiel eine sehr wichtige Frage bei AMSDA II ist, gibt es ein vorab veröffentlichtes Studienprotokoll?

00:04:42: So und das war zum Beispiel bei dieser Übersichtsstudie die jetzt das RKI geliefert hat mal.

00:04:48: War bei siebensebzig Komma drei Prozent der Fälle nicht der Fall.

00:04:52: Das heißt wenn warum ist das wichtig Wenn ich einen Studium Protokoll mache?

00:04:57: also ich sage wir machen die Studie so und so Wir nehmen so und zu viele Leute Und wir werden die und die leute auswählen.

00:05:04: Ja, wir werden die und die Leute auswählen oder die und den Leuten werden wir nicht auswälen.

00:05:09: Oder man legt fest wie die Dosierung ist, wie hoch?

00:05:13: Und wie lang.

00:05:13: der Nachbeobachtungszeitraum zum Beispiel ist das auch ein ganz wichtiger Faktor?

00:05:17: So!

00:05:18: Das muss man vorab veröffentlichen.

00:05:21: Das ist eigentlich Usus und es ist auch sehr wichtig weil wenn ich während der Studie feststelle... Ich gebe jetzt zum Beispiel Medikament und innerhalb der ersten zwei Wochen passiert den Leuten gar nichts.

00:05:30: aber nach vier Wochen kriegen sie auf einmal heftigen Nebenwirkungen Und ich will nicht, dass das bekannt wird.

00:05:35: Dann verkürze ich einfach in meinem Studienprotokoll die Zeit auf zwei Wochen und sage dann ja wir haben zwei Wochen beobachtet alles top!

00:05:43: Aber wenn du vorher das Studiumprotokol veröffentlicht hast geht es halt nicht mehr Ja?

00:05:48: Also insofern sorgt es für Transparenz.

00:05:50: Das ist ein ganz wichtiger Punkt.

00:05:52: Lass uns nochmal an die anderen Fragen gehen.

00:05:54: Genau, dann ist die nächste Frage Ist die Literaturesuche.

00:05:57: umfassend genug.

00:05:59: Noch eine Frage, die sehr wichtig war in diesem Fall jetzt dieser Reviews.

00:06:13: Also das ist auch wieder wichtig dass man eine Liste bekommt von den Studien die ausgeschlossen wurden damit man sagen kann ja okay ihr habt jetzt geforscht zu einem bestimmten Thema und ihr sagt jetzt meint wegen alle Leute die Migräne haben haben blonde Haare.

00:06:30: Aber wir haben aber die ganzen Studien, wo die Braunharigen mit drin waren.

00:06:34: Die haben wir alle ausgeschlossen weil wir eben dieses Ergebnis haben wollten und dann redet aber keiner drüber?

00:06:40: Dann ist es natürlich nicht transparent und auch nicht zielführend.

00:06:43: also man muss schon gerade bei diesen Reviews, also bei den Übersichtsarbeiten, wo man mehrere Studien drin hat und die vergleicht und guckt insgesamt was kommt denn raus?

00:06:52: da muss man schon wissen als Leser welche Studien wurden so dass ich wirklich einen Überblick kriege.

00:07:01: Ich muss das gerade mal für mich übersetzen, weil es bedeutet... ...ich habe vielleicht hier eine Teilgruppe,... die ich aus irgendeinem Grund aus der Gesamtstudie rausnehme.

00:07:10: Ist das korrekt?

00:07:11: Genau!

00:07:12: Gut, das ist natürlich schon wesentlicher.

00:07:14: Es sollte man ja wissen, weil das könnte auch im Zweifelsfall ein Ergebnis verfälschen.

00:07:19: Genau und darum ist es so mega wichtig.

00:07:21: Ja und das war eben bei diesem Review jetzt hat sich gezeigt, dass es bei So war.

00:07:29: Das heißt also es ist wirklich... Es schreckender

00:07:31: Wert, ne?

00:07:32: Das ist eine erschreckende Wert weil das heißt die Minderheit der Studien hat diese Information.

00:07:37: Genau!

00:07:38: Es gibt dann noch vier andere Fragen die ich jetzt einfach mal um dass man so ein bisschen weiß im Hinterkopf womit beschäftigt man sich denn wenn man die Vertrauenswürdigkeit einer Studie bewerten will?

00:07:50: da gibt's ja noch die Frage wurde das Verzerrungsrisiko ausreichend untersucht, Verzerringen geklärt?

00:07:55: war die Meteranalyse angemessen, das ist dann eher was wieder für die Mathematiker.

00:08:00: Die müssen sich dann wie die Biomathematiker, die sich das genau angucken, wurde das Verzerrungsrisiko bei der Interpretation diskutiert?

00:08:07: Das ist auch wichtig!

00:08:08: Also diese ganzen Verschiebungen wurden ja auch wirklich angesprochen.

00:08:12: Warum können sie da sein?

00:08:13: Warum können die nicht da

00:08:14: sein?!

00:08:15: Das ist eine wichtige Frage.

00:08:17: und wurde der Publikationsbuyer untersucht?

00:08:20: also dass es auch noch mal eine Frage aber da würde ich jetzt gerne nicht näher darauf eingehen sprengen den Rahmen.

00:08:27: Heute würde ich mich gerne nur mit diesen Sachen beschäftigen, die ich jetzt schon angesprochen habe im Prinzip und einfach sagen es gibt diese Amster II Tool das eben nicht guckt wie sind Studien im Einzelnen qualitativ?

00:08:42: Wie sind sie handwerklich gemacht?

00:08:43: sondern wie berichten die Autoren der Studien?

00:08:46: was geben die alles preis?

00:08:47: und dass ist halt eine ganz wichtige Fragestellung.

00:08:50: Der hat sich das RKI ganz lange nicht beschäftigt oder nicht ausreichend beschäftigt.

00:08:55: Das würde man sich jetzt wünschen, dass das mal wirklich zum Fokus

00:08:58: wird.".

00:08:58: Es war nämlich auch so, dass bei diesen Studien die dort einen Zug erhalten hatten, thirty-fünfunddreißig Kommmer acht Prozent der Studien einen mindestens einen Autor hatten, die Interessenskonflikte hatten und das ist ja auch noch ein großes Thema.

00:09:15: also da sehen wir, thirty fünf Prozent der Studien waren in irgendeiner Weise betroffen von Interessen Konflikten?

00:09:23: Es wird aber bei diesem Review nicht analysiert, wie häufig diese Interessenskonflikte mit Finanzierungen oder mit Finanzierung zu tun haben zum Beispiel.

00:09:33: Ja das wurde einfach nicht analysieren.

00:09:35: jetzt in diesem Review was ein bisschen schade ist.

00:09:37: ja man würde ja gerne wissen gibt es einen Hinweis auf Finanzierung durch die Autoren?

00:09:42: und dass ist ja ein ganz ganz großes Problem was man ja ganz häufig sieht weshalb Studien ja häufig so bisschen schräg angeguckt werden unter Umständen.

00:09:50: Für mich wäre jetzt natürlich spannend, was hat das Ganze für Konsequenzen oder hat es überhaupt Konsequent?

00:09:57: Ja, das ist jetzt die gute Frage.

00:09:58: Also ich bin aufmerksam geworden auf diese ganze Geschichte wieder mal über Äffi- Ärztinnen und Ärzte für individuelle Impfentscheidung.

00:10:05: Da findet man auch deutlich mehr noch einmal als das, was ich jetzt hier gesagt habe.

00:10:08: Ich hab mir so ein bisschen die Highlights rausgeholt.

00:10:11: aber die fordern halt dass diese Studienergebnisse, die da jetzt rauskamen einfach nochmal überprüft werden müssen ob das denn wirklich alles so stimmt, was in diesen einzelnen Beobachtungs- und Interventionsstudien genannt wurde.

00:10:25: Und die fordern auch, dass eben zukünftig mehr mit Amster gearbeitet wird – Mit Amster II, mit diesem Tool, mit diesen Fragen!

00:10:33: Dass sie immer beachtet werden, dass sie durchgegangen werden wenn man systematische Reviews analysiert.

00:10:39: Und diese sind eben auch Goldstandard bezüglich Evidenz based Medicine.

00:10:44: Also das ist schon eine hohe Qualität Aber man sollte auch darauf achten, dass man die dann verwendet.

00:10:51: Also diese Reviews sind hohe Qualität eigentlich.

00:10:54: Das ist eigentlich super aber das muss auch gut gemacht werden.

00:10:57: also...

00:10:58: Ja und das Verrückte ist ja es kann ja durchaus eine gute Studie da sein, aber wenn ein Interessenskonflikt bestand, dann sollte man ihn wenigstens wissen, Genau,

00:11:11: oder diese Studienprotokolle.

00:11:13: Die Studien die ausgegrenzt wurden also diese ganzen Sachen das ist einfach total wichtig damit man es ganze einordnen kann.

00:11:20: Ja weil ich sage mal dass es macht halt das ganze Ding unglaubwürdig obwohl es vielleicht in dem einen oder anderen Fall gar nicht so sein muss.

00:11:28: ja genau und wenn alles da ist an Informationen und man jetzt eine super Wertung hat über amster zwei Menschen kann sich doch nur freuen wenn die Leute einem das geben dann kann man sagen okay dieser Studie kann diesen Review jetzt vertrauen.

00:11:42: Das ist gut, ja?

00:11:44: Ich find's wichtig, dass man daran erkennt, dass es mit den Studien gar nicht so einfach ist.

00:11:49: Denn alle Welt schreibt immer nach Studien und dann kommt eine Studie raus und einen Blättchen, schreibt wieder ... Ja, das ist bewiesen!

00:11:57: Und das ist so-und-so, weil die jene Studie das und das aussagt.

00:12:01: Wenn man hinter die Kulissen guckt und sieht erst mal, muss das Ganze gut gemacht sein.

00:12:06: Wir brauchen viele Leute, Das habe ich ja schon erzählt, wir brauchen viele Leute die Eingang in die Studie finden.

00:12:12: Wir brauchen bestimmte Qualitätsmerkmale handwerklich für eine gute Studie und andererseits brauchen wir aber auch eine gute Kommunikation von den Studienmachern das sie uns offen und transparent informieren.

00:12:24: Und dann haben wir ja noch verschiedene andere Kriterien was Studien betrifft.

00:12:27: Ich hab darüber mal ein kleines Instagram Real gemacht dass es zum Beispiel Abstract Spins gibt.

00:12:34: Das heißt, in der Zusammenfassung einer Studie steht gerne mal genau das Gegenteil von dem was später in der Studie steht.

00:12:40: also wenn man diese ganzen Hintergründe mal so ein bisschen wenigstens kennenlernt und wenigstern mal so bisschen sagt er interessant ist habe ich mal gehört dann kriegt mein größeren Respekt davor wie schwierig das ist mit Studien zu arbeiten.

00:12:51: hier richtig einzuschätzen ja und denen auch Vertrauen zu wollen

00:12:56: oder können.

00:12:59: Medizin für Mitdenker Der etwas andere Gesundheits-Podcast mit Volker Pietzsch

00:13:05: und

00:13:05: Dr.

00:13:05: Mezebille Freund.