Reaktion Trusted

Reaktion Trusted

Max Reichlin, Head of Content bei trusted.de schreibt uns: „Wir scheuen die kritische Auseinandersetzung mit unseren Inhalten nicht und sind gerne bereit, Ihnen alle Fragen bezüglich unserer Test- und Vergleichsinhalte zu beantworten. Nun zu den einzelnen Punkten:

Gesamtnoten, Teilnoten und Gewichtung: In Ihrer ursprünglichen Mail vom 04.04.2024 schreiben Sie: “Wir haben keinerlei Hinweis darauf gefunden, dass (und wenn ja wie) die Teilnoten gewichtet in das Gesamturteil einfließen. Wenn aber lediglich der Durchschnitt errechnet wird, ist zum Beispiel das Gesamturteil für das Saal Digital Fotobuch ‘sehr gut (1,2)’ falsch. Korrekt wäre 1,4. Das Gleiche gilt für das Zeiterfassungssystem Clockodo (1,8 statt 1,3), die Handyversicherung Easy Insurance (1,4 statt 1,3), das Girokonto der DKB (1,6 statt 1,3) oder das Hausverwaltungssystem Immocloud (1,1 statt 1,0).”

Scheinbar folgerichtig urteilen Sie in Ihrem Beitrag auf Testwatch: “Das Gesamturteil ist unserer Meinung nach falsch. Der Durchschnitt der Testnoten [für Easy Insurance] ist 1,36, also gerundet 1,4, nicht 1,3.” Wir stimmen Ihnen zu, dass wir das Bewertungssystem auf trusted.de transparenter kommunizieren können und bedanken uns daher schon einmal für die Kritik und den Denkanstoß. Wir haben bereits alles dafür in Bewegung gesetzt, unsere Test- und Benotungsverfahren für Leser:innen klarer und verständlicher zu machen.

Die Gesamtnoten sind nicht falsch, auch wenn wir verstehen, wie dieser Eindruck bei Testwatch entstanden ist. Tatsächlich bewerten wir jede unserer Vergleichskategorien anhand von mehreren Bewertungskriterien, die gesammelt einen Gesamtscore ergeben. Allerdings fließen die einzelnen Bewertungskriterien nicht 1 zu 1 in die Gesamtnote ein, sondern sind nach Wichtigkeit/Relevanz gewichtet. So wollen wir sicherstellen, dass kritische Funktionen und Produktmerkmale (“Must Haves”) stärker gewichtet werden, als Kriterien, die nur “nice to have” sind. Für die Auswahl und die Gewichtung der Kriterien orientieren wir uns so nah wie möglich an den Bedürfnissen der Verbraucher:innen. Die Gewichtung der einzelnen Kriterien – wie übrigens auch unser jeweiliges Testverfahren für jede Kategorie – veröffentlichen wir transparent auf der Website; allerdings nicht auf jedem einzelnen Testbericht. Das ist ein Versäumnis, das wir zeitnah korrigieren werden, um Missverständnisse auszuräumen und transparenter zu kommunizieren und wir bedanken uns bei Testwatch für die Kritik und den Denkanstoß! Besucher:innen auf trusted.de sollen stets die Möglichkeit haben, sich über unsre Bewertungsgrundlage zu informieren und sich bei Bedarf kritisch mit unserer Bewertung auseinanderzusetzen – anstatt die Katze im Sack zu kaufen.

Dass wir unsere Testverfahren und Gewichtungen bereits jetzt an zentraler Stelle kommunizieren, können Sie für die drei von Ihnen im Beitrag genannten Kategorien hier einsehen: trusted.de/girokonto#h2-so-hat-trusted-girokonten-verglichen, trusted.de/fotobuecher#h2-wie-hat-trusted-fotobuecher-getestet, trusted.de/handyversicherung#h2-so-hat-trusted-smartphone-versicherungen-getestet. Einen solchen Abschnitt “So haben wir getestet” erstellen wir aus Gründen der Transparenz für jede unserer Vergleichskategorien. Wir werden nun prüfen, ob wir die Möglichkeit nutzen wollen, diesen Abschnitt auch für die einzelnen Testberichte zu verlinken. Gleichzeitig werden wir unsere Seite “So testen wir” aktualisieren und weiter ausbauen. Wir haben in dieser Woche bereits neue Inhalte dafür fertiggestellt und werden diese voraussichtlich Anfang nächster Woche bei uns veröffentlichen.

Für Sie als weitere Hintergrundinformation: Selbst mit der Gewichtung werden Sie feststellen, dass die Teilnoten sich nicht exakt zur jeweiligen Gesamtnote aufaddieren lassen. Das hat den einfachen Grund, dass unsere Teil- und Gesamtnoten aus einem prozentualen Score errechnet werden, da wir für die Tests und Bewertung selbst ein Prozentsystem verwenden. Wir sind erst im vergangenen Jahr dazu übergegangen, unsere prozentualen Ergebnisse konsequent in Schulnoten umzurechnen, da diese für Leser:innen einfacher und übersichtlicher zu verstehen sind. Da sich die Prozentwerte allerdings (siehe in der Tabelle unten) nicht regelmäßig in Schulnoten umrechnen lassen, kommt es hier teilweise zu Diskrepanzen.

Wir orientieren uns für die Umrechnung nämlich an dieser Tabelle, die auf ähnliche Art auch in vielen deutschen Hochschulen und Universitäten zur Errechnung der Schulnoten angewandt wird. Beispielsweise verwendet auch die Technische Hochschule Mittelhessen diese Punkteskala. Unter Einbeziehung der genannten Gewichtungen ergibt sich ein Gesamtscore von 91,6% (gerundet 92%) und damit unsere Endnote 1,2. Würde man die reinen Schulnoten mit der jeweiligen Gewichtung zusammenrechnen, ergäbe sich eine Note von 1,38 (gerundet 1,4); aber diese Rechnung wäre nicht korrekt, denn eine Note von 1,8 (für “Kosten”) könnte ja sowohl eine Wertung von 84%, als auch eine Wertung von 83% bedeuten.

Uns ist klar: Das ist nicht ideal. Aber die Rechnung in Prozentwerten erleichtert es uns, kleinteiliger zu bewerten und so auch feine Unterschiede herauszustellen; während die Angabe in Schulnoten für Leser:innen als “gelerntes System” nachvollziehbarer ist. Daher haben wir uns dazu entschlossen, unsere Bewertung auf diese Art und Weise vorzunehmen. Sie sehen also: Die Berechnung der Gesamtnote ist korrekt. Den Vorwurf der mangelnden Transparenz lassen wir dagegen gelten und werden wie oben beschrieben darauf reagieren.

So viel jedenfalls zum Thema “Handyversicherung” und “Fotobücher”. Für das Beispiel “Girokonto” haben wir ebenfalls noch einmal nachgerechnet, und mussten feststellen, dass uns hier tatsächlich ein Berechnungsfehler unterlaufen ist. Glücklicherweise abermals nicht bei der Gesamtnote; stattdessen sind hier die einzelnen Teilnoten nicht korrekt aus den prozentualen Werten errechnet worden; die Gesamtnote dagegen ist korrekt. Wir haben die vergangene Woche dazu genutzt, diesen Fehler zu beheben und akribisch zu prüfen, ob auch in anderen Vergleichskategorien ähnliche Berechnungsfehler passiert sind. Die aktualisierten Teilnoten für “Girokonto” sind zum Zeitpunkt meiner E-Mail bereits bei uns live: https://trusted.de/dkb-girokonto. Auch diesbezüglich möchten wir uns noch einmal bei Ihnen bedanken und werden Sie im Sinne der Transparenz über alle weiteren Entwicklungen zu diesem Thema gerne auf dem Laufenden halten!

Nachvollziehbarkeit der Teilnoten aus dem Testfazit: In Ihrem Beitrag zu trusted.de auf Testwatch schreiben Sie: “Wichtiger ist allerdings, dass nicht nachvollziehbar ist, wie die Teilnoten zustande kommen, aus denen sich das Gesamturteil zusammensetzt. [...] Eine Begründung dafür, warum zum Beispiel die Note für Service und Support ‘sehr gut (1,2)’ und nicht etwa ‘gut (1,6)’ oder ‘gut (2,0)’ ist, können wir diesem Fazit nicht entnehmen.”

Hier haben Sie nicht Unrecht; der explizite Score von 1,2 in Sachen “Service & Support” wird nicht alleine aus dem Fazit ersichtlich. Wir bemühen uns selbstverständlich, das Zustandekommen unserer Bewertung in jedem unserer Testberichte und Reviews deutlich zu machen; daher gehören unsere Testberichte auch zu den ausführlichsten der Branche. Jede Teilnote hat daher auch ihren jeweils eigenen Textabschnitt, in dem wir ausführlicher auf die einzelnen Unterpunkte eingehen; diese Textabschnitte sind aus dem Fazit jeweils per Sprungmarke verlinkt. Dennoch stimmen wir mit Ihnen überein, dass wir den Grund für die Bewertung ggf. stärker bzw. verständlicher in den Vordergrund stellen sollten und werden diesen Punkt für kommende Testberichte bzw. auch für eine Aktualisierung der Inhalte in den genannten Kategorien berücksichtigen.

Finanzierung (Affiliates): In Ihrem Beitrag zu trusted.de auf Testwatch schreiben Sie: “trusted.de verdient an der Weiterleitung der User an die Anbieter (Affiliate). Die klicken bessere Testurteile schneller an als schlechtere.” Das ist prinzipiell richtig! trusted.de finanziert sich in der Tat durch Affiliate- und PPC-Kooperationen, in deren Rahmen wir für die Weiterleitung interessierter Leser:innen ggf. eine Provision erhalten. Diese Vorgehensweise kennzeichnen wir auch klar erkennbar und gemäß der Vorgaben des Verbraucherschutzes auf allen unseren Seiten, auf denen Affiliate-Links auftauchen, und verlinken zu diesem Zweck auf unsere Informationsseite “Wie wir uns finanzieren”. Wir wollen unsere redaktionellen Inhalte für unsere Leser:innen kostenlos zur Verfügung stellen und dennoch transparent bleiben. Gleichzeitig wollen wir uns in jeder Testkategorie unsere Unabhängigkeit bewahren; daher hat eine bezahlte Partnerschaft niemals Einfluss auf unsere redaktionelle Bewertung.

Im Gegenteil: Wir haben in der Vergangenheit bereits bezahlte Partnerschaften verloren oder diese von uns aus abgelehnt; z.B., weil die entsprechenden potenziellen Partner nicht mit unserer kritischen Beurteilung einverstanden waren, oder weil wir umgekehrt keine Empfehlung für das jeweilige Produkt oder Angebot aussprechen wollten. In Gesprächen mit potenziellen Partnern, in E-Mails an interessierte Firmen und auch in unseren internen Präsentationen, Briefings und Leitfäden findet sich an prominenter Stelle ein Passus wie dieser: “Die Art der Kooperation oder die Höhe der Provision haben keinen Einfluss auf die Bewertung Ihres Angebots durch unsere Testredaktion, die stets redaktionell und unabhängig erfolgt.” Mit Anbietern, die diese Bedingungen akzeptieren, gehen wir gerne eine Partnerschaft ein und empfehlen auch ihre Produkte für diejenigen Leser:innen, für die das jeweilige Produkt interessant sein könnte. Mit Anbietern, die uns als Werbe- und Marketing-Plattform verstehen, die werbliche Texte oder gar störende Banner auf unserer Seite platzieren wollen oder die Einfluss auf unsere Test- und Bewertungsverfahren nehmen möchten, arbeiten wir dagegen nicht zusammen. Ebenso wenig veröffentlichen wir Sponsored oder Paid Content.

Wir geben zudem niemals eine Empfehlung ohne Kontext ab, sondern bemühen uns in jedem Fall, ein Produkt nicht nur zu empfehlen, sondern auch zu kommunizieren, wem genau und warum wir das jeweilige Angebot empfehlen würden. Wir wollen unsere Leser:innen nicht sinnfrei zum Klicken anregen, sondern ihnen Produkte ans Herz legen, die zu ihnen passen oder passen könnten. Wir werden die Kritik von Testwatch allerdings zum Anlass nehmen, unsere erwähnte Infoseite zum Thema “Finanzierung” neu zu gestalten und darin unser Finanzierungsmodell sowie unsere redaktionellen Grundsätze noch transparenter zu kommunizieren.

Grundlegende Bewertung bestimmter Produkte: In Ihrem Beitrag zu trusted.de auf Testwatch schreiben Sie: “Nicht zuletzt stellt sich die Frage, ob eine Handyversicherung überhaupt ‘sehr gut’ sein kann. Fragt man seriöse Verbraucherschützer, lautet die Antwort: Nein.” Darüber lässt sich mit Sicherheit streiten. Wir halten eine Handyversicherung in vielen Fällen – zum Beispiel, wenn man beruflich stark auf das Gerät angewiesen ist, es täglich nutzt und im Ernstfall einen schnellen Ersatz bzw. schnelle Reparatur benötigt – nicht für sinnlos. In unserem Vergleich sprechen wir daher ja auch explizit eine Zielgruppe an, die diesem Profil entspricht.

Aber der angesprochene Punkt ist natürlich grundlegender! Wir betrachten es nicht in erster Linie als unsere Aufgabe, die Sinnhaftigkeit von Produkten an sich zu bewerten, sondern wollen Nutzer:innen, die bereits aktiv auf der Suche nach einem entsprechenden Angebot sind, helfen, das beste Angebot für ihre Bedürfnisse zu finden. Und in diesem Fall können (und müssen) wir natürlich die verfügbaren Produkte anhand der ihnen innewohnenden Maßstäbe messen, vergleichen und bewerten. Zudem veröffentlichen wir in jedem Fall auch transparent die Preise, Vertragskonditionen und Produktmerkmale und kehren Schwächen nicht unter den Teppich. So bewerben wir die Produkte nicht stumpf, sondern geben unseren Leser:innen die Möglichkeit, für sich selbst eine Entscheidung darüber zu treffen, ob das Angebot für sie geeignet ist, oder nicht. So viel Mündigkeit wollen wir unseren Leser:innen auch zugestehen.

Salopp ausgedrückt: Ich persönlich mag es vielleicht für netter und persönlicher halten, ein klassisches Fotoalbum als Geschenk für jemanden zu basteln und würde deswegen kein Fotobuch kaufen. Das heißt nicht, dass ich nicht trotzdem Menschen helfen kann, die das anders sehen und sich für die besten Fotobuch-Anbieter auf dem Markt interessieren. Denn diese Zielgruppe freut sich darüber, wenn ich Ihnen anhand von tiefgreifender Recherche und persönlicher Erfahrung ein Produkt empfehlen kann.

 Einbindung von User-Bewertungen: In Ihrem Beitrag zu trusted.de auf Testwatch schreiben Sie: “Der Eindruck Hand und Fuß relativiert sich, wenn man die Beschreibung des Testverfahrens vollständig liest. Ganz am Ende heißt es nämlich: „trusted bewertet stets unabhängig, transparent und nachvollziehbar. Trotzdem ist in der Regel nur eine “Meinung” nicht genug, um ein Tool oder Produkt umfassend zu bewerten. Daher verknüpfen wir unsere Test- und Vergleichsseiten auch mit externen Bewertungsplattformen auf denen Expert:innen und hunderte langjähriger User ihre eigene Einschätzung geben. So bieten wir Ihnen den bestmöglichen - weil unabhängigen - Vergleich und verschaffen Ihnen einen 360-Grad-Überblick.“ Der Testbericht zur Handyversicherung ist daher wie alle anderen überschrieben: „Testfazit: „Meine Erfahrungen (..)“.”

Hier gibt es ggf. ein Missverständnis (oder wir verstehen die Kritik nicht; in diesem Fall würde ich Sie höflich bitten, zu präzisieren, was Sie hier konkret meinen, damit wir dazu Stellung beziehen können). Wir lesen erst einmal hier heraus, dass Sie uns ankreiden, mit eigenen Erfahrungen und eigenen Praxistests zu werben, gleichzeitig aber auch User-Bewertungen zu veröffentlichen, die nicht aus unserem Redaktionsteam stammen. Ist das so richtig?

Sollte dem so sein, würde ich hier gerne präzisieren, dass wir zwar User-Bewertungen (in Form der bekannten Sternebewertungen) von verschiedenen Quellen aggregieren und bei uns veröffentlichen; dass diese allerdings nicht in unsere redaktionelle Bewertung einfließen. Die beiden Bereiche “redaktioneller Content” und “User Generated Content” sind strikt voneinander getrennt; und das ganz bewusst. Unsere eigene Testnote, für die wir auch das jeweilige Testsiegel vergeben, speist sich immer nur aus unserem Praxistest und unseren Bewertungskriterien. Die Testnote ist (wie oben beschrieben) stets unabhängig; sowohl von der Meinung und Werbung des jeweiligen Anbieters, als auch von bestehenden User-Bewertungen im Netz. Es ist im tiefsten Wortsinne unsere Einschätzung des Produkts.

Allerdings ist uns selbstverständlich klar – und das schreiben wir ja im von Ihnen zitierten Text auch wörtlich – dass unsere Testerfahrung trotz ausführlicher Recherchen und Tests (und trotzdem wir uns oft über mehrere Tage bis Wochen mit einzelnen Produkten beschäftigen) immer nur in einem Vakuum gesammelt wird und keine authentische Langzeiterfahrung ersetzen kann. Zudem beleuchten User die getesteten Produkte ggf. anhand von Gesichtspunkten, die wir in unserem Test nicht bedacht haben.

Daher wollen wir unseren Leser:innen beides bieten: Sowohl unsere redaktionelle Bewertung auf Basis eines standardisierten Testsezenarios, als auch authentische Meinungen und Bewertungen von Usern, die das jeweilige Produkt ggf. schon über Jahre nutzen. Dafür aggregieren wir Bewertungen von Plattformen wie den jeweiligen App-Stores oder trustpilot, bieten aber auch ein eigenes Bewertungsmodul an und laden Leser:innen herzlich dazu ein, die getesteten Produkte bei uns zu bewerten; auch, oder gerade wenn ihre Meinungen von unserer redaktionellen Bewertung abweichen. So entsteht ein tieferes Bild und der erwähnte “360-Grad-Blick” auf das Produkt, der nicht nur eine Momentaufnahme widerspiegelt.

Nur in Ausnahmefällen – zum Beispiel bei der Bewertung von Punkten wie “Service & Support” – fangen wir für unsere Inhalte ein Stimmungsbild ab und teilen es mit unseren Leser:innen, um unsere eigenen Einschätzungen zu ergänzen. Auch hier ist Langzeiterfahrung mit dem Support eines Anbieters nützlicher, als unsere “Momentaufnahme”.

Teilweise erwähnen wir User-Erfahrungen auch in unseren Inhalten, um einen Gesichtspunkt zu präzisieren oder auf etwas hinzuweisen; machen dann aber auch ganz klar, dass es sich dabei um “externe” Bewertungen handelt. Und natürlich schauen wir uns die User-Bewertungen auch an, um ein besseres Bild dafür zu bekommen, was Nutzer:innen konkret an der jeweiligen Produktkategorie interessiert, um diese Kriterien ggf. in zukünftigen Tests und Vergleichen mit aufzunehmen – machen uns dann aber wiederum ein eigenes Bild von der Sache.

Abschließende Worte: Zum Abschluss dieser sehr ausführlichen Antwort möchten wir uns noch einmal dafür bedanken, dass Sie durch Ihre kritische Betrachtung Verbesserungspotenzial aufdecken und Denkanstöße geben. Unsere Inhalte – wie die gesamte Vergleichs- und Testbranche im Netz – sind mit Sicherheit noch nicht perfekt und wir sind uns völlig klar darüber, dass wir noch den einen oder anderen Fehler machen, aus dem wir in Zukunft lernen können.

Dennoch möchte ich herausstellen, dass wir bei trusted versuchen, uns durch unsere echten und eigenen Tests von den oft oberflächlichen und werblichen Inhalten in der Branche abzusetzen, unabhängig zu recherchieren und zu vergleichen und Leser:innen mit einer vertrauenswürdigen Bewertung abzuholen. Diesbezüglich haben Testwatch und trusted im Grunde die gleiche Mission: Das Internet besser und transparenter zu machen!