Sehr geehrte Kollegin Löw,
Sie haben die Methodensektion um eine Stellungnahme bzgl. der Replik des CHE auf die DGS-Kritik gebeten. Ich erlaube mir, Ihnen eine persönliche Stellungnahme zukommen zu lassen:
Der meines Erachtens wichtigste Kritikpunkt gegen das CHE-Ranking ist bisher gar nicht zur Sprache gekommen: Einige der wichtigsten Indikatoren sind leicht manipulierbar, weil sie von den Betroffenen selbst erhoben werden. Die Informationen zu Drittmittelsumme, Promotionen und Zahl der Wissenschaftler werden schließlich bei den Instituten erhoben. Man muss schon ein sehr naives Menschenbild pflegen, wenn man glaubt, dass dabei nur objektive Zahlen gemeldet werden. Das CHE hat auch kaum Möglichkeiten, die Plausibilität der gelieferten Zahlen zu kontrollieren. Ein Ranking, das auf derart leicht manipulierbaren Daten beruht, ist sicherlich nicht akzeptabel. Statt Drittmittelanträge zu schreiben, lässt man das Komma beim Ausfüllen des CHE-Fragebogens "verrutschen" und schon ist man in der Spitzengruppe. Das ist ein wichtiger Unterschied zum WR-Rating, bei dem die "Peers" die Plausibilität der gelieferten Zahlen vermutlich einigermaßen einschätzen konnten.
Ansonsten muss ich aber dem CHE Recht geben: Das CHE-Ranking ist - gegeben die üblichen Restriktionen - ein durchdachtes und gelungenes Ranking. Das WR-Rating ist natürlich noch eine Klasse besser, aber es ist sehr aufwendig und berücksichtigt bisher nicht die Studierendenurteile. Deshalb fürchte ich, dass nichts Besseres nachkommt, wenn das CHE-Ranking kippt. Meiner Meinung nach wäre ein CHE-Ranking mit weniger Manipulierbarkeit und besseren Forschungsindikatoren (wir sind uns vermutlich alle einig, dass die Qualität der Publikationen der beste Forschungsindikator ist und nicht Drittmittel und Zahl der Promotionen) ein brauchbares Ranking. Noch besser wäre natürlich ein weniger aufwendiges WR-Rating. Aber wer weiß, wann das kommt.
Mit besten Grüßen Josef Brüderl
Lieber Herr Brüderl, da kann ich Ihnen nur zustimmen! Auch meiner Meinung nach sind die "objektiven" Indikatoren im Ranking des CHE wahrscheinlich problematischer als die subjektiven Beurteilungen der Studierenden. Sie sind - neben der Manipulationsanfälligkeit - möglicherweise auch zufallsbehafteter als die subjektiven Indikatoren, weil sie sich oft auf ein kurzes Zeitfenster (z.B. "in den letzten 2 Jahren") beziehen, in dem im Mittel bestimmte Sachverhalte (wie z.B. Auslandsdozenturen oder ausländische Gastdozenten) bei kleineren Instituten nur selten auftreten. Entweder man steht man dann zufällig im gegebenen Zeitraum großartig da oder auch ganz schlecht. Und dann habe ich noch eine weitere Anmerkung: Völlig absurd erscheint mir die Behauptung in der DGS-Stellungnahme, Studienbewerber würden sich am CHE-Ranking nicht orientieren. Aufgrund von (ebenfalls informellen) Befragungen einer großen Zahl unserer Studierenden weiß ich, dass sich diese - wenn sie sich überhaupt an irgend etwas außer Wohnortnähe orientieren - noch am ehesten nach den CHE-/Zeit-Veröffentlichungen richten. Woran könnten sie sich denn auch sonst orientieren? Mit den besten Grüßen, Peter H. Hartmann
Am 16.07.2012 15:53, schrieb Josef Brüderl:
Der meines Erachtens wichtigste Kritikpunkt gegen das CHE-Ranking ist bisher gar nicht zur Sprache gekommen: Einige der wichtigsten Indikatoren sind leicht manipulierbar, weil sie von den Betroffenen selbst erhoben werden. Die Informationen zu Drittmittelsumme, Promotionen und Zahl der Wissenschaftler werden schließlich bei den Instituten erhoben. Man muss schon ein sehr naives Menschenbild pflegen, wenn man glaubt, dass dabei nur objektive Zahlen gemeldet werden. Das CHE hat auch kaum Möglichkeiten, die Plausibilität der gelieferten Zahlen zu kontrollieren.
Liebe Kollegen, liebe Kolleginnen,
zur CHE-Diskussion: 1) Die Universität Hamburg beteiligt sich vorläufig nicht mehr am CHE oder ähnlichen Rankings. Die Begründung ist meines Wissens u.a.: Das Sammeln, Zusammenstellen und Liefern dieser Informationen kostet Geld (Ressourcen), die an anderer Stelle fehlen. Es handelt sich weiterhin um eine Dienstleistung, die in erster Linie privatwirtschaftlichen Unternehmen zugute kommt. Der inhaltliche Nutzen ist fraglich. 2) Meine persönliche Ansicht: Ich teile die Position der Universität Hamburg. Was ich sehr interessant an der gesamten Diskussion (auch innerhalb der Methodensektion) finde ist, dass überhaupt nicht diskutiert wird, was gemessen werden soll (welches Konstrukt soll hier überhaupt erfasst werden, wer definiert dieses Konstrukt) und "wie gut" (in welchen Sinne) die Messinstrumente dies überhaupt können. Interessant finde ich das insbesondere deswegen, weil wir doch eigentlich alle WissenschaftlerInnen sind, die dies an anderer Stelle einfordern (sollten). Über einige der Kriterien haben sich ja bereits einige KollegInnen ausgelassen (by the way: Was sind denn Kriterien, die qualitative Wertigkeit von Arbeiten identifizieren? Der Impact-Faktor der Zeitschrift (wer hat den höheren Impact-Faktor: Bild oder Zeit)? Die Zitationshäufigkeit? Welches ist das Messniveau? Wie wird Quantität und angebliche Qualität auf Basis welcher Begründung kombiniert?). In den letzten Mails war die Studierendenevaluation angesprochen worden. Auch da stellt sich die Frage, was hier eigentlich gemessen wird (gemessen werden soll). Machen Sie doch einmal folgendes Quasi-Experiment: Unterrichten Sie (weitgehende Konstanthaltung der Lehrperson) Methoden einmal sehr grundlegend, auf einem abstrakten Level, der eigene Anstrengungen der Studierenden erfordert und einmal sehr übersichtsartig, thematisch breit aber ohne tieferes Verständnis für die Grundlagen einzufordern (in beiden Fällen eignet sich dazu insbesondere die Statistik). Was denken Sie, wird von Studierenden besser beurteilt werden? Was halten Sie für "besser" (in welchem Sinn)? Kurz: Solange nicht klar definiert ist, was und wie gut dieses "was auch immer" gemessen werden soll (und da sind wir als MethodikerInnen gefragt) und welcher Nutzen (außer für privatwirtschaftliche Gewinne oder politisch fragwürdige Entscheidungen) damit verbunden ist, sollten die knappen Ressourcen der Universitäten meiner Ansicht nach dafür nicht verwendet werden.
Beste Grüße aus dem klammen Hamburg, Martin Spieß.
Am 17.07.2012 19:38, schrieb Peter H. Hartmann:
Lieber Herr Brüderl, da kann ich Ihnen nur zustimmen! Auch meiner Meinung nach sind die "objektiven" Indikatoren im Ranking des CHE wahrscheinlich problematischer als die subjektiven Beurteilungen der Studierenden. Sie sind - neben der Manipulationsanfälligkeit - möglicherweise auch zufallsbehafteter als die subjektiven Indikatoren, weil sie sich oft auf ein kurzes Zeitfenster (z.B. "in den letzten 2 Jahren") beziehen, in dem im Mittel bestimmte Sachverhalte (wie z.B. Auslandsdozenturen oder ausländische Gastdozenten) bei kleineren Instituten nur selten auftreten. Entweder man steht man dann zufällig im gegebenen Zeitraum großartig da oder auch ganz schlecht. Und dann habe ich noch eine weitere Anmerkung: Völlig absurd erscheint mir die Behauptung in der DGS-Stellungnahme, Studienbewerber würden sich am CHE-Ranking nicht orientieren. Aufgrund von (ebenfalls informellen) Befragungen einer großen Zahl unserer Studierenden weiß ich, dass sich diese - wenn sie sich überhaupt an irgend etwas außer Wohnortnähe orientieren - noch am ehesten nach den CHE-/Zeit-Veröffentlichungen richten. Woran könnten sie sich denn auch sonst orientieren? Mit den besten Grüßen, Peter H. Hartmann
Am 16.07.2012 15:53, schrieb Josef Brüderl:
Der meines Erachtens wichtigste Kritikpunkt gegen das CHE-Ranking ist bisher gar nicht zur Sprache gekommen: Einige der wichtigsten Indikatoren sind leicht manipulierbar, weil sie von den Betroffenen selbst erhoben werden. Die Informationen zu Drittmittelsumme, Promotionen und Zahl der Wissenschaftler werden schließlich bei den Instituten erhoben. Man muss schon ein sehr naives Menschenbild pflegen, wenn man glaubt, dass dabei nur objektive Zahlen gemeldet werden. Das CHE hat auch kaum Möglichkeiten, die Plausibilität der gelieferten Zahlen zu kontrollieren.
Methsekt-intern mailing list Methsekt-intern@mailman.uni-konstanz.de https://mailman.uni-konstanz.de/mailman/listinfo/methsekt-intern
methsekt-intern@mailman.uni-konstanz.de
-
Josef Brüderl -
Martin Spiess -
Peter H. Hartmann