Methsekt-intern July 2012

methsekt-intern@mailman.uni-konstanz.de

8 participants
4 discussions

CHE Ranking
by Martin Spiess 19 Jul '12

19 Jul '12

Liebe Kollegen, liebe Kolleginnen, zur CHE-Diskussion: 1) Die Universität Hamburg beteiligt sich vorläufig nicht mehr am CHE oder ähnlichen Rankings. Die Begründung ist meines Wissens u.a.: Das Sammeln, Zusammenstellen und Liefern dieser Informationen kostet Geld (Ressourcen), die an anderer Stelle fehlen. Es handelt sich weiterhin um eine Dienstleistung, die in erster Linie privatwirtschaftlichen Unternehmen zugute kommt. Der inhaltliche Nutzen ist fraglich. 2) Meine persönliche Ansicht: Ich teile die Position der Universität Hamburg. Was ich sehr interessant an der gesamten Diskussion (auch innerhalb der Methodensektion) finde ist, dass überhaupt nicht diskutiert wird, was gemessen werden soll (welches Konstrukt soll hier überhaupt erfasst werden, wer definiert dieses Konstrukt) und "wie gut" (in welchen Sinne) die Messinstrumente dies überhaupt können. Interessant finde ich das insbesondere deswegen, weil wir doch eigentlich alle WissenschaftlerInnen sind, die dies an anderer Stelle einfordern (sollten). Über einige der Kriterien haben sich ja bereits einige KollegInnen ausgelassen (by the way: Was sind denn Kriterien, die qualitative Wertigkeit von Arbeiten identifizieren? Der Impact-Faktor der Zeitschrift (wer hat den höheren Impact-Faktor: Bild oder Zeit)? Die Zitationshäufigkeit? Welches ist das Messniveau? Wie wird Quantität und angebliche Qualität auf Basis welcher Begründung kombiniert?). In den letzten Mails war die Studierendenevaluation angesprochen worden. Auch da stellt sich die Frage, was hier eigentlich gemessen wird (gemessen werden soll). Machen Sie doch einmal folgendes Quasi-Experiment: Unterrichten Sie (weitgehende Konstanthaltung der Lehrperson) Methoden einmal sehr grundlegend, auf einem abstrakten Level, der eigene Anstrengungen der Studierenden erfordert und einmal sehr übersichtsartig, thematisch breit aber ohne tieferes Verständnis für die Grundlagen einzufordern (in beiden Fällen eignet sich dazu insbesondere die Statistik). Was denken Sie, wird von Studierenden besser beurteilt werden? Was halten Sie für "besser" (in welchem Sinn)? Kurz: Solange nicht klar definiert ist, was und wie gut dieses "was auch immer" gemessen werden soll (und da sind wir als MethodikerInnen gefragt) und welcher Nutzen (außer für privatwirtschaftliche Gewinne oder politisch fragwürdige Entscheidungen) damit verbunden ist, sollten die knappen Ressourcen der Universitäten meiner Ansicht nach dafür nicht verwendet werden. Beste Grüße aus dem klammen Hamburg, Martin Spieß. Am 17.07.2012 19:38, schrieb Peter H. Hartmann: > Lieber Herr Brüderl, > da kann ich Ihnen nur zustimmen! Auch meiner Meinung nach sind die > "objektiven" Indikatoren im Ranking des CHE wahrscheinlich > problematischer als die subjektiven Beurteilungen der Studierenden. > Sie sind - neben der Manipulationsanfälligkeit - möglicherweise auch > zufallsbehafteter als die subjektiven Indikatoren, weil sie sich oft > auf ein kurzes Zeitfenster (z.B. "in den letzten 2 Jahren") beziehen, > in dem im Mittel bestimmte Sachverhalte (wie z.B. Auslandsdozenturen > oder ausländische Gastdozenten) bei kleineren Instituten nur selten > auftreten. Entweder man steht man dann zufällig im gegebenen Zeitraum > großartig da oder auch ganz schlecht. > Und dann habe ich noch eine weitere Anmerkung: Völlig absurd erscheint > mir die Behauptung in der DGS-Stellungnahme, Studienbewerber würden > sich am CHE-Ranking nicht orientieren. Aufgrund von (ebenfalls > informellen) Befragungen einer großen Zahl unserer Studierenden weiß > ich, dass sich diese - wenn sie sich überhaupt an irgend etwas außer > Wohnortnähe orientieren - noch am ehesten nach den > CHE-/Zeit-Veröffentlichungen richten. Woran könnten sie sich denn auch > sonst orientieren? > Mit den besten Grüßen, > Peter H. Hartmann > > Am 16.07.2012 15:53, schrieb Josef Brüderl: >> Der meines Erachtens wichtigste Kritikpunkt gegen das CHE-Ranking ist >> bisher gar nicht zur Sprache gekommen: Einige der wichtigsten >> Indikatoren sind leicht manipulierbar, weil sie von den Betroffenen >> selbst erhoben werden. Die Informationen zu Drittmittelsumme, >> Promotionen und Zahl der Wissenschaftler werden schließlich bei den >> Instituten erhoben. Man muss schon ein sehr naives Menschenbild >> pflegen, wenn man glaubt, dass dabei nur objektive Zahlen gemeldet >> werden. Das CHE hat auch kaum Möglichkeiten, die Plausibilität der >> gelieferten Zahlen zu kontrollieren. > > > _______________________________________________ > Methsekt-intern mailing list > Methsekt-intern(a)mailman.uni-konstanz.de > https://mailman.uni-konstanz.de/mailman/listinfo/methsekt-intern -- Prof. Dr. Martin Spiess Psychological Methods Research Professor, DIW Berlin FB Psychologie Universitaet Hamburg Von-Melle-Park 5 20146 Hamburg Germany Tel. + 49 40 - 42838 5351 Fax. + 49 40 - 42838 6555 http://www.epb.uni-hamburg.de/de/node/817

1 0

CHE-Ranking
by Josef Brüderl 18 Jul '12

18 Jul '12

Sehr geehrte Kollegin Löw, Sie haben die Methodensektion um eine Stellungnahme bzgl. der Replik des CHE auf die DGS-Kritik gebeten. Ich erlaube mir, Ihnen eine persönliche Stellungnahme zukommen zu lassen: Der meines Erachtens wichtigste Kritikpunkt gegen das CHE-Ranking ist bisher gar nicht zur Sprache gekommen: Einige der wichtigsten Indikatoren sind leicht manipulierbar, weil sie von den Betroffenen selbst erhoben werden. Die Informationen zu Drittmittelsumme, Promotionen und Zahl der Wissenschaftler werden schließlich bei den Instituten erhoben. Man muss schon ein sehr naives Menschenbild pflegen, wenn man glaubt, dass dabei nur objektive Zahlen gemeldet werden. Das CHE hat auch kaum Möglichkeiten, die Plausibilität der gelieferten Zahlen zu kontrollieren. Ein Ranking, das auf derart leicht manipulierbaren Daten beruht, ist sicherlich nicht akzeptabel. Statt Drittmittelanträge zu schreiben, lässt man das Komma beim Ausfüllen des CHE-Fragebogens "verrutschen" und schon ist man in der Spitzengruppe. Das ist ein wichtiger Unterschied zum WR-Rating, bei dem die "Peers" die Plausibilität der gelieferten Zahlen vermutlich einigermaßen einschätzen konnten. Ansonsten muss ich aber dem CHE Recht geben: Das CHE-Ranking ist - gegeben die üblichen Restriktionen - ein durchdachtes und gelungenes Ranking. Das WR-Rating ist natürlich noch eine Klasse besser, aber es ist sehr aufwendig und berücksichtigt bisher nicht die Studierendenurteile. Deshalb fürchte ich, dass nichts Besseres nachkommt, wenn das CHE-Ranking kippt. Meiner Meinung nach wäre ein CHE-Ranking mit weniger Manipulierbarkeit und besseren Forschungsindikatoren (wir sind uns vermutlich alle einig, dass die Qualität der Publikationen der beste Forschungsindikator ist und nicht Drittmittel und Zahl der Promotionen) ein brauchbares Ranking. Noch besser wäre natürlich ein weniger aufwendiges WR-Rating. Aber wer weiß, wann das kommt. Mit besten Grüßen Josef Brüderl -- Prof. Dr. Josef Brüderl University of Munich Department of Sociology Konradstr.6 D-80801 Munich Tel.: +49 - 89 - 2180 6416 (Sec. 2923) j.bruederl(a)lmu.de http://www.ls3.soziologie.uni-muenchen.de

3 2

Re: [Methsekt-intern] WG: DGS-Kritik am CHE-Ranking
by Friedrichs Jürgen 11 Jul '12

11 Jul '12

Liebe Kolleginnen und Kollegen, ich finde die Stellungnahme der DGS sehr gut - und überfällig. Was die Argumentation jedoch noch stärker machte, wären Hinwiese auf andere Fächer. Im Prinzip müssen die Einwände, z.B. selektive Urteile von Studierenden, ja für alle Fächer gelten. Wenn wir also zumindest darauf hinwiesen, oder, noch besser: andere Fächer ins Boot bekämen, sollte DIE ZEIT eine solche Stellungnahme veröffentlichen (müssen). Mit besten Grüßen Jürgen Friedrichs Von: methsekt-intern-bounces(a)mailman.uni-konstanz.de [mailto:methsekt-intern-bounces@mailman.uni-konstanz.de] Im Auftrag von Sprecher der Methodensektion Gesendet: Donnerstag, 5. Juli 2012 13:35 An: methsekt-intern(a)mailman.uni-konstanz.de Betreff: [Methsekt-intern] WG: DGS-Kritik am CHE-Ranking Liebe Kollegin, lieber Kollege, wie Sie wahrscheinlich wissen, hat die DGS kürzlich eine massive Kritik am CHE-Ranking veröffentlicht. Auf diese Kritik folgte eine ausführliche Replik des CHE. Die entsprechenden Dokumente finden Sie im Anhang. Die Vorsitzende der DGS, Frau Löw, bittet uns nun um eine Einschätzung der Situation (siehe Ihren untenstehenden Brief). Wenn Sie dazu beitragen wollen, wäre ich Ihnen sehr für eine kurze Nachricht bis zum 31.7. dankbar. Der Vorstand wird dann auf Basis Ihrer Rückmeldung entscheiden, wie wir weiter verfahren. Beste Grüße und einen schönen Sommer Christof Wolf Von: Prof. Löw [mailto:loew@stadtforschung.tu-darmstadt.de] Gesendet: Donnerstag, 5. Juli 2012 10:36 An: Sprecher der Methodensektion Betreff: DGS-Kritik am CHE-Ranking Lieber Herr Wolf, wie Sie sicher wissen hat die DGS nach Rücksprache mit den Sektionen und auf Beschluss des Konzils eine Stellungnahme zum CHE Ranking verfasst. Das CHE hat nun reagiert. Im Namen des Vorstandes möchte ich Sie nun ganz herzlich bitten, uns mit Ihrer Einschätzung zu unterstützen. Sehen Sie auf der methodischen Ebene weitere Argumente, welche die DGS anführen kann, um auf die CHE Gegendarstellung zu reagieren? Gleichzeitig interessiert uns, an welchen Stellen Sie eher der CHE-Gruppe zustimmen würden und der Einschätzung der DGS kritisch gegenüberstehen. Vielleicht gibt es auch in der Sektion jemand, der für Fragen der Evaluation besonders ausgewiesen ist und besser auf unsere Fragen antworten kann. Dann würde ich Sie bitten, unsere Anfrage an die Person (oder Personen) weiterzuleiten. In jedem Fall wäre ich über eine Unterstützung bei der weiteren Reflexion zum Thema sehr dankbar. Mit herzlichen Grüßen Martina Löw P.S. Wenn Ihnen ein Telefonat lieber ist, dann rufe ich auch gerne an.

4 4

WG: DGS-Kritik am CHE-Ranking
by Sprecher der Methodensektion 05 Jul '12

05 Jul '12

Liebe Kollegin, lieber Kollege, wie Sie wahrscheinlich wissen, hat die DGS kürzlich eine massive Kritik am CHE-Ranking veröffentlicht. Auf diese Kritik folgte eine ausführliche Replik des CHE. Die entsprechenden Dokumente finden Sie im Anhang. Die Vorsitzende der DGS, Frau Löw, bittet uns nun um eine Einschätzung der Situation (siehe Ihren untenstehenden Brief). Wenn Sie dazu beitragen wollen, wäre ich Ihnen sehr für eine kurze Nachricht bis zum 31.7. dankbar. Der Vorstand wird dann auf Basis Ihrer Rückmeldung entscheiden, wie wir weiter verfahren. Beste Grüße und einen schönen Sommer Christof Wolf Von: Prof. Löw [mailto:loew@stadtforschung.tu-darmstadt.de] Gesendet: Donnerstag, 5. Juli 2012 10:36 An: Sprecher der Methodensektion Betreff: DGS-Kritik am CHE-Ranking Lieber Herr Wolf, wie Sie sicher wissen hat die DGS nach Rücksprache mit den Sektionen und auf Beschluss des Konzils eine Stellungnahme zum CHE Ranking verfasst. Das CHE hat nun reagiert. Im Namen des Vorstandes möchte ich Sie nun ganz herzlich bitten, uns mit Ihrer Einschätzung zu unterstützen. Sehen Sie auf der methodischen Ebene weitere Argumente, welche die DGS anführen kann, um auf die CHE Gegendarstellung zu reagieren? Gleichzeitig interessiert uns, an welchen Stellen Sie eher der CHE-Gruppe zustimmen würden und der Einschätzung der DGS kritisch gegenüberstehen. Vielleicht gibt es auch in der Sektion jemand, der für Fragen der Evaluation besonders ausgewiesen ist und besser auf unsere Fragen antworten kann. Dann würde ich Sie bitten, unsere Anfrage an die Person (oder Personen) weiterzuleiten. In jedem Fall wäre ich über eine Unterstützung bei der weiteren Reflexion zum Thema sehr dankbar. Mit herzlichen Grüßen Martina Löw P.S. Wenn Ihnen ein Telefonat lieber ist, dann rufe ich auch gerne an.

1 0

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

Methsekt-intern July 2012