Password-Berichte, Kommentare und Nachrichten - Dienstag, den 8. März 2016

Martin Schulz - Medienfreiheit Türkei - EA Annual Conference - Peer Review - Wissenschaftsbetrug - Open Access - Jasmin Schmitz - TIB - Theory and Practice of Digital Libraries

Tweet des Tages

Despite the Refugee Crisis
Media Freedom in Turkey
has to be Discussed

Martin Schulz ‏@MartinSchulz: The seizure of #Zaman is yet another blow to #pressfreedom in #Turkey. I intend to raise this issue on Monday @Ahmet_Davutoglu

EA Annual Conference

Peer Review in der Krise,
aber nicht zu ersetzen

Ausbeutung von Open-Access-Modellen
und Grenzen des Data Sharing

Von Jasmin Schmitz

Zweitägige EA Annual Conference zum Thema „The Role of Peer Review and Open Access in University Knowledge Dissemination and Evaluation“ in Mainz. Zusätzlich zum Vortragsprogramm mit internationalen Referenten gab es eine Reihe von Panel-Sitzungen[1].

Anwendung von Peer-Review-Verfahren

„Peer Review“ wird meistens mit Blick auf die Qualitätssicherung von Zeitschriftenbeiträgen diskutiert. Allerdings wird es auch für die Zusammenstellung von Konferenzprogrammen, Begutachtung von Förderanträgen und Berufungen eingesetzt. Somit entsteht allein durch den „Begutachtungsbedarf“ eine erhebliche Belastung insbesondere für Professoren. Diese lassen die Gutachten für Zeitschriftenartikel nicht selten von ihren Doktoranden erstellen. Aus diesem Grund variiert die Qualität der Peer-Review-Gutachten. Dies gilt insbesondere dann, wenn die Doktoranden ohne Anleitung mit der Abfassung betraut werden. Da Forschungsanträge gestellt werden, um neue Forschungsansätze zu finanzieren, sind diese teilweise kaum bewertbar. Hier konzentriert sich die Begutachtung häufig auf Formalismen und nicht auf die Idee an sich.

Wissenschaft im Übergang

Der Keynote-Vortrag von Paul Wouters vom CWTS in Leiden beschäftigte sich mit der Bewertung von Publikations- und Forschungsleistungen. Seiner Ansicht nach können bibliometrische Indikatoren Experteneinschätzungen nicht ersetzen. Zwar gäbe es positive Korrelationen zwischen Projekten, die erfolgreich das Peer-Review-Verfahren durchlaufen haben, und der Anzahl der Zitationen, die Forschungsarbeiten aus diesen Projekten auf sich vereinen. Allerdings ist es nicht verwunderlich, dass geförderte Projekte eher Ergebnisse produzieren, die rezipiert werden. Jedoch lässt sich nicht verhindern, dass Kennzahlen wie Zitationsraten in Begutachtungsverfahren berücksichtigt werden.

Die Popularität bibliometrischer Kennzahlen zeigt sich insbesondere an dem Ausbau bibliometrischer Dienstleistungen an Universitäten und der verstärkten Nutzung kostenloser Services wie „Google Scholar“ und der Software „Publish or Perish“ (http://www.harzing.com/resources/publish-or-perish), die das Ermitteln von Kennzahlen zur Eigenwerbung ermöglichen. Der Akt des Zitierens als Teil des wissenschaftlichen Kommunikationsprozesses verliert dann seine Bedeutung; vielmehr tritt die Zahl, die vermeintlich Aussagen über die wissenschaftliche Leistung zusammenfasst, in den Vordergrund. Es sollte darauf geachtet werden, dass Kennzahlen im Kontext gesehen und verantwortungsvoll ermittelt werden.

Bibliometrische Indikatoren können Peer Reviews auch deshalb nicht ersetzen, weil sie keinen Ausweis für Qualität sind. Indikatoren zur Bewertung von Forschungsleistungen messen rückwirkend und können den Erfolg künftiger Forschungsprojekte nicht vorhersagen. Rankings basierend auf Indikatoren unterscheiden sich von Rankings basierend auf den Einschätzungen von Gutachtern. Somit stellt sich die Frage, welches System die richtigeren Ergebnisse liefert.

Wouters plädierte für eine „Theory of Quality“, bei der wissenschaftliche Qualität als soziales Konstrukt definiert wird. Sie ist mehrdimensional und verknüpft qualitative und quantitative Aspekte. Wichtig ist, dass jede Disziplin eine „Qualitätsdefinition“ findet. Einschätzungen der Qualität stützen sich in erster Linie nicht auf reine Messungen, sondern auf die Bewertung der „Stimmigkeit“ und der Frage, ob Personen, die Arbeit und die Infrastruktur zueinander passen. Innovativität kann ein Teil davon sein. Letztlich kann die wissenschaftliche Community vor der Entscheidung stehen, ob sie exzellente Institutionen oder ein exzellentes Forschungsumfeld für bestimmte Disziplinen haben möchte.

 

[1] Informationen zum Programm: 2016 Annual EA Conference: „Innovating the Gutenberg Galaxis. The role of peer review and open access in university knowledge dissemination and evaluation”: http://www.ea-aw.org/fileadmin/downloads/Tagungen/JT16_PeerReview/ProgrammeOutNow.pdf.

Wissenschaftliches Fehlverhalten

Was als wissenschaftliches Fehlverhalten gilt, wird in einzelnen Ländern unterschiedlich gesehen. Weltweit  nimmt die Zahl zurückgezogener Artikel zu. Das bedeutet aber nicht, dass wissenschaftliches Fehlverhalten zugenommen hat. Vielmehr haben die Herausgeber zunehmend den Mut, fragwürdige Artikel zurückzuziehen. Zudem erleichtern Initiativen wie CrossCheck (http://www.crossref.org/crosscheck/index.html) oder Software, mit der sich Manipulationen an Abbildungen feststellen lassen, den Nachweis von Fehlverhalten.

Peer Review in der Krise?

Die Schwächen des Peer-Review-Verfahrens werden in der Literatur hinlänglich beschrieben: Viele Studien können trotz Begutachtung nicht reproduziert werden; eigentlich offensichtliche Fehler bleiben unentdeckt. Zudem ist Peer Review in vielen Fällen alles andere als neutral. So erhalten Arbeiten aus renommierten Forschungseinrichtungen häufig Vorschusslorbeeren und werden eher angenommen. Eine Studie, für die man bereits veröffentlichte Arbeiten erneut begutachten ließ und dafür den Namen der Institution auf dem Artikel schwärzte, brachte das Ergebnis, dass die Beiträge negativer bewertet wurden.

Peer Review befindet sich in einem Kooperationsdilemma: Autoren erhalten wertvolles Feedback und werden indirekt belohnt. Gutachter erhalten eine eher ideelle Belohnung. Allerdings werden sie auch nicht sanktioniert, wenn die Gutachten unzureichend sind. Auf das Peer Review an sich kann aber nicht verzichtet werden. Dies zeigt sich insbesondere in der Medizin, bei der falsche Ergebnisse Menschenleben gefährden können. Ziel muss es sein, die bestehenden Unzulänglichkeiten zu überwinden. Eine Möglichkeit könnte eine institutionelle Peer-Review-Policy (ähnlich der einer Open-Access-Policy) sein, die einen Rahmen für die Review-Tätigkeit ihrer Angehörigen absteckt und Handlungsanweisungen gibt. Als eine weitere Lösung wird Open Peer Review diskutiert.

Open Peer Review

Das derzeit vieldiskutierte „Open Peer Review“, bei dem das Peer Review durch die gesamte wissenschaftliche Community erfolgt, eignet sich für das Peer Review in Zeitschriften, aber nicht für die anderen genannten Anwendungen. Eine grundsätzliche Öffnung auf allen Gebieten kann auch zu einer Konformitätsdiktatur geraten, insbesondere dort, wo sich Nachwuchswissenschaftler nicht in der Lage sehen, etablierte Kollegen zu kritisieren. Initiativen wie „The Winnower“ (https://thewinnower.com/), einer Plattform, die Open Peer Review ermöglicht, zeigen zudem, dass viele Publikationen nicht begutachtet werden, weil nicht jede wissenschaftliche Community bereit ist, sich darauf einzulassen. Verlage wie MDPI haben ähnliche Erfahrungen gemacht. Auch beim Open Peer Review gibt es Varianten. So können die Gutachten zwar öffentlich sein, Gutachter aber wahlweise anonym bleiben oder öffentlich gemacht werden. Schlussendlich muss jede wissenschaftliche Community ihre eigenen Entscheidungen treffen.

Publish or Perish

Pro Jahr werden rund 1,8 Millionen wissenschaftliche Artikel veröffentlicht,  338.000 davon in Deutschland. Konservative Schätzungen gehen von einer Steigerung von drei Prozent pro Jahr aus, andere Schätzungen kommen sogar auf acht bis neun Prozent. Mehr als die Hälfte der Artikel wird allerdings nicht gelesen. In den Naturwissenschaften kostet eine Publikation im Schnitt zwischen 50.000 und 100.000 Euro. Diese hohen Kosten werden insbesondere durch teure Geräte verursacht, mit denen etwa Messungen durchgeführt werden. Hier erhob sich unter den Teilnehmenden der Panelveranstaltung die Frage, ob „Publish or Perish“ noch zeitgemäß sei. Andererseits gilt: Ergebnisse nicht mehr zu publizieren kann auch keine Lösung sein.

Ausbeutung von Open-Access-Modellen

Jeffrey Beall sprach über „Predatory Publishing“ (einem kürzlich in PASSWORD behandeltem Thema) und über weitere Machenschaften, mit denen das Open-Access-Modell ausgenutzt werden soll. Beall hat mehr als 90 „Highjacked Journals“ identifiziert, also Webseiten, die einer renommierten wissenschaftlichen Zeitschriften nachempfunden sind, die aber in erster Linie zum Ziel haben, ahnungslosen Wissenschaftlern zu Einreichungen zu bewegen und die Publikationsgebühren zu ergaunern. Mittlerweile tummeln sich außerdem zahlreiche Firmen im Netz, die gefälschte Journal-Impact-Faktoren an Open-Access-Zeitschriften verkaufen. Die Bezeichnungen variieren leicht (Beispiele: „Universal Impact Factor“, „Science Impact Factor“, „Global Impact Factor“), so dass schlecht informierte Herausgeber darauf hereinfallen können. Auch „Predatory Journals“ nutzen erfundene Impact Factors, um Legitimität vorzutäuschen. Relativ neu ist das Phänomen der „Article Broker“ oder „Paper Mills“. Überlasteten Wissenschaftlern wird von Dienstleistern angeboten, das Verfassen eines Artikels und die Unterbringung in einer wissenschaftlichen Zeitschrift zu übernehmen. Welche Gefahr das für die Glaubwürdigkeit der Wissenschaft haben kann, liegt auf der Hand.

Veröffentlichung von Forschungsdaten

Auch beim derzeit omnipräsenten Thema „Data Sharing“ gibt es Diskussionsbedarf. „Open Access Research Data“ besteht aus vier Grundbegriffen (nämlich „open“, „access“, „research“ und „data“), die in den Communities verschieden definiert werden. Auch hier muss man zu disziplinenspezifischen Lösungen kommen. Ziel kann aber nicht sein, immer alle Daten zu teilen, vielmehr gilt es, für die Nachnutzungen zu sinnvollen Auswahlen und zu spezifischen Aufbereitungen dieser Selektionen zu kommen.

Open Access heißt nicht kostenfrei

Open Access ist nicht kostenfrei zu haben. Wer für die Publikationskosten aufkommt, ist, so die Paneldiskussion, die zentrale Frage. Es zeigt sich, dass manche Länder durch das Erheben von Publikationsgebühren (APCs) von diesem Teil des wissenschaftlichen Kommunikationssystems abgeschnitten werden, weil weder die Wissenschaftler noch deren Einrichtungen die Gebühren aufzubringen in der Lage sind. Wenn sich Open Access umfassend durchsetzen soll, muss dies mitbedacht werden.

Call for Papers

Theory and Practice
of Digital Libraries

Submission deadline for contributions for TPDL2016: 15 March 2016. The German National Library of Science and Technology (TIB) and L3S research centre are jointly hosting the 20th International Conference on Theory and Practice of Digital Libraries (TPDL) in Hannover from 5 to 9 September 2016. The title of the conference is “Overcoming the Limits of Digital Archives”. The English-language conference offers an extensive programme on current and future developments in the area of digital libraries, archives and their applications. Some 300 participants from all over the world are expected to attend the event.

Contributions for TPDL 2016 can be submitted in the categories Full Papers, Short Papers, Posters and Demonstrations, Systems and Products, Workshops, Tutorials, Panels and for the Doctoral Consortium on topics such as:

• Connecting digital libraries

• Practice of digital libraries

• Digital libraries in science

• Users, communities, personal data

• Specialized Tracks (on digital humanities, e-Infrastructures, creativity and multimedia)

For detailed information about the call for contributions and the relevant deadlines, visit www.tpdl2016.org/callforcontributions

For more information on TPDL 2016, go to www.tpdl2016.org

https://www.tib.eu/en/service/news/details/tpdl-2016-in-hannover-aufruf-zur-einreichung-von-beitraegen/es ist der Themenblock 3 - Du musst mich nur anklicken, um mich zu editieren

Aus dem Archiv

Informationswissensschaft: Die Grenzen der Mobilisierung

Informationswissensschaft: Die Grenzen der Mobilisierung

Nach dem Düsseldorfer Abwicklungsbeschluss ein Blick auf die Disziplin   Die Grenzen der Mobilisierung   Was die deutschsprachige Informationswissenschaft tun muss, um dem institutionellen Niedergang zu entgehen   Von Willi Bredemeier   Stellt der Beschluss der Philosophischen Fakultät der Heinrich-Heine-Universität (Düsseldorf), die Informationswissenschaft abzuwickeln, nur den vorläufigen Höhepunkt eines mittlerweile jahrzehntelangen institutionellen Niederganges der deutschsprachigen Informationswissenschaft dar? Walther Umstätter hat …

Mehr...

---