Sci-Hub: access or convenience? A Utrecht case study (part 2)

In April of this year, John Bohannon , a freelance journalist working for Science magazine, in cooperation with Alexandra Elbakyan, Sci-Hub’s founder, released and analysed 6 months of Sci-Hub download data for the period September 2015-February 2016 (see:  Who’s downloading pirated papers? Everyone). Download data for individual articles and e-book chapters were attributed to country and city level using IP-geolocation.

Since at least part of the Sci-Hub downloads from a university city like Utrecht can be expected to come from download requests from the academic community (with a lower bound of 9%, see part 1 of this blog series), I set out to investigate the case of access versus convenience for the set of Sci-Hub downloads attributed to Utrecht.

Do people use Sci-Hub to get papers they do not otherwise have access to, or do they (also) go to Sci-Hub for convenience: a one-stop shop  to get access, without having to navigate library and publisher websites?

Starting from the subset of Sci-Hub download data attributed to The Netherlands that I created from the original dataset, I selected those downloads that were attributed to Utrecht. This resulted in a set of 3437 DOIs (digital object identifiers) for downloaded articles and e-book chapters. A number of DOIs was requested multiple times; after deduplication a set of 2968 DOIs remained. I then converted these to URLs by adding the prefix  https://dx.doi.org/

DOI: 10.1126/science.aaf5664 → URL: https://dx.doi.org/10.1126/science.aaf5664

 

Calling all DOIs

For this part of my analysis, I focused on availability through publishers – either via our library subscriptions or as Gold Open Access/otherwise free from publisherI did this by opening all URLs constructed from DOIs, both from inside and outside our institutional IP-range. I checked if the full-text version of the article (or e-book chapter) was available in either case. Information on our library subscriptions is publicly available.

In the Sci-Hub data release, John Bohannon included a lookup table matching DOI prefixes to publishers (e.g. 10.1126 for Science). This table, scraped from the website of CrossRef, made it easier to sort the DOIs by publisher and look them up in batches.

It would likely have been possible to at least partially automate the task of checking all DOIs for full-text availability from publishers, for instance by employing the CrossRef Text and Data Mining API. I did  not pursue this for this project, but for even larger datasets, it would definitely be an avenue to explore.

One advantage of manually checking all DOIs was that it allowed a window onto the variety of publisher platform and journal interfaces, with various degrees of ease in getting information on full-text availability. It certainly highlights the issue of ‘convenience’ in the discussion around obtaining access to scientific information.

The results

For each DOI, I noted whether it was available only from within our university IP-range (i.e. through our library subscriptions), also from outside this IP-range (i.e. gold Open Access or otherwise free from publisher) or neither (not available through publisher). Where access was provided by the publisher without subscription, but only after personal registration, I  did not count this as free access.

In Table 1 the results are presented, both for the overall Utrecht dataset and broken down by publisher. In total, 2878 of 2968 unique DOIs could be resolved, the others giving error messages.

Availability Utrecht Sci-Hub downloads through publishers

Table 1  – Availability of Utrecht Sci-Hub downloads through publishers

Overall, 75% of Utrecht Sci-Hub downloads would have been available either through our library subscriptions (60%) or as Gold Open Access/free from publisher (15%). In so far as these downloads were requested by academic users (i.e. affiliated with Utrecht University), use of Sci-Hub for these materials could be seen as ‘convenience’. For the remaining 25%, Sci-Hub use could be seen as a way of getting access to articles that are not freely available through publishers.

As always, the picture is more complicated than that, though. First, since we already established that only a subset of  downloads from university cities (up from 9%) can be directly attributed to use from within a university IP-range, it could still be that any Sci-Hub use from within university IP-ranges specifically concerns those materials that are not available through publishers (25% of Utrecht Sci-Hub downloads), thus representing a need for access rather than (just) convenience after all.

Conversely, even if we take into account possible use by academics, including students, from home (where they could also get institutional access by using their university’s proxy or VPN), a large proportion of downloads is likely requested by people outside academia. Unlike academics, who can’t access 25% of material in this Sci-Hub dataset, people outside academia don’t have legal access to up to 85% (depending on personal subscriptions or access through non-university employers). For this group, the conclusion that people primarily revert to Sci-Hub for access reasons also still looms large.

I have so far only looked at availability through publishers, not at Green Open Access. It will be interesting to see how many of requested downloads  are (or could be) freely and legally available because a version of the article or book chapter was deposited in an institutional or disciplinary repository, either as a preprint or after publication with a traditional publisher. I plan to do this analysis next (this time hopefully through the use of APIs!) and publish it as part 3 of this series.

Looking at the breakdown across publishers, Table 1 shows large differences between publishers, both in availability of subscription content (blue vs. red bars, reflecting the extent of our library subscriptions) and percentage of material downloaded from Sci-Hub that is available as Gold Open Access/free from publisher (green bars). The fact that for some publishers, a substantial proportion of Sci-Hub downloads concerns Gold Open Access/free from publisher material provides additional support for the ‘convenience’ hypothesis.

Two final remarks: first, in this analysis I have not tried to break down Sci-Hub downloads across disciplines, by looking at journal or article titles. This might be an interesting exercise though. To facilitate this, I have made the list of articles (metadata only, not full text) in the Utrecht subset of the Sci-Hub dataset available in Mendeley. To make this list, I used the Mendeley browser plugin to import article information based on the DOI. While not all DOIs could be retrieved in this way, the collection contains information on 2695 papers, representing 91% of unique Utrecht Sci-Hub downloads.

Finally, the number of Sci-Hub downloads as identified in this dataset is still very much lower than the millions of downloads done yearly through our library journal subscriptions. In this respect, Sci-Hub does not seem to pose a large ‘threat’ to the traditional system of paywalled access, at least not in the context of a large Western European university. Though theoretically this may change with growing awareness of Sci-Hub, the importance of Sci-Hub perhaps predominantly lies in bringing to the fore multiple issues in scholarly publishing, ranging from privileged access to pay-walled articles to  a demonstrated need for ease and convenience in accessing scientific literature.

Geplaatst in I&M2.0 | 9 reacties

Sci-Hub: access or convenience? A Utrecht case study (part 1)

Sci-Hub has gained fame and notoriety for enabling free access to over 45 million paywalled articles and book chapters, purportedly collected through use of institutional log-in credentials. The site has been operational since 2011 and has received widespread attention recently, partly due to a lawsuit threatened by Elsevier, that considers it a major breach of copyright.

In April of this year, John Bohannon , a freelance journalist working for Science magazine, in cooperation with Alexandra Elbakyan, Sci-Hub’s founder, released and analysed 6 months of Sci-Hub download data for the period September 2015-February 2016 (see:  Who’s downloading pirated papers? Everyone). The data consist of DOIs (digital object identifiers) of the material downloaded, date and time of download, and attributed location of download (city, country and GPS coordinates). Location of download was determined by IP geolocation; no individual IP addresses were released. The full dataset is available from Dryad under a CC-0 license, enabling full re-use.

This data enables an enquiry into what it is that people are turning to Sci-Hub for. Do people use Sci-Hub to get papers they do not otherwise have access to, or do they (also) go to Sci-Hub for convenience: a one-stop shop  to get access, without having to navigate library and publisher websites?

To investigate this from the perspective of my own university in Utrecht, I first tried to estimate the proportion of Sci-Hub downloads from a city like Utrecht that is likely to come from academics with access to university journal subscriptions. This is reported in this blogpost. Second, I looked at the percentage of Sci-Hub downloads from Utrecht that would have been available through our university journal subscriptons. This will be reported in part 2 of this blog series.

Sci-Hub downloads from the Netherlands- university vs. non-university cities

I first made a subset of all Sci-Hub download data attributed to The Netherlands. This dataset is available on GitHub for others to analyze as well. Due to its manageable size it can be opened in a regular spreadsheet program.

My first question, as described above, was whether downloads from university towns can be assumed to at least partly represent academic use, i.e. use by people that have institutional access  to a university’s journal subscriptions. While there are no direct data on this, there are some indications that it is indeed the case.

Looking at the cities with the most downloads (> 1000) (excluding Amsterdam, see below) all university cities in the Netherlands make an appearance (Figure 1) . Only a few other cities have such a high download count. The fact that also smaller university cities, like Delft and Wageningen, have high downloads  could be seen as further indication of a role for the academic community in requesting these downloads (although these university cities also have a lot of science tech companies , with no access to university suscriptions but potentially a sizeable demand).

Sci-Hub downloads Sept'15 - Feb '16 Dutch university and non-university cities (except Amsterdam)

Figure 1 Sci-Hub downloads from Dutch university and non-university cities

A note on IP-geolocation and Amsterdam

IP-geolocation is imprecise at best, and downright unreliable at worst (see also Interpreting Sci-Hub data). A prime example of this is Amsterdam, which on its own is responsible for over half of all downloads from the Netherlands and which has 20-30 times as many downloads as other major Dutch cities. A plausible explanation is that for many ISPs (internet service providers) IP-geolocation likely defaults to Amsterdam rather than to the actual location of the end user. This would mean that downloads attributed to Amsterdam could come from anywhere in the Netherlands.

 

To further investigate the relationship between population size and number of downloads, I also plotted the number of downloads per city to the number of inhabitants (Figure 2, inhabitants per municipality, source: https://nl.m.wikipedia.org/wiki/Tabel_van_Nederlandse_gemeenten). Here again, university cities generally come out on top, while many cities that are comparable in size have much fewer downloads. For the largest cities in the Netherlands, this analysis is obviously hampered by the fact that they almost all have universities, the one exception being Den Haag.

 

Number of inhabitants vs. number of Sci-Hub downloads (Netherlands)

Figure 2 –  Number of inhabitants vs. number of Sci-Hub downloads (for city names see interactive version on plot.ly)

Is this one exception enough to disprove the hypothesis of a relation between number of Sci-Hub downloads and the presence of an academic community, at least in larger cities, or are there confounding factors that contribute to the download count in Den Haag, specifically? Among these could be the fact that Den Haag is the seat of the government as well as home to many international organizations. A closer look at the type of papers downloaded might give some indication of the communities these downloads are coming from, but this was beyond the scope of my investigation.

Among smaller cities, there are also some notable exceptions, like Zwijndrecht, Heemstede and Bergschenhoek. Although there might be a correlation with the presence of research companies in these cities, without doing a comparative analysis of cities with and without such companies, this is no more than a conjecture.

In general, despite obvious caveats as the unreliability of IP-geolocation and the inability to distinguish between academic and non-academic use on the basis of these download data, these data lead to a cautious assumption that downloads from university cities could to some degree be attributed to the academic community in these cities.

Identifying academic use of Sci-Hub – other data

Bastian Greshake, a German PhD student, has done some more work on identifying academic vs. non-academic use, with Sci-Hub data linked to aggregated institutional IP-addresses at country level (included in his article ‘Correlating the Sci-Hub data with World Bank Indicators and Identifying Academic Use‘ on the Winnower). He was able to do this because he requested and received additional data from Sci-Hub. These data show that, averaged over 18 ten-day periods, 4% of downloads from the Netherlands can be attributed to university IP-addresses. This is probably a lower bound due to the age and possible lack of completeness of the list of IP-addresses used*.

We can use these data to estimate the percentage of downloads in a Dutch university city, like Utrecht, that come from within the university’s IP range. For this, we need to make some assumptions on the large batch of Sci-Hub downloads originally attributed to Amsterdam, namely:

  1. the majority of downloads attributed to Amsterdam are attributed only to the ISP-level, and could be coming from anywhere within the Netherlands;
  2. the number of downloads directly attributable to Amsterdam is to be estimated at 5000 (slightly larger than that of  Rotterdam, the second largest city in the Netherlands).

This leaves us with approximately 65000 downloads that can be directly attributed to specific cities/towns (168,877 total minus 109,131 ‘Amsterdam’ downloads plus 5,000 downloads estimated to be directly attributable to Amsterdam). Of these 65000, approximately 30,000 (25,762 from university cities except Amsterdam plus 5,000 added for Amsterdam) are from university cities.  If (and this is a big ‘if’) we furthermore assume the set of 104,131 downloads attributed to ISPs is in reality similarly distributed across university- and non-university cities and towns, we can estimate that 45% of Sci-Hub downloads in the Netherlands come from university cities.

Together with the data on aggregated university IP-addresses (4% of downloads in the Netherlands coming from university IP addresses), this would suggest that, as a lower bound, approximately 9% of downloads in university cities like Utrecht are from university IP addresses (Figure 3).

university IP - university cities

Figure 3 – Sci-Hub downloads from Dutch university IP-addresses and university cities (numbers are rounded estimates)

Actual use of Sci-Hub by people that have institutional access might well be higher – think of academics and students working from home and not using their institutional access (e.g. via proxy or VPN), but going to Sci-Hub instead. Even with this in mind, contribution of downloads from university IP-addresses in university cities seems small in relation to the observed difference in downloads between university cities and non-university cities. An explanation unifying these observations can be that being a university town means much more than just having a university IP-range within your municipial borders. It also means having a highly educated population and a concentration of scientific information-intensive companies and institutions (incl. universities), which together could explain the results of the scatterplot (Figure 2).

I have not checked this list for presence and accuracy of all Dutch university IP addresses – if someone would be inclined to do so I would be interested in the results. The calculations provided in this paragraph are really meant to be very rough estimates.

This leads us to…

With all necessary caveats, the available data obtained from Sci-Hub by John Bohannon and Bastian Greshake support the idea that Sci-Hub downloads from a university city like Utrecht can to a certain degree be attributed to download requests from the academic community.  To further investigate whether use of Sci-Hub is mainly a case of access or (also) of convenience, I examined whether the individual Sci-Hub downloads attributed to Utrecht were also available through other means, e.g. through institutional journal subscriptions. Read more about that in part 2 of this series!

Geplaatst in I&M2.0 | 3 reacties

Innovatie in de praktijk: innovatie bij openbare bibliotheken.

Op 21 april jl. woonde ik een middag in de KB in Den Haag bij, geheten Innovatie in de praktijk. 10 innovatieve projecten die het afgelopen jaar bij een aantal openbare bibliotheken hebben plaatsgevonden, presenteerden zich.  Bij wie het even uit beeld was: de openbare bibliotheken vallen sinds 1 januari 2015 onder de KB.

De openbare bibliotheeksector kent een programma, de Innovatieagenda, dat als doel heeft het bevorderen van een duurzaam innovatieproces. Want vernieuwing is buitengewoon urgent in deze sector: in de afgelopen jaren sloot er gemiddeld wekelijks een bibliotheekvestiging. De innovatieagenda faciliteert (en financiert) vernieuwingsprojecten bij openbare bibliotheken: zorgt er voor dat kennis gedeeld wordt en kansrijke initiatieven gerealiseerd en opgeschaald kunnen worden. In 2015 was een budget van €100.000 beschikbaar: daarmee heeft de Innovatieraad 10 innovatieve projecten gefinancierd. Al deze projecten kwamen die middag voor het voetlicht.

Ik noem een paar dingen en projecten die mij opvielen.

  • De meeste projecten laten zien dat de (openbare) bibliotheek hard bezig is uit haar heilige huisje te stappen en actief samenwerking zoekt met andere maatschappelijke partners (maatschappelijke verankering) Zo werd in de Flevomeer bibliotheek (project De talentenkwekerij) in een programma gericht op jongeren tussen de 10 en 13 jaar samengewerkt met welzijn en sport. Het meest opvallend vond ik het project in Assen, waarin de bibliotheek samenwerkt met het ziekenhuis: de bibliotheek wordt ingezet om voorlichting te geven aan aanstaande moeders.
  • Ook is er aandacht voor technologische innovaties. In de Bibliotheek Nieuwegein is (in samenwerking met scholen) gewerkt aan een toolkit voor gamification. In Zwolle heeft de bibliotheek (in samenwerking met de zorgsector) een digiwerkplaats (Fabcare) ingericht.
  • Leuk vond ik ook het project Kennismakers in Veghel. Daar wil de bibliotheek gaan fungeren als fullyfledged kenniscentrum: waar niet alleen kennis in boeken te vinden is, maar waar je ook mensen kunt vinden die kennis hebben over een bepaald onderwerp. Kennismakers worden opgenomen in de catalogus.
  • Ook is er aandacht voor de actualiteit. In Brabant laat Theek 5 vluchtelingen kennismaken met de bibliotheek door aandacht te schenken aan het delen van Nederlandse gebruiken en gewoonten

Een volledig overzicht van de gehonoreerde projecten is te vinden op http://www.bibliotheekblad.nl/nieuws/nieuwsarchief/bericht/1000006942

Hoewel een openbare bibliotheek iets anders is dan een wetenschappelijke bibliotheek, zag ik duidelijk parallellen. Moet ook een wetenschappelijke bibliotheek niet uit dat heilige huisje komen? En moeten wij niet meer samenwerken: binnen de UU, maar ook (vooral) met organisaties buiten de UU? De buitenwereld naar binnen halen? Dat is iets dat we bij I&O i.v.m. de innovatie-impuls al wel benoemd hebben.

Na afloop sprak ik kort met de voorzitter van de Innovatieraad (Erna Winters, directeur van de openbare bibliotheek Kennemerwaard). Ik was vooral benieuwd naar het proces van innovatie en criteria voor toekenning van subsidie. Voor de Innovatieraad zijn van belang: oorspronkelijkheid van het idee, overdraagbaarheid (kan het elders gebruikt worden?)  en schaalbaarheid. Ook dit herken ik.

Kortom, daar kunnen we wel wat van leren. Ik heb Erna Winters gevraagd om nog eens contact te morgen opnemen.  Wordt vervolgd!

Saskia Franken

Geplaatst in I&M2.0 | Een reactie plaatsen

Op weg naar open en online in 2025

Open en online hoger onderwijs is (…) het visitekaartje van onze instellingen. (…) De traditionele campus blijft bestaan, maar de ontwikkeling naar open en online onderwijs zal de fysieke inrichting daarvan en de benodigde technische infrastructuur beïnvloeden. Profilering en kleinschaligheid binnen een learning community krijgen vorm, instellingen richten zich op hun kernkwaliteit. De beste docenten wereldwijd of juist nationaal krijgen een plek in het (digitale) curriculum, het traditionele boek wordt aangevuld met of vervangen door open digitale leermiddelen of soms ook door een MOOC. (…) Docenten zullen meer tot hun kerntaak van doceren kunnen komen. Zij zullen veel minder algemene kennis hoeven overdragen, die is dan immers digitaal altijd en overal beschikbaar, en meer tijd kunnen besteden aan verdieping, vragen beantwoorden en studenten uitdagen.
Kamerbrief over digitalisering van het hoger onderwijs: 08-01-2014 

In 2025 is het hoger onderwijs open en online, aldus het ministerie van OCW. Dat is een prachtig streven, maar het veronderstelt nogal wat… Ten eerste een massale overgang naadilbert_knowledger open digitale leermiddelen. Natuurlijk digitaliseert het HO al jaren in rap tempo, maar dat wil niet zeggen dat het materiaal dat vervaardigd wordt ook geschikt is om te delen, laat staan hergebruiken. Sommige docenten zijn –zoals Bussemaker in haar kamerbrief ook suggereerde- druk bezig om algemene kennisoverdracht te organiseren met bijvoorbeeld kennisclips, maar anderen zijn nog niet zover.

In die snel veranderende omgeving leid ik voor Educate-it een project dat alles te maken heeft met “de benodigde technische infrastructuur”. Als je wilt delen en mogelijk hergebruiken, dan heb je een plek nodig waar je dingen duurzaam kunt opslaan en ontsluiten, zodat ze “digitaal altijd en overal beschikbaar” zijn. Opgenomen colleges en kennisclips worden opgeslagen (maar zelden goed beschreven) in Mediasite, voor andere materiaalsoorten is zo’n centrale opslag er niet. Soms zijn er facultaire voorzieningen (een gedeelde netwerkschijf bijvoorbeeld, of een database op een facultaire server), maar zonder metadata is het moeilijk om dingen terug te vinden. Bsuperlibrarianovendien is het vaak niet mogelijk om collega’s van buiten de faculteit toegang te geven. Dan komen oplossingen zoals Surfdrive, Dropbox of Filesender om de hoek kijken, met als gevolg dat niemand meer overzicht heeft wat er voor materiaal in omloop is, van wie het is, en onder welke voorwaarden het gedeeld mag worden… en daar komt de bibliotheek hopelijk to the rescue.

Om enige notie van overzicht te krijgen, heb ik vorig jaar geïnventariseerd welk materiaal er in omloop is bij de faculteiten, hoe en waar het wordt opgeslagen, en wat de mogelijkheden van delen en hergebruik zijn. De informatie is voornamelijk verzameld via desk research en gesprekken met docenten en onderwijsondersteunend personeel, die ik samen met Rogier heb gevoerd. Aan het einde van deze projectfase is de keuze gemaakt om in eerste instantie te focussen op de opslag en ontsluiting van dat onderwijsmateriaal, dat nu geen centrale opslagplek heeft, maar in de ogen van docent wel geschikt is om te delen (bv. ter inspiratie) of te hergebruiken (soms binnen de opleiding, soms over de grenzen van de opleiding of zelf faculteit heen). In het sectorplan van I&O is de term “verweesd materiaal” gebruikt, maar die is misleidend, volgens mij gaat het juist om een verzameling pareltjes, een digitale schatkist.

Om een grote diversiteit aan bestanden duurzaam op te kunnen slaan en te kunnen ontsluiten, is een repository een goed stuk gereedschap. In januari startte SURF niet geheel toevallig een landelijke pilot om de geschiktheid van Sharekit (de repository van de HBO Kennisinfrastructuur) voor open onderwijsmateriaal te testen. Sharekit is gebaseerd op Fedora, een platform dat vergelijkbaar is met DSpace, wat we in Utrecht gebruiken. De resultaten van deze pilot zijn terug te lezen op het blog van SURF, maar de belangrijkste discussiepunten waren in mijn ogen 1) de gebruiksvriendelijkheid en 2) de bereidheid van docenten om open (met de hele wereld) te delen.

Om een lang verhaal kort te maken: Sharekit biedt absoluut een degelijke infrastructuur, maar er zijn gerede twijfels over de geschiktheid ervan voor de beoogde eindgebruikers. Deze conclusie past eigenlijk helemaal niet in de filosofie van Educate-it, waar de docent centraal staat. Met die gedachte, zijn we gaan zoeken naar een platform dat uitermate gebruiksvriendelijk is en waar de docent zelf de regie heeft, o.a. over wat hij deelt, met wie, en onder welke voorwaarden. We kwamen uit bij Figshare, een clouddienst die vooral bekend is van de opslag van onderzoeksdata. De hypothese is dat Figshare met enige dilbertaanpassingen een aanwinst voor het onderwijs zou kunnen zijn… en die hypothese gaan we de komende maanden grondig toetsen. Meer informatie volgt met de start van de pilot… maar als je niet kunt wachten, kun je me natuurlijk altijd mailen: d.jansen@uu.nl

 

 

 

 

Geplaatst in innovatie, onderwijs, projecten, repository | 3 reacties

De open access consumentenbond

Zoals overal waar geld verdiend kan worden, zijn er ook in het open access veld kapers op de kust. In de afgelopen 10 jaar zijn er tal van partijen opgestaan die het open access uitgeefmodel – waarbij de auteur moet betalen voor publicatie van zijn/haar artikel – misbruiken, met als enig doel om geld te verdienen. Deze ‘uitgevers’ vragen een Article Publication Charge (APC) voor vage platforms of tijdschriften met een discutabele of vaak volstrekt geen reputatie.

Al sinds 2008 is Jeffrey Beall, bibliothecaris aan de Auraria Library, University of Colorado Denver, bezig met het kwaliteitsvraagstuk rond open access tijdschriften. In 2010 is hij begonnen met het opstellen van een lijst (de Beall’s list) van zogenaamde ‘predatory journals’.[1] In 2011 schreef Bianca Kramer hier al een blogpost over.

De uitgeverijen/tijdschriften die als ‘predatory’ worden gekenmerkt, zijn vaak te herkennen aan agressieve marketingstrategieën en (spam)mailings die oproepen om een artikel in te dienen voor een tijdschrift dat na een kritische blik niet meer is dan een hol vat. Deze Beall’s list heeft in de afgelopen jaren de nodige autoriteit weten op te bouwen en dat is voor een gedeelte ook terecht.

Beall was een van de eersten die dergelijke misstanden systematisch in kaart heeft gebracht. Hij heeft ook keurig de criteria waarop hij de tijdschriften en uitgevers beoordeelt, in een document gezet, en dat hij voortdurend voorziet van updates. In dit document (laatste versie: 2015) schrijft Beall:

“Evaluating scholarly open-access publishers is a process that includes closely, cautiously, thoroughly, and at times skeptically examining the publisher’s content, practices, and websites: contacting the publisher if necessary, reading statements from the publisher’s authors about their experiences with the publisher, and determining whether the publisher commits any of the following practices (below) that are known to be committed by predatory publishers, examining any additional credible evidence about the publisher, compiling very important “back-channel” feedback from scholarly authors, and taking into account counter-feedback from the publishers themselves.”[2]

Maar in de afgelopen twee jaar is er ook steeds meer kritiek op zijn werk gekomen. Zo is het lang niet altijd duidelijk waarom een uitgeverij of tijdschrift op zijn lijst belandt. Een dergelijke beslissing wordt bijna altijd door Beall zelf genomen, zonder dat daar een duidelijke, voor de buitenwereld zichtbare procedure aan vooraf is gegaan. Transparantie is dus een duidelijk probleem; precies hetgeen hij zelf aan de kaak probeert te stellen in bovenstaand citaat.

Het blijkt dat er vrijwel nooit sprake is van ‘back-channel’ feedback, althans, deze wordt niet tot zelden openbaar gemaakt. Zo heeft de uitgever Frontiers in oktober 2015 de Beall’s lijst gehaald.

Hierover ontstond een (voornamelijk online) discussie over de ratio achter deze beslissing.[3] Veel academici (die ook deels betrokken zijn als editor bij Frontiers) vielen over deze keuze. De beslissing zou te eenzijdig zijn, zou teveel nadruk leggen op wat niet goed gaat in de redactieprocessen, etc.. Overigens heeft Beall in 2013 wel degelijk een waarschuwing afgegeven, maar dit is vrij summier geweest. Maar helemaal uit het niets kwam zijn actie dus niet.[4] Ondanks de commentaren ten faveure van Frontiers heeft de uitgeverij wel maatregelen genomen om bepaalde redactieprocessen te verbeteren. Beall’s actie heeft dus wel degelijk geleid tot actie/reactie. Of het terecht is, laat ik hier nu even in het midden. De discussie duurt nog voort.

Maar dat er veel over de lijst te doen is, mag wel duidelijk zijn. Zo is er een aanklacht tegen Beall ingediend door een uitgever die vond dat zij onrechtmatig op de lijst is gekomen.[5] Onlangs is zelfs gesuggereerd dat Beall tegen betaling assessments zou doen om een tijdschrift of uitgeverij van zijn lijst te halen.[6] Het is lastig om de authenticiteit van een dergelijke beschuldiging echt te achterhalen en daar moeten we dan ook voorzichtig mee zijn. Het is wel duidelijk dat er de laatste tijd een aantal fanatiekelingen een kruistocht is begonnen tegen alles wat Jeffrey Beall aan het doen is.[7] Dit soort praktijken draagt echter niets bij aan de zoektocht naar een werkbaar systeem waarbij we de rotte appels kunnen scheiden van het gezonde fruit. We moeten immers niet vergeten dat ook in de oude wereld zonder internet en digitalisering er rotte appels in de fruitmand zaten.

Beall positioneert zich al enkele jaren steeds vaker in het tegenkamp van open access. Daar is op zichzelf niets mis mee, maar door zelf volstrekt niet transparant te zijn, ondermijnt hij wel zijn (hopelijk) goede bedoelingen. Dus ook hij moet wel degelijk, net zoals ieder ander die zich autoriteit toe-eigent, voortdurend onder een vergrootglas worden gehouden. Het is echter niet zinvol om hem totaal op een zijspoor te zetten. Ondanks zijn soms zeer negatieve uitlatingen over open access publiceren, heeft hij er wel voor gezorgd dat we kritisch zijn gaan kijken naar de kwaliteit van open access, en meer specifiek de verdienmodellen die daar omheen hangen. Het feit dat op dit moment de focus ligt op het voorafgaand aan publiceren betalen, maakt wel dat er goed moet worden nagedacht over hoe we de kwaliteit kunnen waarborgen zonder dat de financiële prikkel leidend zal zijn.

Overigens is in het oude abonnementenmodel de financiële prikkel ook altijd al zeer bepalend geweest. Het is niet voor niets dat de grote uitgeverijen hun ‘eigen’ meet-en-weet systemen van citaties indexen en impact factors met hand en tand blijven verdedigen. Een typisch geval van: “Wij van wc-eend raden aan: wc-eend”. Zijn er dan ook andere manieren om de kwaliteit van open access tijdschriften en uitgeverijen te beoordelen? Jazeker. Inmiddels zijn er een aantal nationale en internationale initiatieven ontwikkeld die veel zeggen over de kwaliteit van een open access tijdschrift.

In de eerste plaats heeft de Directory of Open Access Journals haar toegangseisen in de afgelopen twee jaar sterk verzwaard. Een journal moet aan een behoorlijke set aan eisen voldoen om te worden toegelaten tot de index. Als een tijdschrift in de DOAJ staat, dan kan men ervan uitgaan dat het om een degelijk tijdschrift gaat dat in ieder geval voldoet aan de technische (infrastructuur, opslag, verspreiding) eisen. Hoe een redactie is gevormd en of dat voor het vakgebied relevant is, blijft natuurlijk een zaak tussen wetenschappers onderling.

In Nederland is in 2014 de Quality Open Access Market opgezet. Door de academische gemeenschap uit te nodigen om open tijdschriften van een beoordeling (zogenaamde journal score cards) te voorzien, is er een beoordeling vanuit de gemeenschap. Een toevoeging is dat er ook melding wordt gemaakt of er, en hoe hoog, een APC is.

QOAM Banner

Er wordt hiermee dus meteen iets gezegd over de prijs-kwaliteitverhouding. Overigens maakt QOAM voor de metadata gebruik van onder andere de databasegegevens van DOAJ. Door de opzet van crowd-sourcing staat of valt QOAM bij een bijdrage vanuit de academische wereld. Tot nu toe lijkt er nog niet genoeg kritische massa aan beoordelingen aanwezig om een volledig overzicht te kunnen bieden.

In september 2015 werd de website ThinkCheckSubmit gepresenteerd. Doel van de website is om bewustwording te creëren onder wetenschappers over open access tijdschriften en hun kwaliteit. Waar moet je op letten? Wat is belangrijk voor een goede verspreiding? En doet het tijdschrift ook wat het belooft? Door een reeks van vragen voor te leggen kan een onderzoeker zelf een oordeel vellen over het open access tijdschrift waarin mogelijk gepubliceerd gaat worden.

think-check-submit-300x288

Think Check Submit checklist

Bovengenoemde websites betreffen allemaal nieuwe initiatieven, maar men kan ook zoeken en vinden in bestaande systemen. Inmiddels worden sinds een aantal jaar ook in Scopus en Web of Science open access tijdschriften geïndexeerd. Deze tijdschriften moeten aan hoge standaarden voldoen en zullen dus niet zomaar in deze indexen verschijnen.

Er leiden dus verschillende wegen naar Rome als het gaat om het kunnen beoordelen of een tijdschrift de kwaliteit biedt die de onderzoeker wil hebben. Op vele plekken[8] wordt de Beall lijst genoemd als de plek om het kaf van het koren te kunnen scheiden. En het advies is om (de meeste van) deze open access tijdschriften ook echt te mijden. Maar we moeten ons realiseren dat dit ook maar een stem is. Zo is bijvoorbeeld uitgeverij Multidisciplinary Digital Publishing Institute (MDPI) in 2014 op de Beall lijst beland, maar hebben verschillende Nederlandse universiteiten wel een open access deal met deze uitgeverij.[9]

Echter, het beoordelen van een tijdschrift zal altijd een afweging moeten blijven van je eigen ervaring(en), beschikbare online bronnen en indexen, reacties uit de eigen community, en een portie gezond verstand.

Noten

[1] Beall, Jeffrey “Predatory” Open-Access Scholarly Publishers. The Charleston Advisor, 2010, vol. 11, n. 4, pp. 10-17. http://hdl.handle.net/10760/14576

[2] Criteria for Determining Predatory Open-Access Publishers, p. 1, Jeffrey Beall 3rd edition / January 1, 2015. https://scholarlyoa.files.wordpress.com/2015/01/criteria-2015.pdf.

[3] Zie bijvoorbeeld: https://forbetterscience.wordpress.com/2015/10/28/is-frontiers-a-potential-predatory-publisher/ en https://forbetterscience.wordpress.com/2016/01/07/frontiers-christmas-carol/.

[4] Beall, ‘I get complaints about Frontiers’. https://scholarlyoa.com/2013/11/05/i-get-complaints-about-frontiers/ (geraadpleegd 29 april 2016).

[5] http://www.npr.org/sections/thetwo-way/2013/05/15/184233141/publisher-threatens-librarian-with-1-billion-lawsuit (geraadpleegd: 16 maart 2016).

[6] Open Access Publishing – USD 5000 is enough to remove your publisher’s name from Beall’s list (geraadpleegd 21 maart 2016) https://sfoap.wordpress.com/2016/03/21/open-access-publishing-usd-5000-is-enough-to-remove-your-publishers-name-from-bealls-list/

[7] Zie als voorbeeld: http://www.scholarlyoa.net/ (geraadpleegd 29 april 2016). Dit is een voorbeeld van een regelrechte lastercampagne tegen de persoon Jeffrey Beall.

[8] Ook op www.openaccess.nl wordt de Beall lijst als autoriteit opgevoerd.

[9] Voor een wat uitgebreider commentaar over de toevoeging van MDPI: https://en.wikipedia.org/wiki/MDPI#Inclusion_in_Beall.27s_list (geraadpleegd 2 mei 2016).

Geplaatst in 0pen access, I&M2.0, onderzoek, Open Access, Open science, tijdschriften, toekomst, voorlichting | 6 reacties

Open boek over Open Access

Onlangs publiceerde de KNAW het Open boek over open access, waarin 21 onderzoekers uit diverse disciplines en in diverse fasen van hun onderzoekscarriëre zijn geïnterviewd over Open Acces. Ik vat het niet samen omdat ik vind dat dit verplicht leesvoer is voor ieder van ons. En daarnaast, de epiloog van het boek biedt die samenvatting al.

Twee dingen vielen mij op bij het lezen van de interviews:

Een grote meerderheid van deze onderzoekers is voor Open Access, met alle kanttekeningen en zorgen die daarbij horen. De steun is eerlijk gezegd groter dan ik had verwacht. Dat stemt positief.

Verschillende keren komt het gebrek aan informatie als aandachtspunt naar voren. Onderzoekers hebben behoefte aan heldere informatie en ondersteuning. Geen enkele keer, echt geen enkele keer, komt hierbij de bibliotheek ter sprake. De bibliotheek wordt niet genoemd als partij die onderzoekers informeert en de bibliotheek wordt (zelfs?) niet genoemd als partij die dit zou moeten doen.

Dan staan wij als universiteitsbibliotheken toch wel een beetje in ons hemd.

Geplaatst in Open Access | 6 reacties