Why Twitter Is Even More Worthless Than You Think

Dit artikeltje met deze uitdagende titel las ik recentelijk in een blog en het is wel goed om te zien hoe de relatie is tussen Twitter en een eventueel vervolgbezoek aan een website .

Lees het hier (uiteraard twitter ik dat bericht niet).

Geplaatst in I&M2.0 | 2 reacties

Louis Bonaparte ontmoet Science in Transition

Louis Bonaparte Society

Vorige week donderdag waren Jeroen Bosman en ik aanwezig bij een bijeenkomst over Science in Transition van de Louis Bonaparte Society – een vereniging van graduate students (Master- en PhD-students) uit alle UU-faculteiten. Frank Huisman, één van de initiatiefnemers van Science in Transition, was uitgenodigd om een inleiding te geven, daarna werd in kleinere groepjes gediscussieerd. Jeroen en ik waren vooral gekomen om te kijken hoe dit onderwerp leeft onder Masterstudenten en promovendi, en hoe in deze groep aangekeken werd tegen veranderingen in wetenschappelijke communicatie, zoals we die zelf onderzoeken (zie 101 innovations in scholarly communication).

In zijn inleiding gaf Frank Huisman een overzicht van de belangrijkste punten in het Science in Transition position paper, waarbij hij vooral in ging op de kwaliteit van onderzoek en op de universiteit als opleidingsinstituut. Dit waren ook de punten waar later op de avond in 4 á 5 kleinere groepjes over gediscussieerd werd.

Lobos - Science in Transition

Opvallend was dat alleen al in ons groepje ongeveer de helft van de mensen dan wel tijdens hun PhD-traject dan wel korter of langer na hun promotie alsnog de keuze had gemaakt om niet door te gaan in het onderzoek. Frank Huisman had het hier ook over in zijn presentatie: de financiële prikkel om universiteiten te belonen voor het aantal promoties is er mede de oorzaak van dat er veel meer promovendi worden aangenomen dan dat er, verderop in het traject, onderzoeksbanen beschikbaar zijn. Één van de oplossingen die Science in Transition hiervoor aandraagt is om een promotie te zien als het einde van een opleiding, niet als het begin van een wetenschappelijke carriėre.

De aanwezigen waren hier nogal kritisch over: dit werd gezien als symptoombestrijding in plaats van het oplossen van het probleem, omdat het nog steeds de grote aantallen PhDs in stand houdt (en, zoals iemand cynisch opmerkte: PhD-studenten zijn goedkope arbeidskrachten).

Men zag meer heil in ‘aan de poort’ beperken van het aantal promovendi, of zelfs in een eerder stadium, het aantal studenten dat toegelaten wordt aan de universiteit. Dit zou vereisen dat er iets aan de financiele prikkels verandert (wat Science in Transition overigens óók betoogt).

Voor verdere discussie over de carrière-perspectieven van PhD-studenten (ook buiten Nederland) zie onder andere MySciCareer (‘First-person science career stories’) en Where will a Biology PhD take you? (cijfers US 2012).

Een ander onderwerp van discussie was de kwaliteit van onderzoek, en dan met name de manier waarop je dat bepaalt. De overheersende gedachte bij de deelnemers leek te zijn dat het beoordelen van een onderzoeker op basis van kwantitatieve criteria (zoals citatiescores van zijn/haar artikelen en impact factors van de tijdschriften waarin deze verschijnen) weliswaar niet optimaal is, maar ten minste objectief. Een meer inhoudelijke beoordeling op kwaliteit van artikelen (en andere output) droeg volgens veel aanwezigen het bezwaar in zich dat het een subjectieve beoordeling is, en bovendien niet schaalbaar (en daarmee niet bruikbaar voor de steeds toenemende hoeveelheid onderzoeksartikelen).

Hier kun je tegenin brengen dat aan het huidige systeem van beoordeling op basis van impact factors net zo goed een subjectieve kwalitatieve beoordeling ten grondslag ligt, namelijk die van peer-reviewers en editors van tijdschriften (die bepalen of en waar een artikel gepubliceerd wordt). Deze beoordeling is op dit moment echter grotendeels onzichtbaar.

Door de deelnemers werden verschillende suggesties gedaan om de kwaliteit van wetenschappelijk onderzoek te verbeteren:

  • stel geen eisen meer aan het aantal artikelen dat nodig is voor een PhD, maar beoordeel op kwaliteit;
  • betaal peer reviewers voor de tijd die ze besteden aan peer review;
  • voeg meer informatie toe aan artikelen zodat de kwaliteit beter beoordeeld kan worden: hier werden o.a. uitgebreide methodologie en datasets genoemd, maar ook: rationale en motivatie voor het uitgevoerde onderzoek.

 

De groep jonge onderzoekers die actief is in de Louis Bonaparte Society is duidelijk betrokken en kritisch ten aanzien van de huidige manier waarop wetenschap bedreven en beoordeeld wordt, maar ze hebben ook hun twijfels over de door Science in Transition voorgestelde oplossingen. Het leek wel voor velen de eerste keer dat ze uitgebreider kennis namen van de standpunten van Science in Transition.

Het zal interessant zijn om te zien of ontwikkelingen op het gebied van bijvoorbeeld peer review (zoals open peer review, post-publication peer review en het claimen van peer reviews voor credits) door deze generatie omarmd zullen gaan worden en onderdeel zullen gaan uitmaken van hun workflow.

Publons: get credit for peer review

Publons: get credit for peer review

PubMed Commons - a forum for scientific discourse

PubMed Commons: a forum for scientific discourse

 

 

 

 

 

 

 

————————————————————————————————————–

Geplaatst in I&M2.0, onderzoek, Open science, toekomst | 2 reacties

Picarta out, WCDS NL in…

Degenen die in januari bij de informatie- en discussiebijeenkomst aanwezig waren, weten al dat ik naast het onderzoek naar het uitfaseren van Aleph als lokale zoekingang ook een pilot coordineer voor WorldCat Discovery Services Nederland (WCDS NL). WCDS NL vervangt naar verwachting eind 2015 Picarta. De UB Utrecht is de eerste pilotgroep die de interface mag uitproberen. Bij een eerste kennismaking met WCDS NL viel ons (Theo, Tonny en mij) direct al op dat er een aantal bugjes in zaten, en daarom heb ik ervoor gekozen om te beginnen met een “wilde” test met een klein gezelschap. Het was leuk om te zien dat iedereen (4 I&M, 2 PD, 3 I&O, 1 DV) totaal andere zoekacties uitvoerde, maar grofweg dezelfde issues tegenkwam. Zo bleek WCDS last te hebben van geheugenverlies als je navigeert met je browserknoppen, en ergerden we ons allemaal aan ongelijksoortige lijstjes zoals de “top 6 materialen” (we blijven bibliotheekmensen). Ik heb deze punten zoveel mogelijk samengevat en voorgelegd aan OCLC. Het wachten is nu op een aantal verbeteringen, waarna we verder kunnen testen. Ik denk dat we dat het best aan de hand van een aantal uitgewerkte usecases kunnen doen. Als je de volgende keer mee wilt testen, of als je mee wilt denken over de inhoud van de usecases, mail: d.jansen@uu.nl Laten we er samen voor zorgen dat die nieuwe interface beter wordt dan Picarta ooit is geweest, en op langere termijn ook een van de beste alternatieven voor Aleph (als zoekingang).

Geplaatst in I&M2.0 | 2 reacties

Two librarians went to Oxford to feel The Force

Force 2015 header

Hoofd- en bijzaken van de Force2015 conferentie,  11-13 januari

Met 70 posters en demo’s, 250 deelnemers en 50 sprekers in drie dagen (één met parallelle pre-conference workshops en twee plenaire conferentiedagen) is Force2015 te groot en te veelzijdig om integraal te verslaan.  Dus bieden we hier een selectie van hoofd- en bijzaken.

Force2015 is de derde internationale conferentie van de Force11 organisatie, na eerdere in San Diego (2011) en Amsterdam (‘Beyond the PDF‘ 2013).

Hoofdthema van deze conferenties is eigenlijk elke keer hetzelfde. Men probeert de vraag te beantwoorden hoe wetenschappelijke communicatie moet/zal veranderen om wetenschap in het internettijdperk met sterke globalisering en hogere eisen vanuit de maatschappij efficiënter, opener en beter/effectiever te maken. Elke editie is dus eigenlijk een stand van zaken: wat is er bereikt, wat werkt nog niet of niet goed genoeg.

Het publiek bestaat uit onderzoekers, librarians, subsidieverstrekkers, uitgevers en ontwikkelaars. Er waren veel mensen die rollen combineerden: onderzoekers-ontwikkelaars of bijvoorbeeld  onderzoekers-librarians (in het buitenland hebben librarians vaak een wetenschappelijke status). Uiterard waren er veel Usanians en Britten, maar ook Duitsers, Canadezen, Zweden, Fransen en meer. Er waren weinig Aziaten. Voor hen was het congres misschien letterlijk of figuurlijk te ver van hun bed?

De belangrijkste zaken waarop in meer dan één presentatie of discussie werd gewezen waren:

  1. granulariteit in research output – het ging op dit congres al lang niet meer alleen over artikelen/boeken en onderzoeksdata, maar ook over het beschikbaar en traceerbaar maken van protocollen, uitgevoerde experimenten, gebruikte materialen, en activiteiten zoals peer review.
  2. de noodzaak om tools, technieken en standaarden die intussen zijn ontwikkeld ook breed aanvaard te krijgen en toe te gaan passen;
  3. het belang van het herkennen van disciplinaire silo’s en uitgeverssilo’s en de noodzaak die te doorbreken of overstijgen;
  4. de urgentie om datacitatie op korte termijn overal goed ondersteund te krijgen (repositories voor data, DOI’s voor datasets en onderdelen daarvan, ondersteuning in citatiestijlen, ondersteuning door schrijfplatforms en tijdschriften/uitgevers);
  5. het vermijden van een binaire blik op reproduceerbaarheid van onderzoek en het belang het te koppelen aan codes voor ethisch verantwoord onderzoek;
  6. het belang van  interoperabiliteit: goede, platform-onafhankelijke koppeling tussen tools die gebruikt worden in de diverse fasen van de research workflow.

Over veel was men het eens, maar niet over alles en er waren ook dissenting voices, bijvoorbeeld over:

  • of je van al het onderzoek kunt verlangen dat de resultaten reproduceerbaar zijn;
  • of het probleem van de serials crisis nu met Open Access conceptueel is opgelost of dat er nog kans is dat brede open access lang gaat duren of stokt;
  • in hoeverre je innovaties die door uitgevers worden gedaan (bv. bij Macmillan/Nature en bij Elsevier) moet toejuichen en ondersteunen, of wantrouwen omdat ze het gevaar in zich dragen content te willen monopoliseren en monetariseren tegen het belang van de onderzoeksgemeenschap in (kritiek afkomstig van Ross Mounce);
  • of bibliotheken de beste partners zijn voor beheer en curation van data als alternatief voor uitgevers: Peter Murray Rust had bedenkingen omdat bibliotheken te veel verkoopkanalen van uitgevers geworden zouden zijn.

Verder was er veel discussie over het recente nieuws over drie nieuwe tijdschriften:

  • Collabra, een Open Access tijdschrift van de University of Califonia Press op het Ubiquity Press platform, waarvoor een systeem is bedacht om reviewers financieel te belonen voor hun werk, met een mogelijkheid om die beloning weer aan te wenden voor nieuwe artikelen (bv. via een Open Access fonds; zie ook Science News);
  • het nieuwe multidisciplinaire OA tijdschrift waarmee Elsevier na acht jaar toch de concurrentie met bv. PLoS One wil aangaan.
  • SoftwareX, een tijdschrift van Elsevier voor sofwarepublicatie waarvan velen zich afvroegen wat het toevoegt aan de vele reeds bestaande alternatieven anders dan het Elsevier stempel.

101 Innovations in Scholarly Communication - poster Force2015

http://dx.doi.org/10.6084/m9.figshare.1286826

Bij onze poster over 101 innovaties in de zes fasen van de cyclus van wetenschapplijke informatieworkflow hadden we zeer veel aanloop. Gelukkig hadden we een mooie plek vooraan de rij van 70 posters kunnen claimen (weest vroeg!). Het bleek nuttig met twee personen te zijn om alle vragen te kunnen beantwoorden.

Binaca-poster-klein

poster-jeroen-klein

 

 

 

 

 

 

 

 

Aandacht was er vooral voor welke innovaties wij gekozen hadden en waarom en voor de hypothetische sets tools die verschillende soorten workflows ondersteunen. Vreemd genoeg waren er minder vragen over de interpretaties van de ontwikkelingen die wij zien. Vond men dat te ingewikkeld om in een drukke ruimte staand te bespreken of was men het met alles eens? Ook onze hoop snel even aan alle deelnemers hun favoriete workflow te ontfutselen bleek ijdel. Maar er was wel veel lof, zoveel zelfs dat we de prijs voor beste poster kregen!

Ja het is een gewild object...

Ja het is een gewild object…

 

 

 

 

 

 

 

 

 

Uiteraard hadden we ook zelf nog gedachten bij onze poster:

We hebben geprobeerd de interpretaties die wij op de poster presenteerden te toetsen aan wat door verschilende sprekers naar voren werd gebracht:

Conference bingo!

Conference bingo!

Veel discussie tijdens conferenties als deze loopt ook parallel via Twitter. Ook daar veel reacties op de poster, maar die gaan meestal niet erg diep. Hieronder een impressie van het netwerk van mensen die de eerste dag met de  hahshtag #Force2015 twitterden.

Force2015 Twitter netwerk

De sfeer van de conferentie is vrij hectisch: veelal korte (5-10 min) snelle presentaties en vrij krappe pauzes. Daar staat tegenover dat vrijwel alles plenair was, wat weer wat rust geeft. Maar als verwacht wordt dat je ook bij je poster post is de ruimte voor vrij netwerken beperkt.

Oxford tea break at Force2015

Oxford tea break at Force2015

 

 

 

 

 

Op de website van Force11 staan in het programma als het goed is straks links naar dia’s van de presentaties. Ongeveer twee weken na de conferentie is de video van de afzonderlijke onderdelen beschikbaar op: https://www.force11.org/meetings/force2015/streaming-video

Force2016 is volgend jaar in Portland, OR, VS.

Jeroen en Bianca

PS Aan het congres is ook een competitie verbonden: The £1k Challenge. Wat zou jij doen met £1000 (€1300) om wetenschappelijke communicatie te verbeteren? Drijvend op de energie van het congres hebben we allebei direct een voorstel ingediend, het één (Bianca) in lijn van ons eigen project (met een idee van Anja Bastenhof erin verwerkt), het ander (Jeroen) met een heel andere invalshoek:

Geplaatst in 0pen access, altmetrics, congressen, data, I&M2.0, innovatie, onderzoek, Open Access, Open science, toekomst, valorisatie | 2 reacties

KNAW-minisymposium: Wikipedia as a research tool

Gisteravond, 15 januari 2015, was ik in Amsterdam aanwezig bij het KNAW-minisymposium over Wikipedia as a research tool. Het was een kort programma van 2 uur met verschillende sprekers, waaronder Jimmy Wales, oprichter van Wikipedia. De belangstelling was groot: een volgepakte zaal met extra stoelen en staanplaatsen langs de muren.

Het programma en een samenvatting van de bijdragen staan op de website van de KNAW.

Meer informatie over de bijdrage van Esther Weltevrede en Erik Borra, die onderzoek doen naar “Wikipedia and the value of dispute” staat hier.

Jimmy Wales sprak over “The open nature of Wikipedia” en noemde als belangrijkste ontwikkelingen de ‘internet boom in the developing world’ door het daar goedkoper worden van mobiele telefoons die ook een steeds betere en snellere toegang bieden tot internet. Om gratis toegang tot Wikipedia mogelijk te maken is het project Wikipedia Zero gestart, dat onder andere in Zuid-Afrika scholieren inspireerde tot deze actie.

De aan het begin beloofde ‘mystery guest’ bleek Max Sparreboom te zijn, directeur van de Stichting Erasmusprijs. Hij maakte bekend dat de Erasmusprijs 2015 is toegekend aan Wikipedia. Rond de prijsuitrijking aan vertegenwoordigers van de Wikipedia community in het najaar van 2015 wordt een bijeenkomst georganiseerd, waarin dit minisymposium een vervolg krijgt.

Om exact 20.00 werd de bijeenkomst afgerond, omdat Jimmy Wales later op de avond ook nog te gast was bij Umberto Tan in RTL late night. Voor wie wil nog te zien op uitzending gemist, op circa 40 minuten.

Ale je meer wilt weten over een van de bijdragen vraag me daar dan even naar. Ik heb wel wat aantekeningen gemaakt, maar vind die minder geschikt voor opname in een blogpost.

Nieneke Elsenaar

Geplaatst in (nationale) samenwerking, google en google diensten, I&M2.0, naslagwerken | 4 reacties

So, do we have 2 or 74 percent Open Access availability?

by @jeroenbosman

N.B. This post contains updates between [ ]

Anyone following Open Access developments is confronted almost daily with new policies, mandates, goals, definitions, delimitations and the concomitant quantitative underpinnings. The passed two months saw a rush hour frenzy with the announcement of new OA policy from the main Dutch research funder NWO, procedures from HEFCE in the UK with details of their deposit mandate, the release of six reports from Canadian Science Metrix prepared for the European Commission earlier this year, major researcher surveys by Nature and by Taylor&Francis, a business report on the OA market, calculations on the cost of OA by Wouter Gerritsma at the Amsterdam (UvA/HvA) OA symposium and more.

This avalanche is of course no coincidence as the period around the Open Access week is deal to get OA stakeholders’ attention. Being a bit of a number cruncher, my attention was caught by some amazing facts & figures that surfaced from the depths of these these reports:

1) Open Access has a share of just 2.3% of the (STM) journals market, according to blogpost outlining a report by Simba (which can be had for $2500).

2) Worldwide over 50% of research papers published 2007-2012 are now Open Access available, according to the main ScienceMetrix report pepared for the EU (page 16).

3) An astounding 73.8% of Dutch papers from the year 2008-2013 is Open Access available, according to the Science Metrix report again (page 26).

4) OA papers are between 26% and 64% more cited than the average of all papers. OA citation advantage is strongest for papers available in green Open Access and even negative for Gold Open Access, again according to the Science Metrix repport (page 18).

5) Of all STEM researchers, 62% claims to have published at least 1 OA article over the last 3 years; for SSH that is 38%; both according to the recent global Author Insights Survey carried out by Nature (page 5).

6) 70% authors agree that there are fundamental benefits to OA, up from 60 in 2013. The  large scale 2014 survey sent out by Taylor&Francis also found that few authors see citation advantage as an important reason to publish OA.

7) Last year Dutch authors paid on average €1087 (excl. VAT) in APCs for their Gold OA papers, according to research by Wouter Gerritsma presented at an Amsterdam symposium during the Open Access Week.

8) Just to add one more: Web of Science shows that of all 1,25M 2014 papers & reviews indexed so far 8.5 percent is open access (on 20141211).

Pretty amazing and confusing figures huh?

Alas, as always, only the fine print reveals what is really going on. It makes the picture more blurry but also more faithful. So let’s dive in to see what this is all about.

1) The 2.3 percent market share pertains to the income derived from scholarly journals. As such it is not a very good indication of the success of OA because it is affected by the price of APC’s (higher APC’s will lead to a higher market share) and the price of regular subscriptions (lowering subscription prices will lead to a rising OA market share). Also the figure probably includes income derived form hybrid journals. So do not simply cheer if this market share figure rises. And  of course green OA is not in the equation at all. In theory we can have 100% OA though green deposits with a 0% OA income market share. Nevertheless the fairly low figure of 2.3% may be convincing investors in big publisher stock not to be afraid that OA will become a threat.

[Update 20141213: Walt Crawford has done comparable research arriving at roughly the same total OA market size as Simba (around $245M), without giving a percentage of the total journal market. Figures are in his blog, where he gives an amazing amount of other details, such as avarage APC levels in Gold OA journals at $388/981/170 for STE/M/SSH respectively. Unfortunately Crawford does not share his data like Wouter Gerritsma did recently.]

2-3) The high OA shares reported by Science Metrix are based on a very large Scopus sample, measuring OA access levels in April 2014 through Google Scholar (I suspect by checking for DOC/HTML/PDF full text links you see on the right of Scholar result pages) and a number of other sites and repositories. These figures are real, but omit the most recent period (half year/ year), which is arguably the most important for getting access and also the period with the least OA availability because of publisher embargoes on green sharing. Also it includes all versions of papers and may even include papers shared against copyright regulations through e.g. ResearchGate or private researcher sites. For these reasons you could argue that Science Metrix is stretching it a bit. On the other hand it excludes all papers published in full OA journals not indexed by Scopus, and that is over 70% of all OA journals in the Directory of Open Access Journals. That is reason to say Science Metrix may even be under-reporting. The extremely high figure for the Netherlands is across much of the board of disciplines, with only historical studies, chemistry, arts and ‘textual studies’ having a figures below 50% (table XIII).  The Netherlands shares this high overall level of OA availability with Croatia, Estonia and Portugal. One might hypothesize that the high standards of university repositories management contributes to the figure, but really more research is need here to be sure, because there are many more potential explanations.

4) The figures on citation advantage maybe counterintuitive. This is a difficult area of research. I guess there are many confounding 3rd variables at play. First of all: many of the full Gold OA journals in Scopus are new kids on the block, still building a reputation. Second, gold OA journals are still dominated by journals in SSH, which have fewer citations per paper than STEM and also have an overrepresentation of non-English papers, also having fewer citations. So it may not be their gold nature per se that gives them a citation disadvantage. But perhaps it is also just too early to call. The evidence is still not conclusive, despite interesting studies and data becoming available, such as data on the (then hybrid) journal Nature Communications and data on journals switching to OA by joining BioMedCentral.

5) The number of authors that already published a Gold (or hybrid) OA paper is surprisingly high, with two thirds in STEM and over a third in SSH. This means publishing OA is accepted and has become mainstream. Nice is also that the by far most mentioned reason to publish OA is that researcher think research results should be openly available and much less so because their funder requires OA or because they expect more citations. The only caveat here is that subdisciplines within SSH may show varying results and that perhaps the population is a bit skewed, because mainly based on authors known to Nature because they previously published with Nature/Macmillan (including Palgrave and Frontiers).

6) So, a large majority (70%) sees fundamental benefits to OA publishing according to the T&F survey. Add to this another 20 percent neutral and you wonder why not far more papers are published OA. What is it that holds the majority of researchers from reaping those benefits? The same study finds that OA publishing standards are on average considered a bit lower, so that may be part of the explanation. Also, especially for (some part of) SSH objections to CC-BY sharing may play a role, as that license is accepted by only 19% (compared to 71% for CC-BY-NC). A last factor may be that many fields are still lacking good, modern, high standard OA publishing venues, especially in SSH. So it is great news that the new Open Library for Humanities megajournal has opened for submissions a week ago, on 20141202.

7) The average APC paid by Dutch authors is much lower than the common view that APC’s are around 3000$. That latter figure probably got into people’s minds by researchers looking at OA APC’s in the traditional journals that they always used to publish in, so in a non-OA hybrid journal. When people really start looking for OA publishing venues (en route accepting that impact factors are bogus) they find that many have much more modest APC’s. Please note however that the average of €1087 excludes VAT and includes OA journals charging nothing. In Germany, more or less the same levels were found (€1210). BTW Green OA, or self deposit in an archive, is another very simple way of OA sharing that costs next to nothing.

8) The 8.5% Open Access availability of current year papers indexed in WoS seems to be casting a shadow over the Science Metrix figures. However, you have to note that this WoS figure excludes papers available in OA through hybrid journals, as WoS assigns the OA label to papers on the journal level, so only appears in full OA journal are counted as OA when applying their filter. It also disregards the many good young OA journals, as the inclusion process for WoS can take years. And finally WoS does not look at OA availability through self archiving. So this is a seriously underreporting figure.

In conclusion, at this point in time, we may say that on average we have reached and crossed tipping points for mass OA availability and acceptance. Improving the acceptance of licenses (either more open ones by authors or more stringent ones by OA publishers) and creating more and more diverse OA publishing venues can take OA further. All the reports and surveys mentioned are worth a closer look. And when someone asks me: well do we have 2 or 74 percent OA, I say, well…. about 38 ;-)

Geplaatst in 0pen access, Open Access, tijdschriften | Tags: , , , , , , | Een reactie plaatsen