Reducing the problem? On NWO, funding applications and research assessment

Early this year, I wrote ‘NWO – the impact factor paradox‘, about the actual and perceived role of the impact factor in NWO grant applications, and the intentions of NWO to consider novel ideas to organize research assessment for funding distribution.

The announced national working conference and international conference on such ex ante research assessment have since taken place (I participated in the former). Last week, NWO made public which concrete measures it plans to take in this area (full report currently in Dutch only (pdf)). As stated in the report, the proposed measures have been approved by the council of university rectors, organized in the VSNU.

Below, I will go over what to me personally are the most salient aspects of the report, not only in the context of reducing the burden of applications and peer review (which is what NWO focused on), but also in light of research assessment in general and the implications for open science in particular.

REDUCING THE BURDEN OF APPLICATIONS AND PEER REVIEW
In the report as well as in the process leading up to it (including the two stakeholder conferences), the main problem to address has consistently been framed as that of an increasing burden on researchers to apply for funding, with an accompanying increase in workload for peer reviewers.

Consequently, most proposed measures aim to remedy this issue specifically – e.g. by postponing calls until enough funds are available to guarantee a minimum rate of acceptance (Fig. 1), stimulating universities to play an active role in guiding researchers’ decisions to apply for NWO funding instruments, and make decisions on tenure less contingent on the receipt of NWO-funding.

NWO_maatregelen-1-0

Fig 1. Acceptance rate

 

POSSIBLY MAYBE
There are also some potential measures that NWO decided require further investigation. In two cases, NWO promises to allocate specific resources to such investigations:

  • SOFA (Self-organized funding allocation)

With the SOFA model, researchers would receive baseline non-competitive funding, with the stipulation that they distribute part of that funding among other researchers (see link for more details).  While this model will not at this time be implemented, or experimented with on a small scale, NWO has committed to financing ‘a couple of’ PhD-students to further analyze the model and investigate whether it could be fit for use (Fig. 2).

NWO_maatregelen-2

Fig 2. SOFA model

In this light, it is also interesting to note the recent investigation, published in PLOS One, on the potential effects of baseline non-competitive funding (in this case without further redistribution) in the Dutch system, and the commentary of NWO,  (Dutch only) challenging the assumptions and number used in the paper.

  • Preselection based on CV

Another measure that NWO plans to consider (esp. for the Innovational Research Incentives Scheme consisting of the personal Veni, Vidi and Vici grants) is to preselect applications based on CV only (Fig. 3). The expectation is that this would result in “a considerable reduction in efforts (…), with the chance that excellent proposals are missed being very small” (pdf p. 11). This assumption is based on the observation (within the domain of Social Sciences and Humanities) that “only 8% of Veni-grants are awarded to the lowest 40% in terms of CV (only 2% to the ‘worst’ [sic] 30%)“.

Choice of language apart, I see three red flags with this measure and the underlying assumption:

  1. The percentages given might speak as much about the weight currently given to applicants’ CVs as about the content of the research proposals from these applicants. Only by blinding assessors on CVs can a true estimate be made of how many ‘excellent proposals’ would be missed by relying on CV info only.
  2. Relying on CVs to assess eligibility for submitting a proposal would further enhance the Matthew effect the report rightly warns against in the discussion on other measures.
  3. With this measure, the criteria on which the CV of a researcher is evaluated become of even greater importance. Will evaluation be done (explicitly or implicitly) on the basis of the length of the publication list and the perceived quality of journals and monograph publishers? Or will a more rounded approach be taken, with publications being assessed on their own value, other research output taken into account, and societal impact being considered as well?
NWO_maatregelen-3

Fig 3. Preselection based on CV

 

DRAWING LOTS – YES OR NO ?
One possible measure that has been discussed during the stakeholder meetings, but that NWO has decided against implementing, is that of drawing lots to decide on funding. NWO will not investigate or experiment with this approach either, but will keep an eye on current experiments in Germany (Volkswagen Stiftung – Experiment!), Denmark (Villum – Experiment*) and New Zealand (Health Research Council – Explorer grants) (Fig. 4).

NWO_maatregelen-4

Fig. 4. No plans for a lottery

Interestingly, in the first NWO stakeholder meeting, which I attended myself, a lottery draw was proposed as a secondary selection mechanism only, to decide between those proposals that all score equal in the eyes of peer reviewers after the regular assessment procedure.  Selection between these proposals is often felt as arbitrary, also by the review panel, which is why the idea of a lottery was proposed as more time-efficient and fair in these cases.

The proposals referenced by NWO above go much further: first, a check of proposals on basic quality criteria is done in a double-blind procedure (so on content only, not relying on CV). Subsequent selection of proposals is then done by lottery. Thus in these models, lottery is really intended to replace, not complement, selection on ‘excellence’ by peer review.

(*NB As far as I could ascertain, for the Villum Experiment grants, no lottery element is included; this assessment scheme only includes the double-blind peer review aspect)

Such experiments can also offer important insights into various aspects of grant assessment, such as the Matthew effect, the effect of conscious and unconscious bias of reviewers, and the difference over time in results of research selected on ‘excellence’ or on basic quality criteria only.  Thus, they will contribute to more evidence-based research assessment. In the report, developing such evidence is mentioned as something NWO vows to take an active role in (pdf, p. 12) (Fig. 5).

NWO_maatregelen-5

Fig. 5. Supporting evidence-based assessment

 

RESEARCH ASSESSMENT: A QUESTION OF EXCELLENCE
Throughout the report, NWO stresses that while it aims to reduce the burden of applications and peer review, its goal remains to select the most ‘excellent’ proposals (e.g. see Fig. 4 above). While this reduces the problem to a manageable level, it also sidesteps the bigger question of what is good research and how best to stimulate that.

As has been argued elsewhere, e.g. in the paper  “Excellence R Us” (Moore, Neylon, Eve et al., 2016), the focus on ‘excellence’ in research assessment stimulates hypercompetition and homophily (= same begets same). The resulting push to publish is not always conducive to reproducible research or to the advance of knowledge through collaboration.

This is why I think that the most interesting parts of the NWO report are proposals that will not (yet) be implemented:  SOFA, double-blind peer review of proposals, allocation of at least some funding by lottery after an initial check for quality.  These all have the potential to shift the current tenets of research assessment away from competing for excellence only.

Together with measures that stimulate reproducible research (funding replication studies and both requesting and awarding pre-registrations, sharing methods and data and open access publication of all research output),  this would create  a culture where sound research is rewarded and collaboration and (re)use of research findings is encouraged. This is also in line with the ambitions of NWO as signatory to the National Plan Open Science (NPOS), and with the ambitions of the new Dutch government as outlined in the coalition agreement that was published last week (Fig. 6).

regeerakkoord

Fig 6. Quotes from Dutch government coalition agreement, published Oct 10, 2017

With the coalition agreement, NPOS and this report on funding assessment measures on the table, it will be interesting and promising to follow developments in NWO policy over the coming months.

 

[edited to add: Also listen to the Oct 14 episode of the Dutch investigative reporting radio program Argos  where the NWO funding allocation measures are discussed]

 

Advertenties
Geplaatst in funding, I&M2.0, nwo, research assessment | Een reactie plaatsen

Open Science summer school

by Bianca Kramer (@MsPhelps) and Jeroen Bosman (@jeroenbosman)

Open Science is the buzzword of the day. And for good reason, because under its umbrella people are working to make science and scholarship more inclusive, open, efficient and reproducible. To share and test our knowledge and ideas, Utrecht University Library offered a course on Open Science in August 2017 as part of the Utrecht University Summerschool.

Seven young researchers from around the world, and from a range of disciples attended  a full week’s course in the middle of summer. We had turned the library’s Buchelius room into a cosy ’living’ (yes it can be done), with a continuous supply of stroopwafels.

The idea behind the course was for the participants to gain insight in the why and how of an array of open science practices and ideally also start applying that knowledge to their research projects.

Apart from a very important introductory session (to get to know each other and create and agree on a code of conduct) and a wrap-up session, the programme (see Fig. 1) consisted of 8 half day sessions, for each of the phases of the research workflow (one phase got a full day). Despite having a full week, it was still difficult to decide what to include.

Summerschool_programme

Fig. 1 The main programme schedule showing the half day sessions

One of the premises was that participants should be allowed to be ‘selfish’ and spend their time in such a way to get the most out of the course for themselves. To make that possible we limited plenary presentations to 1 hour per session and  let it up to the participants to work on one or more assignments of their choosing for the remainder of each session. Despite this approach it was good to see many lively discussions and group work.

The full programme with links to all presentations, assignments and supporting material was and still is publicly available with a CC-BY license. To bring in extra expertise and have a variety of opinions and approaches we invited five co-lecturers: Chris Hartgerink, Stephanie Paalvast, Tessa Pronk, Jon Tennant and Rolf Zwaan.

JT

Jon Tennant, one of the co-lecturers, in action

A special and very well received element in the course was the afternoon dedicated to outreach and advocacy. Participants had very stimulating talks way Open Science is practised in Utrecht with Frank Miedema (University Medical Centre Utrecht), Sanli Faez (Science Faculty) and Maud Radstake (Studium Generale).

The course as a whole was well received (all participants filled out the evaluation form) with an average score of 8 out of 10. Everyone indicated that they learnt things that were relevant and applicable in their own research. Suggestions for a next edition were a.o. to look at the price (or offer reductions) and to make it even more personalised.

In all it was an intensive and very enriching experience. A lot of course materials were developed and are now available for reuse (and improvement). Ideas and materials are also very valuable for our own university as it plans to stimulate and support open science practices across the board.

Geplaatst in I&M2.0, onderwijs, doelgroepen, Open Access, Open science | Tags: , | Een reactie plaatsen

Digital Humanities Clinic (dag 1)

Vandaag was de eerste van vijf Digital Humanities Clinics. Doel van deze reeks is medewerkers van bibliotheken en verwante instellingen kennis te laten maken met Digital Humanities.

In het programma brengen we met hulp van de onderzoekers zelf het kennisniveau van de deelnemers omhoog. Door samen te leren hoe de onderzoekers gebruik maken van digitale collecties wordt de bibliotheek de gesprekspartner voor onderzoekers die nog niet zo digitaal vaardig zijn, maar dit wel willen. Met dit traject word je geen programmeur of datacruncher, maar het geeft je wel voldoende kennis om te adviseren en begeleiden bij nieuw DH-onderzoek.

Het ochtendprogramma bestaat steeds uit lezingen, het middagprogramma uit een workshop.

Digitalisering

Marco de Niet, directeur van DEN Kennisinstituut Digitale Cultuur mocht aftrappen met een lezing over digitalisering. Zijn presentatie ging vooral in op de meer beleidsmatige kanten van digitalisering, niet de praktische aspecten. Digitaliseren is meer dan scannen alleen, het gaat om de informatie, de context, de ontsluiting.
Hij noemde “trots op het eigen vak” als grote vijand bij digitaliseringsprojecten. Bibliotheken, archieven, musea etc. digitaliseren teveel vanuit hun eigen expertise, het is goed om over de grenzen van je sector te kijken en samen te werken. Een historische atlas zal door een bibliotheek bijvoorbeeld heel anders gedigitaliseerd worden dan door een museum.

Zijn presentatie bevatte ook wat ontluisterende cijfers (binnenkort op de website van DEN).

  • 74% van de collecties van erfgoedinstellingen is niet online beschreven
  • 45% van de gedigitaliseerde collecties is niet online beschikbaar (gedigitaliseerd voor eigen gebruik, vanwege auteursrecht alleen binnen de instelling beschikbaar)
  • 51% van de metadata is niet beschikbaar in het publieke domein

Een laatste interessante waarneming vond ik de gebruiker centraal?, met vraagteken dus. Er is een fundamenteel verschil tussen commerciële instellingen die volledig de gebruikers volgen (wat wil de klant, daar maken we een product bij) en erfgoedinstellingen die een verantwoordelijkheid hebben voor hun materialen (we hebben een object, hoe betrekken we het publiek daarbij?).

Databases

Marnix van Berchum, buitenpromovendus muziekwetenschap aan de UU, gaf met schwung een presentatie over databases en probeerde en passant onze kennis over oude muziek wat op te vijzelen. Ik ken nu het verschil tussen een document database, relationele database en graph database, maar ga niet proberen dat hier te reproduceren.  Welk type database je ook kiest als onderzoeker, het gaat er vooral om dat de informatie goed gestructureerd en gedocumenteerd is. Dat maakt de informatie in een database duurzaam en herbruikbaar. Marnix illustreerde vervolgens de relationele database aan de hand van zijn werk voor het project Computerized Mensural Music Editing (CMME).

SQL

Dit sloot goed aan bij het middagprogramma. Janneke van der Zwaan (eScience Engineer bij het Netherlands eScience Center) gaf ons een introductie in het gebruik van SQL, een taal waarmee je relationele databases kunt bevragen en aanpassen. Dankzij Janneke (en charmante assistent Ben) snap ik wat hier staat, sterker nog ik heb het zelf geschreven:

SELECT issns, month, AVG(citation_count), COUNT(*)
FROM articles
GROUP BY month, issns
ORDER BY issns

Maar, om te relativeren, dit is zo ongeveer het equivalent van het bestellen van een stokbrood op vakantie in Frankrijk. We hebben bijvoorbeeld maar één tabel bevraagd en niet gegevens uit verschillende tabellen gecombineerd. En dat is nu juist de essentie van een relationele database.

Volgende keer: lezingen over computationeel denken en over tool- en datakritiek. In de middag een workshop Python in drie uur.

Geplaatst in digital humanities, I&M2.0 | Een reactie plaatsen

The UK Scholarly Communications Licence

In het Verenigd Koninkrijk (en daarbuiten) doet de UK Scholarly Communications Licence veel stof opwaaien. Het plan is gebaseerd op het Open Access Policy model van Harvard (https://osc.hul.harvard.edu/modelpolicy/), maar aangepast aan de situatie in het Verenigd Koninkrijk.

Het plan

Het gaat om een plan waarin onderzoekers via een overeenkomst hun instelling het recht geven de wetenschappelijke artikelen te verspreiden:

“authors grant the organisation a non-exclusive licence to make the manuscript of a scholarly article publicly available under a Creative Commons licence that allows non-commercial re-use (CC BY NC). This arrangement pre-dates any contract authors might sign with a publisher, which allows the host organisation to license the rights back to the author after they signed the copyright transfer agreement. This process ensures that academics can retain rights and do not have to negotiate with the publisher. To be legally binding, publishers must be notified – but this is something research institutions working with sector bodies will undertake jointly, so that authors have no additional work.”
(bron: https://doi.org/10.5281/zenodo.375830)

Omdat deze overeenkomst vooraf gaat aan afspraken die auteurs met de uitgevers/tijdschriften maken, kan de instelling op het moment van publiceren het artikel openbaar maken in een repository en is daarbij niet gebonden aan de embargo periode van het betreffende tijdschrift. Dit maakt dat altijd aan de voorwaarden van onderzoekfinanciers kan worden voldaan.

Auteurs kunnen wel per artikel een “waiver” aanvragen, net als bij de Harvard policy, maar dit is beperkt tot een periode van twee jaar na publicatie (of korter, dit is niet duidelijk).

Veel is nog onduidelijk over dit initiatief. Wat is de precieze inhoud van de licentie, welke instellingen gaan deze implementeren, hoe en wanneer? De bijbehorende website (http://ukscl.ac.uk/) is nog steeds onder constructie. De discussies over het plan zijn deels gebaseerd op aannames en interpretaties van wat er in de licentie zou kunnen staan.

De reacties

Er zijn een aantal reacties verschenen op de UK Scholarly Communications License.

De Publishers Association is “deeply concerned”. Zij stelt in haar reactie onder andere dat het voortbestaan van de tijdschriften in gevaar komt bij een korte embargo periode of OA beschikbaarheid van een artikel direct na publicatie. Daarom zijn uitgevers wel gedwongen om van onderzoekers te eisen dat zij een “waiver” aanvragen. En dat zal voor die onderzoekers weer een enorme werklast betekenen. Daarnaast signaleert ze dat dit plan in strijd is met het bestaande beleid in het Verenigd Koninkrijk waar juist Gold OA wordt gepropageerd, in plaats van Green OA.

Op The Scholarly Kitchen hebben twee historici een reactie geschreven op de UK Scholarly Communications License, vanuit de overtuiging dat “One of the most important lessons of the debates and policy shifts around Open Access (OA) has been the hard-won recognition that no one size fits all”. De auteurs van dit stuk delen de zorgen van de Publisher Association (waarnaar ze ook expliciet verwijzen). Ze voegen daar het gebruik van bronmateriaal in geesteswetenschappelijke publicaties (handschriften, kunstwerken e.d.) aan toe, wat maakt dat je niet zomaar je instelling het recht kan geven het artikel te verspreiden. Ook maken zij vanuit de Geesteswetenschappen bezwaar tegen de keuze voor CC-BY-NC in plaats van CC-BY-NC-ND.

“Because the formulation of text in argument is the primary research output, derivative use is not as applicable or desirable as it might be for other fields. That is, we produce essays with interpretive arguments, not data or experimental findings.”

In de reacties onderaan het stuk komt met name de mogelijkheid van ongeautoriseerde vertalingen naar voren als ongewenst effect. Gelukkig is er ook aandacht voor text mining en in hoeverre een CC-BY-NC-ND licentie text mining (on)mogelijk maakt.

De Nederlandse ambitie?

De Nederlandse ambitie opgeschreven in het Nationaal Plan Open Science is 100% Open Access in 2020 voor alle wetenschappelijke publicaties en direct bij publicatie. 100% en direct bij publicatie, de Nederlandse ambitie staat (in ieder geval op papier) geen uitzonderingen toe. Ook verwijst het nationale plan expliciet naar (delen van) boeken, waar de Harvard OA policy en de UK Scholarly Communications Licence alleen op artikelen van toepassing zijn.

Een NL Scholarly Communications Licence zou dus nog ingrijpender moeten zijn dan de licentie voor het Verenigd Koninkrijk om aan de Nederlandse ambities te voldoen. Of er concrete plannen zijn in Nederland weet ik niet, maar het nationale plan lijkt die mogelijkheid wel open te laten: “Er is ook aandacht nodig voor het eigenaarschap van publicaties uit onderzoek, om zonder kosten hergebruik te bevorderen.”

De vraag is ook hoe een NL Scholarly Communications License binnen de Nederlandse wetgeving zou werken. Gaat zo’n afspraak tussen onderzoeker en instelling in Nederland ook vooraf aan het contract met de uitgever?

Het amendement van Taverne op de auteurswet is in ieder geval onvoldoende om de ambitie van 100% open access te halen. Daarin is immers sprake van beschikbaar stellen “na verloop van een redelijke termijn” en dus niet direct. Er is sprake van “een kort werk”, waarmee boeken buiten de boot vallen. En het is onduidelijk (in ieder geval voor mij) of deze Nederlandse wet wel van toepassing is op contracten met buitenlandse uitgevers.

Tenslotte, een ambitie is geen eis. Hoe zet je een Scholarly Communications License eigenlijk in? Is het een norm die je stelt, waar onderzoekers bewust en beredeneerd van kunnen afwijken door middel van waivers? Dit lijkt op de oorspronkelijke aanpak van Harvard en is in lijn met de aanbevelingen van het Harvard Open Access Project. Of is het een harde eis die je stelt, waar academische vrijheid en de mogelijkheid om te publiceren waar je wilt ondergeschikt aan is? Dit is de kant die de UK Scholarly Communications License op lijkt te gaan, in ieder geval als je de critici mag geloven.

Geplaatst in auteursrecht, I&M2.0, Open Access | 5 reacties

Agile PM vs. Prince2: let the battle begin!

Vorige week heb ik mijn certificering voor agile projectmanagement (https://www.agilebusiness.org/agilepm) gehaald. Dat leek me een goed moment om wat gedachten op een rijtje te zetten over wat agile projectmanagement eigenlijk is, hoe het verschilt van Prince2, en wat de UB er mee zou kunnen doen.

Agile PM is het een projectmanagementmethode gestoeld op het DSDM-framework (Dynamic Systems Development Method). Het is dus net als Prince2 een kader waarbinnen je projecten kunt aansturen. En alhoewel het voortbouwt op de “agile” filosofie (http://agilemanifesto.org/), is het goed je te realiseren dat die uitgangspunten geschreven zijn met softwareontwikkeling in het achterhoofd (en niet per se projectmanagement). Het is ook belangrijk om je te bedenken dat veel agile methoden (denk aan Scrum, Kanban, XP) zich afspelen op teamniveau en dat je ze dus niet kunt gebruiken om complexe projecten aan te sturen (denk aan een politiek-bestuurlijke omgeving), maar dat je ze wel binnen een project kunt gebruiken, bijvoorbeeld om een (deel)product te maken.

De verschillen tussen Prince2 en Agile PM lijken op formeel niveau niet zo groot; als je baalt van de productenlijst van Prince2 dan wordt je niet heel veel gelukkiger van Agile PM (ik telde nog steeds 14 items). Prince2 kent 8 rollen in een project, Agile PM kent er 11. Naarmate ik verder vorderde in de cursus vond ik dat “agile” in “agile PM” zelfs een beetje misleidend, want er wordt zowel uitgegaan van de sterke kanten van meer “traditioneel” projectmanagement (waar de nadruk veelal op controle en kwaliteit ligt) als de sterke kanten van “agile” (waar de nadruk sterker op communicatie, klantbetrokkenheid en transparantie ligt). “Agile” bekt gewoon lekker. Toch zijn er wel degelijk verschillen.

Voor mij springen er een paar dingen uit. Ten eerste het omgaan met veranderingen. Agile PM neemt al als uitgangspunt dat het niet mogelijk is precies te weten wat de klant wil, en werkt daarom met het “just enough design up front” principe. De details komen later wel. Alhoewel je bij Prince2 ook gebruikt kunt maken van fasering, past de methode voor mijn gevoel toch beter bij projecten die meer lineair verlopen, in plaats van cyclisch. (In projectmanagementtermen heb je het dan over sequentieel –beter bekend als waterval- versus interatief & incrementeel.) Waar Prince2 een heel mechanisme voor afwijking van de vooraf gestelde norm kent (changes en exceptions) inclusief rapportages en escalatiemechanismen, geeft Agile PM meer beslissingsbevoegdheid (empowerment) lager in de hiërarchie, waardoor het team meer dingen zelf op lost en minder gebruik maakt van het management.

Een tweede verschil is dat (continu) testen, het ophalen van feedback en het gebruiken van deze input om het eindresultaat beter te maken, een centrale plaats inneemt in de methode. Dit heeft alles te maken met het agile principe dat alles dat tussentijds opgeleverd wordt ook daadwerkelijk in gebruik genomen moet kunnen worden, want dat maakt de kans dat je veel geld besteed voor een inferieur (of geen) eindproduct aanmerkelijk kleiner. Liever minder functionaliteit maar goed bruikbaar, dan veel functionaliteit maar niet klaar voor productie (niet operationeel, of niet veilig, of niet conform de wettelijke kaders).

Een derde verschil: Agile PM houdt zich bezig met wat er op teamniveau gebeurt. Prince2 geeft hier wel kaders voor (denk bv. aan werkpakketten) maar Agile PM benoemt ook rollen op het niveau van het “solution development team” (klantvertegenwoordiging zit bv. ook ín het team, er is iemand expliciet belast met testen, etc.) en een aantal technieken (prioritering d.m.v. MoSCoW, planning d.m.v. timeboxen). Alhoewel ik heel enthousiast ben over de rollen in het team, vind ik het expliciet benoemen van “best practices” een beetje vreemd voor een framework. Zowel Prince2 als Agile PM kan, als projectmanagementmethode, in combinatie met diverse product- of softwareontwikkelmethodes worden gebruikt, en het aanbevelen van specifieke technieken lijkt dan ook wat overbodig.

(Afbeelding: bij traditioneel projectmanagement zoals Prince2 maak je vooraf afspraken over welke functionaliteiten je op gaat leveren, en aan welke kwaliteitseisen je gaat voldoen. Bij Agile PM maak je afspraken over tijd, geld en kwaliteit. Het resultaat is, kort door de bocht, dat traditionele projecten vaak uitlopen en te duur uitpakken, of dat de kwaliteit uiteindelijk toch onder druk komt te staan omdat er geen tijd/geld meer is. Als je meer Agile werkt lever je wellicht minder op dan afgesproken, maar wel binnen tijd en budget.)

En dan nu de brandende vraag: wat moet de UB er mee? Vanaf september hebben we een stafafdeling projectmanagement, en dat maakt de vraag hoe wij onze projecten willen aansturen, extra urgent. Er is door de jaren heen veel veranderd; de ontwikkelaars programmeren minder, nationale systemen maken plaats voor internationale systemen, en ik heb aan den lijve ondervonden dat systemen inkopen steeds ingewikkelder wordt door hogere security eisen en Europese aanbestedingsregels. Tegelijkertijd experimenteren we in de UB met een innovatielab, omdat we snel en flexibel willen kunnen reageren op de veranderende wereld om ons heen. Dat leidt tot een heel divers palet aan projecten, waarbij het niet noodzakelijk de beste oplossing is om die allemaal op een zelfde manier aan te sturen. De vraag of we naast Prince2 nog van een tweede projectmanagementmethode gebruik gaan maken staat dus hoog op de agenda.

 

Geplaatst in I&M2.0 | 2 reacties

OAI 10

Van 21 t/m 23 juni was er het tweejaarlijkse Open Archives Initiative congres (voluit The CERN – UNIGE Workshop on Innovations in Scholarly Communication) in Geneve.  Hieronder een verslag van wat mij het meeste opviel.

DSUG

Voorafgaand aan het congres is er altijd een DSpace User Group. Omdat DSpace een van onze belangrijkste systemen is, ben ik daar heen geweest. De makers van DSpace deden een oproep om mee te denken over de requirements van DSpace 7, een geheel vernieuwde DSpace die volgend jaar uitkomt. Zie de pagina van de Outreach Group. Dit is een goede kans om nieuwe functionaliteit voor te stellen.

Zij presenteerden ook een lijst met nieuwe features die ze willen implementeren, al zeiden ze er bij dat niet alles al in DSpace 7 zal zitten. Zo komt ondersteuning voor het maken van relaties tussen objecten pas in DSpace 8. Er is nog geen definitieve lijst, maar de tot nu gedefinieerde use cases staan op de DSpace wiki

Interoperability workshop

Terwijl Bianca Kramer en Jeroen Bosman een workshop gaven over Open Science workflows, deed ik mee aan een workshop van Herbert Van de Sompel over SignPosting en ResourceSync. Dit was een technische workshop, maar kort samengevat is SignPosting bedoeld om robots te helpen bij hun navigatie door je site, bijvoorbeeld door aan te geven dat deze metadata een beschrijving geven van die pdf. ResourceSync is bedoeld voor harvesters en biedt meer mogelijkheden dan OAI-PMH (dat nu bijvoorbeeld wordt gebruikt om items in Narcis te krijgen).

Een mooi voorbeeld van het gebruik van ResourceSync is CORE. Zij halen zoveel mogelijk Open Access materiaal op van de sites van publishers. Omdat elke publisher dat materiaal op z’n eigen manier aanbiedt, met z’n eigen metadataformat, “vertaalt” CORE dat naar ResourceSync, zodat ook anderen (zoals de Open Access Button) er gebruik van kunnen maken.

Natuurlijk willen we allemaal gelijk aan de slag met deze technieken, maar voor repositories kunnen we daar beter mee wachten totdat de repositorysoftware (voor ons dus DSpace) dat ondersteunt, want zelf inbouwen is niet eenvoudig.

 

Technische sessies

De technische sessies gingen ook over vormen van interoperabiliteit. Twee ervan (van Mark Wilkinson en Phil Archer) gingen in op manieren om je data zodanig te beschrijven dat anderen er iets mee kunnen. Zo kan een onderzoeker een systeem vragen “bevatten deze datasets deze identifier voor een gen?”, om er achter te komen welke van die datasets voor haar interessant zijn zonder ze eerst allemaal te downloaden.

Daarnaast was er een presentatie van Sarven Capadisli over Linked Research, waar hij later in de week, voor een klein groepje geïnteresseerden ook een uitgebreidere uitleg over gaf. Ook hier gaat het erom je onderzoek, publicaties en data zo goed mogelijk te beschrijven, met gebruik van standaarden. Maar het is ook belangrijk om goede tools te hebben die overweg kunnen met die standaarden. Dan ben je niet afhankelijk van wat een leverancier mogelijk maakt, maar kun je desnoods een eigen applicatie maken die kan communiceren met al die andere tools.

 

Open Access outside academia

Er wordt vaak gezegd dat Open Access ook, of juist, van belang is voor mensen die niet aan een universiteit verbonden zijn. Maar is dat ook zo?

ElHassan El Sabry heeft hier onderzoek naar gedaan. Helaas heeft hij nog geen bewijs gevonden dat Open Access belangrijk wordt gevonden buiten de academische wereld. Alleen belangengroepen voor patienten maken er echt gebruik van.

Nilam Ashra-McGrath keek er juist naar vanuit het oogpunt van de niet-academische burger. NGOs en journalisten, zeker in de niet-Westerse wereld, zijn wel degelijk geïnteresseerd in Open Access, omdat ze geen geld hebben om artikelen te kopen (laat staan licenties).

Tenslotte had Alasdair Rae een mooi voorbeeld van wat er kan gebeuren als iemand zijn onderzoeksdata open beschikbaar stelt. Diverse mensen, tot in de mainstream media toe, gebruikten zijn data voor analyses en visualisaties. Zo had zijn onderzoek een veel groter bereik dan hij ooit had verwacht.

 

Social Media Research

Peter Bath en Wasim Ahmed gebruiken sociale media als bron voor onderzoek, maar houden zich daarbij ook bezig met de ethische kwesties die daarbij een rol spelen. Per slot van rekening zijn tweets en posts te herleiden tot individuen. En meestal is het niet mogelijk om iedereen om expliciete toestemming te vragen voor het gebruik van wat ze geschreven hebben.

Rodrigo Costas constateerde dat er op Twitter relatief vaak wordt getweet over reviews en discussies over onderzoek, of over details uit een artikel, maar niet over het onderzoek of het artikel zelf. Dat betekent dat altmetrics een vertekend beeld kunnen geven van hoe belangrijk een publicatie is. Er kan heel veel getweet worden over een grappig detail, zonder dat iemand ingaat op de inhoud van het artikel.

 

Future of Repositories

Ook bij de presentaties over de toekomst van repositories kwamen de problemen met interoperabiliteit weer ter sprake.

Petr Knoth noemde het feit dat het ophalen van een full-text meestal nog ingewikkelder is dan het ophalen van metadata, want het is voor een robot vaak niet te zien welke link hij daarvoor moet volgen. Hij merkte overigens op dat het frustrerend is dat altmetrics niet om kunnen gaan met meerdere locaties voor een artikel, waardoor bijvoorbeeld de preprint versie in een repository en de publisher versie apart geteld worden.

Leslie Chan vestigde de aandacht op wat hij “the missing glue” noemde. Interoperabiliteit technisch mogelijk maken is niet genoeg: hoe zorg je dat er daarna ook iets mee gedaan wordt? Welke instituten, repositories, publishers doen mee? Hoe regel je een duurzame samenwerking? En ook: hoe overtuig je management dat het de moeite loont om er resources beschikbaar voor te stellen?

 

2017-06-22 21.07.24-1

Tijdens dit alles zuchtte Geneve onder een hittegolf, dus we waren heel blij dat het conferentiediner werd gehouden op een boot die een rondje voer over het meer.

Geplaatst in I&M2.0 | 1 reactie