Verslagreeks #kvan11 - Crowdsourcing: vele handen maken licht werk

Dit is de derde blogpost in een reeks posts over de KVAN-dagen 2011.

Eind juli 2010 blogde ik over het Amsterdamse crowdsourcingsproject rond militieregisters. Tijdens de KVAN-dagen gaven Annemarie Lavèn en Nelleke van Zeeland een sneak preview van de in ontwikkeling zijnde websites en de indiceringsapplicatie. Ik was daar nieuwsgierig naar, niet alleen omdat ik een warme belangstelling heb voor crowdsourcing, maar ook omdat het BHIC participeert in het project.

Hieronder een verslag van deze demonstratiepresentatie, met als voorschotje op de testfase tussendoor wat eigen ideeën en tips.

Goed gejat
Ter voorbereiding op het project werden allereerst verschillende bestaande crowdsourcingsprojecten bekeken. Als meest leerzame werden genoemd: FamilySearch.org (548 miljoen records geïndiceerd), Ancestry.com (6 miljard records geïndiceerd) en Australian Newspapers (een succesvol ocr-correctieproject, dat uitgebreid werd geëvalueerd). De eerste twee hebben vooral als nadeel dat de indiceringssoftware gedownload moet worden. Even tijdens je lunchpauze wat aktes indiceren is er dus niet bij. In het derde project was de kwaliteit van scans en viewer minder goed, maar valt er veel te leren van het doen groeien van een actieve vrijwilligerscommunity.

Uiteindelijk werden een aantal lessen getrokken uit de buitenlandse voorbeelden: de website en software moeten gebruiksvriendelijk en snel zijn, voorzien van een duidelijke uitleg (bijvoorbeeld door een instructiefilmpje of een demo), er moeten veel mensen tegelijkertijd mee kunnen werken, het resultaat van hun werk moet snel zichtbaar zijn en tot slot moet daarvoor een beloning mogelijk zijn.

Inmiddels wordt er druk gescand en gebouwd. De website Militieregisters.nl (niet de huidige weblog, maar de nieuwe publiekswebsite met zoekmachine en webwinkel) wordt gebouwd door Toutatis (bekend van de Amsterdamse archiefbank) en de website VeleHanden.nl (de indiceringswebsite, die al wel achter de schermen is te bekijken) wordt gebouwd door Pictura. In ieder geval die laatste bouwt voor eigen risico, maar naderhand mag Pictura de indiceringswebsite exploiteren richting vervolgprojecten. Archieven betalen natuurlijk voor scanning van hun bronnen en vervolgens voor de hosting daarvan en voor het gebruik van de (indicerings)website. Als tegenprestatie krijgen ze een database retour.

VeleHanden.nl
De indiceringswebsite werd live gedemonstreerd. Een aantal kenmerken:

• Er is een grappig promotiefilmpje gemaakt, dat wel een heel simpele voorstelling van zaken geeft, maar ongetwijfeld zal het een aantal mensen enthousiast maken voor dit project.
• Er zijn indiceeroefeningen beschikbaar, zodat je weet waar je aan begint. Ook is er een uitleg in de vorm van een stripverhaal van een paar plaatjes.
• Er is zowel op het niveau van een project (bijvoorbeeld het indiceren van militieregisters) als op het niveau van de hele website een voortgangsmeter. Hoeveel staat er online? Hoeveel is er al gedaan? Hoeveel mensen helpen er mee? Dat soort weetjes.
• Er is per project duidelijke uitleg over wat voor soort informatie de indicering oplevert en hoeveel punten (als beloning) je ermee kunt verdienen.
• Er is een duidelijke knop om jezelf aan te melden.
• Er is een lijstje met de vijf actiefste indiceerders. Over zo'n zelfde soort lijstje schreef ik al eerder, met tips om ze voor iedereen interessant te houden.
• Er is per project een forum waar vrijwilligers elkaar kunnen helpen. Ook de projectmedewerkers van het stadsarchief zijn daar actief, maar de bedoeling is eigenlijk dat uit de community een soort super users opstaan, die op de meeste vragen gaan antwoorden. Ben benieuwd. Een forumcommunity ontstaat niet zomaar, weten we op het BHIC. Tip: notificatiemogelijkheden zijn van belang. Bijvoorbeeld via rss en email.
• Als deelnemer krijg je een profielpagina die veel lijkt op die van een sociaal netwerk, met een fotootje en wat informatie over jezelf. Anoniem indiceren is dus niet mogelijk. Inloggen kan trouwens met een eigen account, maar ook via Google, Yahoo!, Hyves, Facebook, Twitter en OpenID.
• Op je profielpagina zie je aan welke projecten je meewerkt, je ziet je statistieken en je kunt direct aan de slag. Niet onbelangrijk als motivatie: je ziet ook het aantal punten wat je al hebt vergaard.

Aan de slag!
Het indiceren zelf werkt prima. Militieregisters hebben een vaste indeling en een vast aantal inschrijvingen per blad. Per scan indiceer je dus een zeker aantal records en de software koppelt deze records automatisch aan de juiste inschrijving in het register. Binnen een week is je ingevoerde record ook via Militieregisters.nl doorzoekbaar en te bestellen.

Na het invoeren van een record krijg je direct feedback (het record wordt geel van kleur en wordt bovendien letterlijk afgevinkt) en je gaat vanzelf naar het volgende record. Punten worden verkregen door het invoeren van een record, en extra punten als bij controle blijkt dat de invoer ook juist was. Tenminste, de controlerende partij (ook een vrijwilliger) bepaalt of je de extra punten krijgt. Als feedback moest ik zelf in plaats van aan het vinkje meteen denken aan een smiley. Het effect van een smiley werd bij Monk al direct zichtbaar: mensen maken jacht op smiley's. Overigens ook aan wegen met van die borden die je snelheid meten werken smiley's prima. Vast beter dan een vinkje. :-)

Punten en andere prikkels
Het ging dus regelmatig over stimuleren tot goed en veel indiceren. En het ging daarbij vooral over het scoren van punten. In Amsterdam is namelijk veel nagedacht over het beloningssysteem achter VeleHanden.nl en indiceren voor een materiële beloning wordt gezien als beste prikkel. Uiteindelijk wordt er trouwens zowel immaterieel als materieel beloond.

Bij immateriële beloningen moet je vooral denken aan indiceren voor de eer, een notering in een of ander lijstje, de wetenschap dat je werk in het maatschappelijk belang is en het plezier en de contacten die je eraan overhoudt.

Bij materiële beloningen moet je denken aan de punten, die vervolgens ingewisseld kunnen worden voor gratis scans in de webwinkel. Maar wie weet ook voor een kopje koffie bij studiezaalbezoek of een rondleiding. Er wordt verder gedacht aan extra punten als bonus (bijvoorbeeld als een bepaald aantal records is geïndiceerd) of als winst in een loterij.

Over beloningen bij crowdsourcing is al veel gezegd en geschreven. Er is zelfs wetenschappelijk onderzoek naar gedaan. In Amsterdam wordt dus vooral ingezet op punten voor gratis scans. Dat zal prima werken als de scans (nog) niet elders beschikbaar zijn of komen, maar daarna verliezen punten letterlijk hun waarde. Ook de collega's van Bergen op Zoom doen bijvoorbeeld mee en zij hebben bedongen dat ze de scans van hun militieregisters, die nu al gratis via de eigen website worden aangeboden, daar ook gedurende het project mogen laten staan. Zonder index weliswaar, maar toch. De onderzoeker die wat extra moeite wil doen, haalt daar zijn scans dus voor niks. Als iedereen het straks zo doet, is indiceren voor de punten niet nodig. Je moet dan op zoek naar andere stimulansen.

Zelf word ik bijvoorbeeld vooral geprikkeld door spelelementen. Een goed voorbeeld daarvan vind ik Old Weather, waar je begint als kadet en door het indiceren van scheepslogs kunt klimmen in rang. Ook blinkt dat project uit in de vrolijke en visuele manier waarop de op zich saaie bron tot leven wordt gewekt.

Invloed op wat je indiceert - het een zal je meer stimuleren dan het ander - is er eigenlijk nog niet, maar ze willen er wel mee gaan experimenteren. Voorbeeldje: bevordert het de productiviteit als je 'steden' tegen elkaar laat indiceren? Zijn mensen eerder geneigd te indiceren als ze zelf het register (de plaats) kunnen kiezen? Goed dat ze daarmee experimenteren en de resultaten daarvan zullen ongetwijfeld worden gedeeld.

Kortom
Vanaf 20 juni gaat de software uitgebreid getest worden en vanaf oktober gaan beide websites live voor het grote publiek. Op dit moment zijn er (bij potentiële deelnemers) nog vooral veel vragen en op bepaalde punten is er nog wat onduidelijkheid. Maar dat dit een project met toekomst is, dat is duidelijk. Laten we hopen dat het een groot succes wordt en dat het daarna wordt voorgezet voor andere bronnen. Daar worden archieven toegankelijker van en dat is in ieders belang.

Eerdere blogposts in deze verslagreeks:
- 'Het landschap staat in mij geschreven': landschapsverbeelding in archieven (Bert Looper)
- Gevaarlijk gebied, door geen mens te betreden (Kester Freriks)