HomeNieuwsNieuwsoverzichtBericht
voetnoot
Library of Congress heeft 170 miljard tweets gearchiveerd
08-01-2013
De Library of Congress meldt inmiddels zo´n 170 miljard tweets gearchiveerd te hebben, die verstuurd zijn vanaf de lancering van Twitter in 2006. Voorlopig is het archief echter nog niet doorzoekbaar. 
In april 2010 kwamen de Library en Twitter overeen dat de Library of Congress de beschikking zou krijgen over het archief met alle publieke tweets verzonden sinds het ontstaan van Twitter in 2006. Bovendien werd afgesproken dat de Library de beschikking krijgt over alle publieke twitterberichten die sindsdien verzonden worden.

In februari 2011 ontving de Library of Congress dagelijks nog zo´n 140 miljoen tweets ter archivering, in oktober 2012 waren dat er echter al circa 500 miljoen.

De Library of Congress meldt op 4 januari dat na verwerving van het Twitterarchief ook enkele andere doelen zijn gehaald, zoals het realiseren van een procedure en techniek om de dagelijkse stroom van tweets te verwerken en op te slaan en het tot stand brengen van een structuur om het gehele archief op datum te structureren.

Het toegankelijk maken van het materiaal blijkt echter nog niet zo makkelijk, zo vertelt Robert Dizard van de Library of Congress op 4 januari in de Washington Post. De tweets worden volledig geautomatiseerd als een doorlopende stream ingevoerd in de database, voorzien van meer dan 50 metadatavelden, maar daarmee zijn de 133 terrabyte aan Twitterdata nog niet toegankelijk. De Library of Congres heeft veel ervaring met het toegankelijk maken van digitale collecties, maar het Twitterarchief is niet alleen erg omvangrijk, maar het uitzonderlijke eraan is dat het dagelijks met een toenemende snelheid uitbreidt en een grote mate van variatie kent. Dizard in de Washington Post: ‘You often hear a reference to Twitter as a fire hose, that constant stream of tweets going around the world. What we have here is a large and growing lake. What we need is the technology that allows us to both understand and make useful that lake of information.’

De Library of Congress zou het Twitterarchief graag op een bruikbare manier toegankelijk maken voor onder anderen wetenschappers, maar ontbeert de financiële middelen om dat te doen. Met het systeem zoals het nu is, duurt een eenvoudige search al snel 24 uur. Om die zoektijd terug te brengen zouden honderden, zo niet duizenden servers nodig zijn, iets waarvoor De Library het geld niet heeft. Dizard in de Washington Post: ‘We know from the testing we’ve done with even small parts of the data that we are not going to be able to, on our own, provide really useful access at a cost that is reasonable for us. For even just the 2006 to 2010 [portion of the] archive, which is about 21 billion tweets, just to do one search could take 24 hours using our existing servers.’
Het wachten is op een samenwerkingspartner die het doorzoekbaar maken mogelijk zou kunnen maken. De Library of Congres schrijft daarover in een rapport over de voortgang van het project: ‘In the near term, the Library is working to develop a basic level of access that can be implemented while archival access technologies catch up. The Library will consult with congressional researchers and scholars to inform this process. These efforts are ongoing and a priority for the Library. Potential scenarios include public-private partnerships and leveraging private sector investment and capacity.’

Ondanks het feit dat de Library het archief nog niet heeft opengesteld voor wetenschappers zijn er wel al 400 verzoeken van wetenschappers geweest om gebruik te maken van het Twitterarchief.

De Library of Congress stelt over de reden voor het archiveren van tweets: ‘Twitter is a new kind of collection for the Library of Congress but an important one to its mission. As society turns to social media as a primary method of communication and creative expression, social media is supplementing, and in some cases supplanting, letters, journals, serial publications and other sources routinely collected by research libraries.’

Overigens werd recent bekend dat Twitter de optie gaat bieden aan gebruikers om toegang te krijgen tot hun persoonlijke archief van voorheen verstuurde tweets. 


Print deze pagina

Reacties op dit artikel (0)

Er zijn nog geen reacties.

Schrijf een reactie

Naam
E-mailadres (?)
Reactie