Den 1. maj 2012 tog vi endnu et stort skridt i udviklingen for Overskrift.dk, men først et kort flashback til 2004: Overskrift.dk udsprang af en fascination af RSS-feeds, og startede som kategoriserede RSS-feeds. Var man ihærdig kunne man vel finde ca. 100 danske RSS-feeds.
Uden rigtig at vide hvorfor, begyndte vi at indlæse posts fra disse RSS-feeds i en database med jævne mellemrum. I starten af 2005 kunne man søge i mere end 50.000 artikler fra nyhedsmedier og blogs. I dag har vi indekseret mere end 40 millioner indlæg og kilderne tæller nu bl.a. også diskussionsfora og Tweets. For nogle kilders vedkommende sker opdateringen stadig ved at løbe lange lister af RSS-feeds igennem og genindlæse dem for at finde nyt indhold. Vi holder konstant et vågent øje med den såkaldte rotationstid – altså hvor lang tid går mellem vores service kan besøge et RSS-feed. Jo højere rotationstid, jo mere opsatte bliver vi på at gøre noget for at nedbringe den.
Hen ad vejen har vi bygget en distribueret arkitektur, der kan fordele indlæsningen over så mange maskiner vi kan få adgang til. Teknologier som pubsubhubbub gør det forholdsvis nemt at være real-time opdateret når nye indlæg dukker op på blogs og senest har vi altså skiftet indlæsningen af Tweets via RSS-feeds ud med Twitters eget Streaming API.
Hvorfor? Jo – antallet af danske Twitter-brugere stiger heftigt – pt. nærmer vi os 85.000 der tilsammen producerer i omegnen af 60.000 tweets per dag. Skal disse indlæses ved jævnlige besøg af hver brugers RSS-feed, kommer rotationstiden hurtigt opad og det kan vi ikke have. Udover irritationen i en forsinkelse fra noget er udgivet til det kan fremsøges, gør RSS-modellen for potentielt højfrekvente udgivelser at man kan gå glip af tweets fra meget aktive Twitter-brugere.
Fra nu af kan du altså bruge Overskrift.dk til at søge på tweets fra danske brugere med ganske få sekunders forsinkelse.
Taylor F.
17. maj 2012Jeg er en yndet bruger af overskrift.dk, og bruger bl.a. siden til at overvåge nogle af de emner, som jeg meget opsat følger. Jeg bruger selv twitter og er rigtig glad for mediet. Der dukker af og til links til informative artikler op, så det er smart, at man kan søge efter dem her på siden.
tosommerfugle
24. august 2012I skal vist passe på, nu hvor Twitter for alvor begynder at stramme skruen overfor andre måder at vise tweets på. De ændrer fra “guidelines” til “requirements”, med fx den ekstremt brede “Tweets that are grouped together into a timeline should not be rendered with non-Twitter content. e.g. comments, updates from other networks.”
Der er også en del andre punkter, som arbejder imod “blot” at lade tweet-teksten være indhold, som fx et krav om at der skal være diverse knapper og links.
https://dev.twitter.com/terms/display-guidelines