glossary

Hoe Arctic Shift openbare toegang tot Reddit-data opnieuw opbouwde

Taras Shynkarenko
Taras Shynkarenko
•Bijgewerkt: •6 min leestijd
Hoe Arctic Shift openbare toegang tot Reddit-data opnieuw opbouwdeHoe Arctic Shift openbare toegang tot Reddit-data opnieuw opbouwde

TL;DR

6 min leestijd

Het Reddit-dataproject Arctic Shift publiceert gratis maandelijkse dumps van posts en reacties die teruggaan tot 2005, plus een API en een webzoektool op dezelfde data. De dumps zetten de reeks voort die Pushshift publiceerde en die stopt in maart 2023. Toegang kost niets en vraagt geen sleutel, en de gehoste API heeft geen uptimegarantie.

Wat is Arctic Shift?

Het Reddit-dataproject Arctic Shift publiceert gratis maandelijkse dumps van posts en reacties op Reddit, een openbare API op dezelfde records en een zoektool in de browser, allemaal onderhouden door GitHub-gebruiker ArthurHeitmann. De README van het project noemt als doel Reddit-data toegankelijk maken voor onderzoekers, moderators en iedereen anders. Kies de toegangsvorm op basis van volume: de webtool voor één thread, de API voor een paar duizend records, de dumps voor het hele corpus.

ToegangsvormWaar het staatHet best voorWat het kost
Maandelijkse dumpsDownloadlinks gepubliceerd in de GitHub-repoVolledige geschiedenis van subreddits, corpus opbouwenGratis, plus je eigen schijfruimte en rekenkracht
Openbare APIarctic-shift.photon-reddit.comGescripte opvragingen van duizenden recordsGratis, geen sleutel, geen uptimegarantie
Webzoektoolarctic-shift.photon-reddit.comMet de hand één verwijderde post of gebruikersgeschiedenis vindenGratis, niets te installeren

De drie vormen lezen dezelfde onderliggende data, dus een query die je in de webtool uitprobeert, geeft via de API hetzelfde antwoord.

Rijen serveropslagracks, als beeld van de omvang van maandelijkse Reddit-datadumps.

Welke data dekt Arctic Shift?

Arctic Shift dekt posts en reacties op Reddit die verzameld zijn via de officiële Reddit-API, zonder privé- en gequarantaineerde subreddits. De dumpindex loopt van juni 2005, vlak na de start van Reddit zelf, tot releases van de afgelopen maanden, dus het archief is tegelijk historisch en doorlopend. Controleer het bestand met downloadlinks in de repo voordat je een onderzoek plant, want dat bestand is de gezaghebbende opgave van welke maanden er zijn.

Het bestandsformaat is één JSON-object per post of reactie, dus een dump is een stroom met regelgescheiden records die je kunt verwerken zonder hem in z'n geheel te laden. Sinds november 2023 haalt het project elk item twee keer op, ongeveer 36 uur na elkaar, zodat een record de bewerkingen, verwijderingen en scorewijzigingen uit dat venster bevat. Sinds april 2024 verspreidt het project bestanden alleen nog als .zst, dus je hebt Python 3.10 of nieuwer en de bibliotheek zstandard nodig om ze te lezen.

Hoe het formaat van Arctic Shift in de loop van de tijd veranderde
1
Juni 2005. Hier begint de dumpindex, vlak na de start van Reddit zelf.
2
November 2023. Elk item wordt twee keer opgehaald, ongeveer 36 uur na elkaar, zodat bewerkingen en verwijderingen worden vastgelegd.
3
April 2024. Dumps gaan volledig over op .zst, waarvoor Python 3.10+ en de bibliotheek zstandard nodig zijn.
Verzameldetails van latere dumps gelden niet voor de bestanden uit het Pushshift-tijdperk van maart 2023 en eerder.

Hoe verhoudt Arctic Shift zich tot Pushshift?

De dumps van Arctic Shift zetten de reeks voort die Pushshift publiceerde en die stopt in maart 2023. De eigen bestandsdocumentatie van het project trekt die grens expliciet: de wijzigingen in de verzameling gelden voor latere dumps en niet voor de eerdere Pushshift-dumps van 2023-03 en daarvoor. Onderzoekers die pijplijnen bouwden op de bestandspaden van Pushshift, richten dezelfde pijplijn dus op Arctic Shift voor alles na die datum.

De twee archieven staan naast elkaar; het ene vervangt het andere niet. De README van Arctic Shift noemt Pushshift en PullPush naast zichzelf, elk met een eigen route voor verwijderverzoeken, en dat is de praktische kaart van waar Reddit-archiefdata vandaag te vinden is. Voor de kant van het platform behandelt de prijzen van de Reddit-API wat er veranderde voor iedereen die Reddit op grote schaal leest, en hoe RedReplier zich verhoudt tot Pushshift behandelt de kant van monitoring.

Wat zijn de rate limits van de Arctic Shift-API?

Arctic Shift publiceert geen numerieke rate limit. De API-documentatie zegt in plaats daarvan dat een normale gebruiker die een paar verzoeken per seconde doet zich nergens zorgen over hoeft te maken. Het begrenzen is dynamisch en hangt af van de serverbelasting, dus het plafond schuift mee met wat alle anderen op dat moment vragen. Schrijf je client zo dat die terugschakelt, niet op een vast budget.

Bereik je de limiet, dan antwoordt de API met 429 en stuurt het de headers X-RateLimit-Reset en X-RateLimit-Reset-At mee, die vertellen wanneer de limiet vrijkomt. Lees die twee headers en wacht tot de reset in plaats van blind opnieuw te proberen. Op het officiële platform werken vaste quota anders, en rate limits van de Reddit-API loopt die cijfers door.

Een toegangsvorm voor Arctic Shift kiezen
Begin bij het aantal records dat je nodig hebt
Eén post of één gebruikersgeschiedenis: de webzoektool
Duizenden records, gescript: de openbare API
Een hele subreddit of een heel jaar: de maandelijkse dumps
Dumps vragen Python 3.10+ en de bibliotheek zstandard
Vang 429 op met de resetheaders, niet met een herhaallus
De API heeft geen uptimegarantie, dus een onderzoek dat af moet, draai je op gedownloade dumps.

Iemand typt 's avonds laat code op een laptop, als beeld van de onderzoekers en moderators die Reddit-archieven bevragen.

Waarvoor gebruiken mensen Arctic Shift?

Drie groepen gebruiken Arctic Shift: academici die datasets bouwen, moderators die reconstrueren wat er in hun eigen communities gebeurde, en iedereen die een inmiddels verwijderde post terug wil halen. Het archief beantwoordt vragen die de live Reddit-API niet kan beantwoorden, want de live API geeft wat er nu bestaat en het archief wat er toen bestond. Dat gat is de hele reden dat het project bestaat.

Datasetwerk draait op de dumps, want een onderzoek dat een jaar van één subreddit nodig heeft, is een bestandsoperatie en geen duizenden verzoeken. Moderatiewerk draait op de API en de webtool, waar je de reactiegeschiedenis van een gebruiker of de boom van een verwijderde thread ophaalt. Beide horen bij de bredere praktijk uit dataverzameling op social media, en het juridische kader voor hergebruik van die data is het onderwerp van is web scraping legaal.

Wanneer is Arctic Shift het verkeerde gereedschap?

Arctic Shift is het verkeerde gereedschap als je iets over een gesprek moet weten terwijl het nog loopt. Het archief kijkt bewust terug, verschijnt maandelijks, heeft geen meldingen en geen uptimetoezegging voor de gehoste API. Een dataset die volgende maand uitkomt, kan je niet vertellen dat iemand vanochtend om een product zoals het jouwe vroeg.

Die taak hoort bij een monitoringproduct. RedReplier volgt Reddit, X, Bluesky, Facebook en Hacker News samen, rangschikt vermeldingen op koopintentie, legt met AI uit waarom elke vermelding is gemarkeerd en mailt je volgens het interval van je abonnement. Zie zoekwoordmonitoring op Reddit voor die opzet, en hoe zoeken op Reddit werkt voor wat de eigen zoekfunctie van de site oplevert voordat je überhaupt naar een archief grijpt.

Veelgestelde vragen

Is Arctic Shift gratis te gebruiken?

Ja. De dumps, de API en de webzoektool zijn allemaal gratis, en de API heeft geen sleutel nodig. De kosten die overblijven zijn voor jou: schijfruimte voor de dumps en de rekenkracht om ze uit te pakken en te verwerken.

RedReplier
RedReplier

Aan de slag

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Bevat Arctic Shift verwijderde posts en reacties?

Records worden twee keer vastgelegd, ongeveer 36 uur na elkaar, dus een post die na die tweede ronde wordt verwijderd, blijft in het archief staan zoals hij werd vastgelegd. Een post die binnen een paar minuten na plaatsing is verwijderd, is misschien nooit verzameld. Het project heeft ook een proces voor verwijderverzoeken voor mensen die hun eigen content eruit willen halen.

Welk bestandsformaat gebruiken de dumps van Arctic Shift?

Bestanden komen als met .zst gecomprimeerde stromen met één JSON-object per post of reactie. Om ze te lezen heb je Python 3.10 of nieuwer nodig met de bibliotheek zstandard geïnstalleerd. De repo bevat scripts om een dump te doorlopen zonder het hele bestand naar schijf uit te pakken.

Hoe ver gaat de data van Arctic Shift terug?

De dumpindex begint in juni 2005 en loopt tot de meest recente maandelijkse release. Het eerdere deel van die periode komt uit de Pushshift-dumps van maart 2023 en daarvoor, die Arctic Shift ongewijzigd opnieuw publiceert.

Dekt Arctic Shift privésubreddits?

Nee. Het verzamelen loopt via de officiële Reddit-API, die privé- en gequarantaineerde subreddits uitsluit, dus geen van beide staat in de dumps. Alles wat je in het archief vindt, was openbaar op Reddit op het moment dat het werd vastgelegd.

Kan Arctic Shift een live monitoringtool voor Reddit vervangen?

Nee. Maandelijkse dumps en een archief-API beantwoorden vragen over het verleden, monitoring beantwoordt vragen over het afgelopen uur. Gebruik Arctic Shift voor onderzoek en een monitoringtool voor alles waarop je wilt reageren.

Wie onderhoudt Arctic Shift?

GitHub-gebruiker ArthurHeitmann onderhoudt Arctic Shift en publiceert de dumps, de API en de webzoektool vanuit dezelfde repository. De README van het project noemt als doel Reddit-data toegankelijk maken voor onderzoekers, moderators en iedereen anders. Eén beheerder draait alle drie de toegangsvormen op dezelfde onderliggende data.

Waar download ik de dumps van Arctic Shift?

De maandelijkse dumps zijn downloadlinks die direct in de GitHub-repo staan, los van de API en de webtool. Controleer het bestand met downloadlinks in de repo voordat je aan een onderzoek begint, want dat bestand is de gezaghebbende opgave van welke maanden er zijn. Elk gelinkt bestand komt als .zst-stroom, klaar voor de scripts in de repo om het te doorlopen zonder het hele bestand naar schijf uit te pakken.

Wat moet mijn code doen als Arctic Shift een 429 teruggeeft?

Een 429-antwoord komt met de headers X-RateLimit-Reset en X-RateLimit-Reset-At, die precies aangeven wanneer de limiet vrijkomt. Lees die headers en wacht tot de reset, in plaats van blind volgens een schema of met een vast verzoekbudget opnieuw te proberen. Arctic Shift publiceert om te beginnen geen numerieke rate limit, want het plafond schuift mee met de belasting van de server.

Kan ik data van Arctic Shift en Pushshift in dezelfde pijplijn gebruiken?

De twee archieven sluiten direct op elkaar aan, want de dumps van Arctic Shift gaan verder precies waar de reeks van Pushshift in maart 2023 stopt. De eigen bestandsdocumentatie van Arctic Shift merkt op dat de wijzigingen in de verzameling, zoals elk item twee keer vastleggen, alleen gelden voor dumps na die datum en niet voor de eerdere Pushshift-bestanden. Een pijplijn die op de bestandspaden van Pushshift is gebouwd, kan voor alles vanaf maart 2023 naar Arctic Shift wijzen.

Zie ons vaker in Google

Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.

Voordat je gaat...

RedReplier

RedReplier

Vang elke koper die vraagt om wat jij verkoopt

RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Gerelateerde artikelen