Wie Arctic Shift den öffentlichen Zugang zu Reddit-Daten wiederaufgebaut hat

Was ist Arctic Shift?

Das Reddit-Datenprojekt Arctic Shift veröffentlicht kostenlose monatliche Dumps von Reddit-Posts und -Kommentaren, eine öffentliche API über dieselben Datensätze und ein browserbasiertes Suchtool, alles gepflegt vom GitHub-Nutzer ArthurHeitmann. Die README des Projekts nennt als Zweck, Reddit-Daten für Forscher, Moderatoren und alle anderen zugänglich zu machen. Wählen Sie den Zugriffsmodus nach Datenmenge: das Websuchtool für einen einzelnen Thread, die API für ein paar Tausend Datensätze, die Dumps für den gesamten Korpus.

Alle drei Modi lesen dieselben zugrunde liegenden Daten, sodass eine Abfrage, die Sie im Websuchtool ausprobieren, über die API genauso beantwortet wird.

Welche Daten deckt Arctic Shift ab?

Arctic Shift deckt Reddit-Posts und -Kommentare ab, die über die offizielle Reddit-API gesammelt wurden, wobei private und unter Quarantäne gestellte Subreddits ausgeschlossen sind. Der Dump-Index beginnt im Juni 2005, nahe am Anfang von Reddit selbst, und reicht bis zu den Veröffentlichungen der jüngsten Monate, sodass das Archiv gleichzeitig historisch und laufend aktuell ist. Prüfen Sie die Download-Links-Datei des Repos, bevor Sie eine Studie planen, denn diese Datei ist die verbindliche Aussage darüber, welche Monate vorhanden sind.

Das Dateiformat ist ein JSON-Objekt pro Post oder Kommentar, wodurch ein Dump zu einem durch Zeilenumbrüche getrennten Stream wird, den Sie verarbeiten können, ohne ihn komplett zu laden. Seit November 2023 ruft das Projekt jedes Element zweimal ab, im Abstand von etwa 36 Stunden, sodass ein Datensatz die Bearbeitungen, Löschungen und Punktestandänderungen enthält, die in diesem Zeitfenster stattfanden. Seit April 2024 verteilt das Projekt Dateien ausschließlich als .zst, sodass Sie Python 3.10 oder neuer sowie die Bibliothek zstandard benötigen, um sie zu lesen.

Wie hängt Arctic Shift mit Pushshift zusammen?

Die Dumps von Arctic Shift setzen die Reihe fort, die Pushshift veröffentlicht hat und die im März 2023 endet. Die eigene Dateidokumentation des Projekts zieht die Grenze ausdrücklich: Seine Änderungen bei der Datensammlung gelten für spätere Dumps und gelten nicht für die früheren Pushshift-Dumps von 2023-03 und davor. Forscher, die ihre Pipelines auf Pushshift-Dateipfaden aufgebaut haben, richten dieselbe Pipeline daher für alles nach diesem Datum auf Arctic Shift aus.

Die beiden Archive stehen nebeneinander, statt dass eines das andere ersetzt. Die README von Arctic Shift führt Pushshift und PullPush neben sich selbst auf, jedes mit einem eigenen Weg für Löschanfragen, was die praktische Landkarte dafür ist, wo Reddit-Archivdaten heute zu finden sind. Zur Plattformseite dieser Geschichte behandelt Reddit-API-Preise, was sich für alle geändert hat, die Reddit in großem Umfang auslesen, und wie RedReplier im Vergleich zu Pushshift abschneidet behandelt die Monitoring-Seite.

Welche API-Ratenlimits hat Arctic Shift?

Arctic Shift veröffentlicht kein numerisches Ratenlimit, und die API-Dokumentation besagt stattdessen, dass ein normaler Nutzer mit ein paar Anfragen pro Sekunde nichts zu befürchten hat. Die Begrenzung ist dynamisch und an die Serverlast gekoppelt, sodass sich die Obergrenze danach richtet, was alle anderen gerade in diesem Moment anfragen. Schreiben Sie Ihren Client so, dass er zurückweicht, statt sich auf ein festes Budget zu verlassen.

Wenn Sie das Limit tatsächlich erreichen, antwortet die API mit 429 und gibt die Header X-RateLimit-Reset und X-RateLimit-Reset-At zurück, die Ihnen mitteilen, wann das Limit wieder frei wird. Lesen Sie diese beiden Header und warten Sie bis zum Reset, statt blind erneut zu versuchen. Feste Kontingente funktionieren auf der offiziellen Plattform anders, und Reddit-API-Ratenlimits geht diese Zahlen im Detail durch.

Wofür nutzen Menschen Arctic Shift?

Drei Gruppen nutzen Arctic Shift: Akademiker, die Datensätze aufbauen, Moderatoren, die rekonstruieren, was in ihren eigenen Communitys passiert ist, und alle, die einen inzwischen gelöschten Post wiederherstellen wollen. Das Archiv beantwortet Fragen, die die Live-Reddit-API nicht beantworten kann, weil die Live-API zurückgibt, was jetzt existiert, während das Archiv zurückgibt, was damals existierte. Diese Lücke ist der ganze Grund, warum das Projekt existiert.

Datensatzarbeit läuft gegen die Dumps, da eine Studie, die ein Jahr eines Subreddits benötigt, eine Dateioperation ist und keine Tausende von Anfragen. Moderationsarbeit läuft gegen die API und das Websuchtool, wo Sie den Kommentarverlauf eines Nutzers oder den Baum eines entfernten Threads abrufen. Beides fällt unter die breitere Praxis, die in Datenerhebung in sozialen Medien behandelt wird, und der rechtliche Rahmen für die Weiterverwendung dieser Daten ist Thema von ob Web Scraping legal ist.

Wann ist Arctic Shift das falsche Werkzeug?

Arctic Shift ist das falsche Werkzeug, wenn Sie von einer Konversation erfahren müssen, während sie noch läuft. Das Archiv ist von Natur aus rückblickend, wird in monatlichem Rhythmus veröffentlicht und bietet weder Benachrichtigungen noch eine Verfügbarkeitszusage für die gehostete API. Ein Datensatz, der nächsten Monat erscheint, kann Ihnen nicht sagen, dass heute Morgen jemand nach einem Produkt wie Ihrem gefragt hat.

Diese Aufgabe übernimmt ein Monitoring-Produkt. RedReplier beobachtet Reddit, X, Bluesky, Facebook und Hacker News gemeinsam, ordnet Erwähnungen nach Kaufabsicht ein und erklärt mit KI, warum jede einzelne markiert wurde, und schickt Ihnen dann je nach Intervall Ihres Plans eine E-Mail. Siehe Reddit-Keyword-Monitoring für dieses Setup, und wie die Reddit-Suche funktioniert für das, was die eigene Suche der Seite liefert, bevor Sie überhaupt zu einem Archiv greifen.

Häufig gestellte Fragen

Ist Arctic Shift kostenlos nutzbar?

Ja. Die Dumps, die API und das Websuchtool sind alle kostenlos, und die API benötigt keinen Schlüssel. Die Kosten, die bleiben, sind Ihre eigenen: Speicherplatz für die Dumps und die Rechenleistung, um sie zu entpacken und zu verarbeiten.

Enthält Arctic Shift gelöschte Posts und Kommentare?

Datensätze werden zweimal erfasst, im Abstand von etwa 36 Stunden, sodass ein Post, der nach diesem zweiten Durchgang gelöscht wird, im Archiv so bleibt, wie er erfasst wurde. Ein Post, der innerhalb weniger Minuten nach dem Erstellen gelöscht wird, wurde möglicherweise nie erfasst. Das Projekt betreibt außerdem einen Löschantragsprozess für Personen, die ihre eigenen Inhalte entfernen lassen möchten.

Welches Dateiformat verwenden die Arctic-Shift-Dumps?

Dateien werden als .zst-komprimierte Streams ausgeliefert, die ein JSON-Objekt pro Post oder Kommentar enthalten. Zum Lesen benötigen Sie Python 3.10 oder neuer mit installierter Bibliothek zstandard. Das Repo enthält Skripte, um einen Dump zu durchlaufen, ohne die gesamte Datei auf die Festplatte zu entpacken.

Wie weit reichen die Daten von Arctic Shift zurück?

Der Dump-Index beginnt im Juni 2005 und reicht bis zur jüngsten monatlichen Veröffentlichung. Der frühere Teil dieses Zeitraums stammt aus den Pushshift-Dumps von März 2023 und davor, die Arctic Shift unverändert erneut veröffentlicht.

Deckt Arctic Shift private Subreddits ab?

Nein. Die Erfassung läuft über die offizielle Reddit-API, die private und unter Quarantäne gestellte Subreddits ausschließt, sodass keines von beiden in den Dumps erscheint. Alles, was Sie im Archiv finden, war zum Zeitpunkt der Erfassung auf Reddit öffentlich.

Kann Arctic Shift ein Live-Monitoring-Tool für Reddit ersetzen?

Nein. Monatliche Dumps und eine Archiv-API beantworten Fragen über die Vergangenheit, während Monitoring Fragen über die letzte Stunde beantwortet. Nutzen Sie Arctic Shift für Recherche und ein Monitoring-Tool für alles, worauf Sie reagieren wollen.

Wer betreut Arctic Shift?

Der GitHub-Nutzer ArthurHeitmann betreut Arctic Shift und veröffentlicht die Dumps, die API und das Web-Suchtool aus demselben Repository. Die README des Projekts nennt als Zweck, Reddit-Daten für Forschende, Moderatoren und alle anderen zugänglich zu machen. Ein einziger Maintainer betreibt damit alle drei Zugriffswege auf denselben zugrunde liegenden Daten.

Wo lade ich die Arctic-Shift-Dumps herunter?

Die monatlichen Dumps sind Download-Links, die direkt im GitHub-Repo veröffentlicht werden, getrennt von API und Web-Tool. Prüfe vor Beginn einer Studie die Download-Links-Datei im Repo, denn sie ist die maßgebliche Übersicht darüber, welche Monate tatsächlich vorliegen. Jede verlinkte Datei kommt als .zst-Stream und lässt sich mit den im Repo enthaltenen Skripten verarbeiten, ohne sie komplett auf die Festplatte zu entpacken.

Was soll mein Code tun, wenn Arctic Shift einen 429 zurückgibt?

Eine 429-Antwort kommt mit den Headern X-RateLimit-Reset und X-RateLimit-Reset-At, die genau angeben, wann das Limit endet. Lies diese Header aus und warte bis zum Reset, statt blind nach festem Zeitplan oder festem Anfragebudget erneut zu versuchen. Arctic Shift veröffentlicht ohnehin kein numerisches Ratenlimit, weil sich die Obergrenze mit der jeweiligen Serverlast verschiebt.

Kann ich Arctic Shift und Pushshift in derselben Pipeline nutzen?

Die beiden Archive schließen direkt aneinander an, denn die Dumps von Arctic Shift setzen genau dort fort, wo die Pushshift-Reihe im März 2023 endet. Die eigene Dateidokumentation von Arctic Shift hält fest, dass Änderungen an der Erfassung, etwa die zweifache Abfrage jedes Eintrags, nur für Dumps nach diesem Datum gelten und nicht für die früheren Pushshift-Dateien. Eine Pipeline, die auf Pushshift-Dateipfaden aufgebaut ist, lässt sich für alles nach März 2023 auf Arctic Shift umstellen.