TL;DR
7 Min. gelesenDas Reddit-Archiv Pushshift war eine Plattform zur Datenerhebung und Archivierung, die Reddit-Beiträge und -Kommentare bei ihrer Entstehung kopierte und diese Kopie für jeden historisch durchsuchbar machte, mit Volltextsuche und Aggregationen, die die offizielle API nie bot. Seine öffentliche Dump-Reihe endet im März 2023. Der Dienst pushshift.io läuft heute unter dem Network Contagion Research Institute, und seine Terms beschränken den Zugang auf Reddit-Moderatoren, die Moderationsarbeit leisten.
Was ist Pushshift?
Das Reddit-Archiv Pushshift war eine Plattform zur Erhebung, Analyse und Archivierung von Social-Media-Daten, die Reddit-Beiträge und -Kommentare bei ihrer Entstehung kopierte und diese Kopie dann so abfragbar machte, wie es die offizielle Reddit API nicht konnte. Das Datensatz-Paper, das die Autoren 2020 veröffentlicht haben, beschreibt eine Plattform, die "since 2015 has collected Reddit data and made it available to researchers", also seit 2015 Reddit-Daten sammelt und Forschenden zur Verfügung stellt, in Echtzeit aktualisiert und zurückreichend bis zu Reddits Anfängen (arXiv:2001.08435). Der Dienst unter pushshift.io läuft weiterhin, arbeitet inzwischen aber unter dem Network Contagion Research Institute, und seine Nutzungsbedingungen begrenzen den Zugang auf Reddit-Moderatoren.
Was konnte Pushshift, was die Reddit API nicht konnte?
Pushshift beantwortete historische Fragen über den gesamten Korpus, und genau dafür war Reddits eigene API nie gebaut. Das Paper von 2020 benennt die Unterschiede direkt: Volltextsuche über Kommentare und Submissions, Limits pro Abfrage, die fünfmal so hoch lagen wie Reddits Obergrenze von 100 Objekten, und Aggregations-Endpunkte, die das Paper "a feature that the Reddit API lacks entirely" nennt, ein Merkmal also, das der Reddit API vollständig fehlt. Wer heute solche Abfragen plant, sollte mit einem selbst gehosteten Korpus oder einem Archiv planen, das Dumps veröffentlicht, denn die offizielle API liefert Listings, keine Aggregate. Die Mechanik hinter den Reddit API Rate Limits erklärt, warum diese Lücke besteht.
| Fähigkeit | Pushshift, dokumentiert 2020 | Offizielle Reddit Data API |
|---|---|---|
| Historische Suche | Abfrage des gesamten Archivs zurück bis zu Reddits Anfängen | Listings und Suche begrenzt auf das, was der Endpunkt jetzt zurückgibt |
| Volltextsuche | Ja, über Kommentare und Submissions | Nicht über das Archiv als Ganzes verfügbar |
| Objekte pro Abfrage | Fünfmal Reddits Obergrenze, laut Datensatz-Paper | Limit von 100 Objekten |
| Aggregationen | Aggregations-Endpunkte über den Datensatz | Keine, laut Datensatz-Paper |
| Massenzugriff | Monatliche Dumps zum Download veröffentlicht | Keine Dumps |
Pushshift kam dorthin mit einer Ingest-Engine, die eine PostgreSQL-Datenbank und einen Elasticsearch-Cluster speiste, und legte das Such- und Aggregationsverhalten von Elasticsearch dann über seine eigene HTTP-API offen. Diese Architektur ist der Grund, warum die Antworten in einem einzigen Aufruf statt in Tausenden zurückkamen.
Wer hat Pushshift gebaut?
Jason Baumgartner hat Pushshift gebaut und betrieben, und er ist Erstautor von The Pushshift Reddit Dataset, geschrieben mit Savvas Zannettou, Brian Keegan, Megan Squire und Jeremy Blackburn und am 23. Januar 2020 bei arXiv eingereicht. Das Paper führt seine Zugehörigkeit als Pushshift.io neben dem Network Contagion Research Institute und dem iDRAMA Lab, und es hält fest, dass das Subreddit r/pushshift im April 2015 angelegt wurde. Zitieren Sie dieses Paper und keinen Blogbeitrag, wenn ein Methodenteil einen Beleg für die Herkunft der Daten braucht.

Warum waren Forscher auf Pushshift angewiesen?
Forscher waren auf Pushshift angewiesen, weil es Monate an Data Engineering in eine Abfrage verwandelte. Das Argument des Papers lautet, dass Forschung durch Erhebung, Bereinigung und Speicherung ausgebremst wird, bevor die Analyse überhaupt beginnen kann, und dass ein gepflegtes Archiv diese Hürde entfernt. Seine veröffentlichten monatlichen Dumps deckten 651 Millionen Submissions und 5,6 Milliarden Kommentare aus den Jahren 2005 bis 2019 ab, und das Paper berichtet, dass die API zum Zeitpunkt des Schreibens im Januar 2020 500 Millionen Anfragen pro Monat bediente.
Ein zweiter Grund war die Reproduzierbarkeit. Ein monatlicher Dump ist ein festes Artefakt, zwei Teams, die dieselbe Abfrage gegen dieselbe Datei laufen lassen, bekommen also dieselben Zeilen, was Live-API-Aufrufe gegen eine sich bewegende Seite nicht versprechen können. Teams, die einen langlebigen Korpus aufbauen, stehen weiterhin vor derselben Abwägung, die die Erhebung von Social-Media-Daten beschreibt.
Was hat sich 2023 bei Pushshift geändert?
Reddit hat 2023 die kommerziellen Bedingungen seiner Data API neu geschrieben, und der öffentliche Zugang zu Pushshift wurde in seiner alten Form nicht fortgeführt. Der klarste datierte Anhaltspunkt steht in der Dokumentation von Arctic Shift, die von "previous pushshift dumps (2023-03 and earlier)" spricht und das Ende der öffentlichen Dump-Reihe damit auf März 2023 legt. Die dahinterliegende Änderung an Reddits eigener Entwicklerpreisgestaltung behandeln die Reddit-API-Preise.
Beide Seiten des Streits haben eine in sich schlüssige Position vertreten. Reddits Position war vertraglich und kommerziell: Seine Data API Terms und Developer Terms regeln, wer Reddit-Inhalte nehmen darf, Weiterverbreitung und kommerzielle Nutzung brauchen eine Erlaubnis, und das Unternehmen bewegte sich auf bezahlte Datenlizenzierung zu. Die vertragliche Seite steht vollständig in wann Reddit-Scraping legal ist. Die Position der Forschenden betraf den Korpus: Studien zu Moderation, Belästigung und Desinformation waren auf einem Archiv ohne Entsprechung aufgebaut, und der Verlust des offenen Zugangs brach die Replikation veröffentlichter Arbeiten und legte laufende Projekte still. Keine der Positionen löst die andere auf, und das Ergebnis war ein engerer Dienst, keine Einigung.
Wer darf Pushshift heute nutzen?
Nur Reddit-Moderatoren dürfen Pushshift heute nutzen, und nur für Moderationsarbeit. Die auf pushshift.io veröffentlichten Bedingungen besagen, dass eine nutzende Person "certifies that they are a registered user of Reddit and a Reddit moderator" und auf die Daten "for the express limited purposes of community moderation, enforcing Reddit community guidelines, and ensuring community member safety" zugreifen darf, also ausschließlich für Community-Moderation, die Durchsetzung der Reddit-Community-Richtlinien und die Sicherheit der Mitglieder. Der Zugang läuft über einen OAuth-Flow, der ein Bearer Token zurückgibt, das nach 24 Stunden abläuft und das der Aufrufer im Authorization Header an die unter api.pushshift.io dokumentierten Endpunkte schickt.
Dieselben Bedingungen tragen Reddits kommerzielle Beschränkungen weiter. Ein Moderator sagt zu, nicht "commercialize the distribution of Reddit Services and Data in any manner", eine Klausel, die die Seite auf Verkauf, Vermietung, Unterlizenzierung, Monetarisierung und Weiterverbreitung der Daten oder darauf aufbauender abgeleiteter Produkte ausdehnt. Ein Marketingteam, eine Agentur oder ein Startup erfüllt diese Bedingungen nicht, behandeln Sie Pushshift für kommerzielle Arbeit also als nicht verfügbar und nutzen Sie einen lizenzierten Weg.

Was nutzen Forscher statt Pushshift?
Forschende, die offene Reddit-Dumps brauchen, nutzen heute Arctic Shift, das kostenlose monatliche Dumps, eine API und ein Web-Suchwerkzeug veröffentlicht und dessen Dump-Reihe dort weitergeht, wo die Pushshift-Dateien aufhören. Dieses Projekt ist der praktische Nachfolger für Korpusarbeit, und wie Arctic Shift den öffentlichen Zugang zu Reddit-Daten wiederhergestellt hat behandelt Formate, Abdeckung und Grenzen. Für das Finden eines einzelnen Threads statt des Aufbaus eines Korpus funktionieren Reddits eigene Werkzeuge weiterhin, wie Reddit Search erklärt.
Spielt Pushshift für Brand Monitoring eine Rolle?
Pushshift löst kein Brand Monitoring, denn Monitoring braucht neue Gespräche innerhalb von Minuten, und Pushshift ist für kommerzielle Nutzung inzwischen geschlossen. Archive beantworten Fragen über die Vergangenheit, während ein Monitoring-Tool die Gegenwart beobachtet und Ihnen sagt, welche Erwähnung eine Antwort wert ist. RedReplier beobachtet Reddit, X, Bluesky, Facebook und Hacker News gemeinsam, sortiert Erwähnungen nach Kaufabsicht und erklärt, warum jede markiert wurde, was ein Archiv nie geleistet hat. Die Abwägung gegenüber dem Eigenbau auf rohen Endpunkten legt RedReplier im Vergleich zur Reddit API dar.
Häufig gestellte Fragen
Ist Pushshift abgeschaltet?
Pushshift ist nicht abgeschaltet, aber es ist nicht mehr das offene Archiv, das es war. Die Seite unter pushshift.io ist online und bedient eine API, und ihre Bedingungen beschränken die Nutzung auf registrierte Reddit-Nutzer, die Moderatoren sind und für Community-Moderation und Sicherheit handeln. Öffentliche Dumps wurden in der alten Reihe nach März 2023 nicht mehr veröffentlicht, laut der Dokumentation von Arctic Shift.
RedReplier
Loslegen
Reddit, X, Bluesky & HN
Echtzeit-Kaufabsicht-Alerts
Unbegrenzte KI-Antworten
Nach Kaufabsicht sortiert
Kann ich Pushshift-Dumps noch herunterladen?
Die Pushshift-Dump-Reihe endet im März 2023, unter diesem Namen existiert also nichts Neueres. Arctic Shift veröffentlicht monatliche Dumps, die die Reihe fortsetzen und kostenlos herunterzuladen sind. Ältere Pushshift-Dateien kursieren über Spiegel von Dritten, und ihre lizenzrechtliche Lage hängt an Reddits Bedingungen, nicht am Spiegel.
Wer betreibt Pushshift heute?
Der Dienst pushshift.io tritt heute als NCRI Reddit Access auf, betrieben unter dem Network Contagion Research Institute. Jason Baumgartner hat die Plattform geschaffen und ist Erstautor des Datensatz-Papers von 2020, das NCRI bereits unter den Zugehörigkeiten der Autoren führte. Die aktuellen Nutzungsbedingungen auf der Seite sind die maßgebliche Aussage darüber, wer zugreifen darf.
Wofür wurde die Pushshift API genutzt?
Die Pushshift API wurde für historische Suche über Reddit hinweg genutzt, für Volltextabfragen über Kommentare und Submissions und für aggregierte Aktivitätszahlen über die Zeit. Wissenschaftliche Studien zu Moderation, Community-Verhalten und Online-Schäden haben sie genutzt, ebenso Reddit-Tools und Bots. Das Paper von 2020 berichtet, dass die API damals 500 Millionen Anfragen pro Monat bediente.
Warum hat Reddit Pushshift eingeschränkt?
Reddits erklärte Grundlage waren seine Data API Terms und Developer Terms, die regeln, wer auf Reddit-Inhalte zugreifen darf, und die kommerzielle Weiterverbreitung ohne Erlaubnis untersagen. Das Unternehmen ist 2023 auf bezahlten, lizenzierten Datenzugang umgestiegen, und ein freies Drittarchiv derselben Inhalte lag außerhalb dieses Modells. Forschende argumentierten, die Einschränkung habe einen Korpus entfernt, auf dem ihre veröffentlichte Arbeit beruhte.
Ist die Nutzung von Pushshift-Daten legal?
Der Zugang zu Pushshift richtet sich heute nach den Bedingungen auf der eigenen Seite, die Moderatoren die Nutzung zu Moderationszwecken erlauben und die Kommerzialisierung der Daten untersagen. Eine Nutzung außerhalb dieser Bedingungen verletzt eine Vereinbarung, die Sie bei der Autorisierung annehmen, unabhängig davon, was eine separate Rechtsfrage zum Scraping sagt. Für den Vertrag und die Rechtsprechung hinter dieser Unterscheidung siehe die Analyse dazu, wann Reddit-Scraping legal ist.
Wie viele Daten hat Pushshift archiviert?
Die veröffentlichten monatlichen Dumps von Pushshift umfassten 651 Millionen Submissions und 5,6 Milliarden Kommentare, die zwischen 2005 und 2019 gepostet wurden. Das Dataset-Paper von 2020 berichtet, dass die API zum Zeitpunkt der Veröffentlichung 500 Millionen Anfragen pro Monat bediente. Diese Größenordnung erklärt, warum eine einzige Abfrage Fragen beantworten konnte, für die sonst monatelanges Scraping nötig gewesen wäre.
Welche Technik stand hinter Pushshift?
Pushshift lief auf einer Ingest-Engine, die eine PostgreSQL-Datenbank und einen Elasticsearch-Cluster speiste. Die HTTP-API legte das Such- und Aggregationsverhalten von Elasticsearch direkt offen. Diese Architektur ist der Grund, warum eine einzelne Abfrage Ergebnisse lieferte statt Tausender paginierter Aufrufe gegen die Reddit API.
Darf ich Pushshift für kommerzielle Recherche nutzen?
Nein. Die Nutzungsbedingungen auf pushshift.io beschränken den Zugang auf registrierte Reddit-Moderatoren, die für Moderation, die Durchsetzung von Community-Regeln und die Sicherheit der Mitglieder handeln, und sie untersagen die kommerzielle Verwertung der Daten in jeder Form. Ein Marketingteam, eine Agentur oder ein Startup erfüllt diese Bedingungen nicht, kommerzielle Projekte brauchen also einen lizenzierten Weg.
Ist Arctic Shift dasselbe wie Pushshift?
Arctic Shift ist ein eigenständiges Projekt, nicht Pushshift unter neuem Namen. Es veröffentlicht kostenlose monatliche Dumps, eine API und ein Web-Suchtool, und seine Dump-Reihe setzt dort fort, wo die Pushshift-Dateien im März 2023 endeten. Forscher nutzen es heute für die Korpusarbeit, die früher Pushshift abdeckte.
Sehen Sie uns öfter bei Google
Ein Klick macht RedReplier zu einer bevorzugten Quelle. Unsere Artikel stehen dann weiter oben in Ihren Top-Meldungen, im KI-Modus und in den KI-Übersichten.
Bevor Sie gehen...
RedReplier
Erreichen Sie jeden Käufer, der nach Ihrem Angebot sucht
RedReplier überwacht Reddit, X, Bluesky und Hacker News in Echtzeit, bewertet jeden Thread nach Kaufabsicht und entwirft Ihre Antwort, damit Sie als Erster da sind.
Reddit, X, Bluesky & HN
Echtzeit-Kaufabsicht-Alerts
Unbegrenzte KI-Antworten
Nach Kaufabsicht sortiert
Verwandte Artikel


Wie Arctic Shift den öffentlichen Zugang zu Reddit-Daten wiederaufgebaut hat
Das Reddit-Archiv Arctic Shift enthält Posts und Kommentare seit 2005, veröffentlicht als monatliche Dumps mit einer kostenlosen API und einem Websuchtool.


Wo Sie Reddit-Kommentare durchsuchen können und wo nicht
Sie können Reddit-Kommentare durchsuchen: mit dem Ergebnistyp Comments, der Suche im Post oder der Kommentarliste im Profil. Die API-Suche lässt sie aus.


Not Safe For Work: Was NSFW bedeutet und was das Kennzeichen wirklich verbirgt
Die Abkürzung NSFW steht für Not Safe For Work. Auf Reddit sitzt das Kennzeichen am Post und am Subreddit und entspricht dem API-Feld over_18.

