glossary

Wat Pushshift was en wat het verving voor Reddit-onderzoek

Taras Shynkarenko
Taras Shynkarenko
•Bijgewerkt: •7 min leestijd
Wat Pushshift was en wat het verving voor Reddit-onderzoekWat Pushshift was en wat het verving voor Reddit-onderzoek

TL;DR

7 min leestijd

Het Reddit-archief Pushshift was een platform voor dataverzameling en archivering dat Reddit-posts en -reacties kopieerde zodra ze werden geplaatst en iedereen die kopie historisch liet doorzoeken, met full-text search en aggregaties die de officiële API nooit bood. De openbare reeks dumps eindigt in maart 2023. De dienst pushshift.io draait nu onder het Network Contagion Research Institute, en de voorwaarden beperken de toegang tot Reddit-moderators die moderatiewerk doen.

Wat is Pushshift?

Het Reddit-archief Pushshift was een platform voor het verzamelen, analyseren en archiveren van socialemediadata dat Reddit-posts en -reacties kopieerde zodra ze werden geplaatst, en mensen die kopie liet bevragen op manieren die de officiële Reddit API niet kon. Het datasetpaper dat de makers in 2020 publiceerden, beschrijft een platform dat "sinds 2015 Reddit-data verzamelt en beschikbaar stelt aan onderzoekers", in realtime bijgewerkt en teruggaand tot het begin van Reddit (arXiv:2001.08435). De dienst op pushshift.io draait nog, maar valt nu onder het Network Contagion Research Institute en de gebruiksvoorwaarden beperken de toegang tot Reddit-moderators.

Wat kon Pushshift dat de Reddit API niet kon?

Pushshift beantwoordde historische vragen over het hele corpus, precies het ene waarvoor Reddits eigen API nooit is gebouwd. Het paper uit 2020 noemt de verschillen letterlijk: full-text search in reacties en inzendingen, limieten per query die vijf keer zo groot waren als Reddits plafond van 100 objecten, en aggregatie-endpoints, door het paper "een functie die de Reddit API volledig mist" genoemd. Wie zo'n query vandaag plant, moet uitgaan van een corpus dat hij zelf host of van een archief dat dumps publiceert, want de officiële API geeft lijsten terug, geen aggregaten. De mechaniek achter de rate limits van de Reddit API legt uit waarom dat gat bestaat.

MogelijkheidPushshift zoals gedocumenteerd in 2020Officiële Reddit Data API
Historisch zoekenHet hele archief bevragen tot het begin van RedditLijsten en zoeken beperkt tot wat het endpoint nu teruggeeft
Full-text searchJa, in reacties en inzendingenNiet beschikbaar voor het archief als geheel
Objecten per queryVijf keer Reddits plafond, volgens het datasetpaperLimiet van 100 objecten
AggregatiesAggregatie-endpoints over de datasetGeen, volgens het datasetpaper
BulktoegangMaandelijkse dumps om te downloadenGeen dumps

Pushshift kwam daar met een ingest-engine die een PostgreSQL-database en een Elasticsearch-cluster voedde, en bood het zoek- en aggregatiegedrag van Elasticsearch aan via een eigen HTTP-API. Door die architectuur kwamen de antwoorden in één call terug in plaats van in duizenden.

Wie heeft Pushshift gebouwd?

Jason Baumgartner bouwde en beheerde Pushshift, en hij is eerste auteur van The Pushshift Reddit Dataset, geschreven met Savvas Zannettou, Brian Keegan, Megan Squire en Jeremy Blackburn en op 23 januari 2020 bij arXiv ingediend. Het paper vermeldt als zijn affiliatie Pushshift.io, naast het Network Contagion Research Institute en iDRAMA Lab, en noemt april 2015 als oprichtingsdatum van de subreddit r/pushshift. Citeer dat paper, geen blogpost, als een methodesectie een bron nodig heeft voor de herkomst van de data.

Een onderzoeker die typt op een laptop, het soort werk dat ooit draaide op Pushshifts gearchiveerde Reddit-data.

Waarom waren onderzoekers afhankelijk van Pushshift?

Onderzoekers waren afhankelijk van Pushshift omdat het maanden data-engineering terugbracht tot een query. Het paper zelf stelt dat onderzoek wordt tegengehouden door verzamelen, opschonen en opslaan voordat de analyse kan beginnen, en dat een onderhouden archief die drempel weghaalt. De gepubliceerde maandelijkse dumps besloegen 651 miljoen inzendingen en 5,6 miljard reacties uit de periode 2005 tot 2019, en volgens het paper verwerkte de API in januari 2020 500 miljoen verzoeken per maand.

Een tweede reden was reproduceerbaarheid. Een maandelijkse dump is een vast artefact, dus twee teams die dezelfde query op hetzelfde bestand draaien, krijgen dezelfde rijen, iets wat live API-calls op een site die blijft veranderen niet kunnen beloven. Teams die een langlopend corpus opbouwen, staan nog steeds voor dezelfde afweging als beschreven in dataverzameling op sociale media.

Wat veranderde er in 2023 voor Pushshift?

Reddit herschreef in 2023 de commerciële voorwaarden van zijn Data API, en de openbare toegang tot Pushshift ging niet in de oude vorm door. De duidelijkste gedateerde markering staat in de documentatie van Arctic Shift, die verwijst naar "previous pushshift dumps (2023-03 and earlier)", waarmee het einde van de openbare reeks dumps op maart 2023 ligt. De wijziging in Reddits eigen ontwikkelaarsprijzen die hierachter zit, staat in Reddit API-prijzen.

Beide kanten van het conflict hadden een samenhangend standpunt. Reddits argument was contractueel en commercieel: de Data API Terms en Developer Terms bepalen wie Reddit-content mag gebruiken, herverspreiding en commercieel gebruik vereisen toestemming, en het bedrijf ging richting betaalde datalicenties. De contractuele kant staat volledig uitgewerkt in wanneer Reddit scrapen legaal is. Het argument van onderzoekers ging over het corpus: studies naar moderatie, intimidatie en desinformatie waren gebouwd op een archief zonder gelijke, en het verlies van open toegang maakte replicatie van gepubliceerd werk onmogelijk en legde lopende projecten stil. Geen van beide standpunten weerlegt het andere, en de uitkomst was een kleinere dienst, geen schikking.

De tijdlijn van Pushshift
1
April 2015. De subreddit r/pushshift wordt aangemaakt en het archief begint Reddit-posts en -reacties in realtime te verzamelen.
2
Januari 2020. Baumgartner en zijn coauteurs publiceren het datasetpaper, met full-text search, aggregaties en een corpus van 651 miljoen inzendingen en 5,6 miljard reacties.
3
Maart 2023. Reddit herschrijft de voorwaarden van zijn Data API en de openbare reeks dumps eindigt, volgens de documentatie van Arctic Shift.
4
Vandaag. pushshift.io draait onder het Network Contagion Research Institute, en de voorwaarden beperken de toegang tot Reddit-moderators die moderatiewerk doen.
Vier momenten markeren de afstand tussen het open archief van 2015 en de dienst die nu alleen voor moderators draait.

Wie kan Pushshift nu gebruiken?

Alleen Reddit-moderators kunnen Pushshift nu gebruiken, en alleen voor moderatiewerk. De voorwaarden op pushshift.io stellen dat een gebruiker "verklaart een geregistreerde gebruiker van Reddit en een Reddit-moderator te zijn" en de data mag gebruiken "uitsluitend voor de beperkte doelen van communitymoderatie, het handhaven van Reddits communityrichtlijnen en het waarborgen van de veiligheid van communityleden". Toegang loopt via een OAuth-flow die een bearer token oplevert dat na 24 uur verloopt, en dat de aanroeper in de Authorization-header meestuurt naar endpoints die op api.pushshift.io zijn gedocumenteerd.

Dezelfde voorwaarden nemen Reddits commerciële beperkingen over. Een moderator gaat ermee akkoord "de distributie van Reddit-diensten en -data op geen enkele manier te commercialiseren", een clausule die de pagina uitbreidt tot verkopen, verhuren, sublicentiëren, te gelde maken en herverspreiden van de data of van afgeleide producten. Een marketingteam, een bureau of een startup komt onder deze voorwaarden niet in aanmerking, dus beschouw Pushshift als onbeschikbaar voor commercieel werk en kies een route met licentie.

Serverrekken in een datacenter, als beeld van de archiefinfrastructuur die nu Reddit-datadumps host.

Wat gebruiken onderzoekers in plaats van Pushshift?

Onderzoekers die open Reddit-dumps nodig hebben, gebruiken nu Arctic Shift, dat gratis maandelijkse dumps, een API en een webzoektool publiceert, en waarvan de reeks dumps verdergaat waar de Pushshift-bestanden ophouden. Dat project is de praktische opvolger voor corpuswerk, en hoe Arctic Shift de openbare toegang tot Reddit-data herbouwde behandelt de formaten, de dekking en de grenzen. Om één thread te vinden in plaats van een corpus op te bouwen, werken Reddits eigen tools nog steeds, zoals Reddit search uitlegt.

Doet Pushshift ertoe voor merkmonitoring?

Pushshift lost merkmonitoring niet op, want monitoring vraagt om nieuwe gesprekken binnen enkele minuten en Pushshift is nu gesloten voor commercieel gebruik. Archieven beantwoorden vragen over het verleden, terwijl een monitoringtool het heden in de gaten houdt en je vertelt welke vermelding een reactie waard is. RedReplier houdt Reddit, X, Bluesky, Facebook en Hacker News samen in de gaten, rangschikt vermeldingen op koopintentie en legt uit waarom elke vermelding is gesignaleerd, iets wat een archief nooit deed. De afweging tegenover zelf bouwen op ruwe endpoints staat in RedReplier vergeleken met de Reddit API.

Veelgestelde vragen

Is Pushshift gestopt?

Pushshift is niet gestopt, maar het is niet meer het open archief dat het was. De site pushshift.io is online en biedt een API, en de voorwaarden beperken het gebruik tot geregistreerde Reddit-gebruikers die moderator zijn en handelen voor communitymoderatie en veiligheid. Volgens de documentatie van Arctic Shift werden er na maart 2023 geen openbare dumps meer gepubliceerd in de oude reeks.

RedReplier
RedReplier

Aan de slag

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Kan ik nog Pushshift-dumps downloaden?

De reeks Pushshift-dumps eindigt in maart 2023, dus onder die naam bestaat niets nieuwers. Arctic Shift publiceert maandelijkse dumps die de reeks voortzetten en gratis te downloaden zijn. Oudere Pushshift-bestanden circuleren via mirrors van derden, en hun licentiepositie hangt af van Reddits voorwaarden, niet van de mirror.

Wie beheert Pushshift vandaag?

De dienst pushshift.io presenteert zich nu als NCRI Reddit Access, beheerd onder het Network Contagion Research Institute. Jason Baumgartner bouwde het platform en is eerste auteur van het datasetpaper uit 2020, dat NCRI al noemde onder de affiliaties van de auteurs. De huidige gebruiksvoorwaarden op de site zijn de gezaghebbende verklaring van wie er toegang toe heeft.

Waarvoor werd de Pushshift API gebruikt?

De Pushshift API werd gebruikt voor historisch zoeken op Reddit, full-text queries op reacties en inzendingen, en geaggregeerde tellingen van activiteit door de tijd. Academische studies naar moderatie, communitygedrag en online schade gebruikten hem, net als Reddit-tools en bots. Het paper uit 2020 meldt dat de API toen 500 miljoen verzoeken per maand verwerkte.

Waarom beperkte Reddit Pushshift?

De basis die Reddit noemde, waren de Data API Terms en Developer Terms, die bepalen wie toegang heeft tot Reddit-content en commerciële herverspreiding zonder toestemming verbieden. Het bedrijf stapte in 2023 over op betaalde datatoegang met licenties, en een gratis archief van derden met dezelfde content paste niet in dat model. Onderzoekers voerden aan dat de beperking een corpus weghaalde waarop hun gepubliceerde werk leunde.

Is het legaal om Pushshift-data te gebruiken?

Toegang tot Pushshift valt vandaag onder de voorwaarden op de eigen site, die gebruik door moderators voor moderatie toestaan en commercialisering van de data verbieden. Gebruik buiten die voorwaarden schendt een overeenkomst die je accepteert als je toestemming geeft, los van welke juridische vraag over scrapen dan ook. Voor het contract en de jurisprudentie achter dat onderscheid, zie de analyse van wanneer Reddit scrapen legaal is.

Hoeveel data archiveerde Pushshift?

De gepubliceerde maandelijkse dumps van Pushshift besloegen 651 miljoen inzendingen en 5,6 miljard reacties uit de periode 2005 tot 2019. Het datasetpaper uit 2020 meldt dat de API toen 500 miljoen verzoeken per maand verwerkte. Door die schaal kon één query vragen beantwoorden die anders maanden scrapen zouden kosten.

Welke technologie dreef Pushshift aan?

Pushshift draaide op een ingest-engine die een PostgreSQL-database en een Elasticsearch-cluster voedde. De HTTP-API bood het zoek- en aggregatiegedrag van Elasticsearch rechtstreeks aan gebruikers aan. Door die architectuur gaf één query resultaten terug in plaats van duizenden gepagineerde calls naar de Reddit API.

Kan ik Pushshift gebruiken voor commercieel onderzoek?

Nee. De voorwaarden op pushshift.io beperken de toegang tot geregistreerde Reddit-moderators die handelen voor moderatie, handhaving van communityrichtlijnen en de veiligheid van leden, en ze verbieden het commercialiseren van de distributie van de data in welke vorm dan ook. Een marketingteam, een bureau of een startup komt niet in aanmerking, dus commerciële projecten hebben een route met licentie nodig.

Is Arctic Shift hetzelfde als Pushshift?

Arctic Shift is een apart project, niet Pushshift onder een nieuwe naam. Het publiceert gratis maandelijkse dumps, een API en een webzoektool, en de reeks dumps gaat verder waar de Pushshift-bestanden in maart 2023 ophielden. Onderzoekers gebruiken het nu voor het corpuswerk dat Pushshift vroeger deed.

Zie ons vaker in Google

Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.

Voordat je gaat...

RedReplier

RedReplier

Vang elke koper die vraagt om wat jij verkoopt

RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Gerelateerde artikelen