glossary

Ce qu'était Pushshift, et ce qui l'a remplacé pour la recherche sur Reddit

Taras Shynkarenko
Taras Shynkarenko
•Updated: •9 lecture min.
Ce qu'était Pushshift, et ce qui l'a remplacé pour la recherche sur RedditCe qu'était Pushshift, et ce qui l'a remplacé pour la recherche sur Reddit

TL;DR

9 lecture min.

L'archive Reddit Pushshift était une plateforme de collecte et d'archivage de données qui copiait les posts et commentaires Reddit au moment de leur création et permettait à quiconque d'interroger cette copie sur toute son histoire, avec une recherche plein texte et des agrégations que l'API officielle n'a jamais offertes. Sa série publique de dumps s'arrête en mars 2023. Le service pushshift.io fonctionne désormais sous le Network Contagion Research Institute et ses conditions réservent l'accès aux modérateurs Reddit qui font un travail de modération.

Qu'est-ce que Pushshift ?

L'archive Reddit Pushshift était une plateforme de collecte, d'analyse et d'archivage de données sociales qui copiait les posts et commentaires Reddit au moment de leur création, puis laissait chacun interroger cette copie d'une façon dont l'API officielle de Reddit était incapable. L'article de dataset publié par ses auteurs en 2020 décrit une plateforme qui "since 2015 has collected Reddit data and made it available to researchers" (collecte depuis 2015 les données Reddit et les met à disposition des chercheurs), mise à jour en temps réel et remontant jusqu'aux débuts de Reddit (arXiv:2001.08435). Le service à l'adresse pushshift.io tourne toujours, mais il opère désormais sous le Network Contagion Research Institute et ses conditions d'utilisation limitent l'accès aux modérateurs Reddit.

Que pouvait faire Pushshift que l'API Reddit ne pouvait pas ?

Pushshift répondait à des questions historiques sur l'ensemble du corpus, la seule chose pour laquelle l'API de Reddit n'a jamais été conçue. L'article de 2020 nomme les différences sans détour : recherche plein texte sur les commentaires et les soumissions, limites par requête cinq fois supérieures au plafond de 100 objets de Reddit, et points de terminaison d'agrégation, ce que l'article appelle "a feature that the Reddit API lacks entirely" (une fonctionnalité qui manque entièrement à l'API Reddit). Qui envisage ce genre de requête aujourd'hui doit prévoir un corpus hébergé par ses soins ou une archive qui publie des dumps, car l'API officielle renvoie des listings, pas des agrégats. La mécanique derrière les limites de débit de l'API Reddit explique pourquoi l'écart existe.

CapacitéPushshift tel que documenté en 2020Data API officielle de Reddit
Recherche historiqueInterroger toute l'archive jusqu'aux débuts de RedditListings et recherche limités à ce que le point de terminaison renvoie sur le moment
Recherche plein texteOui, sur les commentaires et les soumissionsNon proposée sur l'archive dans son ensemble
Objets par requêteCinq fois le plafond de Reddit, selon l'article de datasetLimite de 100 objets
AgrégationsPoints de terminaison d'agrégation sur le jeu de donnéesAucun, selon l'article de dataset
Accès en masseDumps mensuels publiés en téléchargementAucun dump

Pushshift atteignait ce résultat avec un moteur d'ingestion alimentant une base PostgreSQL et un cluster Elasticsearch, puis exposait le comportement de recherche et d'agrégation d'Elasticsearch à travers sa propre API HTTP. Cette architecture explique pourquoi les réponses revenaient en un appel plutôt qu'en des milliers.

Qui a construit Pushshift ?

Jason Baumgartner a construit et fait tourner Pushshift, et il est le premier auteur de The Pushshift Reddit Dataset, écrit avec Savvas Zannettou, Brian Keegan, Megan Squire et Jeremy Blackburn et soumis à arXiv le 23 janvier 2020. L'article indique son affiliation à Pushshift.io aux côtés du Network Contagion Research Institute et de l'iDRAMA Lab, et il enregistre la création du subreddit r/pushshift en avril 2015. Citez cet article, pas un billet de blog, quand une section méthodologie a besoin d'une référence sur la provenance des données.

Une chercheuse tape sur un ordinateur portable, le genre de travail qui reposait autrefois sur les données Reddit archivées par Pushshift.

Pourquoi les chercheurs dépendaient-ils de Pushshift ?

Les chercheurs dépendaient de Pushshift parce qu'il transformait des mois d'ingénierie de données en une requête. L'argument de l'article est que la recherche se heurte à la collecte, au nettoyage et au stockage avant même de pouvoir commencer l'analyse, et qu'une archive maintenue lève cet obstacle. Ses dumps mensuels publiés couvraient 651 millions de soumissions et 5,6 milliards de commentaires postés entre 2005 et 2019, et l'article rapporte une API servant 500 millions de requêtes par mois au moment de la rédaction, en janvier 2020.

Une deuxième raison était la reproductibilité. Un dump mensuel est un artefact figé, si bien que deux équipes qui lancent la même requête sur le même fichier obtiennent les mêmes lignes, ce que des appels API en direct sur un site mouvant ne peuvent pas promettre. Les équipes qui construisent un corpus au long cours affrontent toujours l'arbitrage décrit dans la collecte de données sur les réseaux sociaux.

Qu'est-ce qui a changé pour Pushshift en 2023 ?

Reddit a réécrit les conditions commerciales de sa Data API en 2023, et l'accès public à Pushshift ne s'est pas poursuivi sous son ancienne forme. Le repère daté le plus clair se trouve dans la documentation d'Arctic Shift, qui évoque les "previous pushshift dumps (2023-03 and earlier)" (les précédents dumps pushshift, ceux de 2023-03 et antérieurs), ce qui place la fin de la série publique de dumps en mars 2023. Le changement de tarification développeur de Reddit qui se trouve derrière est traité dans la tarification de l'API Reddit.

Les deux camps ont exposé une position cohérente. Celle de Reddit était contractuelle et commerciale : ses Data API Terms et Developer Terms gouvernent qui peut prendre du contenu Reddit, la redistribution et l'usage commercial demandent une permission, et l'entreprise s'orientait vers la licence payante de données. Le volet contractuel est exposé en entier dans quand le scraping de Reddit est légal. Celle des chercheurs portait sur le corpus : des travaux sur la modération, le harcèlement et la désinformation avaient été bâtis sur une archive sans équivalent, et perdre son accès ouvert cassait la réplication de travaux publiés et bloquait des projets en cours. Aucune des deux positions ne résout l'autre, et l'issue a été un service plus étroit, pas un accord.

Chronologie de Pushshift
1
Avril 2015. Le subreddit r/pushshift est créé, et l'archive commence à collecter les publications et commentaires Reddit en temps réel.
2
Janvier 2020. Baumgartner et ses coauteurs publient l'article sur le jeu de données, documentant la recherche en texte intégral, les agrégations et un corpus de 651 millions de publications et 5,6 milliards de commentaires.
3
Mars 2023. Reddit réécrit les conditions de son API de données, et la série de dumps publics s'arrête, selon la documentation d'Arctic Shift.
4
Aujourd'hui. pushshift.io fonctionne sous l'égide du Network Contagion Research Institute, et ses conditions limitent l'accès aux modérateurs Reddit effectuant un travail de modération.
Quatre repères marquent la distance entre l'archive ouverte de 2015 et le service réservé aux modérateurs qui tourne aujourd'hui.

Qui peut utiliser Pushshift aujourd'hui ?

Seuls les modérateurs Reddit peuvent utiliser Pushshift aujourd'hui, et seulement pour un travail de modération. Les conditions publiées sur pushshift.io indiquent qu'un utilisateur "certifies that they are a registered user of Reddit and a Reddit moderator" (certifie être un utilisateur enregistré de Reddit et un modérateur Reddit) et peut accéder aux données "for the express limited purposes of community moderation, enforcing Reddit community guidelines, and ensuring community member safety" (aux seules fins expresses de modération de communauté, d'application des règles communautaires de Reddit et de sécurité des membres). L'accès passe par un flux OAuth qui renvoie un jeton bearer expirant au bout de 24 heures, que l'appelant envoie dans l'en-tête Authorization vers les points de terminaison documentés sur api.pushshift.io.

Ces mêmes conditions reprennent les restrictions commerciales de Reddit. Un modérateur s'engage à ne pas "commercialize the distribution of Reddit Services and Data in any manner" (commercialiser de quelque manière que ce soit la distribution des Services et Données Reddit), clause que la page étend à la vente, la location, la sous-licence, la monétisation et la redistribution des données ou de produits dérivés bâtis dessus. Une équipe marketing, une agence ou une startup ne remplit pas ces conditions, alors considérez Pushshift comme indisponible pour un travail commercial et passez par une voie sous licence.

Des baies de serveurs dans un centre de données, représentant l'infrastructure d'archivage qui héberge désormais les dumps de données Reddit.

Qu'utilisent les chercheurs à la place de Pushshift ?

Les chercheurs qui ont besoin de dumps Reddit ouverts utilisent aujourd'hui Arctic Shift, qui publie des dumps mensuels gratuits, une API et un outil de recherche web, et dont la série de dumps continue là où les fichiers Pushshift s'arrêtent. Ce projet est le successeur pratique pour le travail sur corpus, et comment Arctic Shift a reconstruit l'accès public aux données Reddit couvre ses formats, sa couverture et ses limites. Pour retrouver un seul fil plutôt que construire un corpus, les outils de Reddit fonctionnent toujours, comme l'explique la recherche Reddit.

Pushshift compte-t-il pour le brand monitoring ?

Pushshift ne résout pas le brand monitoring, parce que le monitoring a besoin des conversations nouvelles en quelques minutes et que Pushshift est désormais fermé à l'usage commercial. Les archives répondent aux questions sur le passé, tandis qu'un outil de monitoring observe le présent et vous dit quelle mention mérite une réponse. RedReplier surveille Reddit, X, Bluesky, Facebook et Hacker News ensemble, classe les mentions selon l'intention d'achat et explique pourquoi chacune a été signalée, ce qu'une archive n'a jamais eu pour rôle. L'arbitrage face à un développement sur les points de terminaison bruts est exposé dans RedReplier comparé à l'API Reddit.

Questions fréquentes

Pushshift est-il fermé ?

Pushshift n'est pas fermé, mais ce n'est plus l'archive ouverte qu'il était. Le site pushshift.io est en ligne et sert une API, et ses conditions réservent l'usage aux utilisateurs Reddit enregistrés qui sont modérateurs, agissant pour la modération et la sécurité de leur communauté. Les dumps publics ont cessé d'être publiés dans l'ancienne série après mars 2023, selon la documentation d'Arctic Shift.

RedReplier
RedReplier

Commencer

Reddit, X, Bluesky et HN

Alertes d'intention en temps réel

Réponses IA illimitées

Classé par intention d'achat

Puis-je encore télécharger les dumps Pushshift ?

La série de dumps Pushshift s'arrête en mars 2023, donc rien de plus récent n'existe sous ce nom. Arctic Shift publie des dumps mensuels qui continuent la série et sont téléchargeables gratuitement. D'anciens fichiers Pushshift circulent via des miroirs tiers, et leur situation en matière de licence dépend des conditions de Reddit, pas du miroir.

Qui fait tourner Pushshift aujourd'hui ?

Le service pushshift.io se présente aujourd'hui comme NCRI Reddit Access, opéré sous le Network Contagion Research Institute. Jason Baumgartner a créé la plateforme et il est le premier auteur de l'article de dataset de 2020, qui listait déjà le NCRI parmi les affiliations des auteurs. Les conditions d'utilisation actuelles du site font foi sur qui peut y accéder.

À quoi servait l'API Pushshift ?

L'API Pushshift servait à la recherche historique sur l'ensemble de Reddit, aux requêtes plein texte sur les commentaires et les soumissions, et aux comptages agrégés d'activité dans le temps. Des travaux universitaires sur la modération, le comportement des communautés et les dommages en ligne l'ont utilisée, et des outils et bots Reddit aussi. L'article de 2020 rapporte une API servant 500 millions de requêtes par mois à cette période.

Pourquoi Reddit a-t-il restreint Pushshift ?

La base invoquée par Reddit était ses Data API Terms et Developer Terms, qui gouvernent qui peut accéder au contenu Reddit et interdisent la redistribution commerciale sans permission. L'entreprise est passée à un accès aux données payant et sous licence en 2023, et une archive tierce gratuite du même contenu se tenait hors de ce modèle. Les chercheurs ont fait valoir que la restriction supprimait un corpus dont dépendaient leurs travaux publiés.

L'usage des données Pushshift est-il légal ?

L'accès à Pushshift est aujourd'hui régi par les conditions de son propre site, qui autorisent l'usage par un modérateur à des fins de modération et interdisent de commercialiser les données. L'utiliser en dehors de ces conditions viole un accord que vous acceptez au moment de vous authentifier, quoi que dise une question juridique distincte sur le scraping. Pour le contrat et la jurisprudence derrière cette distinction, voyez l'analyse sur la légalité du scraping de Reddit.

Quel volume de données Pushshift a-t-il archivé ?

Les dumps mensuels publiés par Pushshift couvraient 651 millions de publications et 5,6 milliards de commentaires postés entre 2005 et 2019. L'article sur le jeu de données de 2020 indique que l'API traitait 500 millions de requêtes par mois au moment de sa rédaction. Cette échelle explique pourquoi une seule requête pouvait répondre à des questions qui auraient autrement demandé des mois de scraping.

Quelle technologie faisait tourner Pushshift ?

Pushshift reposait sur un moteur d'ingestion alimentant une base de données PostgreSQL et un cluster Elasticsearch. Son API HTTP exposait directement le comportement de recherche et d'agrégation d'Elasticsearch. Cette architecture explique pourquoi une seule requête renvoyait des résultats au lieu de milliers d'appels paginés contre l'API Reddit.

Puis-je utiliser Pushshift pour de la recherche commerciale ?

Non. Les conditions publiées sur pushshift.io limitent l'accès aux modérateurs Reddit enregistrés agissant pour la modération, l'application des règles de la communauté et la sécurité des membres, et elles interdisent de commercialiser la distribution des données sous quelque forme que ce soit. Une équipe marketing, une agence ou une startup ne remplit pas ces conditions, les projets commerciaux ont donc besoin d'une voie sous licence.

Arctic Shift est-il la même chose que Pushshift ?

Arctic Shift est un projet distinct, pas Pushshift sous un autre nom. Il publie des dumps mensuels gratuits, une API et un outil de recherche web, et sa série de dumps continue là où les fichiers Pushshift se sont arrêtés en mars 2023. Les chercheurs l'utilisent aujourd'hui pour le travail de corpus que couvrait autrefois Pushshift.

Nous voir plus souvent sur Google

Un clic définit RedReplier comme source préférée. Nos articles remontent alors dans vos À la une, en mode IA et dans les aperçus IA.

Avant de partir...

RedReplier

RedReplier

Repérez chaque acheteur qui cherche ce que vous vendez

RedReplier surveille Reddit, X, Bluesky et Hacker News en temps réel, classe chaque sujet selon l'intention d'achat et rédige votre réponse, pour que vous arriviez en premier.

Reddit, X, Bluesky et HN

Alertes d'intention en temps réel

Réponses IA illimitées

Classé par intention d'achat

Articles connexes