TL;DR
9 lecture min.L'archive Reddit Pushshift était une plateforme de collecte et d'archivage de données qui copiait les posts et commentaires Reddit au moment de leur création et permettait à quiconque d'interroger cette copie sur toute son histoire, avec une recherche plein texte et des agrégations que l'API officielle n'a jamais offertes. Sa série publique de dumps s'arrête en mars 2023. Le service pushshift.io fonctionne désormais sous le Network Contagion Research Institute et ses conditions réservent l'accès aux modérateurs Reddit qui font un travail de modération.
Qu'est-ce que Pushshift ?
L'archive Reddit Pushshift était une plateforme de collecte, d'analyse et d'archivage de données sociales qui copiait les posts et commentaires Reddit au moment de leur création, puis laissait chacun interroger cette copie d'une façon dont l'API officielle de Reddit était incapable. L'article de dataset publié par ses auteurs en 2020 décrit une plateforme qui "since 2015 has collected Reddit data and made it available to researchers" (collecte depuis 2015 les données Reddit et les met à disposition des chercheurs), mise à jour en temps réel et remontant jusqu'aux débuts de Reddit (arXiv:2001.08435). Le service à l'adresse pushshift.io tourne toujours, mais il opère désormais sous le Network Contagion Research Institute et ses conditions d'utilisation limitent l'accès aux modérateurs Reddit.
Que pouvait faire Pushshift que l'API Reddit ne pouvait pas ?
Pushshift répondait à des questions historiques sur l'ensemble du corpus, la seule chose pour laquelle l'API de Reddit n'a jamais été conçue. L'article de 2020 nomme les différences sans détour : recherche plein texte sur les commentaires et les soumissions, limites par requête cinq fois supérieures au plafond de 100 objets de Reddit, et points de terminaison d'agrégation, ce que l'article appelle "a feature that the Reddit API lacks entirely" (une fonctionnalité qui manque entièrement à l'API Reddit). Qui envisage ce genre de requête aujourd'hui doit prévoir un corpus hébergé par ses soins ou une archive qui publie des dumps, car l'API officielle renvoie des listings, pas des agrégats. La mécanique derrière les limites de débit de l'API Reddit explique pourquoi l'écart existe.
| Capacité | Pushshift tel que documenté en 2020 | Data API officielle de Reddit |
|---|---|---|
| Recherche historique | Interroger toute l'archive jusqu'aux débuts de Reddit | Listings et recherche limités à ce que le point de terminaison renvoie sur le moment |
| Recherche plein texte | Oui, sur les commentaires et les soumissions | Non proposée sur l'archive dans son ensemble |
| Objets par requête | Cinq fois le plafond de Reddit, selon l'article de dataset | Limite de 100 objets |
| Agrégations | Points de terminaison d'agrégation sur le jeu de données | Aucun, selon l'article de dataset |
| Accès en masse | Dumps mensuels publiés en téléchargement | Aucun dump |
Pushshift atteignait ce résultat avec un moteur d'ingestion alimentant une base PostgreSQL et un cluster Elasticsearch, puis exposait le comportement de recherche et d'agrégation d'Elasticsearch à travers sa propre API HTTP. Cette architecture explique pourquoi les réponses revenaient en un appel plutôt qu'en des milliers.
Qui a construit Pushshift ?
Jason Baumgartner a construit et fait tourner Pushshift, et il est le premier auteur de The Pushshift Reddit Dataset, écrit avec Savvas Zannettou, Brian Keegan, Megan Squire et Jeremy Blackburn et soumis à arXiv le 23 janvier 2020. L'article indique son affiliation à Pushshift.io aux côtés du Network Contagion Research Institute et de l'iDRAMA Lab, et il enregistre la création du subreddit r/pushshift en avril 2015. Citez cet article, pas un billet de blog, quand une section méthodologie a besoin d'une référence sur la provenance des données.

Pourquoi les chercheurs dépendaient-ils de Pushshift ?
Les chercheurs dépendaient de Pushshift parce qu'il transformait des mois d'ingénierie de données en une requête. L'argument de l'article est que la recherche se heurte à la collecte, au nettoyage et au stockage avant même de pouvoir commencer l'analyse, et qu'une archive maintenue lève cet obstacle. Ses dumps mensuels publiés couvraient 651 millions de soumissions et 5,6 milliards de commentaires postés entre 2005 et 2019, et l'article rapporte une API servant 500 millions de requêtes par mois au moment de la rédaction, en janvier 2020.
Une deuxième raison était la reproductibilité. Un dump mensuel est un artefact figé, si bien que deux équipes qui lancent la même requête sur le même fichier obtiennent les mêmes lignes, ce que des appels API en direct sur un site mouvant ne peuvent pas promettre. Les équipes qui construisent un corpus au long cours affrontent toujours l'arbitrage décrit dans la collecte de données sur les réseaux sociaux.
Qu'est-ce qui a changé pour Pushshift en 2023 ?
Reddit a réécrit les conditions commerciales de sa Data API en 2023, et l'accès public à Pushshift ne s'est pas poursuivi sous son ancienne forme. Le repère daté le plus clair se trouve dans la documentation d'Arctic Shift, qui évoque les "previous pushshift dumps (2023-03 and earlier)" (les précédents dumps pushshift, ceux de 2023-03 et antérieurs), ce qui place la fin de la série publique de dumps en mars 2023. Le changement de tarification développeur de Reddit qui se trouve derrière est traité dans la tarification de l'API Reddit.
Les deux camps ont exposé une position cohérente. Celle de Reddit était contractuelle et commerciale : ses Data API Terms et Developer Terms gouvernent qui peut prendre du contenu Reddit, la redistribution et l'usage commercial demandent une permission, et l'entreprise s'orientait vers la licence payante de données. Le volet contractuel est exposé en entier dans quand le scraping de Reddit est légal. Celle des chercheurs portait sur le corpus : des travaux sur la modération, le harcèlement et la désinformation avaient été bâtis sur une archive sans équivalent, et perdre son accès ouvert cassait la réplication de travaux publiés et bloquait des projets en cours. Aucune des deux positions ne résout l'autre, et l'issue a été un service plus étroit, pas un accord.
Qui peut utiliser Pushshift aujourd'hui ?
Seuls les modérateurs Reddit peuvent utiliser Pushshift aujourd'hui, et seulement pour un travail de modération. Les conditions publiées sur pushshift.io indiquent qu'un utilisateur "certifies that they are a registered user of Reddit and a Reddit moderator" (certifie être un utilisateur enregistré de Reddit et un modérateur Reddit) et peut accéder aux données "for the express limited purposes of community moderation, enforcing Reddit community guidelines, and ensuring community member safety" (aux seules fins expresses de modération de communauté, d'application des règles communautaires de Reddit et de sécurité des membres). L'accès passe par un flux OAuth qui renvoie un jeton bearer expirant au bout de 24 heures, que l'appelant envoie dans l'en-tête Authorization vers les points de terminaison documentés sur api.pushshift.io.
Ces mêmes conditions reprennent les restrictions commerciales de Reddit. Un modérateur s'engage à ne pas "commercialize the distribution of Reddit Services and Data in any manner" (commercialiser de quelque manière que ce soit la distribution des Services et Données Reddit), clause que la page étend à la vente, la location, la sous-licence, la monétisation et la redistribution des données ou de produits dérivés bâtis dessus. Une équipe marketing, une agence ou une startup ne remplit pas ces conditions, alors considérez Pushshift comme indisponible pour un travail commercial et passez par une voie sous licence.

Qu'utilisent les chercheurs à la place de Pushshift ?
Les chercheurs qui ont besoin de dumps Reddit ouverts utilisent aujourd'hui Arctic Shift, qui publie des dumps mensuels gratuits, une API et un outil de recherche web, et dont la série de dumps continue là où les fichiers Pushshift s'arrêtent. Ce projet est le successeur pratique pour le travail sur corpus, et comment Arctic Shift a reconstruit l'accès public aux données Reddit couvre ses formats, sa couverture et ses limites. Pour retrouver un seul fil plutôt que construire un corpus, les outils de Reddit fonctionnent toujours, comme l'explique la recherche Reddit.
Pushshift compte-t-il pour le brand monitoring ?
Pushshift ne résout pas le brand monitoring, parce que le monitoring a besoin des conversations nouvelles en quelques minutes et que Pushshift est désormais fermé à l'usage commercial. Les archives répondent aux questions sur le passé, tandis qu'un outil de monitoring observe le présent et vous dit quelle mention mérite une réponse. RedReplier surveille Reddit, X, Bluesky, Facebook et Hacker News ensemble, classe les mentions selon l'intention d'achat et explique pourquoi chacune a été signalée, ce qu'une archive n'a jamais eu pour rôle. L'arbitrage face à un développement sur les points de terminaison bruts est exposé dans RedReplier comparé à l'API Reddit.
Questions fréquentes
Pushshift est-il fermé ?
Pushshift n'est pas fermé, mais ce n'est plus l'archive ouverte qu'il était. Le site pushshift.io est en ligne et sert une API, et ses conditions réservent l'usage aux utilisateurs Reddit enregistrés qui sont modérateurs, agissant pour la modération et la sécurité de leur communauté. Les dumps publics ont cessé d'être publiés dans l'ancienne série après mars 2023, selon la documentation d'Arctic Shift.
RedReplier
Commencer
Reddit, X, Bluesky et HN
Alertes d'intention en temps réel
Réponses IA illimitées
Classé par intention d'achat
Puis-je encore télécharger les dumps Pushshift ?
La série de dumps Pushshift s'arrête en mars 2023, donc rien de plus récent n'existe sous ce nom. Arctic Shift publie des dumps mensuels qui continuent la série et sont téléchargeables gratuitement. D'anciens fichiers Pushshift circulent via des miroirs tiers, et leur situation en matière de licence dépend des conditions de Reddit, pas du miroir.
Qui fait tourner Pushshift aujourd'hui ?
Le service pushshift.io se présente aujourd'hui comme NCRI Reddit Access, opéré sous le Network Contagion Research Institute. Jason Baumgartner a créé la plateforme et il est le premier auteur de l'article de dataset de 2020, qui listait déjà le NCRI parmi les affiliations des auteurs. Les conditions d'utilisation actuelles du site font foi sur qui peut y accéder.
À quoi servait l'API Pushshift ?
L'API Pushshift servait à la recherche historique sur l'ensemble de Reddit, aux requêtes plein texte sur les commentaires et les soumissions, et aux comptages agrégés d'activité dans le temps. Des travaux universitaires sur la modération, le comportement des communautés et les dommages en ligne l'ont utilisée, et des outils et bots Reddit aussi. L'article de 2020 rapporte une API servant 500 millions de requêtes par mois à cette période.
Pourquoi Reddit a-t-il restreint Pushshift ?
La base invoquée par Reddit était ses Data API Terms et Developer Terms, qui gouvernent qui peut accéder au contenu Reddit et interdisent la redistribution commerciale sans permission. L'entreprise est passée à un accès aux données payant et sous licence en 2023, et une archive tierce gratuite du même contenu se tenait hors de ce modèle. Les chercheurs ont fait valoir que la restriction supprimait un corpus dont dépendaient leurs travaux publiés.
L'usage des données Pushshift est-il légal ?
L'accès à Pushshift est aujourd'hui régi par les conditions de son propre site, qui autorisent l'usage par un modérateur à des fins de modération et interdisent de commercialiser les données. L'utiliser en dehors de ces conditions viole un accord que vous acceptez au moment de vous authentifier, quoi que dise une question juridique distincte sur le scraping. Pour le contrat et la jurisprudence derrière cette distinction, voyez l'analyse sur la légalité du scraping de Reddit.
Quel volume de données Pushshift a-t-il archivé ?
Les dumps mensuels publiés par Pushshift couvraient 651 millions de publications et 5,6 milliards de commentaires postés entre 2005 et 2019. L'article sur le jeu de données de 2020 indique que l'API traitait 500 millions de requêtes par mois au moment de sa rédaction. Cette échelle explique pourquoi une seule requête pouvait répondre à des questions qui auraient autrement demandé des mois de scraping.
Quelle technologie faisait tourner Pushshift ?
Pushshift reposait sur un moteur d'ingestion alimentant une base de données PostgreSQL et un cluster Elasticsearch. Son API HTTP exposait directement le comportement de recherche et d'agrégation d'Elasticsearch. Cette architecture explique pourquoi une seule requête renvoyait des résultats au lieu de milliers d'appels paginés contre l'API Reddit.
Puis-je utiliser Pushshift pour de la recherche commerciale ?
Non. Les conditions publiées sur pushshift.io limitent l'accès aux modérateurs Reddit enregistrés agissant pour la modération, l'application des règles de la communauté et la sécurité des membres, et elles interdisent de commercialiser la distribution des données sous quelque forme que ce soit. Une équipe marketing, une agence ou une startup ne remplit pas ces conditions, les projets commerciaux ont donc besoin d'une voie sous licence.
Arctic Shift est-il la même chose que Pushshift ?
Arctic Shift est un projet distinct, pas Pushshift sous un autre nom. Il publie des dumps mensuels gratuits, une API et un outil de recherche web, et sa série de dumps continue là où les fichiers Pushshift se sont arrêtés en mars 2023. Les chercheurs l'utilisent aujourd'hui pour le travail de corpus que couvrait autrefois Pushshift.
Nous voir plus souvent sur Google
Un clic définit RedReplier comme source préférée. Nos articles remontent alors dans vos À la une, en mode IA et dans les aperçus IA.
Avant de partir...
RedReplier
Repérez chaque acheteur qui cherche ce que vous vendez
RedReplier surveille Reddit, X, Bluesky et Hacker News en temps réel, classe chaque sujet selon l'intention d'achat et rédige votre réponse, pour que vous arriviez en premier.
Reddit, X, Bluesky et HN
Alertes d'intention en temps réel
Réponses IA illimitées
Classé par intention d'achat
Articles connexes


Comment Arctic Shift a reconstruit l'accès public aux données Reddit
Les archives Arctic Shift conservent les posts et commentaires Reddit depuis 2005 comme dumps mensuels, avec une API gratuite et un outil de recherche web.


Où rechercher des commentaires Reddit, et où c'est impossible
Pour rechercher des commentaires Reddit, utilisez le filtre Comments, la barre de recherche d'un post ou un profil. L'API de recherche ignore les commentaires.


Not Safe For Work : ce que NSFW signifie et ce que le drapeau cache vraiment
Sur Reddit, NSFW signifie Not Safe For Work : le drapeau vise le post et le subreddit, floute les médias et correspond au champ over_18 de l'API.

