TL;DR
9 lectura mínimaEl archivo de Reddit Pushshift fue una plataforma de recolección y archivo de datos que copiaba las publicaciones y los comentarios de Reddit a medida que se creaban y permitía a cualquiera buscar en esa copia de forma histórica, con búsqueda de texto completo y agregaciones que la API oficial nunca ofreció. Su serie pública de volcados termina en marzo de 2023. El servicio pushshift.io funciona ahora bajo el Network Contagion Research Institute y sus términos restringen el acceso a moderadores de Reddit que hacen trabajo de moderación.
¿Qué es Pushshift?
El archivo de Reddit Pushshift fue una plataforma de recolección, análisis y archivo de datos de redes sociales que copiaba las publicaciones y los comentarios de Reddit a medida que se creaban, y luego dejaba consultar esa copia de formas que la API oficial de Reddit no podía. El artículo sobre el conjunto de datos que publicaron sus autores en 2020 describe una plataforma que "since 2015 has collected Reddit data and made it available to researchers" (desde 2015 ha recopilado datos de Reddit y los ha puesto a disposición de los investigadores), actualizada en tiempo real y que llega hasta los inicios de Reddit (arXiv:2001.08435). El servicio en pushshift.io sigue funcionando, pero ahora opera bajo el Network Contagion Research Institute y sus términos de uso limitan el acceso a los moderadores de Reddit.
¿Qué podía hacer Pushshift que la API de Reddit no podía?
Pushshift respondía preguntas históricas sobre el corpus entero, que es justo lo que la propia API de Reddit nunca se construyó para hacer. El artículo de 2020 nombra las diferencias de forma directa: búsqueda de texto completo sobre comentarios y publicaciones, límites por consulta cinco veces mayores que el tope de 100 objetos de Reddit, y endpoints de agregación, que el artículo llama "a feature that the Reddit API lacks entirely" (una funcionalidad de la que la API de Reddit carece por completo). Quien hoy planee ese tipo de consulta debería planificarla en torno a un corpus propio o a un archivo que publique volcados, porque la API oficial devuelve listados, no agregados. La mecánica detrás de los límites de tasa de la API de Reddit explica por qué existe esa brecha.
| Capacidad | Pushshift según se documentó en 2020 | API de datos oficial de Reddit |
|---|---|---|
| Búsqueda histórica | Consultar el archivo completo hasta los inicios de Reddit | Listados y búsqueda acotados a lo que el endpoint devuelve ahora |
| Búsqueda de texto completo | Sí, sobre comentarios y publicaciones | No se ofrece sobre el archivo en su conjunto |
| Objetos por consulta | Cinco veces el tope de Reddit, según el artículo del conjunto de datos | Límite de 100 objetos |
| Agregaciones | Endpoints de agregación sobre el conjunto de datos | Ninguna, según el artículo del conjunto de datos |
| Acceso masivo | Volcados mensuales publicados para descarga | Sin volcados |
Pushshift llegó a ese punto con un motor de ingesta que alimentaba una base de datos PostgreSQL y un clúster de Elasticsearch, y luego exponía el comportamiento de búsqueda y agregación de Elasticsearch a través de su propia API HTTP. Esa arquitectura es la razón de que las respuestas volvieran en una sola llamada en lugar de en miles.
¿Quién construyó Pushshift?
Jason Baumgartner construyó y operó Pushshift, y es el primer autor de The Pushshift Reddit Dataset, escrito con Savvas Zannettou, Brian Keegan, Megan Squire y Jeremy Blackburn y enviado a arXiv el 23 de enero de 2020. El artículo indica su afiliación como Pushshift.io junto al Network Contagion Research Institute y el iDRAMA Lab, y registra el subreddit r/pushshift como creado en abril de 2015. Cite ese artículo, no una entrada de blog, cuando una sección de metodología necesite una referencia sobre el origen de los datos.

¿Por qué dependían los investigadores de Pushshift?
Los investigadores dependían de Pushshift porque convertía meses de ingeniería de datos en una consulta. El argumento del propio artículo es que la investigación queda bloqueada por la recolección, la limpieza y el almacenamiento antes de que pueda empezar el análisis, y que un archivo mantenido elimina ese bloqueo. Sus volcados mensuales publicados cubrían 651 millones de publicaciones y 5.6 mil millones de comentarios creados entre 2005 y 2019, y el artículo reporta que la API servía 500 millones de solicitudes al mes en el momento de su redacción, en enero de 2020.
Una segunda razón era la reproducibilidad. Un volcado mensual es un artefacto fijo, así que dos equipos que ejecuten la misma consulta contra el mismo archivo obtienen las mismas filas, algo que las llamadas en vivo a la API contra un sitio en movimiento no pueden prometer. Los equipos que construyen cualquier corpus de larga duración siguen enfrentando el mismo compromiso descrito en recolección de datos de redes sociales.
¿Qué cambió para Pushshift en 2023?
Reddit reescribió los términos comerciales de su Data API en 2023, y el acceso público a Pushshift no continuó en su forma anterior. El marcador fechado más claro está en la documentación de Arctic Shift, que se refiere a "previous pushshift dumps (2023-03 and earlier)" (volcados previos de pushshift, de 2023-03 y anteriores), lo que sitúa el final de la serie pública de volcados en marzo de 2023. El cambio en los precios de desarrollador de Reddit que hay detrás está cubierto en precios de la API de Reddit.
Ambas partes de la disputa expusieron una posición coherente. El caso de Reddit era contractual y comercial: sus Data API Terms y Developer Terms rigen quién puede tomar contenido de Reddit, la redistribución y el uso comercial necesitan permiso, y la empresa se movía hacia licencias de datos de pago. El lado contractual está expuesto por completo en cuándo es legal el scraping de Reddit. El caso de los investigadores era sobre el corpus: los estudios de moderación, acoso y desinformación se habían construido sobre un archivo sin equivalente, y perder el acceso abierto rompió la replicación de trabajos publicados y frenó proyectos en marcha. Ninguna posición resuelve la otra, y el resultado fue un servicio más estrecho, no un acuerdo.
¿Quién puede usar Pushshift ahora?
Solo los moderadores de Reddit pueden usar Pushshift ahora, y solo para trabajo de moderación. Los términos publicados en pushshift.io establecen que el usuario "certifies that they are a registered user of Reddit and a Reddit moderator" (certifica que es un usuario registrado de Reddit y moderador de Reddit) y puede acceder a los datos "for the express limited purposes of community moderation, enforcing Reddit community guidelines, and ensuring community member safety" (con el fin expreso y limitado de moderar la comunidad, hacer cumplir las directrices de la comunidad de Reddit y garantizar la seguridad de sus miembros). El acceso pasa por un flujo OAuth que devuelve un bearer token que expira a las 24 horas, y que quien llama envía en la cabecera Authorization a los endpoints documentados en api.pushshift.io.
Los mismos términos arrastran las restricciones comerciales de Reddit. Un moderador acepta no "commercialize the distribution of Reddit Services and Data in any manner" (comercializar la distribución de los Reddit Services and Data de ninguna manera), una cláusula que la página amplía para cubrir la venta, el arrendamiento, la sublicencia, la monetización y la redistribución de los datos o de productos derivados construidos sobre ellos. Un equipo de marketing, una agencia o una startup no califican bajo estos términos, así que trate Pushshift como no disponible para trabajo comercial y use una vía con licencia en su lugar.

¿Qué usan los investigadores en lugar de Pushshift?
Los investigadores que necesitan volcados abiertos de Reddit usan ahora Arctic Shift, que publica volcados mensuales gratuitos, una API y una herramienta de búsqueda web, y cuya serie de volcados continúa donde se detienen los archivos de Pushshift. Ese proyecto es el sucesor práctico para el trabajo con corpus, y cómo Arctic Shift reconstruyó el acceso público a los datos de Reddit cubre sus formatos, su cobertura y sus límites. Para encontrar un solo hilo en lugar de construir un corpus, las propias herramientas de Reddit siguen funcionando, como explica la búsqueda en Reddit.
¿Importa Pushshift para el monitoreo de marca?
Pushshift no resuelve el monitoreo de marca, porque el monitoreo necesita conversaciones nuevas en cuestión de minutos y Pushshift está ahora cerrado al uso comercial. Los archivos responden preguntas sobre el pasado, mientras que una herramienta de monitoreo vigila el presente y le dice qué mención merece una respuesta. RedReplier vigila Reddit, X, Bluesky, Facebook y Hacker News juntos, ordena las menciones por intención de compra y explica por qué se marcó cada una, que es el trabajo que un archivo nunca hizo. El compromiso frente a construir usted mismo sobre endpoints crudos está expuesto en RedReplier comparado con la API de Reddit.
Preguntas frecuentes
¿Está cerrado Pushshift?
Pushshift no está cerrado, pero ya no es el archivo abierto que fue. El sitio en pushshift.io está activo y sirve una API, y sus términos restringen el uso a usuarios registrados de Reddit que sean moderadores, actuando para la moderación y la seguridad de la comunidad. Los volcados públicos dejaron de publicarse en la serie antigua después de marzo de 2023, según la documentación de Arctic Shift.
RedReplier
Comenzar
Reddit, X, Bluesky y HN
Alertas de intención en tiempo real
Respuestas IA ilimitadas
Ordenado por intención de compra
¿Todavía puedo descargar los volcados de Pushshift?
La serie de volcados de Pushshift termina en marzo de 2023, así que no existe nada más reciente bajo ese nombre. Arctic Shift publica volcados mensuales que continúan la serie y son gratuitos de descargar. Los archivos antiguos de Pushshift circulan por réplicas de terceros, y su situación de licencia depende de los términos de Reddit, no de la réplica.
¿Quién opera Pushshift hoy?
El servicio pushshift.io se presenta hoy como NCRI Reddit Access, operado bajo el Network Contagion Research Institute. Jason Baumgartner creó la plataforma y es el primer autor del artículo del conjunto de datos de 2020, que ya listaba al NCRI entre las afiliaciones de los autores. Los términos de uso actuales del sitio son la declaración autorizada de quién puede acceder.
¿Para qué se usaba la API de Pushshift?
La API de Pushshift se usaba para búsqueda histórica en Reddit, consultas de texto completo sobre comentarios y publicaciones, y recuentos agregados de actividad a lo largo del tiempo. La usaron estudios académicos sobre moderación, comportamiento comunitario y daño en línea, y también herramientas y bots de Reddit. El artículo de 2020 reporta que la API servía 500 millones de solicitudes al mes en ese momento.
¿Por qué restringió Reddit el acceso a Pushshift?
La base declarada de Reddit fueron sus Data API Terms y Developer Terms, que rigen quién puede acceder al contenido de Reddit y prohíben la redistribución comercial sin permiso. La empresa pasó a un acceso a datos de pago y con licencia en 2023, y un archivo gratuito de terceros con el mismo contenido quedaba fuera de ese modelo. Los investigadores argumentaron que la restricción eliminaba un corpus del que dependía su trabajo publicado.
¿Es legal usar los datos de Pushshift?
El acceso a Pushshift hoy se rige por los términos de su propio sitio, que permiten el uso por moderadores con fines de moderación y prohíben comercializar los datos. Usarlo fuera de esos términos incumple un acuerdo que usted acepta al autorizarse, sea cual sea la cuestión legal aparte sobre el scraping. Para el contrato y la jurisprudencia detrás de esa distinción, vea el análisis de cuándo es legal el scraping de Reddit.
¿Cuántos datos archivó Pushshift?
Los volcados mensuales publicados por Pushshift cubrieron 651 millones de publicaciones y 5600 millones de comentarios publicados entre 2005 y 2019. El artículo del dataset de 2020 informa que la API atendía 500 millones de solicitudes al mes en el momento de su redacción. Esa escala explica por qué una sola consulta podía responder preguntas que de otro modo habrían exigido meses de scraping.
¿Qué tecnología sostenía a Pushshift?
Pushshift funcionaba con un motor de ingesta que alimentaba una base de datos PostgreSQL y un clúster de Elasticsearch. Su API HTTP exponía directamente el comportamiento de búsqueda y agregación de Elasticsearch. Esa arquitectura explica por qué una sola consulta devolvía resultados en lugar de miles de llamadas paginadas contra la API de Reddit.
¿Puedo usar Pushshift para investigación comercial?
No. Los términos publicados en pushshift.io restringen el acceso a moderadores de Reddit registrados que actúan para moderación, aplicación de normas de la comunidad y seguridad de sus miembros, y prohíben comercializar la distribución de los datos de cualquier forma. Un equipo de marketing, una agencia o una startup no cumple esos términos, así que los proyectos comerciales necesitan una vía con licencia.
¿Es Arctic Shift lo mismo que Pushshift?
Arctic Shift es un proyecto independiente, no Pushshift con otro nombre. Publica volcados mensuales gratuitos, una API y una herramienta de búsqueda web, y su serie de volcados continúa donde los archivos de Pushshift se detuvieron en marzo de 2023. Los investigadores lo usan ahora para el trabajo de corpus que antes cubría Pushshift.
Vernos más en Google
Un clic marca RedReplier como fuente preferida y nuestros artículos aparecen más arriba en tus Noticias destacadas, el modo IA y los resúmenes con IA.
Antes de irte...
RedReplier
Detecta a cada comprador que busca lo que vendes
RedReplier vigila Reddit, X, Bluesky y Hacker News en tiempo real, clasifica cada hilo por intención de compra y redacta tu respuesta, para que llegues primero.
Reddit, X, Bluesky y HN
Alertas de intención en tiempo real
Respuestas IA ilimitadas
Ordenado por intención de compra
Artículos relacionados


Cómo Arctic Shift reconstruyó el acceso público a los datos de Reddit
Desde 2005, Arctic Shift guarda publicaciones y comentarios de Reddit como volcados mensuales, con una API gratuita y una herramienta de búsqueda web.


Dónde puedes buscar comentarios en Reddit y dónde no
Para buscar comentarios en Reddit, usa el filtro Comments, la búsqueda dentro del post o los comentarios de un perfil. La búsqueda de la API no los incluye.


Not Safe For Work: el significado de NSFW y qué esconde de verdad la etiqueta
En Reddit, el significado de NSFW es Not Safe For Work. La etiqueta va en la publicación y en el subreddit, difumina el medio y usa el campo over_18 de la API.

