Cómo Arctic Shift reconstruyó el acceso público a los datos de Reddit

¿Qué es Arctic Shift?

El proyecto de datos de Reddit Arctic Shift publica volcados mensuales gratuitos de publicaciones y comentarios de Reddit, una API pública sobre los mismos registros y una herramienta de búsqueda basada en navegador, todo mantenido por el usuario de GitHub ArthurHeitmann. El README del proyecto declara su propósito como hacer los datos de Reddit accesibles para investigadores, moderadores y cualquier otra persona. Elija el modo de acceso según el volumen: la herramienta web para un hilo, la API para unos pocos miles de registros, los volcados para todo el corpus.

Los tres modos leen los mismos datos subyacentes, así que una consulta que pruebe en la herramienta web responde igual a través de la API.

¿Qué datos cubre Arctic Shift?

Arctic Shift cubre publicaciones y comentarios de Reddit recopilados mediante la API oficial de Reddit, con los subreddits privados y en cuarentena excluidos. El índice de volcados va desde junio de 2005, cerca del inicio de Reddit mismo, hasta las publicaciones de los meses más recientes, por lo que el archivo es a la vez histórico y continuo. Revise el archivo de enlaces de descarga del repositorio antes de planear un estudio, porque ese archivo es la declaración autorizada de qué meses existen.

El formato de archivo es un objeto JSON por publicación o comentario, lo que convierte a un volcado en un flujo delimitado por saltos de línea que puede procesar sin cargarlo entero. Desde noviembre de 2023 el proyecto recupera cada elemento dos veces, con unas 36 horas de diferencia, de modo que un registro conserva las ediciones, eliminaciones y cambios de puntuación que ocurrieron en esa ventana. Desde abril de 2024 el proyecto distribuye los archivos exclusivamente como .zst, así que necesita Python 3.10 o posterior y la librería zstandard para leerlos.

¿Cómo se relaciona Arctic Shift con Pushshift?

Los volcados de Arctic Shift continúan la serie que publicaba Pushshift, la cual termina en marzo de 2023. La propia documentación de archivos del proyecto traza la línea de forma explícita: sus cambios de recopilación se aplican a los volcados posteriores y no se aplican a los volcados anteriores de Pushshift de 2023-03 y antes. Los investigadores que construyeron sus pipelines sobre las rutas de archivo de Pushshift, por tanto, apuntan ese mismo pipeline a Arctic Shift para todo lo posterior a esa fecha.

Los dos archivos coexisten en lugar de que uno reemplace al otro. El README de Arctic Shift lista a Pushshift y a PullPush junto a sí mismo, cada uno con su propia vía de solicitud de eliminación, lo cual es el mapa práctico de dónde viven hoy los datos de archivo de Reddit. Para el lado de la plataforma de esa historia, precios de la API de Reddit cubre lo que cambió para quien lee Reddit a gran volumen, y cómo se compara RedReplier con Pushshift cubre el lado del monitoreo.

¿Cuáles son los límites de tasa de la API de Arctic Shift?

Arctic Shift no publica un límite de tasa numérico, y su documentación de API en cambio indica que un usuario normal que hace un par de solicitudes por segundo no tiene nada de qué preocuparse. La limitación es dinámica y está ligada a la carga del servidor, así que el techo se mueve según lo que todos los demás estén pidiendo en ese momento. Escriba su cliente para que retroceda en lugar de apuntar a un presupuesto fijo.

Cuando sí alcanza el límite, la API responde 429 y devuelve los encabezados X-RateLimit-Reset y X-RateLimit-Reset-At que indican cuándo se libera el límite. Lea esos dos encabezados y espere hasta el reinicio en lugar de reintentar a ciegas. Las cuotas fijas funcionan de otra forma en la plataforma oficial, y límites de tasa de la API de Reddit repasa esas cifras.

¿Para qué usa la gente Arctic Shift?

Tres grupos usan Arctic Shift: académicos que construyen conjuntos de datos, moderadores que reconstruyen lo que pasó en sus propias comunidades, y cualquiera que recupere una publicación que desde entonces fue eliminada. El archivo responde preguntas que la API en vivo de Reddit no puede, porque la API en vivo devuelve lo que existe ahora y el archivo devuelve lo que existía entonces. Esa brecha es la razón entera por la que existe el proyecto.

El trabajo con conjuntos de datos se ejecuta contra los volcados, ya que un estudio que necesita un año de un subreddit es una operación de archivo en lugar de miles de solicitudes. El trabajo de moderación se ejecuta contra la API y la herramienta web, donde extrae el historial de comentarios de un usuario o el árbol de un hilo eliminado. Ambos forman parte de la práctica más amplia cubierta en recopilación de datos de redes sociales, y el marco legal para reutilizar esos datos es el tema de si el web scraping es legal.

¿Cuándo es Arctic Shift la herramienta equivocada?

Arctic Shift es la herramienta equivocada cuando necesita saber sobre una conversación mientras sigue abierta. El archivo es retrospectivo por diseño, se publica con cadencia mensual, y no ofrece alertas ni compromiso de disponibilidad en la API alojada. Un conjunto de datos publicado el próximo mes no puede decirle que alguien pidió esta mañana un producto como el suyo.

Ese trabajo le corresponde a un producto de monitoreo. RedReplier vigila Reddit, X, Bluesky, Facebook y Hacker News a la vez, clasifica las menciones por intención de compra y explica con IA por qué se marcó cada una, y luego le envía un correo según el intervalo de su plan. Vea monitoreo de palabras clave de Reddit para esa configuración, y cómo funciona la búsqueda de Reddit para lo que devuelve la propia búsqueda del sitio antes de que recurra a un archivo.

Preguntas frecuentes

¿Es gratis usar Arctic Shift?

Sí. Los volcados, la API y la herramienta de búsqueda web son todos gratuitos, y la API no requiere clave. Los costos que quedan son suyos: espacio en disco para los volcados y el cómputo para descomprimirlos y procesarlos.

¿Arctic Shift incluye publicaciones y comentarios eliminados?

Los registros se capturan dos veces, con unas 36 horas de diferencia, así que una publicación eliminada después de esa segunda pasada permanece en el archivo tal como se capturó. Una publicación eliminada minutos después de crearse puede no haberse recopilado nunca. El proyecto también gestiona un proceso de solicitud de eliminación para quienes quieran que su propio contenido sea retirado.

¿Qué formato de archivo usan los volcados de Arctic Shift?

Los archivos se distribuyen como flujos comprimidos .zst que contienen un objeto JSON por publicación o comentario. Leerlos requiere Python 3.10 o posterior con la librería zstandard instalada. El repositorio incluye scripts para recorrer un volcado sin descomprimir el archivo completo en disco.

¿Hasta cuándo se remontan los datos de Arctic Shift?

El índice de volcados comienza en junio de 2005 y llega hasta la publicación mensual más reciente. La parte anterior de ese rango proviene de los volcados de Pushshift de marzo de 2023 y antes, que Arctic Shift republica sin modificar.

¿Arctic Shift cubre subreddits privados?

No. La recopilación pasa por la API oficial de Reddit, que excluye los subreddits privados y en cuarentena, así que ninguno de los dos aparece en los volcados. Todo lo que encuentre en el archivo era público en Reddit en el momento en que se capturó.

¿Puede Arctic Shift sustituir una herramienta de monitoreo en vivo de Reddit?

No. Los volcados mensuales y una API de archivo responden preguntas sobre el pasado, mientras que el monitoreo responde preguntas sobre la última hora. Use Arctic Shift para investigación y una herramienta de monitoreo para cualquier cosa a la que piense responder.

¿Quién mantiene Arctic Shift?

El usuario de GitHub ArthurHeitmann mantiene Arctic Shift y publica los volcados, la API y la herramienta de búsqueda web desde el mismo repositorio. El README del proyecto declara su propósito como hacer que los datos de Reddit sean accesibles para investigadores, moderadores y cualquier otra persona. Un único responsable sostiene así los tres modos de acceso sobre los mismos datos.

¿Dónde se descargan los volcados de Arctic Shift?

Los volcados mensuales son enlaces de descarga publicados directamente en el repositorio de GitHub, separados de la API y de la herramienta web. Revisa el archivo de enlaces de descarga del repositorio antes de planear un estudio, porque ese archivo es la referencia oficial de qué meses existen realmente. Cada archivo enlazado llega como un flujo .zst, listo para los scripts que el repositorio incluye para recorrerlo sin descomprimirlo entero en disco.

¿Qué debe hacer mi código cuando Arctic Shift devuelve un 429?

Una respuesta 429 llega con las cabeceras X-RateLimit-Reset y X-RateLimit-Reset-At, que indican exactamente cuándo se levanta el límite. Lee esas cabeceras y espera hasta el reinicio, en lugar de reintentar a ciegas con un horario fijo o un presupuesto de peticiones fijo. Arctic Shift no publica ningún límite numérico, ya que el tope se mueve según la carga del servidor en cada momento.

¿Puedo usar Arctic Shift y Pushshift en el mismo pipeline?

Los dos archivos se conectan directamente, porque los volcados de Arctic Shift continúan justo donde termina la serie de Pushshift en marzo de 2023. La propia documentación de archivos de Arctic Shift señala que sus cambios de recopilación, como capturar cada elemento dos veces, se aplican solo a los volcados posteriores a esa fecha y no a los archivos anteriores de Pushshift. Un pipeline construido sobre las rutas de archivos de Pushshift puede apuntar a Arctic Shift para todo lo posterior a marzo de 2023.