Como o Arctic Shift reconstruiu o acesso público aos dados do Reddit

O que é o Arctic Shift?

O projeto de dados do Reddit Arctic Shift publica dumps mensais gratuitos de posts e comentários do Reddit, uma API pública sobre os mesmos registros e uma ferramenta de busca baseada no navegador, tudo mantido pelo usuário do GitHub ArthurHeitmann. O README do projeto declara que seu propósito é tornar os dados do Reddit acessíveis a pesquisadores, moderadores e qualquer outra pessoa. Escolha o modo de acesso pelo volume: a ferramenta web para uma thread, a API para alguns milhares de registros, os dumps para o corpus inteiro.

Os três modos leem os mesmos dados subjacentes, então uma consulta que você testa na ferramenta web responde da mesma forma pela API.

Quais dados o Arctic Shift cobre?

O Arctic Shift cobre posts e comentários do Reddit coletados pela API oficial do Reddit, com subreddits privados e em quarentena excluídos. O índice de dumps vai de junho de 2005, perto do início do próprio Reddit, até lançamentos publicados nos meses mais recentes, então o arquivo é histórico e contínuo ao mesmo tempo. Confira o arquivo de links de download do repositório antes de planejar um estudo, porque esse arquivo é a declaração oficial de quais meses existem.

O formato do arquivo é um objeto JSON por post ou comentário, o que torna um dump um fluxo delimitado por quebras de linha que você pode processar sem carregá-lo por inteiro. Desde novembro de 2023 o projeto coleta cada item duas vezes, com cerca de 36 horas de intervalo, então um registro carrega as edições, exclusões e mudanças de pontuação que ocorreram nessa janela. Desde abril de 2024 o projeto distribui arquivos exclusivamente como .zst, então você precisa do Python 3.10 ou mais recente e da biblioteca zstandard para lê-los.

Como o Arctic Shift se relaciona com o Pushshift?

Os dumps do Arctic Shift dão continuidade à série que o Pushshift publicava, que termina em março de 2023. A própria documentação de arquivos do projeto traça essa linha de forma explícita: suas mudanças de coleta se aplicam a dumps posteriores e não se aplicam aos dumps anteriores do Pushshift de 2023-03 e antes. Pesquisadores que construíram pipelines em cima dos caminhos de arquivo do Pushshift, portanto, apontam o mesmo pipeline para o Arctic Shift para qualquer coisa depois dessa data.

Os dois arquivos existem lado a lado, em vez de um substituir o outro. O README do Arctic Shift lista o Pushshift e o PullPush ao seu lado, cada um com sua própria rota de solicitação de remoção, o que é o mapa prático de onde os dados de arquivo do Reddit vivem hoje. Para o lado da plataforma dessa história, preços da API do Reddit cobre o que mudou para quem lê o Reddit em volume, e como o RedReplier se compara ao Pushshift cobre o lado do monitoramento.

Quais são os limites de taxa da API do Arctic Shift?

O Arctic Shift não publica um limite de taxa numérico, e sua documentação de API afirma que um usuário normal fazendo algumas requisições por segundo não tem com o que se preocupar. A limitação é dinâmica e ligada à carga do servidor, então o teto se move de acordo com o que todo mundo está pedindo naquele momento. Escreva seu cliente para recuar em vez de mirar um orçamento fixo.

Quando você de fato atinge o limite, a API responde 429 e retorna os cabeçalhos X-RateLimit-Reset e X-RateLimit-Reset-At, que informam quando o limite libera. Leia esses dois cabeçalhos e espere até o reset em vez de tentar de novo às cegas. Cotas fixas funcionam de forma diferente na plataforma oficial, e limites de taxa da API do Reddit passa por esses números.

Para que as pessoas usam o Arctic Shift?

Três grupos usam o Arctic Shift: acadêmicos construindo datasets, moderadores reconstruindo o que aconteceu em suas próprias comunidades, e qualquer pessoa recuperando um post que já foi apagado. O arquivo responde perguntas que a API ao vivo do Reddit não consegue, porque a API ao vivo retorna o que existe agora e o arquivo retorna o que existia antes. Essa lacuna é o motivo inteiro pelo qual o projeto existe.

O trabalho com datasets roda contra os dumps, já que um estudo que precisa de um ano de um subreddit é uma operação de arquivo em vez de milhares de requisições. O trabalho de moderação roda contra a API e a ferramenta web, onde você puxa o histórico de comentários de um usuário ou a árvore de uma thread removida. Os dois fazem parte da prática mais ampla coberta em coleta de dados de redes sociais, e o quadro legal para reutilizar esses dados é o tema de se fazer web scraping é legal.

Quando o Arctic Shift é a ferramenta errada?

O Arctic Shift é a ferramenta errada quando você precisa saber sobre uma conversa enquanto ela ainda está acontecendo. O arquivo é retrospectivo por natureza, publicado em cadência mensal, sem alertas e sem compromisso de disponibilidade na API hospedada. Um dataset lançado no mês que vem não pode te dizer que alguém pediu um produto como o seu nesta manhã.

Essa tarefa é de um produto de monitoramento. O RedReplier observa Reddit, X, Bluesky, Facebook e Hacker News juntos, classifica menções por intenção de compra e explica com IA por que cada uma foi sinalizada, depois te envia um e-mail no intervalo do seu plano. Veja monitoramento de keywords no Reddit para essa configuração, e como funciona a busca do Reddit para o que a própria busca do site retorna antes de você recorrer a um arquivo.

Perguntas frequentes

O Arctic Shift é gratuito?

Sim. Os dumps, a API e a ferramenta de busca web são todos gratuitos, e a API não exige chave. Os custos que restam são seus: espaço em disco para os dumps e o processamento para descompactá-los e processá-los.

O Arctic Shift inclui posts e comentários apagados?

Os registros são capturados duas vezes, com cerca de 36 horas de intervalo, então um post apagado depois dessa segunda passagem permanece no arquivo como foi capturado. Um post apagado minutos depois de criado pode nunca ter sido coletado. O projeto também mantém um processo de solicitação de remoção para quem quer que seu próprio conteúdo seja retirado.

Qual formato de arquivo os dumps do Arctic Shift usam?

Os arquivos são distribuídos como fluxos compactados .zst contendo um objeto JSON por post ou comentário. Lê-los exige Python 3.10 ou mais recente com a biblioteca zstandard instalada. O repositório inclui scripts para percorrer um dump sem descompactar o arquivo inteiro no disco.

Até quando voltam os dados do Arctic Shift?

O índice de dumps começa em junho de 2005 e vai até o lançamento mensal mais recente. A parte mais antiga desse intervalo vem dos dumps do Pushshift de março de 2023 e antes, que o Arctic Shift republica sem modificação.

O Arctic Shift cobre subreddits privados?

Não. A coleta passa pela API oficial do Reddit, que exclui subreddits privados e em quarentena, então nenhum dos dois aparece nos dumps. Tudo que você encontra no arquivo era público no Reddit no momento em que foi capturado.

O Arctic Shift pode substituir uma ferramenta de monitoramento do Reddit ao vivo?

Não. Dumps mensais e uma API de arquivo respondem perguntas sobre o passado, enquanto o monitoramento responde perguntas sobre a última hora. Use o Arctic Shift para pesquisa e uma ferramenta de monitoramento para qualquer coisa que você pretenda responder.

Quem mantém o Arctic Shift?

O usuário do GitHub ArthurHeitmann mantém o Arctic Shift e publica os dumps, a API e a ferramenta de busca web a partir do mesmo repositório. O README do projeto declara seu propósito como tornar os dados do Reddit acessíveis a pesquisadores, moderadores e qualquer outra pessoa. Um único mantenedor sustenta assim os três modos de acesso sobre os mesmos dados.

Onde baixar os dumps do Arctic Shift?

Os dumps mensais são links de download publicados diretamente no repositório do GitHub, separados da API e da ferramenta web. Confira o arquivo de links de download do repositório antes de planejar um estudo, porque esse arquivo é o registro oficial de quais meses realmente existem. Cada arquivo do link chega como um fluxo .zst, pronto para os scripts que o repositório inclui para percorrê-lo sem descompactar tudo em disco.

O que meu código deve fazer quando o Arctic Shift retorna um 429?

Uma resposta 429 vem com os cabeçalhos X-RateLimit-Reset e X-RateLimit-Reset-At, que indicam exatamente quando o limite se encerra. Leia esses cabeçalhos e espere até o reset, em vez de tentar de novo às cegas num intervalo fixo ou numa cota fixa de requisições. O Arctic Shift não publica nenhum limite numérico, já que o teto se move conforme a carga do servidor naquele momento.

Posso usar o Arctic Shift e o Pushshift no mesmo pipeline?

Os dois arquivos se conectam diretamente, já que os dumps do Arctic Shift continuam exatamente de onde a série do Pushshift termina em março de 2023. A própria documentação de arquivos do Arctic Shift afirma que suas mudanças de coleta, como capturar cada item duas vezes, se aplicam apenas aos dumps posteriores a essa data e não aos arquivos anteriores do Pushshift. Um pipeline construído sobre os caminhos de arquivo do Pushshift pode apontar para o Arctic Shift para tudo depois de março de 2023.