glossary

O que foi o Pushshift, e o que o substituiu na pesquisa sobre o Reddit

Taras Shynkarenko
Taras Shynkarenko
•Updated: •8 minutos de leitura
O que foi o Pushshift, e o que o substituiu na pesquisa sobre o RedditO que foi o Pushshift, e o que o substituiu na pesquisa sobre o Reddit

TL;DR

8 minutos de leitura

O arquivo do Reddit Pushshift era uma plataforma de coleta e arquivamento de dados que copiava posts e comentários do Reddit conforme eram criados e permitia que qualquer pessoa buscasse nessa cópia de forma histórica, com busca em texto completo e agregações que a API oficial nunca ofereceu. Sua série pública de dumps termina em março de 2023. O serviço pushshift.io agora roda sob o Network Contagion Research Institute e seus termos restringem o acesso a moderadores do Reddit fazendo trabalho de moderação.

O que é o Pushshift?

O arquivo do Reddit Pushshift era uma plataforma de coleta, análise e arquivamento de dados de redes sociais que copiava posts e comentários do Reddit conforme eram criados, e então deixava as pessoas consultarem essa cópia de formas que a API oficial do Reddit não permitia. O artigo do dataset que seus autores publicaram em 2020 descreve uma plataforma que "since 2015 has collected Reddit data and made it available to researchers", atualizada em tempo real e alcançando o início do Reddit (arXiv:2001.08435). O serviço em pushshift.io continua no ar, mas hoje opera sob o Network Contagion Research Institute e seus termos de uso limitam o acesso a moderadores do Reddit.

O que o Pushshift fazia que a API do Reddit não fazia?

O Pushshift respondia perguntas históricas sobre todo o corpus, que é a única coisa para a qual a API do próprio Reddit nunca foi construída. O artigo de 2020 nomeia as diferenças de forma direta: busca em texto completo contra comentários e submissions, limites por consulta cinco vezes maiores que o teto de 100 objetos do Reddit, e endpoints de agregação, que o artigo chama de "a feature that the Reddit API lacks entirely". Quem planeja esse tipo de consulta hoje deveria planejar em torno de um corpus próprio ou de um arquivo que publique dumps, porque a API oficial devolve listagens, não agregados. A mecânica por trás dos limites de taxa da API do Reddit explica por que a lacuna existe.

CapacidadePushshift como documentado em 2020Data API oficial do Reddit
Busca históricaConsulta o arquivo inteiro até o início do RedditListagens e busca limitadas ao que o endpoint devolve agora
Busca em texto completoSim, contra comentários e submissionsNão oferecida sobre o arquivo como um todo
Objetos por consultaCinco vezes o teto do Reddit, segundo o artigo do datasetLimite de 100 objetos
AgregaçõesEndpoints de agregação sobre o datasetNenhuma, segundo o artigo do dataset
Acesso em massaDumps mensais publicados para downloadSem dumps

O Pushshift chegou a esse ponto com um motor de ingestão alimentando um banco PostgreSQL e um cluster Elasticsearch, e então expunha o comportamento de busca e agregação do Elasticsearch pela sua própria API HTTP. Essa arquitetura é a razão de as respostas voltarem em uma chamada em vez de milhares.

Quem construiu o Pushshift?

Jason Baumgartner construiu e tocou o Pushshift, e é o primeiro autor de The Pushshift Reddit Dataset, escrito com Savvas Zannettou, Brian Keegan, Megan Squire e Jeremy Blackburn e submetido ao arXiv em 23 de janeiro de 2020. O artigo lista a filiação dele como Pushshift.io ao lado do Network Contagion Research Institute e do iDRAMA Lab, e registra o subreddit r/pushshift como criado em abril de 2015. Cite esse artigo, não um post de blog, quando uma seção de métodos precisar de uma referência para a origem dos dados.

Uma pesquisadora digitando em um laptop, o tipo de trabalho que antes rodava sobre os dados arquivados do Reddit pelo Pushshift.

Por que pesquisadores dependiam do Pushshift?

Pesquisadores dependiam do Pushshift porque ele transformava meses de engenharia de dados em uma consulta. O argumento do próprio artigo é que a pesquisa fica travada em coleta, limpeza e armazenamento antes que a análise possa começar, e que um arquivo mantido remove essa trava. Seus dumps mensais publicados cobriam 651 milhões de submissions e 5.6 bilhões de comentários postados entre 2005 e 2019, e o artigo relata a API servindo 500 milhões de requisições por mês na época da escrita, em janeiro de 2020.

Uma segunda razão era a reprodutibilidade. Um dump mensal é um artefato fixo, então duas equipes rodando a mesma consulta contra o mesmo arquivo obtêm as mesmas linhas, o que chamadas ao vivo contra um site em movimento não conseguem prometer. Equipes que constroem qualquer corpus de longa duração ainda enfrentam o mesmo tradeoff descrito em coleta de dados de redes sociais.

O que mudou para o Pushshift em 2023?

O Reddit reescreveu os termos comerciais da sua Data API em 2023, e o acesso público ao Pushshift não continuou na forma antiga. O marcador datado mais claro está na documentação do Arctic Shift, que se refere aos "previous pushshift dumps (2023-03 and earlier)", colocando o fim da série pública de dumps em março de 2023. A mudança nos preços de desenvolvedor do próprio Reddit que está por trás disso é coberta em preços da API do Reddit.

Os dois lados da disputa expuseram uma posição coerente. O caso do Reddit era contratual e comercial: seus Data API Terms e Developer Terms governam quem pode levar conteúdo do Reddit, redistribuição e uso comercial precisam de permissão, e a empresa caminhava para licenciamento pago de dados. O lado contratual está exposto por inteiro em quando fazer scraping do Reddit é legal. O caso dos pesquisadores era sobre o corpus: estudos de moderação, assédio e desinformação tinham sido construídos sobre um arquivo sem equivalente, e perder o acesso aberto a ele quebrou a replicação de trabalho publicado e travou projetos em andamento. Nenhuma das posições resolve a outra, e o resultado foi um serviço mais estreito, não um acordo.

Linha do tempo do Pushshift
1
Abril de 2015. O subreddit r/pushshift é criado, e o arquivo começa a coletar posts e comentários do Reddit em tempo real.
2
Janeiro de 2020. Baumgartner e seus coautores publicam o artigo do dataset, documentando busca em texto completo, agregações e um corpus de 651 milhões de submissões e 5,6 bilhões de comentários.
3
Março de 2023. O Reddit reescreve os termos de sua API de dados, e a série pública de dumps termina, segundo a documentação do Arctic Shift.
4
Hoje. O pushshift.io funciona sob o Network Contagion Research Institute, e seus termos limitam o acesso a moderadores do Reddit fazendo trabalho de moderação.
Quatro marcos indicam a distância entre o arquivo aberto de 2015 e o serviço restrito a moderadores que roda hoje.

Quem pode usar o Pushshift agora?

Apenas moderadores do Reddit podem usar o Pushshift agora, e apenas para trabalho de moderação. Os termos publicados em pushshift.io afirmam que a pessoa "certifies that they are a registered user of Reddit and a Reddit moderator" e pode acessar os dados "for the express limited purposes of community moderation, enforcing Reddit community guidelines, and ensuring community member safety". O acesso passa por um fluxo OAuth que devolve um bearer token que expira em 24 horas, e que quem chama envia no header Authorization para endpoints documentados em api.pushshift.io.

Os mesmos termos carregam adiante as restrições comerciais do Reddit. Um moderador concorda em não "commercialize the distribution of Reddit Services and Data in any manner", uma cláusula que a página expande para cobrir vender, alugar, sublicenciar, monetizar e redistribuir os dados ou produtos derivados construídos sobre eles. Uma equipe de marketing, uma agência ou uma startup não se qualifica sob esses termos, então trate o Pushshift como indisponível para trabalho comercial e use um caminho licenciado.

Racks de servidores em um data center, representando a infraestrutura de arquivo que hoje hospeda os dumps de dados do Reddit.

O que os pesquisadores usam no lugar do Pushshift?

Pesquisadores que precisam de dumps abertos do Reddit hoje usam o Arctic Shift, que publica dumps mensais gratuitos, uma API e uma ferramenta de busca na web, e cuja série de dumps continua onde os arquivos do Pushshift param. Esse projeto é o sucessor prático para trabalho de corpus, e como o Arctic Shift reconstruiu o acesso público aos dados do Reddit cobre seus formatos, cobertura e limites. Para achar uma única thread em vez de montar um corpus, as ferramentas do próprio Reddit ainda funcionam, como a busca do Reddit explica.

O Pushshift importa para o monitoramento de marca?

O Pushshift não resolve monitoramento de marca, porque monitorar exige conversas novas em minutos e o Pushshift hoje está fechado para uso comercial. Arquivos respondem perguntas sobre o passado, enquanto uma ferramenta de monitoramento observa o presente e diz qual menção vale uma resposta. A RedReplier observa Reddit, X, Bluesky, Facebook e Hacker News juntos, classifica menções por intenção de compra e explica por que cada uma foi sinalizada, que é o trabalho que um arquivo nunca fez. O tradeoff contra construir sobre endpoints crus por conta própria está exposto em RedReplier comparada com a API do Reddit.

Perguntas frequentes

O Pushshift foi encerrado?

O Pushshift não foi encerrado, mas não é mais o arquivo aberto que era. O site em pushshift.io está no ar e serve uma API, e seus termos restringem o uso a usuários registrados do Reddit que sejam moderadores, agindo pela moderação e pela segurança da comunidade. Os dumps públicos deixaram de ser publicados na série antiga depois de março de 2023, segundo a documentação do Arctic Shift.

RedReplier
RedReplier

Começar

Reddit, X, Bluesky e HN

Alertas de intenção em tempo real

Respostas IA ilimitadas

Classificado por intenção de compra

Ainda dá para baixar os dumps do Pushshift?

A série de dumps do Pushshift termina em março de 2023, então nada mais novo existe sob esse nome. O Arctic Shift publica dumps mensais que continuam a série e são gratuitos para download. Arquivos antigos do Pushshift circulam por espelhos de terceiros, e a posição de licença deles depende dos termos do Reddit, não do espelho.

Quem toca o Pushshift hoje?

O serviço pushshift.io hoje se apresenta como NCRI Reddit Access, tocado sob o Network Contagion Research Institute. Jason Baumgartner criou a plataforma e é o primeiro autor do artigo do dataset de 2020, que já listava o NCRI entre as filiações dos autores. Os termos de uso atuais no site são a declaração oficial de quem pode acessá-lo.

Para que a API do Pushshift era usada?

A API do Pushshift era usada para busca histórica no Reddit, consultas em texto completo sobre comentários e submissions, e contagens agregadas de atividade ao longo do tempo. Estudos acadêmicos de moderação, comportamento de comunidade e dano online a usavam, e ferramentas e bots do Reddit também. O artigo de 2020 relata a API servindo 500 milhões de requisições por mês naquele momento.

Por que o Reddit restringiu o Pushshift?

A base declarada do Reddit foram seus Data API Terms e Developer Terms, que governam quem pode acessar conteúdo do Reddit e barram redistribuição comercial sem permissão. A empresa migrou para acesso a dados pago e licenciado em 2023, e um arquivo gratuito de terceiros com o mesmo conteúdo ficava fora desse modelo. Pesquisadores argumentaram que a restrição removeu um corpus do qual o trabalho publicado deles dependia.

O acesso ao Pushshift hoje é governado pelos termos do próprio site, que permitem uso por moderadores para fins de moderação e proíbem comercializar os dados. Usá-lo fora desses termos viola um acordo que você aceita ao autorizar, seja qual for a questão jurídica separada sobre scraping. Para o contrato e a jurisprudência por trás dessa distinção, veja a análise de quando fazer scraping do Reddit é legal.

Quantos dados o Pushshift arquivou?

Os dumps mensais publicados pelo Pushshift cobriam 651 milhões de submissões e 5,6 bilhões de comentários postados entre 2005 e 2019. O artigo do dataset de 2020 relata que a API atendia 500 milhões de requisições por mês na época em que foi escrito. Essa escala explica por que uma única consulta conseguia responder perguntas que de outra forma exigiriam meses de scraping.

Que tecnologia sustentava o Pushshift?

O Pushshift rodava com um motor de ingestão alimentando um banco de dados PostgreSQL e um cluster Elasticsearch. Sua API HTTP expunha diretamente o comportamento de busca e agregação do Elasticsearch. Essa arquitetura explica por que uma única consulta retornava resultados em vez de milhares de chamadas paginadas contra a API do Reddit.

Posso usar o Pushshift para pesquisa comercial?

Não. Os termos publicados no pushshift.io restringem o acesso a moderadores registrados do Reddit agindo para moderação, aplicação das diretrizes da comunidade e segurança dos membros, e proíbem comercializar a distribuição dos dados de qualquer forma. Uma equipe de marketing, uma agência ou uma startup não se enquadra nesses termos, então projetos comerciais precisam de uma via licenciada.

O Arctic Shift é a mesma coisa que o Pushshift?

O Arctic Shift é um projeto separado, não o Pushshift com outro nome. Ele publica dumps mensais gratuitos, uma API e uma ferramenta de busca web, e sua série de dumps continua de onde os arquivos do Pushshift pararam em março de 2023. Pesquisadores o usam hoje para o trabalho de corpus que antes era coberto pelo Pushshift.

Veja-nos mais no Google

Um clique marca a RedReplier como fonte preferida e nossos artigos passam a aparecer mais acima nas suas Principais notícias, no modo IA e nas visões gerais com IA.

Antes de você ir...

RedReplier

RedReplier

Alcance cada comprador que procura o que você vende

O RedReplier monitora Reddit, X, Bluesky e Hacker News em tempo real, classifica cada tópico por intenção de compra e redige a sua resposta, para que você chegue primeiro.

Reddit, X, Bluesky e HN

Alertas de intenção em tempo real

Respostas IA ilimitadas

Classificado por intenção de compra

Artigos relacionados