TL;DR
7 min czytaniaPushshift był platformą do zbierania i archiwizowania danych, która kopiowała posty i komentarze z Reddita w chwili ich powstania i pozwalała każdemu przeszukiwać tę kopię wstecz, z wyszukiwaniem pełnotekstowym i agregacjami, których oficjalne API nigdy nie oferowało. Jego publiczna seria zrzutów kończy się na marcu 2023 roku. Usługa pushshift.io działa dziś pod szyldem Network Contagion Research Institute, a jej regulamin ogranicza dostęp do moderatorów Reddita wykonujących pracę moderatorską.
Czym jest Pushshift?
Pushshift był platformą do zbierania, analizy i archiwizacji danych z mediów społecznościowych, która kopiowała posty i komentarze z Reddita w chwili ich powstania, a potem pozwalała odpytywać tę kopię w sposób niedostępny w oficjalnym API Reddita. Artykuł o zbiorze danych, opublikowany przez autorów w 2020 roku, opisuje platformę, która "since 2015 has collected Reddit data and made it available to researchers", aktualizowaną na bieżąco i sięgającą początków Reddita (arXiv:2001.08435). Usługa pushshift.io nadal działa, ale prowadzi ją teraz Network Contagion Research Institute, a jej regulamin ogranicza dostęp do moderatorów Reddita.
Co potrafił Pushshift, czego nie potrafiło API Reddita?
Pushshift odpowiadał na pytania historyczne obejmujące cały korpus, a do tego własne API Reddita nigdy nie było przeznaczone. Artykuł z 2020 roku wprost wymienia różnice: wyszukiwanie pełnotekstowe w komentarzach i zgłoszeniach, limit pojedynczego zapytania pięć razy większy niż redditowy limit 100 obiektów oraz endpointy agregujące, które autorzy nazywają "a feature that the Reddit API lacks entirely". Kto planuje dziś takie zapytania, powinien oprzeć je na korpusie hostowanym u siebie albo na archiwum publikującym zrzuty, bo oficjalne API zwraca listy, a nie agregaty. Skąd bierze się ta luka, wyjaśnia mechanika limitów zapytań API Reddita.
| Możliwość | Pushshift według opisu z 2020 roku | Oficjalne Reddit Data API |
|---|---|---|
| Wyszukiwanie historyczne | Zapytania do całego archiwum, od początków Reddita | Listy i wyszukiwanie ograniczone do tego, co endpoint zwraca teraz |
| Wyszukiwanie pełnotekstowe | Tak, w komentarzach i zgłoszeniach | Niedostępne dla archiwum jako całości |
| Obiekty na zapytanie | Pięć razy więcej niż limit Reddita, według artykułu | Limit 100 obiektów |
| Agregacje | Endpointy agregujące na całym zbiorze | Brak, według artykułu |
| Dostęp hurtowy | Comiesięczne zrzuty do pobrania | Brak zrzutów |
Pushshift osiągnął to dzięki mechanizmowi pobierania danych, który zasilał bazę PostgreSQL i klaster Elasticsearch, a potem udostępniał wyszukiwanie i agregacje Elasticsearch przez własne API HTTP. Dzięki tej architekturze odpowiedź przychodziła w jednym wywołaniu, a nie w tysiącach.
Kto stworzył Pushshift?
Pushshift zbudował i prowadził Jason Baumgartner. Jest on pierwszym autorem pracy The Pushshift Reddit Dataset, napisanej z Savvasem Zannettou, Brianem Keeganem, Megan Squire i Jeremym Blackburnem i zgłoszonej do arXiv 23 stycznia 2020 roku. Artykuł podaje jego afiliację jako Pushshift.io obok Network Contagion Research Institute i iDRAMA Lab, a powstanie subreddita r/pushshift datuje na kwiecień 2015 roku. Gdy sekcja metodologiczna wymaga źródła danych, cytuj tę pracę, a nie wpis na blogu.

Dlaczego badacze polegali na Pushshift?
Badacze polegali na Pushshift, bo zamieniał miesiące inżynierii danych w jedno zapytanie. Sam artykuł dowodzi, że badania blokuje zbieranie, czyszczenie i przechowywanie danych, zanim w ogóle ruszy analiza, a utrzymywane archiwum tę blokadę usuwa. Publikowane comiesięczne zrzuty obejmowały 651 mln zgłoszeń i 5,6 mld komentarzy z lat 2005-2019, a według artykułu w styczniu 2020 roku API obsługiwało 500 mln zapytań miesięcznie.
Drugim powodem była powtarzalność. Comiesięczny zrzut to niezmienny plik, więc dwa zespoły uruchamiające to samo zapytanie na tym samym pliku dostają te same wiersze, czego nie zagwarantują wywołania API na żywo w zmieniającym się serwisie. Zespoły budujące długoterminowy korpus wciąż stoją przed tym samym kompromisem, który opisuje tekst o zbieraniu danych z mediów społecznościowych.
Co zmieniło się dla Pushshift w 2023 roku?
W 2023 roku Reddit przepisał warunki komercyjne swojego Data API, a publiczny dostęp do Pushshift nie przetrwał w dawnej formie. Najwyraźniejszą datę podaje dokumentacja Arctic Shift, która mówi o "previous pushshift dumps (2023-03 and earlier)", co koniec publicznej serii zrzutów lokuje w marcu 2023 roku. Stojącą za tym zmianę cen dla deweloperów opisuje tekst o cenach API Reddita.
Obie strony sporu miały spójne stanowiska. Argumenty Reddita były umowne i komercyjne: Data API Terms i Developer Terms określają, kto może pobierać treści z Reddita, redystrybucja i użycie komercyjne wymagają zgody, a firma zmierzała w stronę płatnego licencjonowania danych. Stronę umowną w całości omawia tekst o tym, kiedy scrapowanie Reddita jest legalne. Argumenty badaczy dotyczyły korpusu: badania nad moderacją, nękaniem i dezinformacją powstawały na archiwum bez odpowiednika, a utrata otwartego dostępu uniemożliwiła replikację opublikowanych prac i wstrzymała trwające projekty. Żadne stanowisko nie unieważnia drugiego, a skończyło się węższą usługą, nie porozumieniem.
Kto może dziś korzystać z Pushshift?
Z Pushshift mogą dziś korzystać wyłącznie moderatorzy Reddita i tylko do pracy moderatorskiej. Regulamin na pushshift.io stwierdza, że użytkownik "certifies that they are a registered user of Reddit and a Reddit moderator" i może korzystać z danych "for the express limited purposes of community moderation, enforcing Reddit community guidelines, and ensuring community member safety". Dostęp odbywa się przez OAuth, który zwraca token typu bearer ważny 24 godziny, a klient wysyła go w nagłówku Authorization do endpointów opisanych na api.pushshift.io.
Ten sam regulamin przenosi komercyjne ograniczenia Reddita. Moderator zobowiązuje się nie "commercialize the distribution of Reddit Services and Data in any manner", a strona rozszerza tę klauzulę na sprzedaż, dzierżawę, sublicencjonowanie, monetyzację i redystrybucję danych oraz zbudowanych na nich produktów pochodnych. Zespół marketingowy, agencja ani startup nie spełniają tych warunków, więc do pracy komercyjnej traktuj Pushshift jako niedostępny i korzystaj z licencjonowanej drogi.

Czego badacze używają zamiast Pushshift?
Badacze potrzebujący otwartych zrzutów Reddita korzystają dziś z Arctic Shift, które publikuje bezpłatne comiesięczne zrzuty, API i wyszukiwarkę internetową, a jego seria zrzutów zaczyna się tam, gdzie kończą się pliki Pushshift. To praktyczny następca przy pracy na korpusach, a tekst o tym, jak Arctic Shift odbudował publiczny dostęp do danych Reddita, omawia jego formaty, zakres i ograniczenia. Do znalezienia pojedynczego wątku zamiast budowania korpusu nadal wystarczą narzędzia samego Reddita, co wyjaśnia tekst o wyszukiwarce Reddita.
Czy Pushshift ma znaczenie dla monitorowania marki?
Pushshift nie rozwiązuje monitorowania marki, bo monitorowanie wymaga nowych rozmów w ciągu minut, a Pushshift jest dziś zamknięty dla zastosowań komercyjnych. Archiwa odpowiadają na pytania o przeszłość, a narzędzie do monitorowania śledzi teraźniejszość i mówi, która wzmianka zasługuje na odpowiedź. RedReplier obserwuje jednocześnie Reddita, X, Bluesky, Facebooka i Hacker News, porządkuje wzmianki według intencji zakupowej i wyjaśnia, dlaczego każda została wskazana, a tego archiwum nigdy nie robiło. Kompromis wobec samodzielnego budowania na surowych endpointach opisuje porównanie RedReplier z API Reddita.
Najczęściej zadawane pytania
Czy Pushshift został zamknięty?
Pushshift nie został zamknięty, ale nie jest już otwartym archiwum, którym był. Strona pushshift.io działa i udostępnia API, a regulamin ogranicza korzystanie do zarejestrowanych użytkowników Reddita będących moderatorami, działających na rzecz moderacji i bezpieczeństwa społeczności. Według dokumentacji Arctic Shift po marcu 2023 roku publiczne zrzuty w dawnej serii przestały się ukazywać.
RedReplier
Rozpocznij
Reddit, X, Bluesky i HN
Alerty o intencjach w czasie rzeczywistym
Nielimitowane odpowiedzi AI
Ocena według intencji zakupowej
Czy nadal mogę pobrać zrzuty Pushshift?
Seria zrzutów Pushshift kończy się na marcu 2023 roku, więc nic nowszego pod tą nazwą nie istnieje. Arctic Shift publikuje comiesięczne zrzuty, które kontynuują serię i można je pobrać za darmo. Starsze pliki Pushshift krążą po zewnętrznych serwerach lustrzanych, a ich status licencyjny zależy od warunków Reddita, a nie od serwera.
Kto prowadzi dziś Pushshift?
Usługa pushshift.io przedstawia się dziś jako NCRI Reddit Access, prowadzona przez Network Contagion Research Institute. Jason Baumgartner stworzył platformę i jest pierwszym autorem artykułu z 2020 roku, który już wtedy wymieniał NCRI wśród afiliacji autorów. Wiążącą informacją o tym, kto ma dostęp, jest aktualny regulamin na stronie.
Do czego używano API Pushshift?
API Pushshift służyło do historycznego przeszukiwania Reddita, zapytań pełnotekstowych w komentarzach i zgłoszeniach oraz zliczania aktywności w czasie. Korzystały z niego badania akademickie nad moderacją, zachowaniami społeczności i szkodami w sieci, a także narzędzia i boty Reddita. Według artykułu z 2020 roku API obsługiwało wtedy 500 mln zapytań miesięcznie.
Dlaczego Reddit ograniczył Pushshift?
Reddit powoływał się na Data API Terms i Developer Terms, które określają, kto może uzyskiwać dostęp do treści Reddita, i zakazują komercyjnej redystrybucji bez zgody. W 2023 roku firma przeszła na płatny, licencjonowany dostęp do danych, a bezpłatne zewnętrzne archiwum tych samych treści nie mieściło się w tym modelu. Badacze przekonywali, że ograniczenie odebrało im korpus, na którym opierały się ich publikacje.
Czy korzystanie z danych Pushshift jest legalne?
Dostęp do Pushshift regulują dziś warunki na jego stronie, które pozwalają moderatorom korzystać z niego w celach moderacyjnych i zakazują komercjalizacji danych. Użycie poza tymi warunkami narusza umowę, którą akceptujesz przy autoryzacji, niezależnie od odrębnych kwestii prawnych dotyczących scrapowania. Umowę i orzecznictwo stojące za tym rozróżnieniem znajdziesz w analizie tego, kiedy scrapowanie Reddita jest legalne.
Ile danych zarchiwizował Pushshift?
Publikowane comiesięczne zrzuty Pushshift obejmowały 651 mln zgłoszeń i 5,6 mld komentarzy z lat 2005-2019. Artykuł z 2020 roku podaje, że API obsługiwało w chwili jego pisania 500 mln zapytań miesięcznie. Dzięki tej skali jedno zapytanie odpowiadało na pytania, które inaczej wymagałyby miesięcy scrapowania.
Jaka technologia napędzała Pushshift?
Pushshift działał na mechanizmie pobierania danych zasilającym bazę PostgreSQL i klaster Elasticsearch. Jego API HTTP udostępniało klientom bezpośrednio wyszukiwanie i agregacje Elasticsearch. Dzięki tej architekturze jedno zapytanie zwracało wyniki zamiast tysięcy stronicowanych wywołań API Reddita.
Czy mogę używać Pushshift do badań komercyjnych?
Nie. Regulamin pushshift.io ogranicza dostęp do zarejestrowanych moderatorów Reddita działających na rzecz moderacji, egzekwowania zasad społeczności i bezpieczeństwa członków, a także zakazuje komercjalizacji dystrybucji danych w jakiejkolwiek formie. Zespół marketingowy, agencja ani startup nie spełniają tych warunków, więc projekty komercyjne potrzebują licencjonowanej drogi.
Czy Arctic Shift to to samo co Pushshift?
Arctic Shift to odrębny projekt, a nie Pushshift pod nową nazwą. Publikuje bezpłatne comiesięczne zrzuty, API i wyszukiwarkę internetową, a jego seria zrzutów zaczyna się tam, gdzie pliki Pushshift skończyły się w marcu 2023 roku. Badacze używają go dziś do pracy na korpusach, którą kiedyś wykonywał Pushshift.
Więcej naszych treści w Google
Jedno kliknięcie oznacza RedReplier jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych wiadomościach, trybie AI i Podsumowaniach AI.
Jeszcze chwila...
RedReplier
Żaden kupujący pytający o ofertę nie umknie
RedReplier śledzi Reddita, X, Bluesky i Hacker News w czasie rzeczywistym, ocenia każdy wątek pod kątem intencji zakupowej i przygotowuje odpowiedź, by dotrzeć tam jako pierwszy.
Reddit, X, Bluesky i HN
Alerty o intencjach w czasie rzeczywistym
Nielimitowane odpowiedzi AI
Ocena według intencji zakupowej
Powiązane artykuły


Jak Arctic Shift odbudował publiczny dostęp do danych z Reddita
Archiwum Reddita Arctic Shift obejmuje posty i komentarze od 2005 roku, udostępniane w comiesięcznych zrzutach z darmowym API i wyszukiwarką w przeglądarce.


Gdzie można przeszukiwać komentarze na Reddicie, a gdzie nie
Aby przeszukać komentarze na Reddicie, użyj filtra Comments, wyszukiwarki w poście lub listy komentarzy na profilu. Wyszukiwanie w API całkowicie je pomija.


Not Safe For Work: co znaczy NSFW i co naprawdę ukrywa to oznaczenie
NSFW to skrót od Not Safe For Work. Na Reddicie oznaczenie dotyczy posta i subreddita, rozmywa multimedia i odpowiada osobnemu polu over_18 w API.

