TL;DR
6 min czytaniaProjekt Arctic Shift publikuje darmowe comiesięczne zrzuty postów i komentarzy z Reddita sięgające 2005 roku, a do tego API i wyszukiwarkę w przeglądarce działające na tych samych danych. Jego zrzuty kontynuują serię Pushshift, która kończy się na marcu 2023. Dostęp jest bezpłatny i nie wymaga klucza, a hostowane API nie ma gwarancji dostępności.
Czym jest Arctic Shift?
Arctic Shift to projekt publikujący darmowe comiesięczne zrzuty postów i komentarzy z Reddita, publiczne API do tych samych rekordów oraz wyszukiwarkę w przeglądarce, a wszystko to utrzymuje użytkownik GitHuba ArthurHeitmann. README projektu podaje, że jego celem jest udostępnianie danych z Reddita badaczom, moderatorom i wszystkim innym. Sposób dostępu dobierz do skali: narzędzie w przeglądarce do jednego wątku, API do kilku tysięcy rekordów, zrzuty do całego korpusu.
| Sposób dostępu | Gdzie się znajduje | Najlepszy do | Koszt |
|---|---|---|---|
| Comiesięczne zrzuty | Linki do pobrania w repozytorium GitHub | Pełne historie subredditów, budowa korpusu | Za darmo, plus własny dysk i moc obliczeniowa |
| Publiczne API | arctic-shift.photon-reddit.com | Skryptowe pobieranie tysięcy rekordów | Za darmo, bez klucza i gwarancji dostępności |
| Wyszukiwarka w przeglądarce | arctic-shift.photon-reddit.com | Ręczne szukanie usuniętego posta lub historii użytkownika | Za darmo, bez instalacji |
Wszystkie trzy sposoby korzystają z tych samych danych, więc zapytanie sprawdzone w przeglądarce da taki sam wynik przez API.

Jakie dane obejmuje Arctic Shift?
Arctic Shift obejmuje posty i komentarze z Reddita zbierane przez oficjalne API Reddita, z wyłączeniem subredditów prywatnych i objętych kwarantanną. Indeks zrzutów zaczyna się w czerwcu 2005, blisko początków samego Reddita, i sięga wydań z ostatnich miesięcy, więc archiwum jest jednocześnie historyczne i na bieżąco uzupełniane. Przed zaplanowaniem badania sprawdź plik z linkami do pobrania w repozytorium, bo to on jest miarodajnym źródłem informacji o dostępnych miesiącach.
Format pliku to jeden obiekt JSON na post lub komentarz, dzięki czemu zrzut jest strumieniem rozdzielonym znakami nowej linii, który można przetwarzać bez wczytywania całości. Od listopada 2023 projekt pobiera każdy element dwa razy, w odstępie około 36 godzin, więc rekord zawiera edycje, usunięcia i zmiany punktacji z tego okresu. Od kwietnia 2024 pliki są dystrybuowane wyłącznie jako .zst, więc do ich odczytu potrzebujesz Pythona 3.10 lub nowszego i biblioteki zstandard.
Jaki jest związek Arctic Shift z Pushshift?
Zrzuty Arctic Shift kontynuują serię publikowaną przez Pushshift, która kończy się na marcu 2023. Dokumentacja plików projektu wyraźnie wyznacza tę granicę: zmiany w sposobie zbierania dotyczą późniejszych zrzutów, a nie wcześniejszych zrzutów Pushshift z 2023-03 i starszych. Badacze, którzy zbudowali procesy na ścieżkach plików Pushshift, mogą więc skierować ten sam proces na Arctic Shift dla wszystkiego po tej dacie.
Oba archiwa istnieją obok siebie i jedno nie zastępuje drugiego. README Arctic Shift wymienia obok siebie Pushshift i PullPush, każdy z własną procedurą zgłaszania usunięcia danych, co stanowi praktyczną mapę tego, gdzie dziś znajdują się dane archiwalne Reddita. O stronie platformy opowiada artykuł o cenach API Reddita, który omawia zmiany dla osób czytających Reddita na dużą skalę, a o monitoringu porównanie RedReplier z Pushshift.
Jakie są limity zapytań API Arctic Shift?
Arctic Shift nie publikuje liczbowego limitu, a dokumentacja API stwierdza jedynie, że zwykły użytkownik wysyłający kilka żądań na sekundę nie ma się czym martwić. Limity są dynamiczne i zależą od obciążenia serwera, więc pułap zmienia się wraz z tym, o co w danej chwili pytają inni. Napisz klienta tak, aby wycofywał się przy ograniczeniu, a nie trzymał stałego budżetu.
Gdy trafisz na limit, API odpowiada kodem 429 i zwraca nagłówki X-RateLimit-Reset oraz X-RateLimit-Reset-At, które mówią, kiedy limit się zresetuje. Odczytaj je i poczekaj do resetu, zamiast ponawiać na ślepo. Na oficjalnej platformie stałe limity działają inaczej, a ich wartości omawia artykuł o limitach API Reddita.

Do czego ludzie używają Arctic Shift?
Z Arctic Shift korzystają trzy grupy: naukowcy budujący zbiory danych, moderatorzy odtwarzający wydarzenia we własnych społecznościach i wszyscy, którzy chcą odzyskać usunięty post. Archiwum odpowiada na pytania, na które nie odpowie bieżące API Reddita, bo API zwraca to, co istnieje teraz, a archiwum to, co istniało wtedy. Ta różnica to cały powód istnienia projektu.
Praca nad zbiorami danych opiera się na zrzutach, bo badanie obejmujące rok jednego subreddita to operacja na pliku, a nie tysiące żądań. Moderatorzy korzystają z API i narzędzia w przeglądarce, pobierając historię komentarzy użytkownika lub drzewo usuniętego wątku. Oba zastosowania mieszczą się w szerszej praktyce omówionej w artykule o zbieraniu danych z mediów społecznościowych, a ramy prawne ponownego wykorzystania tych danych opisuje tekst czy web scraping jest legalny.
Kiedy Arctic Shift nie jest właściwym narzędziem?
Arctic Shift nie sprawdzi się, gdy musisz dowiedzieć się o rozmowie, która wciąż trwa. Archiwum z założenia patrzy wstecz, jest publikowane co miesiąc, nie ma alertów, a hostowane API nie gwarantuje dostępności. Zbiór danych wydany w przyszłym miesiącu nie powie Ci, że ktoś dziś rano pytał o produkt taki jak twój.
To zadanie dla produktu do monitoringu. RedReplier obserwuje razem Reddita, X, Bluesky, Facebooka i Hacker News, szereguje wzmianki według intencji zakupowej, wyjaśnia z pomocą AI, dlaczego każda została oznaczona, a potem wysyła e-mail w odstępach zależnych od planu. Konfigurację opisuje strona o monitorowaniu słów kluczowych na Reddicie, a to, co zwraca wyszukiwarka samego serwisu, zanim w ogóle sięgniesz po archiwum, wyjaśnia artykuł o tym, jak działa wyszukiwarka Reddita.
Najczęściej zadawane pytania
Czy Arctic Shift jest darmowy?
Tak. Zrzuty, API i wyszukiwarka w przeglądarce są bezpłatne, a API nie wymaga klucza. Twoje pozostają jedynie koszty miejsca na dysku na zrzuty i mocy obliczeniowej do ich rozpakowania i przetwarzania.
RedReplier
Rozpocznij
Reddit, X, Bluesky i HN
Alerty o intencjach w czasie rzeczywistym
Nielimitowane odpowiedzi AI
Ocena według intencji zakupowej
Czy Arctic Shift zawiera usunięte posty i komentarze?
Rekordy są pobierane dwa razy, w odstępie około 36 godzin, więc post usunięty po drugim pobraniu pozostaje w archiwum w zapisanej postaci. Post usunięty kilka minut po publikacji mógł nigdy nie zostać zebrany. Projekt prowadzi też procedurę usuwania dla osób, które chcą wycofania własnych treści.
Jakiego formatu plików używają zrzuty Arctic Shift?
Pliki to skompresowane strumienie .zst zawierające jeden obiekt JSON na post lub komentarz. Do odczytu potrzebny jest Python 3.10 lub nowszy z zainstalowaną biblioteką zstandard. Repozytorium zawiera skrypty do iterowania po zrzucie bez rozpakowywania całego pliku na dysk.
Jak daleko wstecz sięgają dane Arctic Shift?
Indeks zrzutów zaczyna się w czerwcu 2005 i sięga najnowszego wydania miesięcznego. Wcześniejsza część tego zakresu pochodzi ze zrzutów Pushshift z marca 2023 i starszych, które Arctic Shift publikuje ponownie bez zmian.
Czy Arctic Shift obejmuje prywatne subreddity?
Nie. Zbieranie odbywa się przez oficjalne API Reddita, które pomija subreddity prywatne i objęte kwarantanną, więc żadne z nich nie trafiają do zrzutów. Wszystko, co znajdziesz w archiwum, było publiczne na Reddicie w chwili zapisu.
Czy Arctic Shift może zastąpić narzędzie do monitorowania Reddita na żywo?
Nie. Comiesięczne zrzuty i archiwalne API odpowiadają na pytania o przeszłość, a monitoring na pytania o ostatnią godzinę. Używaj Arctic Shift do badań, a narzędzia do monitoringu do wszystkiego, na co zamierzasz odpowiedzieć.
Kto utrzymuje Arctic Shift?
Arctic Shift utrzymuje użytkownik GitHuba ArthurHeitmann, który publikuje zrzuty, API i wyszukiwarkę z tego samego repozytorium. README projektu podaje, że jego celem jest udostępnianie danych z Reddita badaczom, moderatorom i wszystkim innym. Jeden opiekun prowadzi wszystkie trzy sposoby dostępu na tych samych danych.
Gdzie pobrać zrzuty Arctic Shift?
Comiesięczne zrzuty to linki do pobrania opublikowane bezpośrednio w repozytorium GitHub, niezależnie od API i narzędzia w przeglądarce. Przed rozpoczęciem badania sprawdź plik z linkami, bo to on jest miarodajnym wykazem dostępnych miesięcy. Każdy plik to strumień .zst, gotowy do użycia ze skryptami z repozytorium, które iterują po nim bez rozpakowywania całości na dysk.
Co powinien zrobić mój kod, gdy Arctic Shift zwróci 429?
Odpowiedź 429 zawiera nagłówki X-RateLimit-Reset i X-RateLimit-Reset-At, które dokładnie podają, kiedy limit się zresetuje. Odczytaj je i poczekaj do resetu, zamiast ponawiać na ślepo lub trzymać się stałego budżetu żądań. Arctic Shift w ogóle nie publikuje liczbowego limitu, bo pułap zmienia się wraz z obciążeniem serwera.
Czy mogę używać danych Arctic Shift i Pushshift w jednym procesie?
Oba archiwa łączą się bezpośrednio, bo zrzuty Arctic Shift zaczynają się tam, gdzie seria Pushshift kończy się na marcu 2023. Dokumentacja plików Arctic Shift zaznacza, że zmiany w zbieraniu, takie jak dwukrotne pobieranie każdego elementu, dotyczą tylko zrzutów po tej dacie, a nie wcześniejszych plików Pushshift. Proces zbudowany na ścieżkach plików Pushshift można skierować na Arctic Shift dla wszystkiego, co powstało po marcu 2023.
Więcej naszych treści w Google
Jedno kliknięcie oznacza RedReplier jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych wiadomościach, trybie AI i Podsumowaniach AI.
Jeszcze chwila...
RedReplier
Żaden kupujący pytający o ofertę nie umknie
RedReplier śledzi Reddita, X, Bluesky i Hacker News w czasie rzeczywistym, ocenia każdy wątek pod kątem intencji zakupowej i przygotowuje odpowiedź, by dotrzeć tam jako pierwszy.
Reddit, X, Bluesky i HN
Alerty o intencjach w czasie rzeczywistym
Nielimitowane odpowiedzi AI
Ocena według intencji zakupowej
Powiązane artykuły


Czym był Pushshift i co zastąpiło go w badaniach Reddita
Archiwum Reddita Pushshift od 2015 roku indeksowało posty i komentarze na bieżąco. Dziś pushshift.io obsługuje tylko moderatorów, na warunkach API Reddita.


Gdzie można przeszukiwać komentarze na Reddicie, a gdzie nie
Aby przeszukać komentarze na Reddicie, użyj filtra Comments, wyszukiwarki w poście lub listy komentarzy na profilu. Wyszukiwanie w API całkowicie je pomija.


Not Safe For Work: co znaczy NSFW i co naprawdę ukrywa to oznaczenie
NSFW to skrót od Not Safe For Work. Na Reddicie oznaczenie dotyczy posta i subreddita, rozmywa multimedia i odpowiada osobnemu polu over_18 w API.

