Reddit i wielkie AI ograniczają scraping

Reddit za loginem, AI pod presją

Największe platformy internetowe i firmy rozwijające AI coraz wyraźniej zderzają się z jednym problemem: masowym scrapingiem treści. Reddit zapowiedział, że zacznie stopniowo ograniczać dostęp do swoich materiałów dla użytkowników niezalogowanych, a równolegle największe firmy AI pracują nad prostszym mechanizmem wyłączania ich botów z pobierania danych z witryn.

To nie jest tylko kwestia techniczna. W tle są zarówno pieniądze z reklam, jak i spór o to, kto może wykorzystywać treści publikowane w sieci do trenowania modeli AI.

Reddit chce zatrzymać boty

Reddit poinformował, że przechodzi na model "logged-in only", czyli dostęp do części treści ma być stopniowo powiązany z koniecznością zalogowania. Pierwsze testy mają ruszyć w czwartym kwartale 2026 roku w wybranych krajach poza Stanami Zjednoczonymi.

Na razie platforma deklaruje, że:

• strona główna nadal ma być dostępna bez konta,
• użytkownik wchodzący z wyszukiwarki lub zewnętrznego linku powinien móc otworzyć wskazaną stronę,
• do rejestracji nie będzie potrzebny prawdziwy dokument tożsamości,
• w aplikacji mobilnej ma wrócić uproszczony tryb czytania bez aktywnego konta.

Nie wiadomo jednak, które dokładnie kraje obejmie pierwszy etap ani jakie elementy serwisu zostaną ostatecznie zablokowane. To ważne, bo Reddit od lat był praktycznie w całości przeglądalny bez logowania.

Scraping, AI i reklamy

Główny powód zmian jest prosty: Reddit chce ograniczyć nieautoryzowane pobieranie danych, które obejmuje zarówno klasyczny scraping, jak i wykorzystywanie treści przez narzędzia AI oraz wyszukiwarki.

Według spółki większość takich prób odbywa się właśnie poza zalogowaną sesją. W praktyce ma to oznaczać, że dostęp do danych dla dużych graczy technologicznych będzie trudniejszy i potencjalnie droższy, a w dłuższej perspektywie może wymagać licencji.

Zmiana ma też wyraźny wymiar biznesowy. Reddit podkreśla, że użytkownicy zalogowani oraz korzystający z aplikacji generują większość monetyzacji i dostarczają lepszych sygnałów do targetowania reklam. Z kolei ruch z wyszukiwarek zaczyna słabnąć, a platforma notuje spadki odwiedzin od użytkowników niezalogowanych.

Duże firmy AI chcą wspólnego standardu

W tym samym czasie kilka dużych firm z sektora AI, w tym Google, Microsoft, OpenAI i Anthropic, zaczęło mówić jednym głosem o potrzebie łatwiejszego mechanizmu opt-out dla właścicieli stron internetowych.

Proponowane rozwiązanie ma opierać się na nowym sygnale umieszczanym w pliku robots.txt. Ten plik od lat służy do wskazywania, które boty mogą indeksować stronę, a które nie. Teraz pomysł zakłada rozszerzenie tej logiki tak, aby wydawcy i administratorzy mogli jednym ruchem wskazać, czy zgadzają się na:

• indeksowanie,
• archiwizację,
• trenowanie modeli AI,
• scraping przez boty AI.

Istotą zmian ma być to, że właściciel witryny nie musiałby już osobno informować każdego dostawcy AI o swoich preferencjach. Zamiast tego miałby ustawić jedną, spójną politykę dla wielu usług.

Policy-token jako nowy sygnał

W centrum tej koncepcji stoi tzw. policy-token. To propozycja zgłoszona w ramach prac nad standardami internetowymi i analizowana obecnie przez IETF, czyli organizację zajmującą się tworzeniem globalnych standardów sieciowych.

Założenie jest proste: boty i systemy AI miałyby odczytywać ten sygnał z istniejących mechanizmów obsługi robots.txt i traktować go jako jednoznaczny komunikat o tym, czy wolno pobierać treści do celów związanych z AI.

To ważny krok, bo dotychczas właściciele serwisów często musieli rozwiązywać ten problem osobno z każdym podmiotem. W praktyce było to mało wygodne, a bywało też ignorowane.

Czy login naprawdę zatrzyma scraping?

Z technicznego punktu widzenia wymóg logowania podnosi poprzeczkę. Każde żądanie można wtedy powiązać z konkretnym kontem, ograniczać je lub blokować. Do tego dochodzi akceptacja regulaminu, która wzmacnia pozycję prawną platformy.

Ale to nie jest rozwiązanie idealne. Zdeterminowany podmiot nadal może:

• zakładać masowo konta,
• korzystać z proxy,
• automatyzować logowanie,
• obchodzić ograniczenia innymi metodami.

W efekcie taki ruch nie usuwa problemu całkowicie, lecz przede wszystkim zwiększa koszt i trudność masowego pobierania danych.

Co to oznacza dla internetu

Cała sytuacja pokazuje, że internet wchodzi w nową fazę sporu o dostęp do treści. Z jednej strony platformy chcą chronić swoje dane, reklamę i własne interesy biznesowe. Z drugiej — wyszukiwarki i systemy AI traktują otwarte zasoby sieci jako podstawę działania.

Najbardziej odczują to zwykli użytkownicy i twórcy treści, bo każda taka zmiana zwykle oznacza mniej swobodny dostęp do materiałów w sieci. Jedno jest pewne: walka o dane w epoce AI dopiero się rozpoczyna.