Python do zaawansowanego skrobania sieci: omijanie mechanizmów zapobiegających skrobaniu za pomocą Scrapy i Selenium

WSTĘP

Dlatego też skrobanie sieci stało się podstawową metodą eksploracji danych. Należy jednak pamiętać, że dzisiejsze strony internetowe są chronione przez zaawansowane systemy zgodności zapobiegające skrobaniu, które zapobiegają takim procesom. W tym wpisie na blogu szczegółowo omówimy, w jaki sposób Python wraz z Scrapy i Selenium pomaga programistom usuwać dane, zwłaszcza z wysoce chronionych witryn internetowych. Przyjrzyjmy się innowacyjnym metodom usług tworzenia stron internetowych w języku Python,które pozwalają pokonać kody CAPTCHA, uniknąć wykrycia i zachować etyczne zachowanie.

Scrapy kontra Selenium: szczegółowe porównanie

• Scrapy

Scrapy to prosta platforma spideringowa w języku Python, działająca w skali internetowej. Jego siłę najlepiej odzwierciedla zdolność do radzenia sobie ze statycznymi stronami internetowymi i indeksowania dużej ilości danych.

Mocne strony:

Szybkość: W przeciwieństwie do innych narzędzi do skrobania, Scrapy opiera się na żądaniach asynchronicznych, co zwiększa prędkość skrobania.

Możliwość dostosowania:posiada potoki pozyskiwania i czyszczenia danych.

Skalowalność: zasadniczo pomocna podczas skrobania, które obejmuje kilka witryn internetowych udostępniających dużą ilość danych.

Wbudowane funkcje: zawiera metody postępowania z plikami robots.txt, plikami cookie i nagłówkami.

• Selen

Selenium to narzędzie stworzone do automatyzacji przeglądarki specjalnie dla dynamicznych i interaktywnych stron internetowych.

Mocne strony:

Dynamiczna obsługa treści:jeśli chodzi o strony bogate w JavaScript, Selenium radzi sobie najlepiej.

Interaktywność: umożliwia użytkownikom klikanie, pisanie na klawiaturze i przewijanie kółka lub paska za pomocą myszy.

Rozwiązywanie CAPTCHA: Najbardziej odpowiednie, gdy istnieje potrzeba przetestowania użycia systemu przez użytkownika.

Debugowanie wizualne: podczas debugowania można wyświetlić wyrenderowaną stronę z perspektywy programistów.

Kiedy decydujemy pomiędzy użyciem Scrapy i Selenium, istnieje kilka czynników przedstawionych poniżej, które bierzemy pod uwagę przy podejmowaniu decyzji.

Statyczne strony internetowe: użyj Scrapy, aby zwiększyć wydajność.

Dynamiczne strony internetowe: Selenium lepiej radzi sobie z usuwaniem treści opracowanych przez JavaScript.

Podejście hybrydowe:użyj Scrapy do ogólnych zadań związanych z przeglądaniem stron internetowych, a następnie użyj Selenium do określonych stron internetowych, które wymagają przetwarzania JavaScript.

Zaawansowane techniki pozwalające uniknąć wykrycia

Czy ktoś próbował użyć mechanizmów zapobiegających skrobaniu, aby przeciwdziałać nietypowym zachowaniom? Poniżej znajdują się zaawansowane techniki pozwalające pozostać niewykrytym:

1. Rotacja agentów użytkownika

Witryny śledzą takich agentów w celu wykrywania botów i skrobaków. Rotacyjne programy użytkownika imitują różne urządzenia i przeglądarki.

Przykład wdrożenia:

z fake_useragent zaimportuj UserAgent

nagłówki = {

„User-Agent”: UserAgent().random

}

2. Zarządzanie proxy

Porty maskują Twój adres IP i zapewniają, że nie spotkasz się z zakazami IP. Okresowa rotacja serwerów proxy pomaga zachować anonimowość.

Popularni dostawcy proxy:

Jasne dane

Siatka proxy

Inteligentne proxy

Używanie serwerów proxy w Scrapy:

DOWNLOADER_MIDDLEWARE = ​​{

„scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware”: 1,

„myproject.middlewares.ProxyMiddleware”: 100,

}

3. Poproś o ograniczenie przepustowości

Szybkie skrobanie jest podejrzane i najprawdopodobniej zostanie wykryte. Użyj Scrapy AutoThrottle, aby utworzyć opóźnienia między żądaniami.

Konfiguracja:

AUTOTHROTTLE_ENABLED = Prawda

AUTOTHROTTLE_START_DELAY = 5

AUTOTHROTTLE_MAX_DELAY = 60

4. Losowe nagłówki żądań

Wiele pól, takich jak Referer, Accept-Language i Cookies, może ukryć żądania tak samo jak człowiek.

5. Wykonanie JavaScriptu

Używaj przeglądarek bezgłowych w Selenium do uruchamiania skryptów Java, a także do przechwytywania nieprostych/dynamicznych stron.

Rozwiązywanie CAPTCHA i przeglądanie bezgłowe za pomocą Selenium

Jeden z największych problemów web scrapingu kryje się pod nazwą CAPTCHA. Funkcje automatyzacji Selenium umożliwiają rozwiązywanie CAPTCHA, a także przeglądanie bezgłowe.

1. Rozwiązywanie CAPTCHA

Korzystanie z interfejsów API innych firm

Usługi takie jak 2Captcha i Anti-Captcha mogą zautomatyzować rozwiązywanie CAPTCHA.

Przykładowa implementacja:

żądania importu

odpowiedź = żądania.post('https://2captcha.com/in.php', dane={

„klucz”: API_KEY,

„metoda”: „userrecaptcha”,

„klucz Google”: CAPTCHA_KEY,

„pageurl”: PAGE_URL

})

Podejścia do uczenia maszynowego

W trudnych CAPTCHA możliwa jest identyfikacja tekstu lub wzorców za pomocą modeli uczących się sztucznej inteligencji. Można do tego wykorzystać programy takie jak TensorFlow i OpenCV.

2. Przeglądanie bez głowy

Przeglądarki bezgłowe działają bez interfejsu graficznego, co oznacza, że ​​skrobanie jest szybsze i trudno rozpoznawalne.

Przykład z Selenem:

z webdrivera importującego Selenium

opcje = sterownik sieciowy.ChromeOptions()

opcje.add_argument('-bezgłowy')

sterownik = webdriver.Chrome(opcje=opcje)

sterownik.get('https://example.com')

Skrobanie zawartości dynamicznej: przypadki użycia i przykłady

1. Strony internetowe handlu elektronicznego

Wyzwanie:Dynamiczne kategorie produktów i mniejsze bloki produktów podzielone na strony.

Rozwiązanie:Scrapy do przeszukiwania i pobierania wielu stron internetowych dla tych samych produktów, Selenium do renderowania szczegółów produktu.

2. Witryny z wiadomościami

Wyzwanie: Artykuły ładowane za pomocą AJAX na stronę po jej pierwszym załadowaniu.

Rozwiązanie: W Selenium istnieje sposób ładowania innych artykułów, które są wyświetlane, gdy użytkownik przewija stronę w dół.

3. Dane mediów społecznościowych

Wyzwanie: Nieskończone przewijanie i wykorzystanie elementów interaktywnych na stronie.

Rozwiązanie: Do przeskanowania strony i uzyskania danych przydatny jest skrypt wykonawczy Selenium.

Przykład:

SCROLL_PAUSE_TIME = 2

podczas gdy prawda:

sterownik.execute_script(“window.scrollTo(0, document.body.scrollHeight);”)

czas.uśpienia(SCROLL_PAUSE_TIME)

Względy etyczne i wytyczne prawne

1. Szacunek dla pliku Robots.txt

Najpierw przejdź do witryny, którą chcesz zeskrobać, i przeprowadź wstępne badania, aby określić zasady dotyczące skrobania określone online w pliku robots.txt.

2. Unikaj nadmiernego obciążenia

Skrobanie może odbywać się bardzo często lub z bardzo dużą intensywnością, co nie jest dobre dla serwera strony internetowej. Aby uniknąć znaczącego wpływu, należy ograniczyć lub wprowadzić opóźnienia w procesie zarządzania ryzykiem.

3. Zasady wykorzystania danych

Dane do skrobania sieci powinny być zgodne z RODO, CCPA, a także innymi przepisami i ustawami o ochronie danych.

4. Atrybucja

W przypadku wykorzystania zeskrobanych danych do publikacji należy podać źródło, aby uniknąć naruszeń praw autorskich.

5. Szukaj pozwolenia

Jeśli to możliwe, wymagaj pisemnej zgody na pobranie informacji ze strony internetowej.

Często zadawane pytania

• Czy Scrapy i Selenium można stosować razem?

Tak, efektywne będzie użycie Scrapy do indeksowania, a następnie Selenium do obsługi treści dynamicznych.

1. W jaki sposób serwery proxy pomagają w skrobaniu stron internetowych?

Ukrywają Twój adres IP, aby uniknąć zbanowania, a także otworzyć witryny z ograniczeniami.

• Co to jest przeglądanie bez głowy?

Bezgłowe przeglądanie umożliwia również przeglądanie witryny bez konieczności korzystania z graficznego interfejsu użytkownika, dzięki czemu zajmuje mniej czasu i jest niezauważalne.

• Czy z prawnego punktu widzenia istnieje jakieś ryzyko związane ze skrobaniem sieci?

Cóż, skrobanie danych może również stanowić naruszenie przepisów dotyczących prywatności danych lub warunków korzystania z witryny.

• Co jest lepsze do skrobania na dużą skalę: Scrapy czy Selenium?

Scrapy poprzez Scrapy jest szybsze i można je szybko rozszerzyć, co czyni go odpowiednim do skrobania na dużą skalę w porównaniu do Selenium, który jest odpowiedni dla stron dynamicznych.

Wniosek

W rzeczywistości skrobanie nowoczesnych witryn internetowych wymaga skutecznych narzędzi i technik Pythona. Scrapy i Selenium to dwa potężne narzędzia do skrobania, które obejmują zarówno statyczne, jak i dynamiczne skrobanie stron HTML. Opracowywanie nowych programów użytkownika, serwerów proxy i rozwiązywania problemów captcha to jeden ze skutecznych zestawów praktyk pozwalających uniknąć takich mechanizmów. Jednak w przypadku korzystania z metody skrobania sieci w przypadku zabronionego i niezgodnego z prawem użycia należy zawsze brać pod uwagę czynniki etyczne.