Podatności Scrapy

Scrapy to framework do przeszukiwania i scrapowania sieci w Pythonie. Od wersji 1.4.0 do 2.14.2, RefererMiddleware w scrapy/spidermiddlewares/referer.py traktował wartość nagłówka odpowiedzi Referrer-Policy, która przypominała ścieżkę importu Pythona, jako klasę polityki referrer, importował wskazany obiekt i wywoływał go. Złośliwa strona internetowa mogła dostarczyć wywoływalny obiekt, taki jak sys.exit, i zakończyć działanie przeszukiwacza przetwarzającego odpowiedź. Problem naprawiono w wersji 2.14.2.

Scrapy w wersji 1.4 pozwala zdalnym atakującym na wywołanie odmowy usługi (zużycie pamięci) poprzez przesyłanie dużych plików, ponieważ dowolna liczba plików jest ładowana do pamięci. Problem ten nasila się, gdy pliki są następnie zapisywane w osobnym wątku do wolnego zasobu pamięci masowej.

Scrapy, framework do web crawlingu i scrapingu w Pythonie, przed wersją 2.17.0 ma podatność w scrapy/core/downloader/handlers/s3.py, gdzie S3DownloadHandler konwertuje żądanie z schematem S3 na zwykłe żądanie HTTP do odpowiedniego punktu końcowego S3, chyba że request.meta["is_secure"] jest jawnie włączone, a następnie podpisuje i wysyła to żądanie z skonfigurowanymi poświadczeniami AWS. Atakujący sieciowy, który może obserwować ruch między Scrapy a S3, może odczytać ścieżkę bucket i klucz, nagłówek Authorization AWS, X-Amz-Security-Token przy użyciu tymczasowych poświadczeń, zawartość obiektów S3 i nagłówki odpowiedzi S3. Aktywny atakujący man-in-the-middle może również modyfikować treść odpowiedzi S3, kod statusu i nagłówki przed przetworzeniem przez Scrapy, powodując zatrucie danych scrapowanych, zatrucie eksportów, zatrucie pamięci podręcznej HTTP, gdy buforowanie jest włączone, lub wpływ na późniejsze cele crawl poprzez sfałszowane przekierowania lub linki kontrolowane przez atakującego.