Proxys für Web Scraping: der praktische Leitfaden

Proxys fürs Web Scraping lösen ein einfaches Problem: eine Website erkennt eine einzelne IP, die viele Seiten in kurzer Zeit abfragt, und drosselt, prüft oder sperrt sie. Verteilst du dieselbe Arbeit über viele IPs, bleibt jede unter der Grenze, und die Sammlung läuft weiter, statt an einer CAPTCHA-Seite hängenzubleiben. Dazu geben Proxys dir Kontrolle über den Standort, was zählt, sobald ein Ziel Preise oder Inhalte nach Land lokalisiert.

Wir betreiben ein Proxy-Netz über 100 Länder, also steht hier die praktische Version: welcher Typ zu welchem Ziel passt, wie viele IPs du brauchst, rotierend gegen statisch und wie du Sperren vermeidest, statt sie zu überkleben.

Welcher Typ zu welchem Ziel passt

Die Wahl hängt daran, wie hart das Ziel prüft, nicht am Budget.

• Datacenter-Proxys sind billig und schnell, werden aber von verteidigten Seiten als Server erkannt und gesperrt. Gut für undefended oder eigene Ziele, in Menge gegen ein hartes Ziel eine Scheinersparnis.
• Rotierende Residential-Proxys sind echte Wohn-IPs aus einem Pool, frisch pro Anfrage. Sie werden als normale Nutzer gelesen und passieren die Reputationsprüfungen, an denen Datacenter scheitert. Das Arbeitspferd für verteidigte Ziele.
• ISP-Proxys sind statische Wohn-IPs für Aufgaben mit Login, eine saubere IP pro Konto.
• Mobile-Proxys sind die schwerste Klasse für die am stärksten verteidigten Fälle.

Wie hart ein bekanntes Ziel prüft, siehst du an den Beispielen: Amazon etwa erzwingt Residential-IPs plus einen echten Browser, weil es TLS-Fingerabdruck und Cookies mitliest.

Wie viele IPs

Größe nach der Anfragerate, nicht nach der Zahl der Seiten. Finde die Rate, bei der eine IP anfängt, CAPTCHAs oder Sperren zu ziehen, bleib komfortabel darunter und füge IPs hinzu, um den Gesamtdurchsatz zu erhöhen, statt eine Adresse härter zu belasten. Rotierende Residential-Proxys nehmen dir das Zählen ab, weil du Bandbreite über einen Pool kaufst, statt benannte Adressen zu verwalten.

Rotierend oder statisch

Wähl nach dem Zustand der Anfrage. Für zustandslose Abfragen (eine Produktseite ohne Login) nimm pro Anfrage eine frische IP, damit keine einzelne Adresse die Signatur eines Monitors aufbaut. Für alles mit Sitzung (ein eingeloggter Ablauf, ein Warenkorb) halt einen sticky Ausgang über den ganzen Schritt, damit ein IP-Wechsel dich nicht mitten in der Aufgabe ausloggt. Viele Scraper nutzen beides je nach Schritt.

Sperren vermeiden, nicht überkleben

Der häufigste Fehler ist, eine Sperre mit einem CAPTCHA-Löser zu überkleben, statt den Grund zu entfernen. Ein CAPTCHA erscheint, weil eine IP automatisiert aussah, und die dauerhafte Lösung setzt genau dort an:

• Tempo und Streuung. Kein Mensch lädt hundert Seiten pro Sekunde. Verteile Anfragen und streue die Abstände, damit sie nicht auf einem festen Takt ankommen.
• Sieh aus wie ein Browser. Sende einen aktuellen, echten User-Agent und einen normalen Satz Kopfzeilen, behalte Cookies und Session-ID über Anfragen hinweg, und für JavaScript-lastige Seiten treib einen echten Browser (Playwright oder Puppeteer) hinter dem Proxy.
• Halte den Fingerabdruck ehrlich. Viele Ziele lesen den TLS-Handschlag (JA3/JA4) vor jeder HTTP-Anfrage, also fällt ein nacktes Skript selbst von einer sauberen IP auf.
• Beobachte die Sperrrate. Rotation macht eine einzelne Sperre billig, also läuft ein Scraper leicht wochenlang, ohne zu merken, dass ein Drittel der Anfragen abprallt. Logge die Rate und reagier, bevor das Ziel dich abschneidet.

Gratis oder bezahlt

Kostenlose Proxys sind fast nur Datacenter-IPs, die schnell sterben und von verteidigten Zielen sofort erkannt werden. Zum Lernen, zum Testen deines Code-Pfads und für einen kleinen Wegwerf-Scrape eines undefended Ziels sind sie ein ehrliches Werkzeug, und dafür ist unsere kostenlose Proxy-Liste da. Ist die Aufgabe dauerhaft oder das Ziel verteidigt, hält bezahltes Residential ab $0.44 pro GB, nach Verbrauch und ohne KYC. Worauf du beim Kauf achtest, steht in Proxy kaufen.

Fazit

Proxys fürs Scraping verteilen deine Arbeit, sodass keine einzelne IP wie ein Bot aussieht, und geben dir den richtigen Standort. Wähl den Typ nach dem Ziel, größe nach der Anfragerate, nimm rotierend fürs Lesen und sticky für Sitzungen, und entferne den Grund einer Sperre, statt sie zu überkleben. Fang mit der kostenlosen Liste an und steig auf Residential-Proxys ab $0.44 pro GB um, wenn das Ziel hart prüft.

Quellen

• Cloudflare, JA3/JA4 TLS-Fingerprinting: wie der Handschlag vor jeder HTTP-Anfrage gelesen wird.
• HProxy, Datenauswertung zu kostenlosen Proxys: die 129,131,311 Prüfungen hinter den Zahlen zu Erreichbarkeit und Rechenzentrums-Anteil.