- ✓Es gibt in Deutschland kein Gesetz, das Web Scraping verbietet. Entscheidend ist, welche Daten wie abgerufen und wofür sie verwendet werden.
- ✓Der BGH hat 2014 entschieden, dass Screen Scraping nicht wettbewerbswidrig ist, solange keine technischen Schutzmaßnahmen überwunden werden.
- ✓Datenbanken sind nach §§ 87a ff. UrhG geschützt: Wesentliche Teile dürfen nicht ohne Erlaubnis übernommen werden.
- ✓§ 44b UrhG erlaubt Text und Data Mining, solange der Rechteinhaber keinen maschinenlesbaren Vorbehalt erklärt hat.
- ✓Personenbezogene Daten fallen unter die DSGVO, auch wenn sie öffentlich im Netz stehen.
Von NIMTEG, Kiel · Aktualisiert am
Ist Web Scraping in Deutschland legal?
Ja, Web Scraping ist in Deutschland grundsätzlich legal. Es gibt kein Gesetz, das das automatisierte Auslesen öffentlich zugänglicher Websites verbietet. Ob ein konkretes Vorhaben zulässig ist, hängt von vier Fragen ab: Welche Daten werden abgerufen, wie werden sie abgerufen, wofür werden sie verwendet, und hat man dem Seitenbetreiber gegenüber etwas anderes zugesagt?
Unproblematisch ist in der Regel das Erfassen einzelner Fakten wie Preise, Produktnamen, Öffnungszeiten oder Firmenadressen von frei zugänglichen Seiten, in maßvoller Frequenz und ohne Umgehung von Sperren. Kritisch wird es, wenn ganze Datenbanken kopiert, geschützte Texte und Bilder übernommen, Login-Bereiche ausgelesen oder Daten über Personen gesammelt werden.
| Rechtsgebiet | Worum es geht | Typisches Risiko |
|---|---|---|
| Urheberrecht | Texte, Fotos, Grafiken | Geschützte Inhalte werden kopiert und veröffentlicht |
| Datenbankrecht | Systematisch aufgebaute Sammlungen | Wesentliche Teile einer Datenbank werden übernommen |
| Vertragsrecht | Nutzungsbedingungen der Seite | Scraping trotz akzeptierter AGB, etwa nach Registrierung |
| Wettbewerbsrecht | Verhalten unter Mitbewerbern | Technische Sperren werden umgangen, Betrieb wird gestört |
| Datenschutz | Angaben zu Personen | Personenbezogene Daten ohne Rechtsgrundlage |
| Strafrecht | Zugangsgesicherte Daten | Passwortschutz oder andere Sicherungen werden überwunden |
Urheberrecht: Was darf kopiert werden?
Das Urheberrecht schützt Werke wie Texte, Fotos und Grafiken, aber keine bloßen Fakten. Ein Preis, eine Adresse oder eine technische Angabe ist als einzelne Information nicht geschützt. Ein Produktfoto, ein Blogartikel oder eine ausformulierte Produktbeschreibung dagegen meist schon.
Für Scraper bedeutet das: Fakten zu extrahieren ist in der Regel zulässig. Geschützte Inhalte zu speichern und vor allem zu veröffentlichen, braucht eine Erlaubnis oder eine gesetzliche Ausnahme.
Text und Data Mining nach § 44b UrhG
Die wichtigste Ausnahme ist § 44b UrhG. Er erlaubt Vervielfältigungen rechtmäßig zugänglicher Werke für Text und Data Mining, also für die automatisierte Analyse, um Muster, Trends und Zusammenhänge zu gewinnen. Die Erlaubnis gilt auch für kommerzielle Zwecke.
Zwei Bedingungen gehören dazu. Die Kopien müssen gelöscht werden, sobald sie für die Analyse nicht mehr erforderlich sind. Und der Rechteinhaber kann die Nutzung untersagen. Bei online zugänglichen Werken ist dieser Vorbehalt nur wirksam, wenn er in maschinenlesbarer Form erklärt wird. Wie genau das aussehen muss, ist noch nicht abschließend geklärt. Das Landgericht Hamburg hat 2024 erkennen lassen, dass auch ein Vorbehalt in natürlicher Sprache in den Nutzungsbedingungen genügen kann. Wer sicher gehen will, beachtet deshalb robots.txt, Meta-Angaben und die Nutzungsbedingungen gleichermaßen.
Datenbankrecht: Wann ist eine Sammlung geschützt?
Das Datenbankherstellerrecht nach §§ 87a bis 87e UrhG schützt Sammlungen, deren Beschaffung, Überprüfung oder Darstellung eine wesentliche Investition erfordert hat. Geschützt ist die Investition und nicht die einzelne Angabe. Typische Beispiele sind Branchenverzeichnisse, Immobilienportale, Stellenbörsen und Preisvergleichsseiten.
Verboten ist die Übernahme der gesamten Datenbank oder eines wesentlichen Teils ohne Erlaubnis des Herstellers. Ebenfalls verboten ist nach § 87b UrhG die wiederholte und systematische Entnahme unwesentlicher Teile, wenn sie einer normalen Auswertung der Datenbank zuwiderläuft oder die Interessen des Herstellers unzumutbar beeinträchtigt. Wer also täglich kleine Mengen abruft, um am Ende doch das ganze Verzeichnis zu besitzen, ist nicht auf der sicheren Seite.
Erlaubt bleibt die Entnahme unwesentlicher Teile zu eigenen Zwecken. Die Grenze zwischen wesentlich und unwesentlich ist eine Frage des Einzelfalls und hängt von Menge und Bedeutung der entnommenen Daten ab.
AGB und robots.txt: Was gilt, wenn Scraping untersagt ist?
Viele Websites untersagen automatisierte Abrufe in ihren Nutzungsbedingungen. Rechtlich bindend ist das nur, wenn ein Vertrag zustande gekommen ist. Das ist der Fall, wenn man sich registriert, einloggt oder die Bedingungen ausdrücklich bestätigt. Beim bloßen Aufruf einer frei zugänglichen Seite ohne Zustimmung fehlt in der Regel ein Vertragsschluss.
Der Bundesgerichtshof hat 2014 im Urteil „Flugvermittlung im Internet“ (Az. I ZR 224/12) entschieden, dass Screen Scraping keine unlautere Behinderung eines Mitbewerbers ist, solange keine technischen Schutzmaßnahmen überwunden werden. Ein Verstoß gegen Nutzungsbedingungen allein machte das Verhalten dort nicht wettbewerbswidrig.
Der Europäische Gerichtshof hat 2015 im Fall Ryanair gegen PR Aviation (C-30/14) ergänzt: Ist eine Datenbank weder urheberrechtlich noch durch das Datenbankherstellerrecht geschützt, darf ihr Betreiber die Nutzung vertraglich frei beschränken. Wer solchen Bedingungen zugestimmt hat, ist daran gebunden.
Welche Bedeutung hat die robots.txt?
Die robots.txt ist eine Datei, in der Betreiber angeben, welche Bereiche automatisierte Programme meiden sollen. Sie ist kein Gesetz und kein Vertrag. Sie zeigt aber den Willen des Betreibers, kann als maschinenlesbarer Vorbehalt nach § 44b UrhG gewertet werden und spielt bei der Interessenabwägung nach DSGVO und Wettbewerbsrecht eine Rolle. Seriöse Crawler halten sich daran.
Technische Schutzmaßnahmen: die klarste Grenze
Die deutlichste rote Linie verläuft bei technischen Sperren. Wer Passwortschutz, Captchas, IP-Sperren oder Zugriffsbeschränkungen gezielt umgeht, verlässt den Bereich, den der BGH für zulässig gehalten hat.
- Login-Bereiche: Daten hinter einem Login sind nicht öffentlich. Das Auslesen mit fremden oder zweckwidrig genutzten Zugangsdaten kann nach § 202a StGB als Ausspähen von Daten strafbar sein.
- Sperren umgehen: Das gezielte Aushebeln von Captchas und IP-Sperren kann als unlautere Behinderung nach § 4 Nr. 4 UWG gewertet werden.
- Überlastung: Abrufe in einer Frequenz, die den Betrieb der Seite stört, können Schadensersatzansprüche und im Extremfall strafrechtliche Folgen auslösen.
Praktisch heißt das: maßvolle Abrufrate, Zwischenspeicherung, Abrufe außerhalb der Lastspitzen und ein Crawler, der sich in der Kennung zu erkennen gibt.
DSGVO: Was gilt bei personenbezogenen Daten?
Die DSGVO gilt für alle Informationen, die sich auf eine identifizierbare Person beziehen, auch wenn sie frei im Internet stehen. Öffentlich zugänglich bedeutet nicht frei verwendbar. Namen, persönliche E-Mail-Adressen, Profilbilder und Beiträge in sozialen Netzwerken sind personenbezogene Daten.
Wer solche Daten per Scraping erhebt, braucht eine Rechtsgrundlage. In Frage kommt meist das berechtigte Interesse nach Art. 6 Abs. 1 lit. f DSGVO. Es verlangt eine dokumentierte Abwägung zwischen dem eigenen Interesse und den Erwartungen der Betroffenen. Dazu kommen weitere Pflichten:
- Informationspflicht: Nach Art. 14 DSGVO müssen Betroffene grundsätzlich informiert werden, wenn Daten nicht bei ihnen selbst erhoben werden. Ausnahmen sind eng.
- Zweckbindung und Datensparsamkeit: Nur erheben, was für den Zweck nötig ist.
- Löschfristen: Daten nicht unbegrenzt aufbewahren.
- Besondere Kategorien: Angaben zu Gesundheit, Religion oder politischer Meinung sind nach Art. 9 DSGVO besonders geschützt und für Scraping praktisch tabu.
Deutlich einfacher ist die Lage bei reinen Unternehmensdaten. Firmenname, Rechtsform, Geschäftsadresse und zentrale Kontaktdaten einer GmbH sind keine personenbezogenen Daten. Bei Einzelunternehmern und bei personalisierten Adressen wie vorname.nachname@firma.de greift die DSGVO dagegen wieder.
Checkliste: So bleibt ein Scraping-Projekt auf der sicheren Seite
- Nur öffentlich zugängliche Seiten ohne Login abrufen
- Keine Captchas, IP-Sperren oder anderen technischen Schutzmaßnahmen umgehen
- robots.txt und erkennbare Nutzungsvorbehalte beachten
- Nutzungsbedingungen lesen und keine Zusagen brechen, die man durch Registrierung gegeben hat
- Fakten extrahieren und keine geschützten Texte oder Bilder veröffentlichen
- Keine wesentlichen Teile einer fremden Datenbank übernehmen
- Personenbezogene Daten vermeiden oder mit dokumentierter Rechtsgrundlage verarbeiten
- Abrufrate begrenzen und Ergebnisse zwischenspeichern
- Quelle, Zweck, Zeitpunkt und Rechtsgrundlage je Projekt dokumentieren
- Wo vorhanden, die offizielle Schnittstelle der Quelle nutzen
NIMTEG prüft vor jedem Crawler-Projekt robots.txt, Nutzungsbedingungen, Datenkategorien und Abrufrate und dokumentiert das Ergebnis. Authentifizierte Bereiche werden nicht ausgelesen, und Daten aus sozialen Netzwerken kommen nur über offizielle Schnittstellen. Die Leistung ist unter Custom Crawler & Monitoring beschrieben. Wie ein Projekt abläuft, zeigt der Beitrag Webcrawler programmieren lassen.
Dieser Beitrag gibt einen Überblick und ersetzt keine Rechtsberatung. Für ein konkretes Vorhaben sollte die Rechtslage im Einzelfall geprüft werden.
Quellen
Häufige Fragen
Ist Web Scraping in Deutschland strafbar?
Das Auslesen öffentlich zugänglicher Seiten ist nicht strafbar. Strafbar kann es werden, wenn Zugangssicherungen wie ein Passwortschutz überwunden werden (§ 202a StGB) oder der Betrieb einer Seite gezielt gestört wird.
Darf ich Preise von Wettbewerbern scrapen?
In der Regel ja. Einzelne Preise sind Fakten und nicht urheberrechtlich geschützt. Zu beachten sind das Datenbankrecht bei großen Portalen, technische Sperren und akzeptierte Nutzungsbedingungen.
Ist die robots.txt rechtlich bindend?
Nein, sie ist weder Gesetz noch Vertrag. Sie zeigt aber den Willen des Betreibers und kann als maschinenlesbarer Nutzungsvorbehalt nach § 44b UrhG gewertet werden. Seriöse Crawler halten sich daran.
Darf ich E-Mail-Adressen von Websites scrapen?
Zentrale Firmenadressen wie info@firma.de sind meist unkritisch. Personalisierte Adressen sind personenbezogene Daten und brauchen eine Rechtsgrundlage nach DSGVO. Für die Nutzung zu Werbezwecken gilt zusätzlich § 7 UWG, der E-Mail-Werbung grundsätzlich nur mit Einwilligung erlaubt.
Darf ich gescrapte Daten für das Training von KI verwenden?
§ 44b UrhG erlaubt Text und Data Mining auch für kommerzielle Zwecke, solange der Rechteinhaber keinen wirksamen Vorbehalt erklärt hat. Die Einzelheiten sind rechtlich noch in Bewegung und sollten geprüft werden.
Was passiert, wenn eine Website Scraping in den AGB verbietet?
Bindend ist das Verbot, wenn Sie den AGB zugestimmt haben, etwa durch Registrierung. Beim bloßen Aufruf frei zugänglicher Seiten kommt in der Regel kein Vertrag zustande. Der BGH hat 2014 entschieden, dass ein AGB-Verstoß allein Scraping nicht wettbewerbswidrig macht.