Web Scraping für B2B-Leadgenerierung und SEO

Was bringt Web Scraping für Vertrieb und Marketing?

Web Scraping ist das automatisierte Auslesen von Daten aus Websites. Im B2B-Vertrieb entstehen daraus Firmenlisten, die genauer zum eigenen Angebot passen als gekaufte Adressbestände. In der Suchmaschinenoptimierung liefert es Daten über den Zustand der eigenen Website und über die Inhalte der Wettbewerber.

B2B-Leadgenerierung: Welche Quellen eignen sich?

Geeignet sind Quellen, die Unternehmensdaten öffentlich und ohne Login bereitstellen. Jede Quelle hat eigene Stärken.

• Handelsregister und Unternehmensregister: Firma, Rechtsform, Sitz, Unternehmensgegenstand. Seit 2022 ist der Abruf über das Registerportal kostenlos. Das Portal begrenzt allerdings die Zahl automatisierter Abrufe.
• Impressum der Unternehmenswebsite: Anschrift, zentrale Telefonnummer und E-Mail-Adresse. Die Angaben sind gesetzlich vorgeschrieben und meist aktuell.
• Branchen- und Verbandsverzeichnisse: Zuordnung nach Tätigkeit und Region. Hier ist das Datenbankrecht zu beachten.
• Offene Datenquellen: OpenStreetMap für Standorte und Kategorien, Open-Data-Portale der Länder.
• Stellenanzeigen: Hinweise auf Wachstum, eingesetzte Software und offene Themen.
• Die Website selbst: Eingesetzte Technik, Shop oder kein Shop, Sprachen, Aktualität.

Nicht geeignet sind Profile aus sozialen Netzwerken, die nur nach Login sichtbar sind. Das Auslesen verstößt gegen die Nutzungsbedingungen, denen man mit dem Konto zugestimmt hat, und betrifft fast immer personenbezogene Daten.

So entsteht eine brauchbare Firmenliste

1. Zielgruppe festlegen: Branche, Region, Größe und ein Merkmal, das auf Bedarf hinweist, etwa eine veraltete Website oder offene Stellen.
2. Quellen wählen und prüfen: Technische Machbarkeit, robots.txt, Nutzungsbedingungen.
3. Abrufen: Mit maßvoller Frequenz und Zwischenspeicherung.
4. Bereinigen: Schreibweisen angleichen, Dubletten entfernen, Adressen prüfen.
5. Anreichern: Branche, Größenklasse und Merkmale aus weiteren Quellen ergänzen.
6. Bewerten: Die Liste nach Passung sortieren, damit der Vertrieb oben beginnt.
7. Übergeben: Als CSV oder direkt ins CRM, mit Angabe von Quelle und Abrufdatum je Datensatz.

Der sechste Schritt macht den Unterschied zwischen einer Adressliste und einer Leadliste. Tausend Firmen ohne Reihenfolge erzeugen Arbeit. Hundert Firmen, sortiert nach Passung und mit dem Grund für die Einstufung, erzeugen Gespräche.

Was ist bei DSGVO und Kaltakquise zu beachten?

Zwei Rechtsfragen werden häufig vermischt: Darf ich die Daten erheben, und darf ich sie für Werbung verwenden? Die erste beantwortet die DSGVO, die zweite das Gesetz gegen den unlauteren Wettbewerb.

Daten erheben

Angaben zu juristischen Personen wie einer GmbH sind keine personenbezogenen Daten. Firmenname, Adresse und eine Adresse wie info@firma.de lassen sich ohne DSGVO-Prüfung verarbeiten. Sobald ein Name im Spiel ist, etwa bei Geschäftsführern, Einzelunternehmern oder personalisierten E-Mail-Adressen, gilt die DSGVO. Als Rechtsgrundlage kommt das berechtigte Interesse nach Art. 6 Abs. 1 lit. f in Frage, mit dokumentierter Abwägung und Information der Betroffenen nach Art. 14.

Daten zur Ansprache nutzen

Für die Praxis heißt das: Eine gescrapte Liste ist eine gute Grundlage für Telefonakquise mit sachlichem Bezug, für Briefe und für Werbung, die sich an Zielgruppen statt an einzelne Adressen richtet. Massen-E-Mails an gesammelte Adressen sind in Deutschland abmahnfähig. Dieser Beitrag gibt einen Überblick und ersetzt keine Rechtsberatung. Für ein konkretes Vorhaben sollte die Rechtslage im Einzelfall geprüft werden.

Web Scraping für SEO: sinnvolle Anwendungen

In der Suchmaschinenoptimierung ist Crawling ein Standardwerkzeug. Die meisten Anwendungen betreffen die eigene Website und sind rechtlich unkritisch.

• Technische Prüfung der eigenen Website: Fehlerseiten, Weiterleitungsketten, fehlende Titel, doppelte Inhalte, zu große Bilder.
• Überwachung: Tägliche Prüfung, ob wichtige Seiten erreichbar und indexierbar sind und ob sich Titel oder strukturierte Daten ungewollt geändert haben.
• Interne Verlinkung: Welche Seiten bekommen kaum Links, welche sind zu tief vergraben?
• Wettbewerbsanalyse: Welche Themen und Seitentypen haben Wettbewerber, wie sind Titel und Überschriften aufgebaut, welche strukturierten Daten setzen sie ein?
• Inhaltslücken: Abgleich der eigenen Themen mit denen der Wettbewerber.
• Lokale Daten: Prüfung, ob Name, Adresse und Telefonnummer in Verzeichnissen einheitlich sind.

Bei der Wettbewerbsanalyse werden Strukturen und Fakten ausgewertet. Texte von Wettbewerbern zu kopieren und selbst zu veröffentlichen, verletzt das Urheberrecht und schadet dem eigenen Ranking. Was technische SEO darüber hinaus umfasst, steht unter Technische SEO & Performance.

Darf man Google-Suchergebnisse scrapen?

Die Nutzungsbedingungen von Google untersagen automatisierte Abfragen der Suche, und Google setzt das mit technischen Sperren durch. Wer diese Sperren umgeht, bewegt sich in dem Bereich, den die Rechtsprechung als kritisch ansieht.

Für die eigenen Rankings ist das auch nicht nötig. Die Google Search Console liefert Suchanfragen, Positionen und Klicks für die eigene Website kostenlos und per Schnittstelle. Für Daten über Wettbewerber und Suchvolumen gibt es spezialisierte Anbieter. Deren Daten zu beziehen ist in der Regel einfacher und stabiler als ein eigener Crawler für Suchergebnisse.

Selbst bauen, Tool nutzen oder beauftragen?

Für die technische Prüfung der eigenen Website reichen fertige SEO-Crawler. Für Leadlisten gibt es Datenanbieter mit fertigen Beständen, die schnell verfügbar, aber selten genau auf die eigene Zielgruppe zugeschnitten sind.

Ein eigener Crawler lohnt sich, wenn die Zielgruppe über ein Merkmal definiert ist, das kein Datenanbieter führt, wenn mehrere Quellen zusammengeführt werden oder wenn die Liste regelmäßig aktualisiert werden soll. Den Ablauf beschreibt der Beitrag Webcrawler programmieren lassen.

NIMTEG erstellt Firmenlisten aus öffentlichen Quellen wie Handelsregister, Impressumsdaten und Fachverzeichnissen, beschränkt auf Unternehmensdaten und berufliche Kontaktpunkte. Jede Lieferung enthält eine Dokumentation von Quelle und Rechtsgrundlage sowie einen Qualitätsbericht. Details unter Branchen-Leads & Firmenlisten und Custom Crawler & Monitoring.