Wie funktioniert der WebCare Crawler? Wie oft wird die Seite untersucht?

Inhaltsverzeichnis: 

1. Aufgabe und Logik des WebCare Crawlers 
2. Der Crawl-Vorgang und wie WebCare Ihre Website durchleuchtet
3. Wie oft wird die Seite untersucht?
4. Wie funktioniert die Auswertung der Cookies & woher kommen die Ergebnisse?
5. Aktualisierung der Cookie Policy & der Datenschutz­erklärung
6. Der Vorteil des WebCare Swarm Crawlers gegenüber herkömmlicher Crawler

01 Aufgabe und Logik des WebCare Crawlers

Der von Datareporter entwickelte Crawler ist das Kernstück des Consent Management Systems - WebCare. Seine wichtigste Aufgabe ist die weitestgehend automatisierte Dokumentation datenschutzrelevanter Prozesse. Demnach ist die hoch spezifische Technologie die Basis für Automatisierungen rund um Consent Banner und Datenschutzerklärung in der Consent Management Platform WebCare. 

WebCare und der WebCare Crawler machen es Ihnen möglichst einfach, rechtliche Anforderungen zu erfüllen.

Wichtig! Die Kernaufgabe des Crawlers ist eine weitestgehend automatisierte Dokumentation datenschutzrelevanter Prozesse - nicht die technische Kontrolle der Website! 

02 Der Crawl-Vorgang und wie WebCare Ihre Website durchleuchtet

Unsere Technologie verwendet einen mehrstufigen Prozess, um Ihre Website komplett zu scannen. Dabei können wir sogar geschützte Bereiche untersuchen – natürlich unter strengster Beachtung aller Datenschutzauflagen. Um Ihre Website untersuchen zu können, müssen wir analysieren, wie sie aussieht, welche Cookies verwendet werden und welche externen Module (Tools, Plugins, etc.) geladen werden.

Dies machen wir in drei Stufen:

1. Statische Analyse

Dies ist die einfachste Methode. Wir laden den Quelltext Ihrer Seite (bzw. der drei konfigurierten Domains/Unterseiten) und untersuchen ihn auf eingebettete Tags.

2. Browser-Analyse

In der zweiten Stufe verwenden wir ebenfalls nur die drei konfigurierten Domains, untersuchen diese allerdings dynamisch in einem aktuellen Browser. Hier können wir ermitteln, welche Module dynamisch nachgeladen werden und welche Cookies gesetzt werden.

3. Swarm Crawling 

Der von Datareporter entwickelte WebCare Swarm Crawler ist eine neue Methode, welche Ihre gesamte Seite erfasst. Der WebCare Swarm Crawler untersucht Ihre Website innerhalb von 12-15 Sekunden und findet heraus, welche Cookies wo, wann und wie gesetzt wurden (selbstverständlich nur nach Einwilligung der Nutzer:innen). 

Diese Ergebnisse werden untersucht und analysiert. Und wenn der Consent Banner von WebCare eingebunden ist, dann werden diese Resultate auch dort in der Cookie Tabelle in aktualisierter Form angezeigt.

Selbstverständlich wird bei Datareporter auf höchste Sicherheit gesetzt. Front Crawler und Swarm Crawler werden von Datareporter gehostet, um allen WebCare Nutzer:innen auch nachhaltig die hohe Geschwindigkeit und die umfangreichen Ergebnisse des WebCare Crawlers gewährleisten zu können.

Die Ergebnisse sind im Crawler Report zu finden, welcher direkt über die Lizenz einsehbar ist im Menü: Einstellungen → Domains → Ergebnisse. 

Dort kann man sich einen Überblick verschaffen, was der  WebCare Crawler auf der eigenen Website gefunden hat.

03 Wie oft wird die Seite untersucht?

Das WebCare System besteht – wie oben beschrieben – aus unterschiedlichen Komponenten, um das beste Ergebnis für Sie zu erzielen und die Daten von Cookie-Tabelle und Modulliste ressourcenschonend aktuell zu halten.

Der WebCare Swarm Crawler ist durchgehend aktiv.

Die “Statische Analyse” und die “Browser-Analyse” werden automatisch - mindestens - alle zwei bis drei Tage durchgeführt. 

Zudem kann im WebCare Backend jederzeit eine neue Untersuchung der Website gestartet werden im Menü: Einstellungen → Domains >--> Webseite neu untersuchen.

Das macht Sinn, wenn Sie wissen, dass Sie gerade relevante Anpassungen an der Website durchgeführt haben. Nach Abschluss der Untersuchung können Sie das neue Ergebnis im Menü: Veröffentlichen → Veröffentlichen → Jetzt veröffentlichen. 

Oder Sie warten, bis das Ergebnis nach einigen Minuten automatisch veröffentlicht wird.

Wichtig! Cookies und ihre Lebensdauer 

Generell ist zu beachten, dass korrekterweise auch Cookies erfasst werden, die in der Vergangenheit von der Website gesetzt wurden und deren Lebensdauer noch nicht abgelaufen ist.

Ein Beispiel wäre hier: 

• Sie aktivieren Google Analytics im Januar 2021
• Besucher surfen auf Ihrer Website und es werden Cookies mit einer Lebensdauer von 2 Jahren gesetzt
• Im Februar 2021 entfernen Sie Google Analytics von der Website. Es werden keine neuen Cookies mehr verteilt
• Besucher, die im Januar auf der Website gewesen sind senden das Cookie bis zum Januar 2023 bei jedem Zugriff (auch wenn Analytics gar nicht mehr aktiv ist)
• Der WebCare Swarm Crawler findet diese Cookies bis zum Januar 2023

Kein anderer Anbieter bietet solch eine Funktionalität.

04 Wie funktioniert die Auswertung der Cookies & woher kommen die Ergebnisse? 

Der Scan der Website liefert alle benötigten Daten – und mit unserer Privacy Compliance Datenbank sind wir in der Lage, diese auszuwerten. Alle gefundenen Cookies werden automatisch kategorisiert und nach Zweck sortiert. Das Ergebnis fügen wir dann in den Banner und in die Cookie-Erklärung ein. Unsere Cookie-Datenbank umfasst mehr als 40.000 verschiedene Cookies und 2.500 Regeln zur Kategorisierung. Außerdem unterstützt uns eine Künstliche Intelligenz bei der Kategorisierung von Cookies, die wir noch nie gesehen haben.

05 Aktualisierung der Cookie Policy & der Datenschutz­erklärung

Die Privacy Compliance Datenbank von DataReporter ist die Quelle für Ihre Datenschutzerklärung und/oder Ihre Cookie Policy. Sie umfasst außer, den oben genannten Cookies, über 500 datenschutzrelevante Module (beschriebene Plugins, Tools, …) sowie weit über 500 Hersteller weltweit. Und sie wächst immer noch weiter. Die Beschreibungen zu den Modulen werden periodisch juristisch geprüft und überarbeitet, damit Ihre Datenschutzerklärung immer auf dem neuesten Stand ist.

Plugins von Drittherstellern

Eine moderne Website kommt kaum ohne Drittanbieter-Plugins aus. Statistische Auswertungen mittels Google Analytics oder Videos über Youtube einbinden – all das findet man auf beinahe jeder Website. Wir untersuchen alle eingebundenen Skripte, Styles, iFrames und Sourcecodes auf Ihrer Seite und ermitteln mit einem ausgeklügelten Algorithmus, welche Module aktiv sind. Für jedes dieser Module haben unsere Juristen eine Modulbeschreibung in deutsch und englisch geschrieben, die dann automatisch in die Datenschutzerklärung eingefügt wird. So entsteht eine Datenschutzerklärung, die genau auf Ihre Website zugeschnitten ist und immer auf aktuellem Stand ist. 

Besser zu viel als zu wenig

Die hinter dem WebCare Crawler liegende Technik ist hoch komplex. Sie folgt im Zweifelsfall jedoch immer der Logik, dass eine "Überdokumentation" rechtlich weniger problematisch ist als ein zu wenig an Information. Das heißt, im Zweifelsfall zeigen wir immer lieber ein nicht vorhandenes Tool/Cookie an als ein tatsächlich vorhandenes nicht. 

Wichtig! Alle Ergebnisse des Crawlers können händisch bearbeitet und korrigiert werden. 

Verstehen Sie das Ergebnis des Crawlers als einen äußerst kompetenten Vorschlag für Ihre Cookie-Tabelle und die Beschreibung der eingesetzten Tools, klären Sie die Ergebnisse aber im Zweifelsfall mit Ihren Website-Verantwortlichen ab.

06 Der Vorteil des WebCare Swarm Crawlers gegenüber herkömmlicher Crawler

Normale Crawler benötigen mehrere Wochen, um alle Unterseiten einer komplexen Website (wie zum Beispiel die Artikel eines Webshops) zu untersuchen. Traditionelle Crawler surfen durch sämtliche Links die auf Ihrer Website verfügbar sind und arbeiten sich so durch große Teile des Webauftrittes. Diese Methode hat viele Nachteile. Durch unsere innovative Technologie erledigen wir das in ein paar Stunden – und bleiben dadurch automatisch immer aktuell.

Während Konkurrenzprodukte die Performance Ihrer Website belasten können, bleiben Ihre Server völlig unbehelligt von WebCare und können ausschließlich für Ihre Kunden arbeiten.

Nachteile herkömmlicher Crawler auf einen Blick:

• Passwortgeschützte oder nicht verlinkte Seiten (z.B. Suchresultate) werden nicht erfasst.
• Ihre Seite wird unnötig blockiert, da sehr viele Zugriffe nötig sind. Gerade dynamische Seiten können dadurch bis zum Stillstand lahmgelegt werden.
• Das Crawlen der gesamten Seite kann auf vielen Unterseiten sehr lange dauern - bis zu einigen Wochen!
• Wir würden sehr viele Ressourcen und Netzwerkbandbreite benötigen, was WebCare teuer machen würde.

Fazit: Sicheres Consent Management durch zuverlässige Crawler Technologie

Wir von Datareporter arbeiten laufend an der Verbesserung unserer Produkte, um Ihnen das digitale Leben weiterhin so einfach, komfortabel und rechtssicher wie möglich zu gestalten. Mit dem WebCare Crawler finden Automatisierungen wie aus Roboterhand statt. Die Inhalte der Cookietabelle (im Cookie Banner) und der Modulliste (in der Datenschutzerklärung) werden mit den gefundenen und untersuchten Ergebnissen abgeglichen und so wird die Consent Management Platform ressourcenschonend aktuell gehalten. Wir nehmen Ihnen unnötige Arbeit ab und lassen sie von unserer Technologie erledigen.

Sie haben Fragen? Dann schreiben Sie uns bitte an [e-mail] Wir sind gerne für Sie da!