Robots Site Scanner

Der Site-Scanner im Robots-Generator hilft Ihnen dabei, die Struktur Ihrer Seite auszulesen und die Verzeichnisse auszuwählen, die Sie für die ausgewählten Agenten sperren möchten.  

Um ihn zu verwenden, geben Sie eine URL in das Feld URL scannen ein. Als nächsten Schritt legen Sie fest, ob Sie nur HTML-Dateien erhalten möchten und ob nur interne Links überprüft werden sollen. Wählen Sie aus der Liste die Link HTML-Tags aus, die für den Scan-Vorgang verwendet werden sollen. Wählen Sie dabei Alle aus, um alle Elemente zu markieren oder die Auswahl für alle aufzuheben. Klicken Sie auf Scannen um den Scan-Vorgang zu starten.

Der Bereich Seiteninhalt zeigt die Ergebnisse des Scans an. Indem Sie darauf klicken, können Sie sich den Inhalt eines Ordners in dem Bereich Dateiname ansehen. Doppelklicken Sie auf ein Element oder ziehen Sie es per Drag & Drop in die Disallow-Liste.

Hinweis: Wählen Sie aus der Agenten-Liste einen Agenten aus, um Elemente zur Disallow-Liste hinzufügen zu können.

Wenn Sie die Option Inhalt bei neuem Projekt löschen markieren, wird der Seiteninhalt automatisch gelöscht, sobald Sie ein neues Projekt starten.