Statistik |
Beiträge: 144.534 (Täglich: 19,19 )
Themen: 16.701
Mitglieder: 13.209
Neuestes Mitglied: zitronentee.
Ausl. d. letzten Minute: 201%
Ausl. d. letzten 5 Minuten: 185%
Ausl. d. letzten 15 Minuten: 196%
Aktulle Uhrzeit: 16:21
Freier Webspace: 4.03 TB
PHP-Version: 7.4.33
|
|
|
|
|
Robots.txt optimieren |
|
Hallo und guten Abend Forengemeinde!
Ich hab da eine kleine wahrscheinlich für euch ziemlich dämliche Frage, aber ich steh da irgendwie etwas dumm grade vor einem kleinen Problem.
Und zwar gehts darum, dass ich gern mein Forum durch Crawlers abfragen lassen möchte...
ABER nicht den Rest meines gesamten Webspace.
Grund: die Crawlers sind auch durch Ordner und Dateien durchgekrochen, wo sie eigentlich nichts zusuchen haben und dementsprechend ist mein Traffic innerhalb von wenigen Tagen auf über 10 GB geschossen, woraufhin mich mein Serveranbieter dezent darauf hinwies, dass ich da doch mal nen Riegel vormachen solle, sonst würde es teuer werden.
(Habe nur 4GB im Monat an Traffic.)
Jetzt meine Frage:
Mit dem Befehl Disallow: kann ich ja direkt Dateien sperren.
Schön und Gut.
Aber kann ich auch Ordner von vorne herein sperren, ohne auch alle unterordner und unterdateien sperren zu müssen?
Als Beispiel:
- html1
- html2
- html3-html3.1-html3.2-html3.2a
Ordner html1 soll mit sämtlichen Unterordnern und Dateien zugänglich und gekrault werden.
Ordner html2 und html3 sämtlicher Unterordner und Dateien darin sollen eben NICHT gelesen werden.
Jetzt habe ich ehrlich gesagt keine Lust, meine ganzen Dateien alle einzeln in die Robots.txt einzutragen, die NICHT gelesen werden sollen (weil die mehr als das 4fache von dem des Forums beträgt, das eigentlich gelesen werden darf).
Habt ihr nen Ratschlag?
Oder eine andere Möglichkeit um den Traffic zu reduzieren?
Ich hab mich schon von den Robots her nur auf die von Google beschränkt und das Crawlen auf ne Zeitspanne von 14 Tagen gesetzt. -.-°
Grüßle
Eure PN.
__________________
|
|
15.06.2011 20:56 |
|
|
|
Moin Viktor!
Also damit ist dann der Ordner und alles was dadrin ist komplett ausgeklammert?
Und wie schaut es aus, wenn ich einen Oberordner erlauben will zu krabbeln, aber ein oder zwei Ordner in diesem Oberordner drin, sollen nicht gekrault werden?
Beispiel
- html1
- html2
-html2.1
-html2.2
-html2.3
-html2.4
html2.2 und 2.4 sollen nicht gekrault werden.
__________________
|
|
15.06.2011 21:15 |
|
|
bam313 unregistriert
|
|
Disallow: /html2/html2.1/
bam
|
|
16.06.2011 09:48 |
|
|
bam313 unregistriert
|
|
Ähm - und was ist daran so sensationell, wenn du einzelnen Dateien den Zugriff nimmst?
Es geht um Verzeichnisse ...
bam
|
|
16.06.2011 14:43 |
|
|
|
|
Zitat: Original von bam313
Ähm - und was ist daran so sensationell, wenn du einzelnen Dateien den Zugriff nimmst?
Es geht um Verzeichnisse ... |
|
|
Die Vorgehensweise ist die gleiche und auch das Problem. Ob da nun ne Datei oder ein Verzeichnis in disallow steht; es gibt Bots die scheren sich nen Dreck darum.
__________________ Gruss Mannes
Wenn man sich selbst als "Noob" bezeichnet, sollte man die Finger davon lassen.
Wenn man gewillt ist daran etwas zu ändern, lernt man Grundlagen!
|
|
16.06.2011 16:26 |
|
|
|
|
|
|