Wie ich kürzlich feststellen durfte indexiert Google nicht nur verfolgbare / verlinkte URLs, sondern probiert auch gerne mal ähnliche URLs aus.

Wenn Google etwa auf URLs wie „www.domain.de/kategorie/artikel01“ und „www.domain.de/kategorie/artikel02“ stößt, wird es auch versuchen „www.domain.de/kategorie/artikel03“ aufzurufen. Egal ob sie existiert oder nicht. Existiert diese URL, landet sie im Index.

URLs die also nicht indexiert werden sollen, aber einem ähnlichen Schema der zu indexierdenen URLs entsprechen, sollten zum Beispiel durch eine Robots.txt gesondert vom Besuch des Google-Bots ausgeschlossen werden.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.