Googles „Bruteforce“-Indexierung

Wie ich kürzlich feststellen durfte indexiert Google nicht nur verfolgbare / verlinkte URLs, sondern probiert auch gerne mal ähnliche URLs aus. Wenn Google etwa auf URLs wie „www.domain.de/kategorie/artikel01“ und „www.domain.de/kategorie/artikel02“ stößt, wird es auch versuchen „www.domain.de/kategorie/artikel03“ aufzurufen. Egal ob sie existiert oder nicht. Existiert diese URL, landet sie im Index. URLs die also nicht indexiert […]

READ MORE