w aplikacjach pisanych na Pythonie/Django można wykorzystać framework 'sitemap' - wymaga tylko drobnych zmian w klasach obiektów, a później automatycznie generuje sitemapy, stronicuje je (standardowo po 50 tyś linków na jednej stronie), tworzy spisy map itp... wystarczy raz to skonfigurować a później można o tym zapomnieć...

Ostatnio korzystałem z tego http://sitemap4u.pl jest całkiem niezły.

Program Xenu, nie dość że pokazuje błędy na stronie,to możesz utworzyć mapę strony samemu określając co ma zawierać.

Polecam (z resztą mojego autorstwa :> ) rozszerzenie do Chrome robiące sitemapy
https://chrome.google.com/webstore/detail/ihlnmilclmcloeooaifmfekglbkophkj
Całkowicie za darmo i bez limitów.

Będę wdzięczna za wszeki feedback,
pozdrawiam,
Urszula

ps. to mój pierwszy wpis na forum :>