web

Webseiten spiegeln: wget

Das Tool wget bietet eine unglaubliche Funktionsfülle. Ich brauche es dazu, dynamisch erzeugte Webseiten zu archvieren.
Diese können nachher mit einem Browser als Dateien geöffnet werden, ohne Webserver. Dazu rufe ich wget folgendermassen auf:
wget -r -k -nv -E -e robots=off -l 0 http://server.ch/
Die interessanten Parameter sind:

Überprüfen nach ungültigen Links: linklint

Dieses praktische Programm überprüft alle Links einer Site und meldet ob die Seiten noch existieren, ein redirect sendeten oder nicht gefunden wurden. Auf Wunsch erzeugt das Programm html Dateien mit den entsprechenden Informationen. Ich rufe es folgendermassen auf:
linklint -http -host localhost -doc . -net /@

  • -http: Es sollen Webseiten vom Webserver geholt werden (Linklint kann auch Dateien aus dem Filesystem überprüfen)
  • -host localhost: Adresse des Servers
  • -doc .: Verzeichnis für den Output, der . bezeichnet das aktuelle Arbeitsverzeichnis
  • /@ : Startdatei ist /, das heisst die Startseite der Webseite, das @ bedeutet, dass alle Dateien unter diesem Verzeichnis überprüft werden

Mehr zum Programm - das zumindest bei Debian / Ubuntu am einfachsten per apt-get installiert wird - ist unter www.linklint.org zu erfahren.

Syndicate content