httrack – Online in der Cloud

PROGRAMM:

NAME/FUNKTION

httrack – Offline-Browser: Websites in ein lokales Verzeichnis kopieren

ZUSAMMENFASSUNG

httrack [ URL ] ... [ -Filter ] ... [ +Filter ] ... [ -Ö, --Weg ] [ -w, --Spiegel ] [ -W,
--mirror-wizard ] [ -G, --get-files ] [ -ich, --fortsetzen ] [ -Y, --mirrorlinks ] [ -P,
--Proxy ] [ -%F, --httpproxy-ftp[=N] ] [ -%B, --binden ] [ -rN, -- Depth[=N] ] [ -%eN,
--ext-tiefe[=N] ] [ -mN, --max-files[=N] ] [ -MN, --max-size[=N] ] [ -DE, --max-time[=N] ]
[ -EIN, --max-rate[=N] ] [ -%cN, --connection-per-second[=N] ] [ -GN, --max-pause[=N] ] [
-cN, --sockets[=N] ] [ -TN, --timeout[=N] ] [ -RN, --retries[=N] ] [ -JN, --min-rate[=N] ]
[ -HN, --host-control[=N] ] [ -%P, --extended-parsing[=N] ] [ -nicht, --nahe ] [ -T, --Prüfung ]
[ -%L, --aufführen ] [ -%S, --urllist ] [ -NN, --structure[=N] ] [ -%D,
--cached-delayed-type-check ] [ -%M, --mime-html ] [ -LN, --long-names[=N] ] [ -KN,
--keep-links[=N] ] [ -X, --replace-external ] [ -%X, --disable-passwords ] [ -%Q,
--include-Query-String ] [ -Ö, --generate-errors ] [ -X, --purge-old[=N] ] [ -%P,
--bewahren ] [ -%T, --utf8-Konvertierung ] [ -bN, --cookies[=N] ] [ -du, --check-type[=N] ] [
-J, --parse-java[=N] ] [ -sN, --robots[=N] ] [ -%H, --http-10 ] [ -%k, --bleib am Leben ] [
-%B, --tolerant ] [ -%S, --updatehack ] [ -%u, --urlhack ] [ -%A, --annehmen ] [ -@In,
--protocol[=N] ] [ -%w, --disable-module ] [ -F, --User-Agent ] [ -%R, - Verweiser ] [ -%E,
--aus ] [ -%F, --Fusszeile ] [ -%l, --Sprache ] [ -%A, --annehmen ] [ -%X, --header ] [ -VS,
--cache[=N] ] [ -k, --store-all-in-cache ] [ -%N, --do-not-recatch ] [ -%v, --Anzeige ] [
-Q, --do-not-log ] [ -Q, --ruhig ] [ -z, --extra-log ] [ -Z, --Austestungsprotokoll ] [ -in, - ausführlich
] [ -F, --file-log ] [ -f2, --single-log ] [ -ICH, --Index ] [ -%ich, --build-top-index ] [
-%ICH, --search-index ] [ -pN, --priority[=N] ] [ -S, --stay-on-same-dir ] [ -D,
--can-go-down ] [ -U, --can-go-up ] [ -B, --kann-auf-und-abgehen ] [ -a,
--stay-on-same-address ] [ -D, --stay-on-same-domain ] [ - l, --stay-on-same-tld ] [ -e,
--geh überall hin ] [ -%H, --debug-headers ] [ -%!, --disable-security-limits ] [ -V,
--userdef-cmd ] [ -%W, --zurückrufen ] [ -K, --keep-links[=N] ] [

BESCHREIBUNG

httrack ermöglicht Ihnen das Herunterladen einer World Wide Web-Site aus dem Internet auf eine lokale Website
Verzeichnis, rekursives Erstellen aller Verzeichnisse, Abrufen von HTML, Bildern und anderen Dateien
vom Server auf Ihren Computer. HTTrack ordnet den relativen Link der Original-Site-
Struktur. Öffnen Sie einfach eine Seite der „gespiegelten“ Website in Ihrem Browser, und schon können Sie loslegen
Durchsuchen Sie die Website von Link zu Link, als ob Sie sie online ansehen würden. HTTrack kann das auch
Aktualisieren Sie eine vorhandene gespiegelte Site und setzen Sie unterbrochene Downloads fort.

Beispiele:

httrack www.someweb.com/bob/
Mirror-Site www.someweb.com/bob/ und nur diese Site

httrack www.someweb.com/bob/ www.anothertest.com/mike/ +*.com/*.jpg -mime:application/*
Spiegeln Sie die beiden Websites zusammen (mit freigegebenen Links) und akzeptieren Sie alle JPG-Dateien
.com-Seiten

httrack www.someweb.com/bob/bobby.html +* -r6
bedeutet, alle Dateien ab bobby.html abzurufen, mit 6 Linktiefen und der Möglichkeit von
überall im Web hingehen

httrack www.someweb.com/bob/bobby.html --Spinne -P Proxy.meinHost.com:8080
führt den Spider auf www.someweb.com/bob/bobby.html über einen Proxy aus

httrack --aktualisieren
Aktualisiert einen Spiegel im aktuellen Ordner

httrack
bringt Sie in den interaktiven Modus

httrack --fortsetzen
setzt eine Spiegelung im aktuellen Ordner fort

OPTIONAL

Allgemein Optionen:
-O Pfad für Spiegel/Protokolldateien+Cache (-O Pfad Spiegel[,Pfad Cache und Protokolldateien]) (--path
)

Action Optionen:
-w *Websites spiegeln (--mirror)

-W Websites spiegeln, halbautomatisch (stellt Fragen) (--mirror-wizard)

-g nur Dateien abrufen (im aktuellen Verzeichnis gespeichert) (--get-files)

-i setze einen unterbrochenen Spiegel mit dem Cache fort (--continue)

-Y spiegelt ALLE Links wider, die sich auf den Seiten der ersten Ebene befinden (Mirror-Links) (--mirrorlinks)

Proxy Optionen:
-P Proxy-Verwendung (-P Proxy:Port oder -P Benutzer:Pass@Proxy:Port) (--proxy )

-%f *Proxy für FTP verwenden (f0 nicht verwenden) (--httpproxy-ftp[=N])

-%b diesen lokalen Hostnamen verwenden, um Anfragen zu stellen/senden (-%b Hostname) (--bind )

Limits Optionen:
-rN setzt die Spiegeltiefe auf N (* r9999) (-- Depth[=N])

-%eN setzt die Tiefe der externen Links auf N (* %e0) (--ext- Depth[=N])

-mN maximale Dateilänge für eine Nicht-HTML-Datei (--max-files[=N])

-mN,N2 maximale Dateilänge für Nicht-HTML (N) und HTML (N2)

-MN maximale Gesamtgröße, die hochgeladen/gescannt werden kann (--max-size[=N])

-EN maximale Spiegelzeit in Sekunden (60=1 Minute, 3600=1 Stunde) (--max-time[=N])

-AN maximale Übertragungsrate in Bytes/Sekunden (max. 1000=1 KB/s) (--max-rate[=N])

-%cN maximale Anzahl von Verbindungen/Sekunden (*%c10) (--connection-per-second[=N])

-GN unterbricht die Übertragung, wenn N Bytes erreicht sind, und wartet, bis die Sperrdatei gelöscht wird
(--max-pause[=N])

Flow Steuerung:
-cN Anzahl mehrerer Verbindungen (*c8) (--sockets[=N])

-TN-Timeout, Anzahl der Sekunden, nachdem ein nicht antwortender Link heruntergefahren wurde (--timeout[=N])

-RN Anzahl der Wiederholungsversuche im Falle einer Zeitüberschreitung oder nicht schwerwiegender Fehler (*R1) (--retries[=N])

-JN-Verkehrsstaukontrolle, minimale Übertragungsrate (Bytes/Sekunden), die für einen Link toleriert wird
(--min-rate[=N])

-HN-Host wird verlassen, wenn: 0=nie, 1=Timeout, 2=langsam, 3=Timeout oder langsam
(--host-control[=N])

Links Optionen:
-%P *erweitertes Parsen, versuchen Sie, alle Links zu analysieren, auch in unbekannten Tags oder Javascript
(%P0 nicht verwenden) (--extended-parsing[=N])

-n Nicht-HTML-Dateien in der Nähe einer HTML-Datei abrufen (z. B. ein Bild außerhalb) (--near)

-t alle URLs testen (auch verbotene) (--test)

-%L Fügen Sie alle in dieser Textdatei enthaltenen URLs hinzu (eine URL pro Zeile) (--list )

-%S Fügen Sie alle in dieser Textdatei enthaltenen Scanregeln hinzu (eine Scanregel pro Zeile).
(--urllist )

Bauen Optionen:
-NN-Strukturtyp (0 *Originalstruktur, 1+: siehe unten) (--structure[=N])

-oder benutzerdefinierte Struktur (-N "%h%p/%n%q.%t")

-%N verzögerte Typprüfung, führen Sie keinen Linktest durch, sondern warten Sie, bis der Datei-Download beginnt
stattdessen (experimentell) (%N0 nicht verwenden, %N1 für unbekannte Erweiterungen verwenden, * %N2 immer
benutzen)

-%D verzögerte Typprüfung zwischengespeichert, bei Aktualisierungen nicht auf Remote-Typ warten, um die Geschwindigkeit zu erhöhen
sie (%D0 warten, * %D1 nicht warten) (--cached-delayed-type-check)

-%M generiert ein RFC-MIME-gekapseltes Vollarchiv (.mht) (--mime-html)

-LN lange Namen (L1 *lange Namen / L0 8-3-Konvertierung / L2 ISO9660-kompatibel)
(--long-names[=N])

-KN behält die ursprünglichen Links bei (z http://www.adr/link) (K0 *relativer Link, K absolut
Links, K4 Original-Links, K3 absolute URI-Links, K5 transparenter Proxy-Link)
(--keep-links[=N])

-x externe HTML-Links durch Fehlerseiten ersetzen (--replace-external)

-%x kein Passwort für externe passwortgeschützte Websites einschließen (%x0 include)
(--disable-passwords)

-%q *Abfragezeichenfolge für lokale Dateien einschließen (nutzlos, nur zu Informationszwecken) (%q0
nicht einschließen) (--include-query-string)

-o *Ausgabe-HTML-Datei im Fehlerfall generieren (404..) (o0 nicht generieren)
(--generate-errors)

-X *alte Dateien nach dem Update löschen (X0 weiterhin löschen) (--purge-old[=N])

-%p HTML-Dateien unverändert beibehalten (identisch mit -K4 -%F "" ) (--preserve)

-%T verknüpft die Konvertierung in UTF-8 (--utf8-conversion)

Spiders Optionen:
-bN Cookies in Cookies.txt akzeptieren (0=nicht akzeptieren,* 1=akzeptieren) (--cookies[=N])

-u Dokumenttyp prüfen, wenn unbekannt (cgi,asp..) (u0 nicht prüfen, * u1 prüfen, aber /, u2
immer prüfen) (--check-type[=N])

-j *Java-Klassen analysieren (j0 nicht analysieren, Bitmaske: |1 standardmäßig analysieren, |2 nicht analysieren
.class |4 .js nicht analysieren |8 nicht aggressiv sein) (--parse-java[=N])

-sN folgen robots.txt- und Meta-Robots-Tags (0=nie,1=manchmal,* 2=immer, 3=immer
(sogar strenge Regeln)) (--robots[=N])

-%h HTTP/1.0-Anfragen erzwingen (Updatefunktionen reduzieren, nur für alte Server oder Proxys)
(--http-10)

-%k Verwenden Sie nach Möglichkeit Keep-Alive, um die Latenz für kleine Dateien und Tests erheblich zu reduzieren
Anfragen (%k0 nicht verwenden) (--keep-alive)

-%B tolerante Anfragen (auf einigen Servern werden gefälschte Antworten akzeptiert, aber nicht standardmäßig!)
(--tolerant)

- %s Update-Hacks: verschiedene Hacks, um erneute Übertragungen beim Update zu begrenzen (identische Größe,
falsche Antwort..) (--updatehack)

-%u URL-Hacks: verschiedene Hacks, um doppelte URLs zu begrenzen (strip //, www.foo.com==foo.com..)
(--urlhack)

-%A geht davon aus, dass ein Typ (cgi,asp..) immer mit einem MIME-Typ (-%A) verknüpft ist
php3,cgi=text/html;dat,bin=application/x-zip) (--assume )

-kann auch verwendet werden, um einen bestimmten Dateityp zu erzwingen: --assume foo.cgi=text/html

-@iN Internetprotokoll (0=sowohl IPv6+IPv4, 4=nur IPv4, 6=nur IPv6) (--protocol[=N])

-%w ein bestimmtes externes Mime-Modul deaktivieren (-%w htsswf -%w htsjava) (--disable-module
)

Browser ID:
-F User-Agent-Feld, das in HTTP-Headern gesendet wird (-F „User-Agent-Name“) (--user-agent )

-%R Standard-Referer-Feld, das in HTTP-Headern gesendet wird (--referer )

-%E von der in HTTP-Headern gesendeten E-Mail-Adresse (--from )

-%F Fußzeilenzeichenfolge im HTML-Code (-%F „Gespiegelt [von Host %s [Datei %s [bei %s]]]“
(--Fusszeile )

-%l bevorzugte Sprache (-%l "fr, en, jp, *" (--Language )

-%a akzeptierte Formate (-%a "text/html,image/png;q=0.9,*/*;q=0.1" (--accept )

-%X zusätzliche HTTP-Headerzeile (-%X "X-Magic: 42" (--headers )

Log, Index, Cache-Speicher
-C Cache für Aktualisierungen und Wiederholungsversuche erstellen/verwenden (C0 kein Cache, C1 Cache hat Priorität,* C2
Update vorher testen) (--cache[=N])

-k Alle Dateien im Cache speichern (nicht nützlich, wenn Dateien auf der Festplatte liegen) (--store-all-in-cache)

-%n lokal gelöschte Dateien nicht erneut herunterladen (--do-not-recatch)

-%v Anzeige der heruntergeladenen Dateinamen auf dem Bildschirm (in Echtzeit) - * %v1 Kurzversion - %v2
vollständige Animation (--display)

-Q kein Protokoll – stiller Modus (--do-not-log)

-q keine Fragen – Ruhemodus (--quiet)

-z log – zusätzliche Infos (--extra-log)

-Z log – debuggen (--debug-log)

-v Anmeldebildschirm (--verbose)

-f *in Dateien einloggen (--file-log)

-f2 eine einzelne Protokolldatei (--single-log)

-I *einen Index erstellen (I0 nicht erstellen) (--index)

-%i erstellt einen Top-Index für einen Projektordner (* %i0 nicht erstellen) (--build-top-index)

-%Ich erstelle einen durchsuchbaren Index für diesen Spiegel (* %I0 nicht erstellen) (--search-index)

Outsourcing von Optionen:
-pN Prioritätsmodus: (* p3) (--priority[=N])

-p0 nur scannen, nichts speichern (zur Überprüfung von Links)

-p1 speichert nur HTML-Dateien

-p2 speichert nur Nicht-HTML-Dateien

-*p3 alle Dateien speichern

-p7 Vorher HTML-Dateien abrufen und dann andere Dateien behandeln

-S im selben Verzeichnis bleiben (--stay-on-same-dir)

-D *kann nur in Unterverzeichnisse gehen (--can-go-down)

-U kann nur in obere Verzeichnisse gehen (--can-go-up)

-B kann sowohl nach oben als auch nach unten in die Verzeichnisstruktur gehen (--can-go-up-and-down)

-a *an derselben Adresse bleiben (--stay-on-same-address)

-d auf derselben Hauptdomäne bleiben (--stay-on-same-domain)

-l bleibe auf derselben TLD (z. B. .com) (--stay-on-same-tld)

-e überall im Web hingehen (--go-everywhere)

-%H HTTP-Header in der Protokolldatei debuggen (--debug-headers)

Guru Optionen: (von NICHT - if möglich)
-#X *optimierte Engine verwenden (begrenzte Speichergrenzenprüfungen) (--fast-engine)

-#0 Filtertest (-#0 *.gif www.bar.com/foo.gif ) (--debug-testfilters )

-#1 Test vereinfachen (-#1 ./foo/bar/../foobar)

-#2 Typtest (-#2 /foo/bar.php)

-#C Cache-Liste (-#C *.com/spider*.gif (--debug-cache )

-#R Cache-Reparatur (beschädigter Cache) (--repair-cache)

-#d Debug-Parser (--debug-parsing)

-#E Extrahieren Sie die Cache-Metadaten von new.zip in meta.zip

-#f Protokolldateien immer leeren (--advanced-flushlogs)

-#FN maximale Anzahl von Filtern (--advanced-maxfilters[=N])

-#h Versionsinfo (--version)

-#K scan stdin (debug) (--debug-scanstdin)

-#L maximale Anzahl von Links (-#L1000000) (--advanced-maxlinks)

-#p zeigt hässliche Fortschrittsinformationen an (--advanced-progressinfo)

-#P Catch-URL (--catch-url)

-#R alte FTP-Routinen (Debug) (--repair-cache)

-#T Transferoperationen generieren. Alle Minuten protokollieren (--debug-xfrstats)

-#u Wartezeit (--advanced-wait)

-#Z generiert alle Minuten statische Übertragungsraten (--debug-ratestats)

Gefährlich Optionen: (von NICHT - es sei denn U genau kennt was U sind tun)
-%! Umgehen Sie integrierte Sicherheitsbeschränkungen, um Bandbreitenmissbrauch zu verhindern (Bandbreite,
gleichzeitige Verbindungen) (--disable-security-limits)

-WICHTIG
HINWEIS: GEFÄHRLICHE OPTION, NUR FÜR EXPERTEN GEEIGNET

- Verwenden Sie es mit äußerster Sorgfalt

Befehlszeile spezifisch Optionen:
-V Systembefehl nach jeder Datei ausführen ($0 ist der Dateiname: -V „rm \$0“)
(--userdef-cmd )

-%W verwendet eine externe Bibliotheksfunktion als Wrapper (-%W myfoo.so[,myparameters])
(--Ruf zurück )

Details: Option N
-N0 Site-Struktur (Standard)

-N1 HTML in web/, Bilder/andere Dateien in web/images/

-N2 HTML in Web/HTML, Bilder/Sonstiges in Web/Bilder

-N3 HTML im Web/, Bilder/andere im Web/

-N4 HTML in web/, images/other in web/xxx, wobei xxx die Dateierweiterung ist (alle gif
wird zum Beispiel im Web/GIF platziert)

-N5 Bilder/andere in web/xxx und HTML in web/HTML

-N99 Alle Dateien in web/, mit zufälligen Namen (Gadget!)

-N100 Site-Struktur, ohne www.domain.xxx/

-N101 Identisch mit N1, außer dass „web“ durch den Namen der Site ersetzt wird

-N102 Identisch mit N2, außer dass „web“ durch den Namen der Site ersetzt wird

-N103 Identisch mit N3, außer dass „web“ durch den Namen der Site ersetzt wird

-N104 Identisch mit N4, außer dass „web“ durch den Namen der Site ersetzt wird

-N105 Identisch mit N5, außer dass „web“ durch den Namen der Site ersetzt wird

-N199 Identisch mit N99, außer dass „web“ durch den Namen der Site ersetzt wird

-N1001 Identisch mit N1, außer dass es kein „Web“-Verzeichnis gibt

-N1002 Identisch mit N2, außer dass es kein „Web“-Verzeichnis gibt

-N1003 Identisch mit N3, außer dass es kein „Web“-Verzeichnis gibt (Option für g-Option festgelegt)

-N1004 Identisch mit N4, außer dass es kein „Web“-Verzeichnis gibt

-N1005 Identisch mit N5, außer dass es kein „Web“-Verzeichnis gibt

-N1099 Identisch mit N99, außer dass es kein „Web“-Verzeichnis gibt

Details: Benutzerdefinierten zu erhalten N
%n Name der Datei ohne Dateityp (z. B. Bild)
%N Name der Datei, einschließlich Dateityp (z. B. image.gif)
%t Dateityp (z. B. gif)
%p Pfad [ohne Endung /] (z. B. /someimages)
%h Hostname (z. B. www.someweb.com)
%M URL MD5 (128 Bit, 32 ASCII-Bytes)
%Q Abfragezeichenfolge MD5 (128 Bit, 32 ASCII-Bytes)
%k vollständige Abfragezeichenfolge
%r Protokollname (z. B. http)
%q kleine Abfragezeichenfolge MD5 (16 Bit, 4 ASCII-Bytes)
%S? Kurznamenversion (z. B. %sN)
%[param] Parametervariable in der Abfragezeichenfolge
%[param:before:after:empty:notfound] erweiterte Variablenextraktion

Details: Benutzerdefinierten zu erhalten N und advanced Variable Extraktion
%[param:before:after:empty:notfound]

-param: Parametername

-Vor
: Zeichenfolge, die vorangestellt werden soll, wenn der Parameter gefunden wurde

-after: Zeichenfolge, die angehängt werden soll, wenn der Parameter gefunden wurde

-nicht gefunden
: String-Ersetzung, wenn der Parameter nicht gefunden werden konnte

-empty: String-Ersetzung, wenn der Parameter leer war

-Alle Felder außer dem ersten (dem Parameternamen) können leer sein

Details: Option K
-K0 foo.cgi?q=45 -> foo4B54.html?q=45 (relative URI, Standard)

-K -> http://www.foobar.com/folder/foo.cgi?q=45 (absolute URL) (--keep-links[=N])

-K3 -> /folder/foo.cgi?q=45 (absoluter URI)

-K4 -> foo.cgi?q=45 (ursprüngliche URL)

-K5 -> http://www.foobar.com/folder/foo4B54.html?q=45 (transparente Proxy-URL)

Tastenkombinationen:
--Spiegel
*einen Spiegel der Site(s) erstellen (Standard)

--erhalten
Holen Sie sich die angegebenen Dateien, suchen Sie nicht nach anderen URLs (-qg)

--aufführen
Alle in dieser Textdatei enthaltenen URLs hinzufügen (-%L)

--mirrorlinks
Alle Links auf Seiten der 1. Ebene spiegeln (-Y)

--testlinks
Testlinks in Seiten (-r1p0C0I0t)

--Spinne
Spider-Site(s), um Links zu testen: meldet Fehler und Warnungen (-p0C0I0t)

--testsite
identisch mit --spider

--Skelett
einen Spiegel erstellen, aber nur HTML-Dateien erhalten (-p1)

--aktualisieren
einen Spiegel aktualisieren, ohne Bestätigung (-iC2)

--fortsetzen
einen Spiegel fortsetzen, ohne Bestätigung (-iC1)

--catchurl
Erstellen Sie einen temporären Proxy, um eine URL oder eine Formularpost-URL zu erfassen

--sauber
Cache- und Protokolldateien löschen

--http10
http/1.0-Anfragen erzwingen (-%h)

Details: Option %W: Extern Rückrufe Prototypen
sehen htsdefines.h

Nutzen Sie httrack online über die Dienste von onworks.net