Das deutsche QBasic- und FreeBASIC-Forum

Marky · Anmeldungsdatum: 02.09.2004 Beiträge: 1173

Hi,

ich muss eine komplette Domain von Archive.org auf meine Festplatte spiegeln. Sind etwa 10.000 Files.

Hat jemand Erfahrung in dieser Hinsicht (bei Archive.org erhält man ja mehr Fehlermeldungen als archivierte Seiten...) und kann evtl. Tipps geben oder Programme empfehlen? HTTrack ist hier schon mal unbrauchbar, das lädt manche Dateien einfach nicht herunter (nicht nur bei Archive.org). Warum weiß ich nicht. verwundert

ThePuppetMaster · Verfasst am: 04.04.2007, 23:37 Titel:

Willst du allen ernstes 2 Billionen Webseiten bei dir Saven?!? ...

MfG
TPM
_________________
[ WebFBC ][ OPS ][ ToOFlo ][ Wiemann.TV ]

Jojo · Verfasst am: 04.04.2007, 23:42 Titel: Re: Archive.org spiegeln

ThePuppetMaster · Verfasst am: 05.04.2007, 01:45 Titel:

Hab ich ... ja .. udn da Archivs.org rund 2 Billionen seiten gesaft hat, und diese folglich zur Domain gehören, ist das ne nicht sonderlich gute idee grinsen

wobeis schon vorteile hat, wenn man das INet Lokal hat Zunge rausstrecken

MfG
TPM
_________________
[ WebFBC ][ OPS ][ ToOFlo ][ Wiemann.TV ]

Michael712 · Verfasst am: 05.04.2007, 02:08 Titel:

ich glaube Marky meint, er will eine domain, die man bei archive.org angucken kann, spiegeln. Also zum Beispiel ein archiveintrag von freebasic.net oder so happy

_________________

ThePuppetMaster · Verfasst am: 05.04.2007, 02:40 Titel:

aaaaaaaa ... naja .. mit HTTrack geht das schon, man muss da nur ein paar dinge konfigurieren.

z.B. den Timeout, und das Redirection.

MfG
TPM
_________________
[ WebFBC ][ OPS ][ ToOFlo ][ Wiemann.TV ]

progon · Verfasst am: 05.04.2007, 09:55 Titel:

Also ich hab noch das Programm Webspider im Angebot lächeln

Damit kann man eigentlich sehr leicht komplette Websites runterladen. Könntest es ja mal ausprobieren. Hat bei mir bisher immer funktioniert.

EDIT: Hier ist der Link:
http://www.xaldon.de/products_webspider.html
_________________
MfG progon

Mao · Verfasst am: 05.04.2007, 11:24 Titel:

HTTrack hat (nach entsprechender Config) bei mir eigentlich auch immer das gezogen, was ich wollte. neutral

_________________
Eine handvoll Glück reicht nie für zwei.
--

Marky · Anmeldungsdatum: 02.09.2004 Beiträge: 1173

Danke für den Link, progon! Den kannte ich noch nicht.

Nach einiger Konfiguration zieht HTTrack bei mir auch fleißig, das Problem ist nur, dass die meisten Binärdateien (ZIP, RAR, EXE usw.) nicht vollständig vom Archive übertragen werden. Der Server beendet die Verbindung 1 Byte vor Dateiende, d. h. die entsprechenden Dateien werden korrupt! Wiederaufnahme wird nicht untersützt (rückschrittlicher gehts auch nicht...) Das Problem ist mir aber bekannt, und es ist nicht nur bei mir so. Eine Lösung gibt es anscheinend nicht. Mit ReGet kann man die fehlerhaften Downloads pausieren und dann aus der Downloadliste rauslöschen. Danach sind sie kurioserweise intakt. Nur muss das alles manuell gemacht werden. verwundert