[Biete] Archivierung von Webcomics.

[nero666]

Hey Leutz,
ich habe mir mal darüber Gedanken gemacht, wie man die Archivierung von Webcomics automatisieren kann. Ich bin jetzt so weit gekommen, das ich alle Webcomics automatisch runterladen kann, die nach Datum oder Nummer der Folge sortiert sind. Falls ihr einen Webcomic haben wollt, den ihr hier im Forum nicht findet oder der veraltet ist. Einfach eine PM mit dem Link zum Comic an mich und ich zieh den für euch, wenn es mir möglich ist ^.^

Für alle die Wissen wollen, wie es geht und ein wenig Programmieren können lesen einfach mal weiter:

Spoiler

Ihr braucht das tool wget. Was macht wget? wget lädt eine Datei runter, in dem man die genaue URL zu dir Datei angibt. Mit dem Parameter -i liest wget URLs aus einer Datei und läd alle Dateien runter. Jetzt brauchen wir nur noch die URLs. Die meisten URLs sind sehr einfach gestrickt: http://example.com/comics/folge01.jpg. Ich lasse jetzt einfach die ein Skript URLs generieren und in eine Datei schreiben und mit 'wget -i Dateiname' die Bilder laden. Die andere Variante ist, das die Bilder nach Datum sortiert sind. Die Daten findet man meinst im Archiv, also alles mit ctrl-c raus kopieren und in eine Datei einfügen, und ein Skript die Daten raus suchen lassen und mit wget wieder runterladen. Dies sieht dann meist so aus: http://exampel.com/comics/20090826.jpg für den 26.08.2009. Ich kann auch mal gerne etwas Sourcecode zeigen aller dings Bringe ich keinem Programmieren bei ^^ Möglich in Java, Perl oder Python.

So long *mau*

 

[Grey]

Jetzt die preisfrage es ist immer von script bzw. scripen die rede. Welche und wget örm ja wo soll man das eingeben ^^°

 

[Maximilian Red]

Wäre sehr erfreut wenn du den Code online stellen könntest^^ (suche nämlich anregungen, wie ich bei ruby mit server kommunizieren kann, um dann infos zu bilder und neue ranzuschaffen)
musst aber nicht den in ruby umschreiben ;P
alle 3 sprachen wären da gut, weil so kann man auch unter denen vergleichen^^ (habe mich ja auch durch die Klassen Dokumentation von Qt4 durchgekämpft, die ja bekanntlich in c++ geschrieben ist)

Also wäre echt gut wenn du den code etwas verteilen könntest, oder zumindest nur die parts für die server kommunikation^^

@Grey: so wie die codezeile aussieht erinnert es mich stark an einem unix system
also dort in die shell oder in windows dann mit den passenden interpretern in der Kommando Zeile

 

[nero666]

Hey,
@Maximilian Red
ich schreibe grade einem Tool, um die Comics zu laden. Wenn da was fertig ist Zeige ich dir gerne die Source. Um auf den Server zu zu greifen benutzt ich bisher das Tool "wget".[ame="http://de.wikipedia.org/wiki/Wget"](Wiki link)[/ame] Hier mit kann man eine Datei Runterladen, wenn man den genauen Link kennt. Ich habe bisher lediglich die URLs generieren lassen und wget macht den rest. Allerdings bin ich jetzt bei einem Comic auf das Problem gestoßen, das dieser anscheinend anfragt ob ein Browser auf das Bild zugreift und auch nur dann das Blild freigibt. Von daher habe ich jetzt angefangen mit mit der http libary von python auseinander zu setzten, und hoffe so ein tool zu entwickeln, mit dem man beliebige Comics Downloaden kann nur brauche ich hier für noch etwas zeit

so long *mau*

 

[Maximilian Red]

Also ich bin da ja der Meinung grundsätzlich alles selber zu basteln und bin jetzt auch bei der http library aber von ruby halt
mein anliegen gilt aber weniger den Comics, sondern eher den bekanntesten Furry image boards und die verbesserung meiner sammlung^^

PS: Wir haben hier acuh einen disku thread für alle möglichen Programme und skripte
http://board.world-of-hentai.to/f63/fup-anregungen-76612/
und einen zum veröffentlichen
http://board.world-of-hentai.to/f63/fups-77040/
Also wenn du fertig bist ooder zum weiteren bereden damit der andere nicht überflüssig wird ;P

 

[Topas]

Und ich sage immer noch, dass es sowas schon gibt:

http://slipgate.za.net/dosage/

Unterstützt ca 2000 Webcomics (geschätzt), wurde aber leider schon lange nicht mehr aktualisiert, deshalb funktionieren viele der Comics nicht mehr. Wenn man sich die Dinger allerdings anschaut, kann man das bei Bedarf anpassen.

EDIT: grad nochmal nachgeschaut:

> 2144 supported comics.

Eine genaue Liste: