Menü
Aktuelles

[Biete] [RS.com] Linklisten für wget (danbooru/konachan/3dbooru/moe.imouto/...)

LazyTiger

LazyTiger

Gläubiger
Wenn du Referer und User-Agent geändert und er dann deine Verbindung blockiert dann kann es gut sein das du anscheinend gebannt wurdest (Firewall Einstellung, Manueller Ban durch einen Admin)...

Ich werde mir das mal anschauen, sobald der Server wieder geht... Der hat atm nämlich keine Lust mehr^^

EDIT: Server ist wieder online, eth0 geht wieder und einen neuen Kernel hat er auch :3
EDIT2: Aktuell überlege ich wie ich das hinbekomme das ihr die Links im Stil "ID - tags.ext" statt "md5.ext" bekommt... Wenn mir etwas einfällt melde ich mich :>
 
Zuletzt bearbeitet:
LazyTiger

LazyTiger

Gläubiger
Klar, die letzten Listen sind vom 27.12. ich Update jeden Monat heißt die Tage kommt wieder ein Update ;)

EDIT: Update läuft.
EDIT2: Update fertig aber ich glaube danbooru und safebooru sind nicht so ganz vollständig -.-
EDIT3: @Cancer: Sorry! / Würde bitte jemand die danbooru und safebooru File prüfen ob die neu gemacht werden muss?
 
Zuletzt bearbeitet:
MorpheusKiller

MorpheusKiller

Ordensbruder
Ich weiß die Aktualisierung der Listen ist monatlich, aber könntets du Liste für donmai.us 2mal im Monat aktualisieren. Die ist verdammt Umfangreich und die Verbindugn des Servers scheint nicht die Schnellste zu sein.
 
LazyTiger

LazyTiger

Gläubiger
MorpheusKiller hatte mir das eine oder andere Problem gemeldet, hier mal der Status dazu:

Soo, Statusupdate:
chan.ichigo.pl ist umgezogen auf chan.nyan.pl
wakku.ath.cx ist umgezogen auf wakku.to
deswegen die beiden 0 Byte Files.

e-shuushuu wurde zwar generiert nur wurde die Datei nicht aus dem (unsichtbaren) temporären Ordner in den Download-Ordner verschoben...

Habe mal die Dateien in's Archiv verschoben und lass ein Update laufen. Des Weiteren sollte nun das Datum wieder im Dateinamen stehen... Bzw. tut es ;)

Und ich hab mich jetzt auf allen Seiten mal angemeldet und hab somit auch meine Cookies... kA ob das Vorteile bringt aber Nachteile sicher nicht :)
Zum Vergrößern anklicken....

Ich weiß die Aktualisierung der Listen ist monatlich, aber könntets du Liste für donmai.us 2mal im Monat aktualisieren. Die ist verdammt Umfangreich und die Verbindugn des Servers scheint nicht die Schnellste zu sein.
Zum Vergrößern anklicken....
Ich werds mir durch den Kopf gehen lassen. Nur sollte man hierbei anmerken: Mein Server hat logischerweise eine STATISCHE IP, wenn ich damit also zu oft crawle und den Admin das irgendwann stört, gibts keine Listen mehr für den Host..
 
LazyTiger

LazyTiger

Gläubiger
So, ich habe noch mal ein paar Kleinigkeiten am Script geändert, zum einen sollte die e-shuushuu.txt nun nach dem generieren verschoben werden, zum anderen ist in der Wild Critters Linkliste nun die Vollständige URL.

chan.nyan.pl wurde entfernt, da diese anscheinend nicht (mehr?!) erreichbar sind. Außerdem wird demnächst eine Liste für gelbooru.com dabei sein. Das Script ist so weit fertig und muss nur noch etwas angepasst werden.

Sollte jemand noch Wünsche haben, weitere Anleitungen brauchen oder so kann er sich hier melden.
 
MorpheusKiller

MorpheusKiller

Ordensbruder
Mehr nicht? Imouto.org is ja schon 423GB groß und die haben "nur" ~109k Posts (Gelbooru.com hat immerhin 756k Posts). Wann war denn der letzte rip?
 
LazyTiger

LazyTiger

Gläubiger
Imouto und Konachan legen wert auf "Qualität" (=Auflösung), Danbooru und co. haben auch eine Menge kleiner Bilder von ein paar kb...
 
C

Cäsarion

Novize
Ich habe eine kleine Frage bezüglich der Größe...
Kann jemand vlt posten wie groß die einzelnen Boards sind falls er sie schon runtergeladen hat?
Habe eine kleine Liste bereits angefertigt die die Bilderzahl angibt bzw die Posts (ca.)

Größe(??) - Posts - Board - Inhalt
128gb 0262000 http://behoimi.org/ (Inhalt: Reallife, Erotik, Cosplay)
140gb 0880000 http://danbooru.donmai.us/ (Inhalt: So ziemlich alles)
000gb 0140000 http://e621.net/ (Inhalt: Furry)
423gb 0147000 http://moe.imouto.org/ (Inhalt: Anime, Hentai... Große Bilder!)
090gb 0094000 http://konachan.com/ (Inhalt: Anime, Hentai... Große Bilder!)
000gb 0023000 http://nekobooru.net/ (Inhalt: Catgirls :3)
000gb 0006200 http://wakku.to/ (Inhalt: Higurashi Bilder jeglicher Art^^)
000gb 0001500 http://animenord.no/ (Inhalt: Anime Allg.)
076gb 0157000 http://akyu.genso.ws/ (Inhalt: Anime, Wallpaper)
150mb 0000800 http://ichijou.org/ (Inhalt: Wallpaper/Vektorgrafiken)
000gb 1212000 http://gelbooru.com/ (Inhalt: Alles mögliche...)
000gb 0417000 http://e-shuushuu.net/ (Inhalt: Anime (Moe etc.))

Vlt kann ja jemand die gb ergänzen :) Oder kann man das anderswo einsehen? Habe das Verfahren noch nicht ausprobiert, da ich erst demnächst eine neue Internetleitung bekomme.
Ich bedanke mich schonmal herzlich :)

lg
 
Zuletzt bearbeitet:
LazyTiger

LazyTiger

Gläubiger
Nope, kann ich leider nicht sagen. Ich könnte zwar beim Erstellen der Files jeweils die Bytes addieren aber naja, zusätzlicher Aufwand =/
 
C

Cäsarion

Novize
Schade, aber trotzdem danke. Falls jemand von irgendeinem Board die Größe hat kann ers ja trotzdem posten ;). Ich lade momentan fleißig, wenn ich größen habe füg sie meiner Liste zu, vlt interessiert es ja jemanden.
 
DarkShiva

DarkShiva

Exarch
hi ich hätte da mal eine Frage ich habe im I-Net ein Dumping Script für eine booru Seite gefunden,wenn ich jetzt mit wget auf der seite was downloaden will funktioniert das irgendwie nicht kennt sich wer damit aus und kann mir sagen was an den text Document nicht stimmt

Text ist am Anhang
 

Anhänge

Du musst dich einloggen oder registrieren, um hier zu antworten.
Oben