Celebforum Downloader
Tool 

Joub

Silber
Beiträge
1
Reaktionen
10
Punkte
31
Heyho! Ich habe heute ein Programm geschrieben, um Posts herunterzuladen! Das Programm ist relativ simpel und installiert alles Nötige, außer Redgifs (das könnte in Zukunft kommen, wenn es gewünscht wird).

Hier findet ihr das Programm:
Please, Anmelden or Registrieren to view URLs content!

Installation​


Ihr könnt das Programm ganz einfach installieren:
Entweder als ZIP-Datei, indem ihr auf den grünen "Code"-Button klickt und es herunterladet, oder über das Terminal mit:
Bash:
git clone https://github.com/Maxolotus/Celebforum-downloader

Ausführung​

Nach der Installation einfach mit folgendem Befehl starten:
Bash:
python main.py

Wichtige Hinweise zur config.json​

Die config.json müsst ihr nicht ausfüllen, wenn ihr nur Bilder herunterladen möchtet.
Falls ihr aber auch Videos herunterladen wollt, müsst ihr eure Cookies in die config.json eintragen.
Dazu gibt es auch ein Bild auf der Github Seite.

Das Programm sollte weitestgehend selbsterklärend sein.

Viel Spaß damit, und falls ihr Fragen habt, meldet euch gerne!

UNzDmob30T
 
1 Kommentar
Joub
Joub kommentierte
Tut mir leid hab mich beim Befehl git clone vertan es sieht so aus!
Bash:
git clone https://github.com/Maxolotus/Celebforum-downloader.git
 

Joub

Silber
Beiträge
1
Reaktionen
10
Punkte
31
Und ich hab dazu noch vergessen das man die config.json immer fühlen muss! Ich weiß nicht wieso es bei mir davor ohne funktioniert hat... Tut mir leid für die Missverständnisse!
 
Kommentar

Joub

Silber
Beiträge
1
Reaktionen
10
Punkte
31
Mir hat ein User berichtet das viele Bin files heruntergeladen werden. Problem ist dafür kann ich leider recht wenig.
Die Website hat sich weiter entwickelt und die Developer der Website haben eine Protection eingebaut namens "Cloudflare" (vermute ich). Auch bei den Bildern. Heißt -> die Bilder können nicht schnell herunter geladen werden und auch nicht "durchgängig". Das einzige was ich jetzt machen konnte ist die Anzahl von Bin Files zu reduzieren durch den Verlust von schnelligkeit.
Kann man leider nichts machen.
Was ich euch empfehlen würde wäre die Threads anzahl höher (4 Threads ca) zu machen und die Wait Time auch im höheren Bereich (4-6) halten.

[CHANGES] (für developer oder so)
requests library -> cloudscraper (request wrapper)
Rate Limited -> man wartet 20 Sekunden lang
Nach jedem download wartet man 4 bzw die angegebene wait time.
Nach jeder Seite wird 20 Sekunden gewartet


Die files wurden wieder auf die Github Repo hochgeladen:
Please, Anmelden or Registrieren to view URLs content!
 
Kommentar
Oben