6
Bonjour,
je vous propose une solution gratuite qui vous permettra de télécharger de manière automatisée vers tous les sites d'hebergements de fichiers en ligne.
L'intéret du système réside dans le fait que les captcha sont reconnues, et les temps d'attente gérés.
La solution s'appelle Plowshare
Ici, je détaille une installation sur un TS-219P avec la dernière version de l'OS (v3.2.3 build 0212T)
Pré-requis
- Avoir installé et activé les IPKG (via l'installation d'un QPKG)
- Auelques notions d'utilisation de Linux (notamment vi)
- Avoir mis à jour le référentiel ipkg via la commance (ipkg update)
Commençons :
ipkg install plowshare ipkg install libtool ipkg install tesseract-ocr ipkg install tesseract-ocr-lang-eng ipkg install imagemagick
Après celà, 2/3 corrections sont à faire:
cp -p /opt/bin/plowdown /opt/bin/plowdown_ORIG sed -i 's/^LIBDIR=.*/LIBDIR=\/share\/MD0_DATA\/.qpkg\/Optware\/share\/plowshare/' /opt/bin/plowdownplowdown
Corrigeons ensuite un bug lié à la reconnaissance de la captcha
cp -p /opt/share/plowshare/modules/megaupload.sh /opt/share/plowshare/modules/megaupload.sh_ORIG
Editer /opt/share/plowshare/modules/megaupload.sh (avec vi par exemple)
changer la ligne (107) :
remplacer
convert - +matte gif:- | ocr | tr -c -d '[a-zA-Z0-9]') ||
par
convert - +matte gif:- | ocr | sed s/[^a-zA-Z0-9]//g) ||
Allons maintenant l'utiliser
Plowshare est constitué de 3 scripts :
-plowdown : pour télécharger.
-plowup : pour uploader
-plowdel : pour supprimer un fichier uploadé
Voici un petit tour de chacune des options de plowdown:
Usage: plowdown [OPTIONS] [MODULE_OPTIONS] URL|FILE [URL|FILE ...] Download files from file sharing servers. Available modules: rapidshare megaupload 2shared badongo mediafire 4shared zshare depositfiles Global options: -h, --help: Show help info -v, --version: Return plowdown version -q, --quiet: Don''t print debug messages -l, --link-only: Return only file link -m, --mark-downloaded: Mark downloaded links in (regular) FILE arguments -o DIRECTORY, --output-directory=DIRECTORY: Directory where files will be saved -r SPEED, ----limit-rate=SPEED: Limit speed to bytes/sec (suffixes: k=Kb, m=Mb, g=Gb) Options for module <rapidshare>: -c, --check-link: Check if a link exists and return Options for module <megaupload>: -a USER:PASSWORD, --auth=USER:PASSWORD: Free-membership or Premium account -p PASSWORD, --link-password=PASSWORD: Used in password-protected files -c, --check-link: Check if a link exists and return Options for module <2shared>: -c, --check-link: Check if a link exists and return Options for module <badongo>: -c, --check-link: Check if a link exists and return Options for module <mediafire>: -c, --check-link: Check if a link exists and return Options for module <4shared>: -c, --check-link: Check if a link exists and return Options for module <zshare>: -c, --check-link: Check if a link exists and return Options for module <depositfiles>: -c, --check-link: Check if a link exists and return
Ce qui est intérressant c'est que l'on peut choisir de :
- Simplement récupérer le lien réél
- Télécharger le fichier
- Télécharger une liste de fichiers (dans ce cas, on crée un fichier texte contenant la listes URL).
Pour chacune de ces options on peut spécifier un couple "utilisateur/mot_de_passe", auquel cas, plowshare télécharge en utilisant les caractéristiques liées à ce compte (standard ou premimum)
Allez, pour finir, un exemple:
Je désire télécharger un eBook traitant de Ubuntu:
[/share/Public] # plowdown http://megaupload.com/?d=IFOXLJRN
start download (megaupload): http://megaupload.com/?d=IFOXLJRN
Downloading waiting page (loop 1)
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 33387 0 33387 0 0 35910 0 --:--:-- --:--:-- --:--:-- 46435
captcha URL: http://wwwq39.megaupload.com/gencap.php?7f89b6714294845d.gif
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 708 100 708 0 0 1347 0 --:--:-- --:--:-- --:--:-- 3091
Tesseract Open Source OCR Engine
Decoded captcha: TTD9
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
102 36731 0 36731 0 720 35426 694 --:--:-- 0:00:01 --:--:-- 43365
Correct captch (try 1)
File URL: http://www466.megaupload.com/files/7ebaee4db61dde173c5348a8febd67be/Apress.Beginning.Ubuntu.Linux.2nd.Edition.Mar.2007.eBook-BBL.rar
Waiting 46 seconds
file URL: http://www466.megaupload.com/files/7ebaee4db61dde173c5348a8febd67be/Apress.Beginning.Ubuntu.Linux.2nd.Edition.Mar.2007.eBook-BBL.rar
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
1 18.9M 1 265k 0 0 45178 0 0:07:20 0:00:06 0:07:14 56989
../.. jusqu'à download complet
Exemples d'utilisation
Téléchargement à partir d'une liste de liens
plowdown les_liens.txt
Télécharger avec un compte (standard ou premimum), sur MegaUpload:
plowdown -a login:password http://www.megaupload.com/?d=XXXXXX
Télécharger un fichier megaupload dont l’accès est protégé par un mot de passe :
plowdown -p password http://www.megaupload.com/?d=XXXXXX
Récupérer le lien réél vers le fichier:
plowdown –link-only http://www.megaupload.com/?d=XXXXXX
Idem, mais laisser wget se charger du téléchargement:
plowdown –link-only http://www.megaupload.com/?d=XXXXXX | xargs -rt wget
Exemple fonctionnel sur le QNAP pour lire une page web, récupérer les liens megaupload et les donner en téléchargement à Plowdown (eventuellementà adapter suivant le contenu de la page html):
curl http://www.site.com/page.html | \ grep 'http://www.megaupload.com/[^\"< ]*' | sed -e 's/url=/#/g' -e 's/\">/#/g' | awk -F\# '{print $2}' | plowdown -
Edittion du 26 Novembre 2010
Pour moi, cela fonctionne toujours.
La seule chose supplémentaire à faire, qui ne figure pas encore dans ce tuto, est de mettre à jour grep
ipkg update ipkg install grep
Puis:
-Supprimer le lien symbolique vers busybox:
mv /bin/grep /bin/old_grep
-Recréer un lien vers le nouveau grep:
ln -s /opt/bin/grep-grep /bin/grep
Pour preuve:
[/share] # date
Fri Nov 26 14:47:19 CET 2010
[/share] # plowdown http://megaupload.com/?d=ieo1g52v
start download (megaupload): http://megaupload.com/?d=ieo1g52v
Downloading waiting page (loop 1)
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 33180 0 33180 0 0 26324 0 --:--:-- 0:00:01 --:--:-- 31184
captcha URL: http://wwwq38.megaupload.com/gencap.php?579e5f624374bfac.gif
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 891 100 891 0 0 2664 0 --:--:-- --:--:-- --:--:-- 5400
Install aview or libcaca to display captcha image
Tesseract Open Source OCR Engine
Decoded captcha: WVP9
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 37196 0 36624 100 572 23159 361 0:00:01 0:00:01 --:--:-- 26122
Waiting 47 seconds... 37.. 27.. 17.. 7.. 0
File URL: http://www830.megaupload.com/files/ed008c473b9c4114dce4b97b946d50fc/testmotion2.mp4
Filename: testmotion2.mp4
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1113k 100 1113k 0 0 54085 0 0:00:21 0:00:21 --:--:-- 64633
testmotion2.mp4
[/share] # ls -lisa testmotion2.mp4
217 1120 -rw-r--r-- 1 admin administ 1139877 Nov 26 14:41 testmotion2.mp4
"et voila"
Modifié par DocIn, 26 novembre 2010 - 14:47 .
)
