Aller au contenu


* * * * * 2 note(s)

Téléchargements Automatisés Avec Captcha


40 réponses à ce sujet

Sondage : Utile (16 membre(s) ont voté)

ce tutoriel vous a t-il semblé :

  1. utile (11 votes [64.71%])

    Pourcentage des votes : 64.71%

  2. hors chartre (0 votes [0.00%])

    Pourcentage des votes : 0.00%

  3. à creuser (6 votes [35.29%])

    Pourcentage des votes : 35.29%

Vote Les invités ne peuvent pas voter

#21 vhenninot

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 98 messages
  • Matériel: TS-109 Pro II

Posté 03 juillet 2010 - 18:37

J'ai trouvé une explication sur le site de plowdown...
Pour avoir jot, il faut avoir seq, et pour avoir seq il faut avoir coreutils..
(MAis je ne sais PAS DU TOUT DE QUOI JE PARLE !!!)

J'essai d'installer coreutils => plus d'erreur ça marche !!!!!

:mrgreen:

Vincent

Citation

Comment 1 by mcra...@gmail.com, Mar 09, 2010

Hi,

Have you got the seq command ? What's is you shell?

Comment 2 by tokland, Mar 09, 2010

seq belongs to coreutils, make sure you have this package installed.

Comment 3 by mcra...@gmail.com, Mar 09, 2010

r863 should do the job


#22 vhenninot

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 98 messages
  • Matériel: TS-109 Pro II

Posté 05 juillet 2010 - 21:17

Bonjour,

C'est étrange, j'avais posté ici la solution a ce problème et mon post a disparu !!

La solution est donc que pour avoir job, il faut avoir seq, et que pour avoir seq, il faut installer le package coreutils !
Et la TOUT MARCHE !

Donc un grand merci...
:mrgreen:

Vincent

#23 vhenninot

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 98 messages
  • Matériel: TS-109 Pro II

Posté 05 juillet 2010 - 21:22

Reste ensuite a automatiser les downloads :

vi /mnt/HDA_ROOT/.config/crontab


Ajouter ceci en modifiant les shares et le nom du fichier texte
minute heure * * * /opt/share/plowshare/download.sh -o /share/Downloads -a login:password /share/HDA_DATA/Downloads/liste de fichiers.txt


Redémarrer le cron
crontab /etc/config/crontab 


Il n'y a alors qu'as remplir le fichier texte de liens megaupload, et le Qnap fera les téléchargements a l'heure programmée.
Ne pas oublier de vider le fichier texte le lendemain !

ça marche PARFAITEMENT mais je ne sais pas si c'est bien au niveau sécurité
Car c'est l'admin qui lance le plowshare de téléchargement...
Je veux bien de l'aide dur ce dernier point !

Vincent

#24 vhenninot

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 98 messages
  • Matériel: TS-109 Pro II

Posté 14 juillet 2010 - 13:39

Bonjour,

Je veux bien une petite aide...

Alors que tout fonctionnait bien la derniere fois?? (un reboot plus tard...)
Ma crontab est parfaitement exectuté un ps -ef montre bien les process de downloads, mais rien ne se télécharge !
Si je lance la meme commande manuellement, les fichiers se téléchargent ???

Je ne suis pas sur de comprendre d'ou peu venir le probleme...

:unsure:

Vincent

#25 vhenninot

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 98 messages
  • Matériel: TS-109 Pro II

Posté 15 juillet 2010 - 20:45

J'ai vérifié tous les droits des répertoires et fichiers et tout me semble correct...

HELP !!
:???:

#26 vhenninot

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 98 messages
  • Matériel: TS-109 Pro II

Posté 15 juillet 2010 - 21:16

J'ai ajouté
 2>&1 | tee /share/HDA_DATA/partage/Downloads/debug.out
à la fin de ma commande pour avoir un fichier debug
Le fichier contient, apres lancement du cron :
/share/HDA_DATA/.qpkg/Optware/share/plowshare/lib.sh: line 261: getopt: command not found

Or getopt est bien installé...

Mais pourquoi est-ce que tout fonctionne quand je lance la commande à la main, et pas avec le CRON ??

AHHHH ??

#27 vhenninot

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 98 messages
  • Matériel: TS-109 Pro II

Posté 16 juillet 2010 - 07:02

J'ai fait un post équivalent sur le forum anglais :
http://forum.qnap.co...hp?f=16&t=32215

#28 vhenninot

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 98 messages
  • Matériel: TS-109 Pro II

Posté 16 juillet 2010 - 20:45

Réponse du créateur de plowshare : probleme de path du CRON qui est différent du path admin !

J'ai créé un fichier avec la ligne de commande plowshare dans le répertoire /usr/local/sbin/ avec
PATH="$PATH:/opt/bin"
export PATH


Puis la ligne de commande plowshare

Testé OK !
:mrgreen:


Vincent

#29 g&g

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 46 messages
  • Matériel: TS-259 Pro

Posté 27 août 2010 - 20:30

Bonsoir Vincent,

J'ai suivis ton tuto sur le forum anglais, cela fonctionne à merveille.

Merci beaucoup, j'attendais cette fonction avec impatience :)

Bonne soirée à toi.
QNAP TS-259 Pro v3.2.4 build 0315
Seagate 1To - Raid 1

#30 g&g

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 46 messages
  • Matériel: TS-259 Pro

Posté 29 août 2010 - 11:28

Petite question, j'aimerais savoir si il est possible d'obtenir le statu du/des téléchargement en cours après fermeture et réouverture d'une session SSH ?
Ou il y a t'il une manière de faire un reporting par mail pour dire que le/les téléchargement sont fini ?

Merci, bon weekend :)

G&G
QNAP TS-259 Pro v3.2.4 build 0315
Seagate 1To - Raid 1

#31 vhenninot

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 98 messages
  • Matériel: TS-109 Pro II

Posté 29 août 2010 - 15:49

Bonjour et merci !!
Il me semble qu'effectivement il est possible d'avoir une log de plowshare dans un fichier texte !
Consulter l'aide en ligne pour en connaitre la syntaxe...

Vincent

#32 father_mande

    Qnapeur officiel

  • Administrateurs
  • 2 783 messages
  • Matériel: TS-459 Pro, TS-219, TS-109 II

Posté 30 août 2010 - 18:49

Bonjour,

Voir le messagevhenninot, le 03 juillet 2010 - 18:32 , dit :

Bonjour Philippe,

Une nouvelle fois grand merci pour votre précieuse aide !
J'ai enfin une bonne occasion de mettre en pratique les ipgk !
Cf http://forum.qnapclu...rch__1#entry907

Effectivement plus d'erreur de grep apres l'installation du package...
Mais un autre problème a la place : une boucle qui ne se termine pas, passe de loop 1 a 4 puis reviens a 1, avec 2 erreurs :
- /share/HDA_DATA/.qpkg/Optware/share/plowshare/lib.sh: line 371: jot: command not found
- Error: unexpected HTTP code 302

La commande jot est-elle connue, ou est-ce un probleme interne a plowdown ?

Vincent

[/share/Public] # plowdown http://www.megaupload.com/?d=xxx
start download (megaupload): http://www.megaupload.com/?d=xxx
Downloading waiting page (loop 1)
  % Total    % Received % Xferd  Average Speed   Time    Time 	Time  Current
                         		Dload  Upload   Total   Spent    Left  Speed
100 33656    0 33656    0 	0  54251      0 --:--:-- --:--:-- --:--:-- 94625
captcha URL: http://wwwq38.megaupload.com/gencap.php?7c84af88feaee82c.gif
  % Total    % Received % Xferd  Average Speed   Time    Time 	Time  Current
                         		Dload  Upload   Total   Spent    Left  Speed
100   934  100   934    0 	0   3583      0 --:--:-- --:--:-- --:--:-- 	0
Install aview or libcaca to display captcha image
Tesseract Open Source OCR Engine
Decoded captcha: WNC6
  % Total    % Received % Xferd  Average Speed   Time    Time 	Time  Current
                         		Dload  Upload   Total   Spent    Left  Speed
100 37397    0 36773    0   624  57588    977 --:--:-- --:--:-- --:--:-- 73473
/share/HDA_DATA/.qpkg/Optware/share/plowshare/lib.sh: line 371: jot: command not found
0
File URL: http://www357.megaupload.com/files/292b55158c2db147b1e47168eff51c9b/filename.xxx
Filename: filename.xxx
  % Total    % Received % Xferd  Average Speed   Time    Time 	Time  Current
                         		Dload  Upload   Total   Spent    Left  Speed
  0 	0    0 	0    0 	0      0      0 --:--:--  0:00:02 --:--:-- 	0
Error: unexpected HTTP code 302
Downloading waiting page (loop 1)
  % Total    % Received % Xferd  Average Speed   Time    Time 	Time  Current
                         		Dload  Upload   Total   Spent    Left  Speed
100 33656    0 33656    0 	0  53575      0 --:--:-- --:--:-- --:--:-- 93531
captcha URL: http://wwwq36.megaupload.com/gencap.php?bb1d840819330855.gif
  % Total    % Received % Xferd  Average Speed   Time    Time 	Time  Current
                         		Dload  Upload   Total   Spent    Left  Speed
100   738  100   738    0 	0   2851      0 --:--:-- --:--:-- --:--:-- 	0
Install aview or libcaca to display captcha image
Tesseract Open Source OCR Engine
Decoded captcha: CKP6
  % Total    % Received % Xferd  Average Speed   Time    Time 	Time  Current
                         		Dload  Upload   Total   Spent    Left  Speed
100 37397    0 36773    0   624  56702    962 --:--:-- --:--:-- --:--:-- 71440
/share/HDA_DATA/.qpkg/Optware/share/plowshare/lib.sh: line 371: jot: command not found
0
File URL: http://www357.megaupload.com/files/b35a02c8165ce69a64b8164a08155eb1/filename.xxx
Filename: filename.xxx
  % Total    % Received % Xferd  Average Speed   Time    Time 	Time  Current
                         		Dload  Upload   Total   Spent    Left  Speed
  0 	0    0 	0    0 	0      0      0 --:--:--  0:00:01 --:--:-- 	0
Error: unexpected HTTP code 302
Downloading waiting page (loop 1)
  % Total    % Received % Xferd  Average Speed   Time    Time 	Time  Current
                         		Dload  Upload   Total   Spent    Left  Speed
100 33656    0 33656    0 	0  54658      0 --:--:-- --:--:-- --:--:-- 96602
captcha URL: http://wwwq33.megaupload.com/gencap.php?f58f35051ed85881.gif
  % Total    % Received % Xferd  Average Speed   Time    Time 	Time  Current
                         		Dload  Upload   Total   Spent    Left  Speed
100   776  100   776    0 	0   2094      0 --:--:-- --:--:-- --:--:-- 	0
Install aview or libcaca to display captcha image
Tesseract Open Source OCR Engine
Decoded captcha: COE5
  % Total    % Received % Xferd  Average Speed   Time    Time 	Time  Current
                         		Dload  Upload   Total   Spent    Left  Speed
100 34280    0 33656    0   624  34387    637 --:--:-- --:--:-- --:--:-- 39370
Wrong captcha
Downloading waiting page (loop 2)



BON désolé, ce message je l'ai un peu oublié .... mes neurones doivent être en vacances (et y être restées Image IPB )

jot est normalement "moins courant" que son équivalent seq ... celui-ci de plus supporte des paramètres de remplacement dans sa ligne de commande ...

J'ai bien peur (si vous ne compilez pas par vous même jot ...) que vous soyez obligé de
changer jot par seq dans les lignes de commande.
Si la syntaxe (cherchez google man jot et man seq) est compatible ou approchante ....
vous pouvez créer soit un alias dans le shell, soit si c'est la même syntaxe ... un lien dans /opt/bin/ de jot vers seq peut éventuellement fonctionner. MAIS j'ai bien peur qu'il faille carrément modifier le shell.

man de jot : http://www.manpagez.com/man/1/jot/
man de seq : http://www.manpagez.com/man/1/jot/


Philippe.
QNAP TS-459, 3.6.0, Virtualbox, OpenVPN
QNAP TS-109, Debian Squeeze
QNAP TS-219P II, 3.6.0

Le Raid N'EST PAS un backup (proverbe Qnapien)

#33 g&g

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 46 messages
  • Matériel: TS-259 Pro

Posté 19 septembre 2010 - 15:25

Voir le messageg&g, le 29 août 2010 - 11:28 , dit :

Petite question, j'aimerais savoir si il est possible d'obtenir le statu du/des téléchargement en cours après fermeture et réouverture d'une session SSH ?
Ou il y a t'il une manière de faire un reporting par mail pour dire que le/les téléchargement sont fini ?

Merci, bon weekend :)

G&G


Pour me répondre à moi même, j'ai trouvé une solution bien sympathique. En effet si on lance un plowdown dans une console et que l'on ferme ensuite celle-ci, le téléchargement se coupe.
La commande "nohup" permet de détacher le processus de la console et donc de l'immuniser contre l'arrêt subite.
En plus "nohup" créé un fichier nohup.out qui log tout ce que fait le processus en l'occurrence plowdown.

Si l'on veux arrêter le téléchargement en tache de fond il faut faire un top, récupérer le PID du processus plowdown puis exécuter la commande kill suivie du numéro du processus en question.

Voila :).

Bonne journée,

G&G
QNAP TS-259 Pro v3.2.4 build 0315
Seagate 1To - Raid 1

#34 fram

    Jeune Qnapeur

  • Membres
  • Pip
  • 7 messages
  • Matériel: TS-219P

Posté 12 novembre 2010 - 19:39

J'ai remarqué qu'en lançant plowshare en tâche programmée par cron avec un fichier d'url, on peut se retrouver avec plusieurs processus plowshare qui tentent de télécharger les mêmes fichiers.
Ca peur donc consommer beaucoup de ressources.
J'ai donc scripté plowshare pour qu'il n'y ait qu'une instance planifiée à la fois.
#!/bin/sh
# Dossier de telechargement
DL_DIR="/share/Qdownload/incoming/"
# Liste de telechargements
DL_LIST="${DL_DIR}plowlist.txt"
# commande plowdown
PLOWDOWN="/opt/bin/plowdown -m --output-directory=$DL_DIR"
# fichier journal des telechargements
LOG_FILE="${DL_DIR}autodl.log"
# fichier PID
PID_FILE="/tmp/plowdown.pid"
cd $DL_DIR
if [ ! -e $PID_FILE ] ; then
	if [ -e "$DL_LIST" ] ; then
      echo $ > $PID_FILE
      $PLOWDOWN ${DL_LIST} &> $LOG_FILE
 	/bin/rm $PID_FILE
  else
	echo "La liste de fichier $DL_LIST n'existe pas" > $LOG_FILE
  fi
fi


Il ne reste plus qu'a ajouter la commande au crontab pour ne télécharger que s'il y a besoin.
freebox v5
TS 219P - firmware 3.4.2 Build 0331T

#35 thierry09

    Jeune Qnapeur

  • Membres
  • Pip
  • 9 messages
  • Matériel: TS-210

Posté 25 novembre 2010 - 19:49

Bonsoir,
la solution proposée fonctionne-t-elle avec le dernier firmare 3.3?
merci
Thierry

#36 DocIn

    Qnapeur officiel

  • Spécialistes réseau & FAI
  • PipPipPip
  • 72 messages
  • LocationFrance
  • Matériel: TS-219P

Posté 26 novembre 2010 - 14:55

Voir le messagethierry09, le 25 novembre 2010 - 19:49 , dit :

Bonsoir,
la solution proposée fonctionne-t-elle avec le dernier firmare 3.3?
merci
Thierry

Bonjour,

je t'ai répondu par MP, et ait mis à jour mon tuto dans ce sens.
Oui, cela fonctionne
TS-219P running v3.5.2 Build 1126T
1 TB RAID1 array (Samsung SpinPoint F3)

#37 thierry09

    Jeune Qnapeur

  • Membres
  • Pip
  • 9 messages
  • Matériel: TS-210

Posté 26 novembre 2010 - 16:26

Merci.
Une dernière question, si dans la liste de téléchargement les fichiers ne sont pas sur le même site (rapidshare et megaupload par exemple),
est-ce que le système télécharge en parallèle sur les deux sites (comme jdownloader) ou en séquentiel à partir de la liste.?

Encore merci
Thierry

#38 thierry09

    Jeune Qnapeur

  • Membres
  • Pip
  • 9 messages
  • Matériel: TS-210

Posté 27 novembre 2010 - 10:35

J'ai un pb avec les chargements de fichier sur netload:

Can't locate Image/Magick.pm in @INC (@INC contains: /opt/lib/perl5/5.10.0/arm-linux /opt/lib/perl5/5.10.0 /opt/lib/perl5/site_perl/5.10.0/arm-linux /opt/lib/perl5/site_perl/5.10.0 .) at /share/HDA_DATA/.qpkg/Optware/share/plowshare/strip_single_color.pl line 24.


Avant, j'ai installé perl par ipkg install perl

#39 cedric67

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 77 messages
  • Matériel: TS-110

Posté 28 novembre 2010 - 14:19

moi , j'ai une erreur 302 quand je télécharge ?

#40 vhenninot

    Qnapeur officiel

  • Membres
  • PipPipPip
  • 98 messages
  • Matériel: TS-109 Pro II

Posté 05 décembre 2010 - 22:02

Je viens de passer a PYLOAD !

http://forum.qnap.co...=pyload#p144954

Simple et jolie web inteface !

:grin:





1 utilisateur(s) li(sen)t ce sujet

0 membre(s), 1 invité(s), 0 utilisateur(s) anonyme(s)