Aller au contenu
  • 0
siocnarf

Backup Jounalier "intelligent"

Question

siocnarf    1

Bonjour à tous,

J'ai recemment acheté deux NAS, l'un TS 219 (RAID 1) et l'autre TS 209 (RAID 1). Le but est de travailler sur le TS 219 puis je compte faire une synchronisation via internet avec le TS 209 qui se trouve hors site afin de ne pas perdre les données lors d'un eventuel vol de mon NAS TS 219. Je n'ai pas encore mis cette synchro en place mais je me pose d'abord des questions sur les backups pour limiter la quantité de données à synchroniser.

Auparavant j'avais un serveur sous linux, qui me faisait une sauvegarde complete (full backup) toutes les semaines sous un repertoire full_backup_semaine36 par exemple, en conservant 4 full_backup maximum (le script efface les repertoires de plus de 4 semaines). L'avantage est de pouvoir retrouver un fichier sur lequel on aurait fait une erreur de manip par exemple.

En plus de cela, un autre script me faisait des "Daily Backups" 2 fois par jour ou il sauvegardait dans un dossier Backup_jour_126_matin par exemple les fichiers modifiés dans la journée. L'avantage des "Daily Backups " est aussi de pouvoir retrouver un fichier sur lequel on aurait fait une erreur de manip par exemple mais aussi de ne pas recopier l'ensemble des données stockées sur le NAS mais de ne garder que ce qui a été modifié, ce qui diminue considérablement l'espace disque et permet de retrouver des fichiers modifiés pour chaque jour durant plusieurs mois.

J'ai 3 postes sous Windoxs XP Pro dont toutes les données sont stockées sur le NAS TS 219 et on ne travaille pas directement sur les Disques durs des PC pour plus de sécurité car le NAS est en RAID 1

Netback Replicator, en ayant regardé rapidement, ne me semble pas très évolué en ce sens ou il ne fait qu'une synchronisation du PC sur le NAS. Je peux aussi sauvegarder l'ensemble du contenu de mes données betement avec un disque usb externe et pour faire une partie de ce que me faisait mon serveur sous linux, il me faudrait quasiment un disque externe par jour soit 5 disques pour une semaine de backup...c'est ridicule.

Je suis conscient que ce NAS ne peux pas tout faire mais il doit y avoir moyen de créer des scripts persos non ? Je voudrais pas ailleurs que les sauvegardes (daily backup ou full_backup) se fassent sur le NAS en autonome sans passer par un PC ou Mac qui devra rester allumer 24/24...Dans la mesure ou il y aura une synchro de mes deux NAS, je pense que je peux me passer de sauvegarde sur un disque USB externe.

Je fais peut etre fausse route en voulant recréer les scripts sous linux que j'avais avant mais j'avoue que c'était le top...Est ce que vous voyez d'autres solutions pour faire + ou - ce que me faisait mes scripts ? ou alors est ce que l'on peut effectuer des scripts complexes via l'interface du NAS ? Autre possibilités aussi peut etre utiliser d'autres logiciels de sauvegardes compatibles avec mon NAS ?

J'attends vos avis ou pistes qui pourraient me faire avancer.

Merci

Partager ce message


Lien à poster
Partager sur d’autres sites

15 réponses à cette question

Messages recommandés

  • 0
siocnarf    1

Merci de me répondre si vite, en effet la réplication distante répond à une partie de mes besoins mais je ne m'inquiete pas trop pour cela car j'ai vu les tutoriaux qui ont l'air bien faits et je devrais m'en sortir. En fait si je ne me trompe pas , la réplication me servira à faire un mirroir de mes données du bureau de mon NASBUREAU à jour vers mon NASEXTERIEUR, sur ce point pas de soucis, c'est sur la partie NASBUREAU que je veux faire des backups.

Ce que je veux faire sur mon NASBUREAU : en simplifiant j'ai mes données dans un dossier DATA sur mon NASBUREAU, j'ai créé un dossier BACKUP sur mon NASBUREAU.

Je voudrais qu'une application interne au NAS si possible me scanne tous les jours (au jour J) les dates de modification des fichiers du dossier DATA et me copie dans un dossier BACKUP_jour_J tous les fichiers modifiés au jour J.

J'ai le script sous linux pour ceux que ca interesse ci dessous ou data2 correspond au dossier de sauvegarde des backup:

Ce script supprime egalement tous les dossiers de plus de 20 jours pour ne pas engorger le disque dur.

export daily=`date +%d"_"%m"_"%y`

cp -f /etc/samba/smb.conf /data2/config/

cp -f /scripts/daily_backup /data2/config/

find /data2 -name "*backup*" -depth -type d -mtime +20 -print0 | xargs -0 rm -r

mkdir -p /data2/backup_$daily

find /data/* -type f -mtime -1 -print0| xargs -0 tar cf - | (cd /data2/backup_$daily; tar xvf -)

chown -R francois:usersadm /data2

chmod -R 770 /data2

Question : est ce qu'on peut faire ce genre de chose avec le NAS ?

François

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Invité   
Invité

ok...je comprends un peu plus.

en natif dans le NAS, tu va pouvoir faire sans pbs cette replication entre repertoires en ne copiant que les fichiers modifies.

mais la creation des sous repertoires et leur suppression n'est pas une fonction incluse a ce jour

mais , avec un crontab contenant ton script, ajoute dans le NAS, ca le fera "facilement"

Mathieu

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
siocnarf    1

OK..Je ne suis pas sur de tout comprendre de mon coté, ce que tu appelles replication est en fait une synchronisation de deux répertoires non ? C'est pas vraiment ce que je veux, en fait je voudrais que seuls les fichiers modifiés du Jour J soient sauvegardés dans un repertoire Backup_Jour_J par exemple et non toutes les données... En effet j'ai à peu près 40 Go de données au total mais je n'ai que 50 Mo environ modifiés par jour et je voudrais donc créer un repertoire Backup_Jour_J par jour , chaque repertoire contenant environ 50 Mo de données.

Tu me parles de "crontab contenant ton script, ajoute dans le NAS" , ça m'interesse de savoir à partir de quoi je lance cette crontab ? A partir d'une application de mon NAS (ce qui serait le top...) ou à partir d'un PC où à partir de mon serveur sous linux ?

Merci d'avance.

François

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
siocnarf    1

Je me suis renseigné un peu et j'ai vu qu'on pouvait acceder au NAS via Putty par exemple et donc en effet, il y a p't'etre moyen de lancer les scripts via la crontab et donc ca serait tout bon ! Je vais creuser et surtout me faire aider par un pote qui touche en Linux (et qui m'a fait les scripts par ailleurs).

Merci pour les pistes, je vous tiens au courant.

François

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
siocnarf    1

Bon, pour l'instant j'avance seul mais à mon avis c'est sur la bonne route, j'ai une interrogation : comment paramétrer la périodicité de lancement d'un script ?

J'accède au NAS via Putty, j'ai vu ou etaient stockées mes données sur mon NAS : /share/MD0_DATA

J'ai vu le repertoire de Taches automatisées : /tmp/cron/crontabs

J'ai un script daily_backup que je place par exemple dans un dossier /scripts , comment faire pour dire au NAS d'effectuer ce script du Lundi au Vendredi à 17h par exemple ?

Merci.

François

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
orx57    2

Hello,

Une fonctionnalité sympathique et utile que j'aimerais bien avoir aussi out of the box. Aujourd'hui je l'utilise sur des serveurs dédiés avec rsnapshot. A noter que des NAS professionnels ont cette fonctionnalités de snapshot. Peut-être à demander dans la rubrique Ajout de fonctionnalités du forum ? :)

@+

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
siocnarf    1

Merci du tuyau, il doit donc y avoir moyen de l'installer sur le QNAP 219 à priori ?

A part cela j'ai testé ce qui précède et notemment une partie du script, cependant cela ne semble pas fonctionner, je me demande si l'on dispose de toutes les options de commandes de LINUX REDHAT que j'avais sur mon serveur ?

Pouvez vous me dire exactement sous quel système linux tourne le QNAP 219 ?

Est ce que d'après vous cette commande peut fonctionner (sans tenir compte des paths): ?

find /data/* -type f -mtime -1 -print0| xargs -0 tar cf - | (cd /data2/backup_$daily; tar xvf -)

Pour info find /data/* -type f -mtime -1 me liste bien les fichiers modifiés depuis moins d'un jour, c'est le print qui coince...

Merci

François

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
siocnarf    1

Ca y est on a réussi non sans mal à cause de ce shell très limité qu'il y a dans le NAS ( on a du faire des boucles, et jouer avec des remplacement de caractères à cause des espaces existants dans les noms de fichiers...soit environ 25 lignes de commandes au lieu de 3 lignes sur mon ancien serveur....).

A l'avenir ça serait bien de mettre un shell plus puissant sur les NAS ! (connait pas print 0 , connait pas mmin...pour une recherche par minute)

Et pour la crontab, en faisant crontab -e j'arrive à voir son contenu mais je n'arrive pas à enregistrer ce que je viens de modifier apres la sortie de vi et un "wq!"

Des idées pour sauvegarder cette crontab ?

Merci d'avance !

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0

Bonjour,

Pour le shell, le mieux est d'installer les Optware-ipkg (c'est un QPKG fourni par QNAP) dedans vous trouverez votre bonheur dont un bash complet, un find qui accepte le print 0, etc ....

Il suffit dans votre shell de redéfinir la variable PATH avec /opt/bin et /opt/sbin en premier dans la liste ....

Pour la gestion des cron, je regarde car des articles existent sur le sujet (sur le forum en anglais), cela fait longtemps que je n'y ai pas touché

http://wiki.qnap.com/wiki/Add_items_to_crontab

Vous avez un outils de gestion Q-Ext qui prend en charge les cron via une interface web réalisé par un Français ...

http://forum.qnap.com/viewtopic.php?f=1 ... tab#p53323

Philippe.

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
siocnarf    1

Merci !

Je vais vite voir pour les Optware-ipkg et pour la crontab, il suffit d'editer directement le fichier admin qui se trouve dans /tmp/cron/crontabs et non de taper crontab -e...

A+

François

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
ecottard    0

Bonjour,

Ayant aussi acheté le qnap 219, je suis tres tres interresse par ton script de backup journalier sur les diffs mais j'aimerai savoir si on peut le faire sortir sur le disque usb a la place.

Je suis aussi a la recherche d'un script de backup complet sur usb

Est ce qu'il serait possible que tu partages ton script ?

cdt

E

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
siocnarf    1

Bonjour à tous,

Après de longs tests et essais avec un ami qui s'y connait en linux, nous avons installé les QPQG opt Aware, afin d'utiliser des commandes linux un peu plus évoluées et avoir plus d'options, puis bidouillé dans la crontab pour obtenir une bonne sécurité des données.

Au bureau

Ce que fait le script : recherche les données modifiées depuis moins d'une heure et les copie dans un dossiers et envoi un mail quand le script est fini.

Dans la crontab : execution du script ci dessus entre 8h et 19h du lundi au vendredi.

Le but est de pouvoir retrouver des données en cas d'erreur sur un fichier.

Puis une synchro distante du bureau tous les jours au soir avec le nas de mon domicile pour synchroniser les 40 Go de données totales en incrémental pour 50 Mo modifiés en moyenne par jour : durée de la synchro en ADSL 10 Mo (au domicile et au bureau avec le meme FAI) environ 5 minutes.

Au final je trouve que c'est un super système mais ça a été une grosse bidouille que je serai incapable de refaire seul ! En conclusion je trouve ce NAS Top (QNAP 219) pour une petite structure qui ne travaille pas des fichiers trop lourds (20 Mo octets dans mon cas) et qui dispose d'amis compétents en linux ainsi qu'un forum actif. Merci à tous ceux qui ont contribué.

  • Upvote 1

Partager ce message


Lien à poster
Partager sur d’autres sites

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant


×