Backup incrementale con Tar

 

Backup incrementale con Tar

 

Backup incrementale con Tar è il titolo di questa guida, ma il sottotitolo potrebbe essere: come dormire sonni tranquilli facendo un backup incrementale, sicuro e veloce. Ci sono diversi strumenti con cui fare un backup dei propri dati, sia con programmi grafici, come luckyBackup, deja-dup o systemback-1.9.3, sia con strumenti da linea di comando, già presenti di default in Gnu-Linux. Tempo fa avevo gia fatto una guida sull’utilizzo di rsync come strumento di backup, invece questa guida mostrerà come ottenere un backup incrementale usando Tar.

Creazione di cartelle, sotto cartelle e files per testare il backup:

$ mkdir -p big-data/{backup,restore}
$ cd big-data/backup/
$ mkdir {1..4}
$ man ls > file1
$ man wc > file2
$ man tar > file3
$ man mv > file4
$ ls

output ls:

edmond@debianbox:~/Desktop/big-data/backup$ ls
1 2 3 4 file1 file2 file3 file4
$ cd ..
$ ls

output ls:

edmond@debianbox:~/Desktop/big-data$ ls
backup restore

Backup generale:

$ tar -czvg snapshot-file -f backup.tar.gz backup

output:

edmond@debianbox:~/Desktop/big-data$ tar -czvg snapshot-file -f backup.tar.gz backup
tar: backup: Directory is new
tar: backup/1: Directory is new
tar: backup/2: Directory is new
tar: backup/3: Directory is new
tar: backup/4: Directory is new
backup/
backup/1/
backup/2/
backup/3/
backup/4/
backup/file1
backup/file2
backup/file3
backup/file4

output ls:

edmond@debianbox:~/Desktop/big-data$ ls
backup backup.tar.gz restore snapshot-file

come si può vedere tutte le cartelle ed i files sono stati clonati nell’ archivio backup.tar.gz, mentre il file chiamato snapshot-file, si occuperà di tenere traccia dei cambiamenti. A questo punto il passo successivo sarà quello di andare ad inserire nella cartella di backup originale, altre cartelle e files così da testare il backup incrementale.

$ mkdir backup/{5..8} 
$ man sed > backup/file5 
$ ls backup/

output:

edmond@debianbox:~/Desktop/big-data$ ls backup/
1 2 3 4 5 6 7 8 file1 file2 file3 file4 file5

per ottenere un backup incrementale il comando da eseguire è come quello sopra, l’unica differenza sarà quella di personalizzare il nome del backup, in base alla data oppure con dei numeri:

$ tar -czvg snapshot-file -f 1-backup.tar.gz backup

output:

edmond@debianbox:~/Desktop/big-data$ tar -czvg snapshot-file -f 1-backup.tar.gz backup
tar: backup/5: Directory is new
tar: backup/6: Directory is new
tar: backup/7: Directory is new
tar: backup/8: Directory is new
backup/
backup/1/
backup/2/
backup/3/
backup/4/
backup/5/
backup/6/
backup/7/
backup/8/
backup/file5

per vedere le differenze dei due backup:

$ tar -tvf backup.tar.gz
$ tar -tvf 1-backup.tar.gz

output:

edmond@debianbox:~/Desktop/big-data$ tar -tvf backup.tar.gz
drwxr-xr-x edmond/edmond 41 2019-02-28 20:31 backup/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/1/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/2/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/3/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/4/
-rw-r--r-- edmond/edmond 7823 2019-02-28 20:30 backup/file1
-rw-r--r-- edmond/edmond 2026 2019-02-28 20:31 backup/file2
-rw-r--r-- edmond/edmond 45323 2019-02-28 20:31 backup/file3
-rw-r--r-- edmond/edmond 2989 2019-02-28 20:31 backup/file4
edmond@debianbox:~/Desktop/big-data$ tar -tvf 1-backup.tar.gz
drwxr-xr-x edmond/edmond 60 2019-02-28 20:51 backup/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/1/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/2/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/3/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/4/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:50 backup/5/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:50 backup/6/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:50 backup/7/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:50 backup/8/
-rw-r--r-- edmond/edmond 11183 2019-02-28 20:51 backup/file5

Ripristino Backup nella cartella restore:

$ tar -xvf 1-backup.tar.gz -C restore/

enjoy 😉

 

Utilizzo di Rsync su DD-WRT

 

Utilizzo di Rsync su DD-WRT

Utilizzo di Rsync su DD-WRT

Dopo avere installato rsync sul mio router Asus RT-AC68U, utilizzando Entware. ho iniziato con il backup incrementale dei miei 3 Raspberry pi. L'utilizzo di rsync è quello standard, ma nella versione per ARM, ci sono delle piccole mancanze/differenze. Per ottenere un backup incrementale del mio centralino asterisk su Raspberry pi, ho usato:

# rsync -zzahlrvp -e 'ssh -p 2233' --progress --exclude={"/dev/*","/proc/*","/sys/*","/tmp/*","/run/*","/lost+found"} / ddwrt@192.168.1.1:/mnt/sdaX/cartella_backup

Utilizzo di Rsync su DD-WRT

enjoy 😉

 

Installare Rsync su Router Asus RT-AC68U e DD-WRT

Installare Rsync su Router Asus RT-AC68U e DD-WRT Installare Rsync su Router Asus RT-AC68U e DD-WRT

Installare Rsync su Router Asus RT-AC68U e DD-WRT

Ho acquistato da circa 3 mesi questo router in sostituzione del vecchio linksys e1200v2, ma ancora funzionante, e come prima cosa ho installato anche qui DD-WRT, una distribuzione linux per router. Le caratteristiche sono davvero impressionanti, nel rapporto qualità prezzo, e con DD-WRT installato le funzionalità sono davvero tante. Le caratteristiche dell' Asus RT-AC68U sono le seguenti:

Dual-band Wireless-AC1900 Gigabit Router

  • Gigabit Router WIreless Dual Core e Dual Band fino in standard AC 1900, tre volte le prestazioni del più veloce router 802.1
  • Router con switch integrato 4 porte GIGABIT LAN.
  • Supporta chiavette 3G/4G LTE per connessione backup
  • 2 porte USB (2.0 e 3.0) per Storage, File sharing, Printer Server, media serverSupporta chiavette 3G/4G LTE per connessione backup
  • 3 Antenne staccabili da 5dBi, Interruttore WIFI ON/OFF e WPS
  • Tecnologia Broadcom ® TurboQAM ™ aumenta la velocità di trasmissione dati wireless-N
  • 5 porte Gigabit Ethernet per connessioni veloci e stabili su rete cablata
  • 2 Porte USB di cui una in standard USB 3.0 (per il trasferimento dati dieci volte più veloce delle porte USB 2.0)
  • Supporto ASUS AiCloud per accedere ai dati dall'esterno, tecnologia AiRadar, e Parental Control
  • Ideale per gestire reti complesse e videosorveglianza
  • Grazie all'interfaccia ASUSWRT riuscirai facilmente a configurare la rete di casa e ad avere il massimo controllo della tua rete Wireless

Come si vede sopra avendo 2 porte usb, di cui 1 usb 3.0, ho deciso di collegare un hard disk da 1 terabyte, per poter eseguire un backup incrementale del mio centralino asterisk su raspberry pi 2, e del mio cloud personale su raspberry pi 3. Il modo migliore secondo me per fare un backup è quello di servirsi di Rsync, ma su DD-WRT risulta non essere installato. Per ovviare a questo problema bisogna installare sul router Entware che ci permetterà di installare nuovi pacchetti da repository per dispositivi embedded. Di seguito la procedura che ho usato e che è diversa dalle guide che ho visto in giro, e più semplice. La guida presuppone che DD-WRT sia gia installato sul router Asus RT-AC68U:

  1. andare in Administration-Management ed abilitare JFFS2 Support
  2. andare in Service-USB ed abilitare:

Core USB Support
Enable
USB Printer Support
Enable
USB Storage Support
Enable
USB Over IP
Disable
Automatic Drive Mount
Enable

salvare ed applicare le modifiche. A questo punto io ho creato le partizioni che mi servivavo sull'hard disk da 1 terabyte, direttamente dalla mia Debian usando Gparted, ma soprattutto ho creato 2 partizioni da utilizzare/supportare il router. La prima di 3G formattata in ext4 la seconda di 2G come swap, e poi tutte le altre partizioni a secondo le proprie esigenze. Adesso basta collegare l'hard disk alla porta usb 3.0, e sempre nel Menu Services-USB si possono vedere le partizioni montate:

Installare Rsync su Router Asus RT-AC68U e DD-WRT

recuperare UUID della partizione di 3G, ed inserirlo nella casella Mount this Partition to /opt, dopodichè riavviare il router, oppure loggarsi via ssh sul router e smontare la partizione in /mnt/sdaX e montarla in /opt. Attenzione, assicurarsi che dopo un eventuale reboot la partizione venga correttamente montata in /opt, altrimenti non funzioneranno i programmi nuovi installati. Quindi sempre nel router:

# cd /opt
# wget https://qnapware.zyxmon.org/binaries-armv7/installer/entware_install_arm.sh
# chmod .x entware_install_arm.sh
# ./entware_install_arm.sh

da questo momento possiamo installare ed aggiornare i nuovi pacchetti:

opkg --help
opkg update
opkg install rsync

Installare Rsync su Router Asus RT-AC68U e DD-WRT

enjoy 😉

Backup del Sistema con Rsync

 

Backup del Sistema con Rsync

 

Backup del Sistema con Rsync. Rsync è un leggero e potente strumento per il backup. Permette di eseguire backup incrementali, salvando i soli file modificati o aggiunti rispetto all'ultima operazione di backup, sia in locale che in remoto. Si può utilizzare per un backup dell'intero sistema o di cartelle specifiche.

Installazione:

# apt install rsync -y

Rsync locale:

# rsync -zav /percorso/origine /percorso/backup

per cancellare nella cartella di destinazione i file non più presenti nella cartella di origine basta aggiungere l'opzione –delete:

# rsync --delete -zav /percorso/origine /percorso/backup

Backup del Sistema:

per escludere dal backup files o cartelle si utilizza l'opzione –exclude:

# rsync -zaAXv --exclude={"/dev/*","/proc/*","/sys/*","/tmp/*","/run/*","/mnt/*","/media/*","/lost+found"} / /percorso/backup

Rsync da locale a remoto con ssh:

$ rsync -zavh -e ssh /cartella/origine_file/ remoteuser@remotehost:/cartella/backup

se si utilizza una porta diversa per ssh:

$ rsync -zavh -e 'ssh -p 2200' /cartella/origine_file/ remoteuser@remotehost:/cartella/backup

per visualizzare il progresso del backup:

$ rsync -zavh -e 'ssh -p 2200' --progress /cartella/origine_file/ remoteuser@remotehost:/cartella/backup

Rsync da remoto a locale con ssh:

$ rsync -zvah -e 'ssh -p 2200' remoteuser@remotehost:/percorso/del/file /cartella/destinazione

Rsync senza password ssh:

# ssh-keygen

alle domande successive premere sempre invio e copiare la chiave sul server:

# ssh-copy-id -i $HOME/.ssh/id_rsa.pub remoteuser@remotehost

a questo punto se tutto è andato bene non verrà più richiesta la password e si può accedere direttamente:

# ssh remoteuser@remotehost


Backup automatico:

a questo punto si può decidere che tipo di backup effettuare:

ogni giorno alle 23:00

00 23 * * *

ogni sabato alle 23:00

00 23 * * 6

oppure al 1° di ogni mese alle 23:00:

00 23 1 * *

$ crontab -e

ed inserire l'opzione desiderata:

00 23 * * * rsync -zav /percorso/origine /percorso/backup

Backup del Sistema con Rsync

enjoy 😉