Backup incrementale con Tar

 

Backup incrementale con Tar

 

Backup incrementale con Tar è il titolo di questa guida, ma il sottotitolo potrebbe essere: come dormire sonni tranquilli facendo un backup incrementale, sicuro e veloce. Ci sono diversi strumenti con cui fare un backup dei propri dati, sia con programmi grafici, come luckyBackup, deja-dup o systemback-1.9.3, sia con strumenti da linea di comando, già presenti di default in Gnu-Linux. Tempo fa avevo gia fatto una guida sull’utilizzo di rsync come strumento di backup, invece questa guida mostrerà come ottenere un backup incrementale usando Tar.

Creazione di cartelle, sotto cartelle e files per testare il backup:

$ mkdir -p big-data/{backup,restore}
$ cd big-data/backup/
$ mkdir {1..4}
$ man ls > file1
$ man wc > file2
$ man tar > file3
$ man mv > file4
$ ls

output ls:

edmond@debianbox:~/Desktop/big-data/backup$ ls
1 2 3 4 file1 file2 file3 file4
$ cd ..
$ ls

output ls:

edmond@debianbox:~/Desktop/big-data$ ls
backup restore

Backup generale:

$ tar -czvg snapshot-file -f backup.tar.gz backup

output:

edmond@debianbox:~/Desktop/big-data$ tar -czvg snapshot-file -f backup.tar.gz backup
tar: backup: Directory is new
tar: backup/1: Directory is new
tar: backup/2: Directory is new
tar: backup/3: Directory is new
tar: backup/4: Directory is new
backup/
backup/1/
backup/2/
backup/3/
backup/4/
backup/file1
backup/file2
backup/file3
backup/file4

output ls:

edmond@debianbox:~/Desktop/big-data$ ls
backup backup.tar.gz restore snapshot-file

come si può vedere tutte le cartelle ed i files sono stati clonati nell’ archivio backup.tar.gz, mentre il file chiamato snapshot-file, si occuperà di tenere traccia dei cambiamenti. A questo punto il passo successivo sarà quello di andare ad inserire nella cartella di backup originale, altre cartelle e files così da testare il backup incrementale.

$ mkdir backup/{5..8} 
$ man sed > backup/file5 
$ ls backup/

output:

edmond@debianbox:~/Desktop/big-data$ ls backup/
1 2 3 4 5 6 7 8 file1 file2 file3 file4 file5

per ottenere un backup incrementale il comando da eseguire è come quello sopra, l’unica differenza sarà quella di personalizzare il nome del backup, in base alla data oppure con dei numeri:

$ tar -czvg snapshot-file -f 1-backup.tar.gz backup

output:

edmond@debianbox:~/Desktop/big-data$ tar -czvg snapshot-file -f 1-backup.tar.gz backup
tar: backup/5: Directory is new
tar: backup/6: Directory is new
tar: backup/7: Directory is new
tar: backup/8: Directory is new
backup/
backup/1/
backup/2/
backup/3/
backup/4/
backup/5/
backup/6/
backup/7/
backup/8/
backup/file5

per vedere le differenze dei due backup:

$ tar -tvf backup.tar.gz
$ tar -tvf 1-backup.tar.gz

output:

edmond@debianbox:~/Desktop/big-data$ tar -tvf backup.tar.gz
drwxr-xr-x edmond/edmond 41 2019-02-28 20:31 backup/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/1/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/2/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/3/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/4/
-rw-r--r-- edmond/edmond 7823 2019-02-28 20:30 backup/file1
-rw-r--r-- edmond/edmond 2026 2019-02-28 20:31 backup/file2
-rw-r--r-- edmond/edmond 45323 2019-02-28 20:31 backup/file3
-rw-r--r-- edmond/edmond 2989 2019-02-28 20:31 backup/file4
edmond@debianbox:~/Desktop/big-data$ tar -tvf 1-backup.tar.gz
drwxr-xr-x edmond/edmond 60 2019-02-28 20:51 backup/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/1/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/2/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/3/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:30 backup/4/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:50 backup/5/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:50 backup/6/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:50 backup/7/
drwxr-xr-x edmond/edmond 1 2019-02-28 20:50 backup/8/
-rw-r--r-- edmond/edmond 11183 2019-02-28 20:51 backup/file5

Ripristino Backup nella cartella restore:

$ tar -xvf 1-backup.tar.gz -C restore/

enjoy 😉

 

Video utilizzo Systemback-1.9.3

 

Video utilizzo Systemback-1.9.3

Questo video mostra come installare una copia del proprio OS, utilizzando Systemback-1.9.3. Nell’esempio sopra, utilizzo Ubuntu 18-04, installato in EFI mode. Nel caso si trattasse di una installazione in legacy mode, assicurarsi che il pacchetto grub-pc-bin sia installato correttamente, sopratutto se si parte da chiavetta usb live.

enjoy 😉

Systemback 1.9.3 per Debian 9 Ubuntu 17-10 18-04

Systemback 1.9.3 per Debian 9 Ubuntu 17-10 18-04

update 26/01/2019

Systemback 1.9.3 per Debian 9 Ubuntu 17-10 18-04

Nuovo aggiornamento per Systemback che arriva alla versione 1.9.3, aggiungendo i pacchetti e la compatibilità con Ubuntu 17-10 ed Ubuntu 18-04. In questa versione, oltre a qualche vezzo, ed alcuni bug fix, ho aggiunto anche il supporto per SSD NVMe, anche se al momento funziona meglio se si ha già una partizione pronta all’uso. Tenendo conto che è un lavoro che faccio a tempo perso ogni feed e commento saranno bene accetti.

DOWNLOAD SYSTEMBACK-1.9.3

DOWNLOAD SOURCE

poi:

$ cd Downloads/
$ tar xvf systemback-install_pack-1.9.3.tar.xz
$ cd systemback-install_pack-1.9.3/
$ sudo ./install.sh

DEBIAN 32 BIT

cercando di installare Systemback-1.9.3 su Debian Stretch 32 bit e non solo, si verifica l’errore di versione per i pacchetti: libqt5core5a (>= 5.10.0) e libqt5gui5. Si risolve aggiornando i pacchetti dai repo testing:

# nano /etc/apt/sources.list

ed aggiungere:

deb http://ftp.it.debian.org/debian/ testing main non-free contrib

poi affinchè non si aggiorni tutto il sistema, andiamo a creare un file , dove diremo che, la priorità dei pacchetti è solo quella della versione della distro installata, e cioè in questo caso stable/stretch:

# nano /etc/apt/apt.conf.d/99defaultrelease

ed incollare dentro:

APT::Default-Release "stable";

a questo punto siamo pronti ad installare la versione dei pacchetti aggiornati:

# apt update
# apt install -t testing libqt5core5a libqt5gui5

poi si potrà proseguire con l’installazione di systemback-1.9.3

Systemback 1.9.3 per Debian 9 Ubuntu 17-10 18-04

enjoy 😉

 

Systemback 1.9.2 su Debian Stretch

 

Systemback 1.9.2 su Debian Stretch

Systemback 1.9.2 su Debian Stretch

Nuova versione di Systemback, con alcuni bug fix. Purtroppo non avendo molto tempo a disposizione, man mano che lo uso e mi accorgo di qualche bug, proverò a risolverlo. Ogni feed sarà ben accetto.

Download systemback-1.9.2

poi:

$ tar xvf systemback-1.9.2-x86-x64.tar.xz
$ cd systemback-1.9.2-x86-x64/
$ sudo ./install.sh

Systemback 1.9.2 su Debian Stretch

enjoy 😉

Systemback 1.9.1 compatibile con Debian Stretch

Systemback 1.9.1 compatibile con Debian Stretch

Systemback 1.9.1 compatibile con Debian Stretch

Come avevo scritto un po' di tempo fa, avevo in mente di prendere in mano Systemback non piu supportato, e farlo funzionare bene su Debian 9 Stretch. Dopo un primo approccio "leggero" da parte mia, alcuni utenti mi hanno segnalato l'errore "can't mount live image ..installation aborted", che in effetti si presenta nel momento in cui si cerca d'installare il sistema dalla Debian Live creata, Avendo avuto un po' di tempo, mi ci sono messo sotto con più impegno e credo di aver risolto il problema, ed adesso Systemback-1.9.1 è totalmente compatibile con Debian 9.4. A questo proposito chiedo qualche feed da chi vorrà utilizzarlo.

Download systemback-1.9.1

poi:

$ tar xvf systemback-1.9.1-x86-x64.tar.xz
$ cd systemback-1.9.1-x86-x64/
$ sudo ./install.sh

Systemback 1.9.1 compatibile con Debian Stretch

enjoy 😉

 

Systemback su Debian Stretch

 

Systemback su Debian Stretch

Systemback su Debian Stretch

Systemback è una applicazione indispensabile, che permette in modo grafico di effettuare un gran numero di cose. Da quello che ho letto non è più supportata, e siccome reputo questo tool valido, ho deciso di riprenderlo in mano e fare delle modifiche allo script per poterlo utilizzare su Debian 9 Stretch. Con Systemback si è in grado di ottenere:

  • Backup di sistema
  • Installazione dell'identico sistema con user e password diversi su altra partizione
  • Ripristino parziale o totale de backup
  • Creazione di immagine Live del proprio sistema
  • Creazione di immagini iso del proprio sistema

Scaricare Systemback

poi:

$ tar xvf Systemback_Debian_Stretch.tar.xz
$ cd Systemback_Debian_Stretch/
$ sudo ./install.sh

il programma andrà lanciato come root, ed in Mate sarà presente nel menu System Tools oppure da terminale:

$ systemback-sustart

 

Systemback su Debian Stretch

Systemback su Debian Stretch

enjoy 😉

 

Utilizzo di Rsync su DD-WRT

 

Utilizzo di Rsync su DD-WRT

Utilizzo di Rsync su DD-WRT

Dopo avere installato rsync sul mio router Asus RT-AC68U, utilizzando Entware. ho iniziato con il backup incrementale dei miei 3 Raspberry pi. L'utilizzo di rsync è quello standard, ma nella versione per ARM, ci sono delle piccole mancanze/differenze. Per ottenere un backup incrementale del mio centralino asterisk su Raspberry pi, ho usato:

# rsync -zzahlrvp -e 'ssh -p 2233' --progress --exclude={"/dev/*","/proc/*","/sys/*","/tmp/*","/run/*","/lost+found"} / ddwrt@192.168.1.1:/mnt/sdaX/cartella_backup

Utilizzo di Rsync su DD-WRT

enjoy 😉

 

Installare Rsync su Router Asus RT-AC68U e DD-WRT

Installare Rsync su Router Asus RT-AC68U e DD-WRT Installare Rsync su Router Asus RT-AC68U e DD-WRT

Installare Rsync su Router Asus RT-AC68U e DD-WRT

Ho acquistato da circa 3 mesi questo router in sostituzione del vecchio linksys e1200v2, ma ancora funzionante, e come prima cosa ho installato anche qui DD-WRT, una distribuzione linux per router. Le caratteristiche sono davvero impressionanti, nel rapporto qualità prezzo, e con DD-WRT installato le funzionalità sono davvero tante. Le caratteristiche dell' Asus RT-AC68U sono le seguenti:

Dual-band Wireless-AC1900 Gigabit Router

  • Gigabit Router WIreless Dual Core e Dual Band fino in standard AC 1900, tre volte le prestazioni del più veloce router 802.1
  • Router con switch integrato 4 porte GIGABIT LAN.
  • Supporta chiavette 3G/4G LTE per connessione backup
  • 2 porte USB (2.0 e 3.0) per Storage, File sharing, Printer Server, media serverSupporta chiavette 3G/4G LTE per connessione backup
  • 3 Antenne staccabili da 5dBi, Interruttore WIFI ON/OFF e WPS
  • Tecnologia Broadcom ® TurboQAM ™ aumenta la velocità di trasmissione dati wireless-N
  • 5 porte Gigabit Ethernet per connessioni veloci e stabili su rete cablata
  • 2 Porte USB di cui una in standard USB 3.0 (per il trasferimento dati dieci volte più veloce delle porte USB 2.0)
  • Supporto ASUS AiCloud per accedere ai dati dall'esterno, tecnologia AiRadar, e Parental Control
  • Ideale per gestire reti complesse e videosorveglianza
  • Grazie all'interfaccia ASUSWRT riuscirai facilmente a configurare la rete di casa e ad avere il massimo controllo della tua rete Wireless

Come si vede sopra avendo 2 porte usb, di cui 1 usb 3.0, ho deciso di collegare un hard disk da 1 terabyte, per poter eseguire un backup incrementale del mio centralino asterisk su raspberry pi 2, e del mio cloud personale su raspberry pi 3. Il modo migliore secondo me per fare un backup è quello di servirsi di Rsync, ma su DD-WRT risulta non essere installato. Per ovviare a questo problema bisogna installare sul router Entware che ci permetterà di installare nuovi pacchetti da repository per dispositivi embedded. Di seguito la procedura che ho usato e che è diversa dalle guide che ho visto in giro, e più semplice. La guida presuppone che DD-WRT sia gia installato sul router Asus RT-AC68U:

  1. andare in Administration-Management ed abilitare JFFS2 Support
  2. andare in Service-USB ed abilitare:

Core USB Support
Enable
USB Printer Support
Enable
USB Storage Support
Enable
USB Over IP
Disable
Automatic Drive Mount
Enable

salvare ed applicare le modifiche. A questo punto io ho creato le partizioni che mi servivavo sull'hard disk da 1 terabyte, direttamente dalla mia Debian usando Gparted, ma soprattutto ho creato 2 partizioni da utilizzare/supportare il router. La prima di 3G formattata in ext4 la seconda di 2G come swap, e poi tutte le altre partizioni a secondo le proprie esigenze. Adesso basta collegare l'hard disk alla porta usb 3.0, e sempre nel Menu Services-USB si possono vedere le partizioni montate:

Installare Rsync su Router Asus RT-AC68U e DD-WRT

recuperare UUID della partizione di 3G, ed inserirlo nella casella Mount this Partition to /opt, dopodichè riavviare il router, oppure loggarsi via ssh sul router e smontare la partizione in /mnt/sdaX e montarla in /opt. Attenzione, assicurarsi che dopo un eventuale reboot la partizione venga correttamente montata in /opt, altrimenti non funzioneranno i programmi nuovi installati. Quindi sempre nel router:

# cd /opt
# wget https://qnapware.zyxmon.org/binaries-armv7/installer/entware_install_arm.sh
# chmod .x entware_install_arm.sh
# ./entware_install_arm.sh

da questo momento possiamo installare ed aggiornare i nuovi pacchetti:

opkg --help
opkg update
opkg install rsync

Installare Rsync su Router Asus RT-AC68U e DD-WRT

enjoy 😉

Scompattare centinaia di archivi rar con password con un solo comando

 

Scompattare centinaia di archivi rar con password con un solo comando

Scompattare centinaia di archivi rar con password con un solo comando

Mi sono trovato ad avere ben 650 archivi rar con password da scompattare, e non tutti si trovavano nella stessa cartella ma bensì in tante altre sottocartelle. In più tutti questi 650 archivi avevano 5 password differenti. Il mio obbiettivo era quindi di scompattarli tutti spostando i files scompattati in una differente cartella. Per ottenere questo risultato ho sperimentato 3 comandi:

Unrar ricorsivo:

$ unrar e -r -o- *.rar
$ for f in *.rar;do unrar e -r $f;done
$ find  -name '*.rar' -execdir unrar e -o- {} \;

Unrar ricorsivo con password:

$ unrar e -r -o- -p"password" *.rar
$ for f in *.rar;do unrar -ppassword e $f;done
$ find  -name '*.rar' -execdir unrar -ppassword e -o- {}

per spostare contemporaneamente i files estratti in una directory differente:

$ unrar e -r -o- -p"password" *.rar /percorso/destinazione

oppure:


$ find  -name '*.rar' -execdir unrar -ppassword e -o- {} /percorso/destinazione

 

enjoy 😉

 

Trasferire cartelle tra due hosts locale-remoto in Linux con SCP

 

Trasferire cartelle tra due hosts locale-remoto in Linux con SCP

Il comando SCP in Linux è usato per trasferire files o cartelle in maniera sicura usando ssh, tra server locali e/o remoti.

Trasferire cartelle tra due hosts locale-remoto in Linux con SCP

 

Copiare file da locale a remoto:

# scp -v /path/local/file.txt remoteuser@remotehost:/remote/path/

se si utilizza una porta differente:

# scp -v -P 2200 /path/local/file.txt remoteuser@remotehost:/remote/path/

Copiare file da remoto a locale

# scp -v remoteuser@remotehost:/path/file.txt /path/local

Copiare cartella in maniera ricorsiva e compressa da locale a remoto:

# scp -vrC -P 2200 /path/local/folder remoteuser@remotehost:/remote/path/

Copiare cartella in maniera ricorsiva e compressa da remoto a locale:

# scp -vrC -P 2200 remoteuser@remotehost:/remote/folder/ /path/local/

Limitare la banda:

# scp -vrC -l 500 -P 2200 /path/folder remoteuser@remotehost:/remote/path/

Copiare file/cartella tra 2 hosts remoti:

# scp -v remoteuser1@remotehost1:/path/file.txt remoteuser2@remotehost2::/path/directory/

 

enjpy 😉