Synchroniseer een Linux VPS met objectopslag (RCLONE)

Uw Linux VPS gesynchroniseerd met objectopslag is een slimme manier om back -ups te beheren, statische activa op te slaan of gegevens te laden voor prestaties en opslagflexibiliteit.

Deze gids loopt door het proces met RCLone, een lichtgewicht en krachtig hulpmiddel dat werkt met de meeste objectopslagservices.

Vereisten

Dit is wat je op zijn plaats wilt hebben voordat je aan de slag gaat:

• A Linux VPS: U hebt shell -toegang nodig tot uw VPS.Dit is waar de bestanden of mappen die u wilt synchroniseren, zich bevinden.
  
  
• Een objectopslagprovider: Er zijn er meerdere Object Storage Service Providers om uit te kiezen.Kies er een die kan schalen met uw bronnen, integreert met uw bestaande infrastructuur en natuurlijk bij uw budget past.
  
  
• Toegang tot referenties: U hebt een toegangssleutel en geheime sleutel nodig om te verifiëren met de API van uw opslagprovider.Deze worden veilig gebruikt door het synchronisatietool om met uw emmer te communiceren.

Stap 1: Rclone installeren

Rclone is een gratis, open-source opdrachtregelhulpprogramma voor het beheren van bestanden op cloudopslag.Het ondersteunt tal van verschillende providers en werkt goed voor het synchroniseren, kopiëren, coderen en automatiseren van transfers.

1. Log in op uw VPS via SSH.

ssh user@your-vps-ip

2. Installeer rclone:

curl https://rclone.org/install.sh | sudo bash

Hiermee wordt de nieuwste versie opgehaald en geïnstalleerd.

Als u de pakketbeheerder van uw systeem liever gebruikt:

Debian/Ubuntu:

sudo apt install rclone

Centos/rhel:

sudo yum install epel-release
sudo yum install rclone

Fedora:

sudo dnf install rclone

Stap 2: Stel een afstandsbediening in

Nu zul je Rclone instellen zodat het met je opslagemmer kan praten

Start de interactieve configuratietool:

rclone config

Volg deze stappen in het menu:

1. Kiezen n om een ​​nieuwe afstandsbediening te maken.
   
2. Geef het een naam als Myremote.Deze naam wordt gebruikt in opdrachten om naar de verbinding te verwijzen
   
3. Kies uw opslagprovider uit de lijst.
   
4. Voer uw toegangssleutel en geheime toets in.
   
5. Voer alle regiospecifieke eindpunten of configuratie in indien nodig in.
   
6. Accepteer de standaardopties, tenzij u weet dat u iets specifieks nodig hebt.
   

Laten we nu uw opstelling testen:

rclone ls myremote:

Als alles correct is geconfigureerd, ziet u ofwel een lijst met uw opslagemmers of zal het niets retourneren zonder een fout te tonen.

Deze configuratie creëert een voortdurend, herbruikbaar verbindingsprofiel en stelt u in staat het in meerdere mappen of scripts te gebruiken.

Stap 3: Synchroniseer uw bestanden

Nu Rclone is ingesteld, kunt u een lokale map (zoals uw website of projectbestanden) synchroniseren met uw objectopslag.

Stel bijvoorbeeld dat u een back -up wilt maken van uw website van / var / www / html naar uw objectopslag:

rclone sync /var/www/html myremote:backups/html --progress

Dit is wat deze opdracht doet:

• Vergelijkt uw lokale map (/var/www/html) met het doel in objectopslag (myremote: back -ups/html
• Verbiedt nieuwe of bijgewerkte bestanden
• Verwijdert bestanden uit de bestemming die niet langer in de lokale bron bestaan ​​(u kunt dit vermijden - zie hieronder)

Als u alleen nieuwe of gewijzigde bestanden wilt uploaden zonder iets uit de bestemming te verwijderen, kunt u gebruiken kopiëren in plaats van:

rclone copy /var/www/html myremote:backups/html --progress

Stap 4: Automatiseer het proces met Cron

Om uw bestanden automatisch op de hoogte te houden, kunt u een Cron -taak instellen:

1. Open uw crontab:

crontab -e

2. Voeg deze regel toe om elke dag om middernacht bestanden te synchroniseren:

0 0 * * * /usr/bin/rclone sync /var/www/html myremote:backups/html --quiet

U kunt de tijd en het pad wijzigen als dat nodig is.Zorg ervoor dat het pad naar RCLone overeenkomt met de locatie waar het is geïnstalleerd (die Rclone u zal vertellen).

Stap 5 (Optioneel): Vermeld uw bestanden

Als u gevoelige gegevens behandelt-gebruikersbestanden, interne documenten of iets dat u niet wilt blootstellen-kunt u met RCONE client-side codering toevoegen voordat u uploadt.

Hier is hoe we dat opzetten:

1. Run Rclone Config opnieuw:

rclone config

2. Voeg een nieuwe afstandsbediening toe en kies crypt als het opslagtype.

3. Wijs het op de map van uw originele afstandsbediening (bijv. Myremote: back -ups/html).

4. Kies een wachtwoord en bevestig.

Daarna kunt u uw gecodeerde afstandsbediening gebruiken om bestanden zoals deze te uploaden:

rclone sync /var/www/html mycryptremote:html --progress

Optionele instellingen voor betere controle

Hier zijn een paar nuttige vlaggen die u kunt gebruiken:

-snellijst versnelt het scannenproces op grote bestanden door meer geheugen te gebruiken tijdens bestandslijst:

rclone sync /var/www/html myremote:backups/html --fast-list

-Bwlimit Caps -bandbreedte om te voorkomen dat andere processen worden vertraagd:

rclone sync /var/www/html myremote:backups/html --bwlimit 1M

-log-bestand houdt een gedetailleerd record van elke synchronisatie bij een logbestand:

rclone sync /var/www/html myremote:backups/html --log-file=/var/log/rclone.log

Alternatieven voor Rclone

Hoewel Rclone een van de meest flexibele en algemeen aanbevolen hulpmiddelen is om te synchroniseren met objectopslag, zijn er andere hulpprogramma's die het waard zijn om te weten - vooral als u op zoek bent naar verschillende workflows, diepere integratie of specifieke compatibiliteit.

Hier zijn enkele alternatieven, hoe ze werken, en wanneer ze misschien beter passen, afhankelijk van uw behoeften.

Toolvergelijking in één oogopslag

S3CMD-Eenvoudig en scriptvriendelijk

S3CMD is een opdrachtregelgereedschap Specifiek gebouwd voor interactie met Amazon S3 en S3-compatibele objectopslagservices.Het is zeer geschikt voor het scripten van eenvoudige upload-, download- en synchronisatietaken, vooral in Cron -taken of geautomatiseerde implementatiepijplijnen.

Als u S3 -emmers in omgevingen beheert of een tool wilt die nauw bij de S3 API houdt, biedt S3CMD eenvoudige, bekende opdrachten en solide documentatie.

Wanneer te gebruiken:

• U werkt al met S3 of een compatibele provider (Wasabi, Backblaze B2 met S3 API ingeschakeld, enz.).
  
• U wilt een lichtgewicht, eenvoudig gereedschap dat goed speelt met shell -scripts.
  
• U geeft de voorkeur aan een tool dat speciaal is ontworpen voor het S3 -protocol.
  

Installatie:

sudo apt install s3cmd   # On Debian/Ubuntu

Configuratie:

s3cmd --configure

U wordt gevraagd:

• Toegangssleutel
  
• Geheime sleutel
  
• Eindpunt (als het niet AWS gebruikt)
  
• Optionele codering of HTTPS -instellingen

Basic Sync -voorbeeld:

s3cmd sync /var/www/html/ s3://your-bucket/html/

S3FS - Mount objectopslag zoals een bestandssysteem

Met S3FS kunt u een S3 -bucket monteren alsof het een lokale map is.Dit betekent dat u standaard Linux -opdrachten (CP, MV, RSYNC, enz.) Kunnen gebruiken om met uw cloudopslag te werken zoals u een normale schijf zou doen.

Dit is vooral handig als u tools hebt die niet cloudbewust zijn, maar naar een bestandspad kunt schrijven.S3FS maakt het naadloos om die uitvoer door te sturen naar objectopslag.De prestaties zijn echter niet altijd zo snel als native bestandssystemen, en het is niet ideaal voor hoogfrequente lees-/schrijfactiviteit.

Wanneer te gebruiken:

• U hebt applicaties nodig om bestanden te lezen/schrijven alsof ze op een lokale schijf zijn.
  
• U werkt met software die geen directe cloud -uploads ondersteunt.
  
• U geeft de voorkeur aan de flexibiliteit van directe toegangssysteemtoegang tot objectopslag.

Installatie:

sudo apt install s3fs

Referenties instellen:

echo ACCESS_KEY:SECRET_KEY > ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs

Monteer de emmer:

mkdir ~/mybucket
s3fs your-bucket-name ~/mybucket -o passwd_file=~/.passwd-s3fs

AWS CLI - ideaal voor Amazon S3 -integraties

De AWS CLI is de officiële commandoline-tool van Amazon voor het beheren van bijna elk deel van AWS-inclusief S3.

Als u meer doet dan alleen back -ups - zoals het instellen van bucketmachtigingen, het beheren van versiebeheer of het activeren van Lambda -functies - biedt de AWS CLI meer controle en opties dan andere tools.

Wanneer te gebruiken:

• U gebruikt al AWS -services en wilt opslagtaken in uw workflow integreren.
  
• U hebt volledige toegang nodig tot S3 -functies zoals Lifecycle -regels, machtigingen en objecttagging.
  
• U wilt compatibiliteit met automatisering of CI/CD -pijpleidingen.

Installatie (Linux):

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

Configureer het:

aws configure

Indien gevraagd, voert in:

• Toegangssleutel
  
• Geheime sleutel
  
• Standaardregio
  
• Uitvoerformaat (JSON, tekst, enz.)

Synchronisatie voorbeeld:

aws s3 sync /var/www/html s3://your-bucket-name/html

Afsluiten

Het synchroniseren van uw VPS met objectopslag is een betrouwbare manier om een ​​back -up van gegevens te maken en inhoud toegankelijk te maken.Of u nu regelmatig uploads uitvoert of live mappen synchroniseert, Rclone geeft u de tools om dit efficiënt te doen.

Met opties voor codering, logging en automatisering kunt u een systeem instellen dat rustig op de achtergrond werkt - alleen de manier waarop u het wilt.