Vous n'avez pas encore de notification

Page d'accueil

Options d'affichage

Abonné

Actualités

Abonné

Des thèmes sont disponibles :

Thème de baseThème de baseThème sombreThème sombreThème yinyang clairThème yinyang clairThème yinyang sombreThème yinyang sombreThème orange mécanique clairThème orange mécanique clairThème orange mécanique sombreThème orange mécanique sombreThème rose clairThème rose clairThème rose sombreThème rose sombre

Vous n'êtes pas encore INpactien ?

Inscrivez-vous !

Utilisez l'Object Storage pour stocker des fichiers et les partager simplement en ligne

Vous vous souvenez du temps du FTP ?
Internet 5 min
Utilisez l'Object Storage pour stocker des fichiers et les partager simplement en ligne
Crédits : triloks

Le stockage de type objet est méconnu du grand public, bien qu'il serve de base à nombre des services que nous utilisons au quotidien. Et contrairement à ce que l'on pourrait penser, il ne s'adresse pas qu'aux développeurs. Voici un petit exemple avec la solution de Scaleway, qui propose 75 Go gratuits.

Lorsque vous accédez à des données sur votre ordinateur, un NAS ou même un serveur, vous utilisez le plus souvent ce que l'on appelle du stockage de type fichiers (File Storage). Hiérarchisé à travers une suite de lecteurs et de (sous-) répertoires, il permet de naviguer dans une arborescence qui fait désormais partie de nos habitudes.

Mais ce n'est pas la seule solution technique existante. On parle de Block Storage lorsqu'il faut accéder aux données à travers des blocs de taille définie, comme c'est le cas avec iSCSI. Des solutions qui ont l'avantage d'être performantes, notamment en termes de latence. Le stockage objet est une solution plus récente, aux nombreux avantages.

La première est sa simplicité d'accès. Pensée pour les développeurs, tout passe par des requêtes HTTP via une API. Mais elle profite également d'une grande flexibilité et le plus souvent d'une bonne réplication évitant la perte de données. Le tout pour un prix en général assez raisonnable pour des solutions classiques. Encore plus faible pour l'archivage.

Ce que l'on sait moins, c'est qu'il est très facile de l'utiliser au quotidien. Comment faire ? On vous explique.

Configuration et création d'un bucket

Pour cette introduction, nous avons utilisé l'offre Object Storage du français Scaleway. Elle est accessible depuis ses datacenters de Paris et Amsterdam. Elle a l'avantage d'être gratuite jusqu'à 75 Go. Ensuite, comptez 0,01 euro HT le Go, soit 10,24 euros HT le To (jusqu'à 499 To) par mois. Le même niveau de gratuité est appliqué pour le trafic : 

Tarifs Scaleway Object StorageTarifs Scaleway Object Storage

Une fois votre compte créé, rendez-vous dans l'interface de gestion (Console). Celle-ci est plutôt claire et simple à prendre en main... mais malheureusement en anglais. La section Object Storage liste vos buckets ainsi que les objets qu'ils contiennent. Le tout sous la forme d'une petite interface les affichant comme des dossiers et fichiers. 

Pour créer votre premier bucket il faudra lui choisir un nom, un datacenter (Paris ou Amsterdam), définir s'il est public ou privé. Dans le premier cas, n'importe qui peut y accéder. Privés, il faut disposer d'identifiants de connexion pour afficher ou non la liste des objets qu'il contient. Le même choix pourra être fait pour chaque objet.

L'URL type d'un objet est la suivante : 

Paris : https://nom_du_bucket.s3.fr-par.scw.cloud/clé_de_l_objet
Amsterdam : https://nom_du_bucket.s3.nl-ams.scw.cloud/clé_de_l_objet

Cela implique que chaque serveur ne pourra avoir qu'un bucket avec un même nom. Il sera par exemple impossible que deux utilisateurs en créent un nommé « test_bucket » par exemple. N'hésitez donc pas à les préfixer selon vos besoins.

Mise en ligne et partage d'un premier fichier

L'interface proposée par Scaleway permet de mettre en ligne des fichiers via un simple glisser-déposer. Elle propose également de créer des dossiers. Comme nous l'avons vu, cela ne correspond à rien de réel mais facilitera sans doute la vie des utilisateurs débutants. À l'inverse, ils n'auront pas conscience de la spécificité du stockage objet.

On peut à tout moment modifier les paramètres d'un bucket, mais aussi lui ajouter des tags ou activer la gestion des versions. Ainsi, plusieurs objets pourront correspondre à une même clé, comme autant d'itérations d'un fichier. Attention, une fois cette possibilité activée, il n'est pas possible de revenir en arrière pour le moment.

Scaleway propose également la gestion du cycle de vie, pour une mise en archive automatique selon différents critères (âge et préfixe des objets) au sein de son service C14 Cold Storage (0,002 euro HT/Go/mois) :

  • Scaleway Object Storage Cycle de vie
  • Scaleway Object Storage Cycle de vie
  • Scaleway Object Storage Cycle de vie

Lorsque vous mettez un fichier en ligne, vous pouvez d'ailleurs choisir s'il est placé dans Objet Storage ou C14 Cold Storage. Attention, dans ce second cas le stockage est moins cher mais il faut initier une phase de récupération avant de pouvoir accéder aux données, ce qui n'est pas adapté à tous les besoins. Notamment pour un partage en ligne.

On apprécie que l'interface affiche quelques détails, comme la vitesse d'upload ou la progression. Une fois la procédure terminée, vous pouvez télécharger le fichier, mais aussi modifier sa visibilité, ses tags et métadonnées, son nom, le supprimer ou obtenir un lien de partage public. Par défaut, il expire au bout d'une heure, mais vous pouvez choisir la date et l'heure de votre choix. Il faudra par contre respecter un délai maximum d'une semaine (voir ci-dessous).

Attention, si le trafic entrant est gratuit, tout comme celui interne à l'infrastructure de Scaleway, le trafic vers l'extérieur est facturé 0,01 euro HT par Go après la première tranche de 75 Go par mois. Cela peut néanmoins être suffisant pour quelques sauvegardes ou des données à partager avec la famille et quelques proches.

Scaleway Object Storage PartageScaleway Object Storage Partage
Lorsque vous générez un lien de partage public, il doit forcément expirer en moins d'une semaine

Aller plus loin avec l'API, compatible S3

Bien entendu, cette simple possibilité de partager un fichier ne reflète qu'une toute petite partie des possibilités d'un service de stockage objet, pensé pour être accédé via une API ou des outils tiers.

Scaleway a d'ailleurs fait le choix de proposer une solution calée sur celle du service S3 d'Amazon Web Services. Une compatibilité partielle, mais qui ouvre les portes de nombreuses fonctionnalités : intégration à des NAS, services et autres petites applications. La pratique est courante : OVH, qui a opté pour OpenStack Swift comme solution technique fait de même. BackBlaze vient également d'annoncer la compatibilité S3 de son service B2 (10 Go offerts).

31 commentaires
Avatar de jpagin Abonné
Avatar de jpaginjpagin- 15/05/20 à 12:48:47

Il serait donc possible de relier mon Nextcloud, qui supporte l'ajout de stockage externe (dont du S3) et qui est sur un VPS OVH n'ayant que 20 Go, à un Object Storage de Scaleway, me permettant d'augmenter mon espace de stockage de 75 Go sans frais ? :mad2:

Quelqu'un a des retours d'expérience sur le sujet ?

Avatar de Exagone313 Abonné
Avatar de Exagone313Exagone313- 15/05/20 à 12:54:22

Par contre, l'API de Scaleway est utilisée avec un token global ayant un contrôle total sur le compte (par exemple, le token peut être utilisé pour supprimer tous les serveurs et toutes les données, ou faire exploser la facture en commandant plein de serveurs), attention à la sécurité de ce token !
Une gestion plus fine des permissions des tokens est prévue selon leur support.

Pour comparer, sur AWS, on peut créer des policies qui permettent de restreindre un utilisateur à un certain nombre d'actions sur les buckets et les clés dans les buckets.

Édité par Exagone313 le 15/05/2020 à 12:57
Avatar de David_L Équipe
Avatar de David_LDavid_L- 15/05/20 à 13:02:17

Oui la partie gestion des droits n'est pas totalement implémentée dans l'API S3 d'ailleurs, mais effectivement le token global est un problème dans leur gestion des accès externes. 
 
Disons qu'en prod sur de l'applicatif sensible c'est no way, pour de la backup depuis un client local ça se défend un peu plus. Tu as le même problème pour les clés SSH qui sont globales et pas attribuables par exemple. 

jpagin a écrit :

Il serait donc possible de relier mon Nextcloud, qui supporte l'ajout de stockage externe (dont du S3) et qui est sur un VPS OVH n'ayant que 20 Go, à un Object Storage de Scaleway, me permettant d'augmenter mon espace de stockage de 75 Go sans frais ? :mad2: 

Quelqu'un a des retours d'expérience sur le sujet ?

Yep, comme de faire une backup de NAS sur l'OS de Scaleway avec S3 qui est en général géré pour la backup/synchro (selon les cas)

Édité par David_L le 15/05/2020 à 13:03
Avatar de coco74 Abonné
Avatar de coco74coco74- 15/05/20 à 13:07:11

Perso, je te conseille de prendre un Scaleway Dev1S en VPS (par ce que sinon, tu paiera la bande passante sortante vers OVH dans l'object storage au delà d'un certain stade).

Personellement j'utilise docker, Traefik, et Nextcloud.
Pour l'installation avec S3, il faut lancer l'instance nextcloud, ensuite aller sur la page par défaut de configuration (pour que ça génère le config en php). Ensuite, modifier le config php pour inclure la directive en paramétrage pour stocker sur le storage S3. Et enfin, revenir sur la page web de configuration, mettre sa bdd, créer user/mot de passe.

L'instance est installée, le stockage S3 est utilisé. capacité "illimitée" au prix de la carte bleue.

Avatar de coco74 Abonné
Avatar de coco74coco74- 15/05/20 à 13:08:45

Quelques use case sympa:

VPS scaleway + nextcloud + S3 storage : Nextcloud avec 75 go gratuits.

Sinon, backup de NAS. Mais je pense que ça chiffre beaucoup plus que de prendre un cloud grand public ou un compte "pro" illimité chez google/microsoft et d'y stocker de la data backup chiffrée.

Avatar de Jarodd INpactien
Avatar de JaroddJarodd- 15/05/20 à 13:13:34

Je me posais la même question... Ca paraît trop beau pour être vrai ! D'habitude c'est 5 ou 10 Go gratuits pour tester, pas plus.

Question idiote mais nulle part sur le site de Scaleway, ils ne parlent du chiffrement. Il me semble pourtant que c'est un point à prendre en compte pour du stockage chez un tiers ?

Édité par Jarodd le 15/05/2020 à 13:14
Avatar de David_L Équipe
Avatar de David_LDavid_L- 15/05/20 à 13:29:20

Qu'il y ait chiffrement ou pas, les données doivent être idéalement chiffrées côté client (ce que proposent le plus souvent les solutions de backup). Parce que même si tu as "chiffrement" marqué sur une page, tu ne maitrise pas de nombreux éléments (à quel niveau, comment c'est opéré, etc.). 

Sinon l'object storage c'est quand même pensé pour de la dispo des objets, ce n'est pas là que tu cherches les procédures les plus paranos

Avatar de David_L Équipe
Avatar de David_LDavid_L- 15/05/20 à 13:30:15

Le stockage illimité ça n'existe pas ;) (et de mémoire les offres qui étaient proposées fût un temps ont été stopées un peu partout)

Avatar de Kazer2.0 Abonné
Avatar de Kazer2.0Kazer2.0- 15/05/20 à 13:31:23

Pour ça que je tourne avec BackBlaze (certes, tu n'as pas du 75 Go gratuit, mais tu choisis vers quel bucket ton token a accès).

Je backup mon NAS le soir avec ça, ça fonctionne niquel.

Avatar de Kazer2.0 Abonné
Avatar de Kazer2.0Kazer2.0- 15/05/20 à 13:34:56

Me semble que Google est illimité, mais throttle comme des salauds à partir d'un certains nombre de To envoyé (du coup tu peux envoyer de façon illimité vers chez eux, mais l'upload est fortement ralentie donc il te faudrait des siècles, mais ils peuvent dire "regarder, c'est illimité" :transpi: ).

Il n'est plus possible de commenter cette actualité.
Page 1 / 4