Industrie agroalimentaire : sauvegarde de toute l'infrastructure et restauration testée

Les sauvegardes ne couvraient que les serveurs, alors que les serveurs de pilotage des lignes, les équipements réseau et Microsoft 365 n'en avaient aucune. Toute l'infrastructure est désormais sauvegardée et la restauration a été testée lors d'exercices, dans le délai convenu.

Industrie agroalimentaire : sauvegarde de toute l'infrastructure et restauration testée

Situation

Un industriel agroalimentaire de Marijampolė, en Lituanie, d’environ 250 salariés, travaille en deux équipes et approvisionne des chaînes de distribution avec des créneaux de livraison stricts. L’infrastructure informatique est typique de l’industrie : plusieurs serveurs virtualisés qui font tourner l’ERP et les systèmes d’entrepôt, des serveurs de pilotage des lignes de production distincts sur le réseau de production, quelques dizaines de postes de travail, des équipements réseau avec des segments VLAN entre les bureaux et la production, et Microsoft 365 pour la messagerie et les documents.

Des sauvegardes existaient, mais uniquement pour les serveurs : Veeam réalisait des sauvegardes de machines virtuelles sur un stockage local, dans la même salle serveurs. Les serveurs de pilotage des lignes n’étaient pas sauvegardés, car ils étaient maintenus par le constructeur de l’équipement et personne n’était sûr que ce soit autorisé. Les configurations des équipements réseau n’étaient conservées nulle part ailleurs que sur les équipements eux-mêmes. Microsoft 365 était considéré comme « l’affaire de Microsoft ». La restauration n’avait jamais été testée.

Deux raisons ont motivé la prise de contact. D’abord, l’audit d’une chaîne de distribution exigeait la preuve que l’entreprise peut reprendre son activité après un incident, et « nous avons des sauvegardes » ne constituait pas une réponse suffisante. Ensuite, quand un seul switch est tombé en panne, le réseau de production est resté à l’arrêt une demi-équipe, le temps de reconstituer sa configuration de mémoire. Le directeur de production a posé une question simple : si la salle serveurs disparaissait demain, combien de temps nous faudrait-il pour produire de nouveau ?

Ce qu’il fallait

  • Des sauvegardes de toute l’infrastructure : serveurs, serveurs de pilotage des lignes, postes de travail, configurations des équipements réseau, Microsoft 365.
  • Au moins une copie hors de l’usine et inaccessible depuis le réseau de l’entreprise.
  • Un délai de restauration convenu et testé pour les systèmes critiques, sur lequel la production peut planifier.
  • Un site de reprise au cas où les équipements de l’entreprise seraient perdus.
  • Des exercices documentés, avec un rapport remis aux auditeurs.

Ce que nous avons fait

Semaines 1 et 2 : inventaire et liste de criticité

Nous avons recensé tout ce qui possède une adresse IP et, avec les responsables de la production, de la logistique et de la finance, déterminé pour chaque système combien de temps l’entreprise peut fonctionner sans lui. Trois sont ressortis comme critiques : l’ERP, le système d’entrepôt et les serveurs de pilotage des lignes. Pour ceux-ci, nous avons fixé un objectif de restauration de 4 heures et, pour les autres, le jour ouvré suivant. Cette liste est ensuite devenue le scénario des exercices.

Semaines 3 à 6 : sauvegardes de toute l’infrastructure

Nous avons restructuré les sauvegardes des serveurs selon le principe 3-2-1 : sauvegardes Veeam sur site, une deuxième copie dans le datacenter de MDP CLOUD en Lituanie, et une troisième copie immuable et invisible depuis le réseau, qu’un ransomware ne pourrait pas atteindre, même avec des droits d’administrateur. Avec le constructeur des équipements de pilotage des lignes, nous avons convenu que ses serveurs sont sauvegardés avec les écritures dans la base de données suspendues pendant une pause nocturne. Cela a été le plus long, car il fallait une confirmation écrite du constructeur.

Nous avons commencé à collecter chaque nuit, automatiquement, les configurations des équipements réseau dans le même dépôt de sauvegarde, avec un historique des modifications. Pour les postes de travail exécutant des logiciels spécialisés (balances, impression d’étiquettes), nous avons créé des sauvegardes d’image. Nous avons placé la messagerie, OneDrive et SharePoint de Microsoft 365 dans une sauvegarde de Microsoft 365 distincte, car Microsoft ne conserve les données supprimées que pour une durée limitée et ne couvre pas tous les scénarios.

Semaines 7 et 8 : PlanB

Pour les systèmes critiques, nous avons préparé PlanB : un environnement préconfiguré dans le cloud de MDP CLOUD dans lequel l’ERP et le système d’entrepôt peuvent être remis en service à partir des sauvegardes, sans acheter de matériel. L’environnement reste éteint jusqu’à ce qu’on en ait besoin ; une fois allumé, les collaborateurs s’y connectent par VPN depuis n’importe quel lieu.

Semaines 9 et 10 : exercices

Le premier exercice a eu lieu pendant un week-end : nous avons simulé la perte de la salle serveurs et restauré trois systèmes critiques dans l’environnement PlanB. La première tentative a duré un peu plus de 4 heures, parce que le fichier de licence de l’ERP s’est révélé lié à l’ancien nom du serveur. Nous avons corrigé la procédure et répété l’exercice deux semaines plus tard ; cette fois, l’objectif a été atteint. Séparément, nous avons restauré la configuration d’un switch sur un équipement de rechange. Cela a pris environ 20 minutes, et non une demi-équipe.

Résultat

La restauration des systèmes critiques a été testée à 4 heures, ce qui n’est plus un objectif mais un fait consigné dans un rapport d’exercice. Nous avons remis aux auditeurs de la chaîne de distribution le rapport d’exercice, la politique de sauvegarde et les procédures de restauration, et il ne restait aucune question.

Toutes les configurations des équipements réseau, soit 100 %, sont conservées avec un historique quotidien. Une modification faite par quelqu’un sur un switch le mardi est visible le mercredi et peut être annulée si nécessaire.

Les exercices de restauration ont lieu deux fois par an selon un calendrier convenu, chaque fois avec un scénario différent : perte de serveurs, attaque par ransomware, suppression d’un compte Microsoft 365. Le rapport de chaque exercice est remis à la direction et conservé pour les audits.

« Pour la première fois, nous avons une réponse à la question “combien de temps nous faudrait-il pour produire de nouveau”, et elle vient d’un rapport, pas de la tête de quelqu’un. »

Ce que nous conseillerions dans une situation similaire

  • Des sauvegardes sans restauration testée sont une hypothèse, pas une protection. Le premier test révèle presque toujours quelque chose que vous ignoriez.
  • Intégrez à l’inventaire tout ce qui possède une configuration, pas seulement les serveurs : switchs, pare-feu, balances, imprimantes.
  • Convenez par écrit des sauvegardes des équipements de production avec leur constructeur, avant qu’un incident ne survienne.
  • Fixez l’objectif de restauration avec les responsables de la production et de la finance, pas au sein du service informatique : ils savent ce que coûte une heure d’arrêt.