Retour sur un incident pas comme les autres

As salam 3alaykoum, Bonjour,

Comme certains clients ont pu le constater, aujourd'hui n'a pas été un jour comme les autres chez MuZeTiK, spécialement les clients ayant une boutique Prestashop associée à un hébergement mutualisé.

Dès ce matin, très tôt, s'est produit un ralentissement général sur deux de nos serveurs qui hébergent le service mutualisé Prestashop et plusieurs serveurs privés virtuels de nos clients (et aussi internes à MuZeTiK). Sans que cela soit une coupure franche au départ, la CPU a fait un bon à 400% sans aucune raison apparente.

Puis un mail d'OVH au sujet très controversé "Anti-hack" arrive assez rapidement nous prévenant que l'un de nos serveurs faisait partie d'une attaque par déni de service type amplification NTP. En d'autres termes, notre serveur était utilisé pour amplifier une attaque, mais n'en était pas la cible :

Attaque détectée

Problème: ce serveur n'est pas un serveur usuel mais un hyperviseur qui n'a pas le service NTP activé.

Il fallait donc comprendre qu'une des machines virtuelles hébergées par ce serveur avait ce service ouvert et était utilisée par l'attaquant, mais rapidement ce qui était un ralentissement devient un arrêt brutal de service avec ce mail d'OVH nous notifiant de la désactivation pure et simple du serveur et de sa mise en mode "sauvetage" :

Passage en mode "rescue"

Les choses se compliquent donc car à ce moment, le service est totalement coupé pour les clients concernés. Moins d'une heure plus tard, un nouveau client, qui n'est pas hébergé sur ce serveur se plaint de l'indisponibilité totale de son site web, ça commence à faire beaucoup.

On imagine alors le pire, une attaque coordonnée sur plusieurs de nos serveurs par Anonymous Super Laïque pour attaquer nos positions de fournisseur de service ultra communautaire. Arf, il n'en sera rien, à notre plus grand soulagement, le constat a été cette fois plus rapide, un CPU surchauffe sur ce serveur et donc une simple panne matérielle en vue. Il devait en être ainsi.

Le temps qu'OVH intervienne pour changer le nécessaire, que l'on vérifie que nos serveurs n'ont pas été hacked, que les sites de nos clients sont sains et saufs, et que je vous écrive ce petit billet, nous y sommes, il est 02:50 AM.

Le service est entièrement rétabli, business as usual pour un hébergeur, avec toutes nos excuses pour l'impact de cette mésaventure très enrichissante, comme toute mésaventure pour peu que l'on sache en tirer les conséquences.

Bonne nuit à tous, sous la protection d'Allah Le Très Haut.

Was salam 'alaykoum, Que la paix soit sur vous.