La création d'un émulateur à grande échelle dans le but de tester des applications nécessitant un grand nombre de machines.

Pour cela, il faut replier les machines, c'est-à-dire que chaque machine physique va en réalité contenir plusieurs machines virtuelles (VM). Le but est d'obtenir un facteur de repliment de 100, donc qu'il y ait 100 VM par machine physique.

Pour réaliser ce projet, il faut donc posséder un outil capable de gérer ces 100 VM. Nous avons donc dû choisir parmis les outils de virtualisation existant.
Pour évaluer ces outils, il a fallut utiliser des benchmarks.
Ensuite comme aucun de ces outils ne possède toutes les caractéristiques requises, il nous faudra les améliorer. Après il faudra également que les machines virtuelles puissent communiquer entre-elles (qu'elles soient sur la même machine physique ou non). Ceci devra être paramétrable (débit, latence, topologie,...)

Dans le domaine informatique, la virtualisation fournit une vue logique plutôt que physique des données, de la puissance de calcul, de la capacité de stockage, et d'autres ressources.

Dans le domaine informatique, la paravirtualisation est une technique de virtualisation qui présente l'abstraction des machines virtuelles avec une interface logicielle qui est semblable mais non identique à celle des machines physiques. Ceci exige des systèmes d'exploitations d'être "portés" dans le but de gérer ces machines virtuelles.

Le sens originel de machine virtuelle est la création de plusieurs environnement d'exécution sur un seul ordinateur, dont chacun émule l 'ordinateur hôte. Cela fournit à chaque utilisateur l'illusion de disposer d'un ordinateur complet alors que chaque machine virtuelle est isolée des autres. Le logiciel hôte qui fournit cette fonctionnalité est souvent dénommé superviseur (wikipedia)

• Vserver
  Vserver est un logiciel basé sur le partitionnement à l'aide de "security context" qui permet la création de serveurs privés virtuels (VPS) indépendants. Ces derniers tournent simultanément sur une seule machine physique et partagent les ressources matériels de celle-ci. A l'origine, cet outils était destiné à pouvoir lancer plusieurs services sur une même machine (tel qu'un serveur web, un serveur de mail, ...). Ces serveurs devaient être séparés pour qu'un pirate introduit sur un de ces serveurs virtuel ne puisse pas aller en attaquer un autre. Pour cela, dans Vserver, chaque serveur virtuel possède sa propre base de compte, de mots de passe et sont isolés complètement des autres serveurs, excepté par le fait qu'ils partagent les mêmes ressources physiques. Vserver utilise une séparation des contextes pour que les processus ne soient visibles que depuis leur propre contexte, ceci pour éviter les interactions entre les processus de différents contextes. Pour que les utilisateur d'un VPS ne puissent pas en sortir, Vserver utilise une version plus sécurisée de la commande "chroot" de linux qui interdit de sortir du repertoire racine "/". La gestion des autres ressources telles que la mémoire a aussi bénéficié d'un ajout d'isolation pour pouvoir être utilisée dans un environnement de virtualisation. L'intéret de Vserver est que contrairement à UML et à Xen, il ne necessite pas le lancement d'un noyau pour chaque VM et que donc à première vue, il semble beaucoup plus léger. Vserver est actuellement utilisé dans PlanetLab.
  
  
• Xen
  Xen est un contrôleur de machines virtuelles pour les architectures x86. Il supporte l'exécution de plusieurs systèmes d'exploitation en parallèles et en isolant les ressources. Ceci est possible grâce à une abstraction des VM (processeur virtuel, mémoire virtuelle, réseau virtuel, ...) dans lesquelles les différents systèmes d'exploitation peuvent être portés. Dans Xen, une VM (domain0) est créée à l'initialisation de la machine hôte et elle servira d'interface de contrôle pour les autres VM (les lancer, les éteindre, lancer des applications dessus, ...). Les paramètres de lancement des VM sont assez complets : ils permettent de choisir quel ordonnanceur va être associé, quelle quantité de mémoire physique va être réservée pour cette machine, à quels périphériques la VM aura accès, ... Pour réaliser la virtualisation, Xen utilise plusieurs outils. Il offre deux ordonanceurs différents : "Borrowed Virtual Time" qui propose une répartition équitable et proportionnelle du temps processeur et "Atropos" qui lui permet une répartition absolue de ce temps processeur : on peut affiner les réglages pour qu'une machine virtuelle soit plus ou moins ordonnancée qu'une autre. Pour virtualiser la mémoire, Xen en réserve pour chaque VM une certaine quantité. Celle-ci est fixée à la création de la VM mais elle peut ensuite être modifiée si l'utilisateur en à besoin (sans avoir à relancer les VM). Pour le réseau, chaque VM possède une ou plusieurs interfaces réseaux qui communiquent par un système composé de deux anneaux de mémoire tampon (un pour recevoir et un pour émettre). Tout comme Vserver, Xen est utilisé dans la plate-forme PlanetLab.
  
  
• UML
  User Mode Linux est un utilitaire permettant de lancer des noyaux Linux sur une machine tournant déjà sur Linux. Ce système a été créé à la base pour permettre de tester des noyaux Linux en toute sécurité sur une machine. Ces tests peuvent s'effectuer sur cette VM sans avoir à redémarrer la machine physique à chaque erreur. Des noyaux UML peuvent être considérés comme des VM tournant sur une machine physique. Ce système permet une grande latitude de la configuration et l'utilisation des VM tant que cela est possible sur la machine physique. Le schéma de fonctionnement d'UML est le suivant : chaque processus UML est un processus sur la machine hôte et un thread spécial se charge de gérer correctement l'indépendance entre le système hôte et les machines virtuelles. Un ajout à UML nommé SKAS pour Separated Kernel Address Space permet d'en augmenter nettement les performances en séparant les espaces d'adressage.
  
  
• VMware
  VMware créer un environnement clos dans lequel sont disponibles des périphériques et un BIOS virtuels. Seul le microprocesseur n'est pas emulé pour un soucis de rapidité. Lorsque une machine virtuelle fait appel à un périphérique, VMware intercepte la demande et la traduit pour quel soit géré par le système hôte. VMware assure l'émulation de la carte vidéo, la carte réseau, le lecteur de CD-ROM, le bus USB, les ports series et parallèle et bien sûr le disque dur de type SCSI ou IDE. Ce dernier étant un fichier extensible d'une taille voisine de la place occupée sur la machine virtuelle où fixe pour davantage de performance. Ce fichier contenant le contenu du disque peut être copier sur un autre hôte et executé par un ordinateur. Pour l'ordinateur virtuel tous les périphériques sont identiques même si le système hôte est totalement différent, car c'est VMware qui caractérise les périphériques. VMware est Disponible en 3 version différentes. Plus de détails sur Wikipedia

Pour tester les différents outils de virtualisation, nous avons utilisé tout d'abord une série de micro-bencharks. Un pour tester le processeur, un pour la mémoire, un pour le réseau et un pour le gestion du disque dur.

• Pour le calcul, nous avons utilisé un programme effectuant une approximation itérative de la racine carré de 2.
• Pour la mémoire, nous effectuons du calcul matriciel sur des matrices à 2 dimension de grand taille. Les calculs sont des additions de matrices en boucle qui obligent à faire beaucoup d'accès mémoire.
• Pour le réseau, nous avons utilisé Netperf qui permet de mesurer le débit réseau pendant un temps donné.
• Enfin, pour le disque dur, nous avons utilisé un programme qui effectue des écritures sur le disque sans utilisé les caches.

Pour tester plusieurs composantes à la fois, nous avons utlisé des requètes https sur un serveur web apache-ssl contenant un fichier d'environ 600Mo.

Enfin, nous avons utilisé une véritable application distribuée : les NAS benchmark. Ces derniers sont des application MPI tournant généralement sur des clusters et effectuant de gros calculs matriciels. Nous les avons lancés sur des machines virtuelles (environ 800) réparties sur des machines physiques différentes (8)

Pour utiliser les microbenchmarks, nous avons procéder de la manière suivante suivante :
Les temps sont mesurés à l'aide de la fonction "gettimeofday" qui offre une précision de l'ordre de la micro seconde.
Pour lancer les tests simultanément sur plusieurs machines virtuelles, nous avons utilisé du rsh en parallèle. Pour être certain qu'une machine ne démarre pas avant que les rsh ne soient finis, nous avons mis des "sleep" de quelques secondes avant de lancer le micro-benchmark. Nous nous sommes également arrangé pour que le temps de lancement avec les rsh soit très inférieur au temps d'éxécution des benchmarks.