Logo_ecole_slices   slicefr_1.png  slicesri_color_pos.png  cropped_FR2030_Cloud_Couleur.jpg  logo_pepr_reseaux.jpg   ENS de Lyon

Méthodologie de caractérisation des I/O pour le HPC
Théo Jolivel  1@  , François Tessier  1@  , Jakob Luettgau  1@  , Gabriel Antoniu  1@  , Philippe Deniel  2@  
1 : KerData
Centre Inria de l'Université de Rennes
2 : Commissariat à l'Energie Atomique (CEA)
Commissariat à l'Energie Atomique (CEA), Commissariat à l'Energie Atomique CEA

Nous proposons une méthodologie de caractérisation automatique de traces I/O permettant de détecter les motifs récurrents d'accès aux données effectués par des applications HPC. Nous implémentons cette méthodologie à travers MOSAIC, une librairie Python optimisée pour la catégorisation d'un grand volume de traces I/O, collectées au niveau système.

La détection et catégorisation des motifs est faite selon 3 axes principaux : la temporalité des accès, la détection d'accès périodiques et réutilisation de fichiers, ainsi qu'une estimation de l'impact des requêtes sur les serveurs de métadonnées. En particulier, nous utilisons deux algorithmes de détection des périodicités pour couvrir une large gamme de motifs périodiques, ainsi qu'un calcul de température de fichiers pour détecter ceux fréquemments accédés.
Des classes sont assignées aux traces pour rendre compte des différents motifs qu'elles contiennent, et permettre de discerner les motifs les plus récurrents dans les jeux de données.

Nous utilisons MOSAIC avec deux jeux de données provenant de supercalculateurs pétaflopiques aux architectures différentes afin d'analyser les motifs les plus courant et les différences visibles entre les machines.

Cette catégorisation ouvre la porte à différentes optimisation I/O : la création et l'utilisation d'ordonnanceurs optimisés pour éviter la contention I/O, l'allocation dynamique de buffers et le préchargement de données pour optimiser l'accés aux données les plus fréquemment utilisées, ainsi que l'entraînement de modèles de prédiction de charge I/O basée sur les motifs observés en temps réel.



  • Poster
Chargement... Chargement...