New 46Tflop/s parallel computer for the CIMENT community

From CIMENT PUBLIC SITE
Jump to: navigation, search

Ciment news - January 16th 2013

Ciment is proud to announce that the brand new communitary HPC platform (funded by the equip@meso project, the Rhône-Alpes region and the OSUG@2020 labex) is coming soon. It will be a Bull supercomputer with a next generation cooling system called DLC (Direct Liquid Cooling). It is composed of 2176 Xeon (Intel Sandy-Bridge) cores with up to 128GB RAM by node (8GB/core), a very efficient low latency computing network (non-blocking Infiniband FDR) and a 3GB/s shared scratch filesystem (Lustre). It will also provide a remote 3D visualization node and a quad-cpu node with 512Gb of RAM. Some nodes with accelerators (Xeon Phi and/or Nvidia GPU) will be added in a latter time (during 2013)

The next part of the article is in french.

La plate-forme

Equipmeso bull1.jpg


Cette nouvelle plateforme, co-financée par l'equipex de GENCI (equip@meso), la région Rhône-Alpes et le labex OSUG, sera ouverte à tous les laboratoires de l'Université de Grenoble. Elle sera très efficace pour les calculs parallèles mettant en jeu jusqu'à 2176 coeurs de calcul (et au delà après les futures extensions). Tous les noeuds de calcul seront interconnectés par un réseau à très faible latence non bloquant (FDR Infiniband) et disposeront d'un accès à un système de fichiers distribué très efficace (Lustre). Cette machine sera intégrée à la grille CiGri qui sera également étendue aux autres plateformes equip@meso qui seront installées prochainement à Lyon.


La machine sera installée entre février et mai 2013. Les premières semaines de fonctionnement (vers la mi-mars) seront exclusivement réservées pour un usage "Freeride" donnant lieu à un appel à projet (décrit plus bas). L'ouverture définitive à l'ensemble de la communauté est prévue pour mi-mai 2013.


Equipmeso bull2.jpg
  • 2176 cores
  • 136 nodes, 2 processors per node, 8 cores per processor
  • Intel Sandy Bridge EP E5-2670, 8c/2.6 GHz/20M/8 GT/s
  • 64GB RAM per node (20% with 128GB)
  • Infiniband FDR non-blocking computing network
  • A visualization node
  • A fat node (4 cpus, 512GB RAM)
  • 90TB of distributed scratch, 3GB/s
  • Direct Liquid Cooling on compute nodes


Cette machine a été pensée pour être évolutive. Elle pourra être étendue jusqu'au double de sa puissance initiale et pourra héberger les nouveaux accélérateurs Intel Xeon Phi dès leur disponibilité. Des GPU nvidia Kepler devraient également être disponibles sur une autre partition de la machine.

Equipmeso bull3.jpg Equipmeso bull4.jpg
Tour de refroidissement hybride: l'eau de refroidissement est "chaude" (35 degrés). Une simple ventilation assure son refroidissement à l'exterieur du batiment. Dans les périodes de canicule, un système de refroidissement adiabatique, utilisant un peu d'eau est mis en route. Lame double noeud à refroidissement liquide: l'eau passe dans une plaque en contact avec les processeurs, la mémoire et les disques


Le système de refroidissement est innovant et eco-responsable. Alors qu'une installation classique peut nécessiter un surplus de 100% de puissance électrique pour le refroidissement, cette installation à refroidissement liquide directement sur les processeurs nécessitera moins de 10% d'énergie supplémentaire. Autrement dit, dans une salle machine classique, pour 1W de puissance machine consommée, il faut 1W de puissance supplémentaire en climatisation pour compenser le dégagement de chaleur (parfois jusqu'à 3W dans les salles machines les moins efficaces). Cette machine quant à elle nécessitera moins de 0,1W d'énergie pour son refroidissement. Pour un ordinateur qui peut consommer jusqu'à 120kW (puissance estimée à 90Tflop/s), cela n'est pas négligeable!

Mais quel est son nom?

La machine s'appelle Froggy, The Greedy Frog. Froggy est une grenouille de l'espèce des grenouille-taureaux (Bullfrog en anglais) qui sont parmi les plus grosses et voraces du monde. Elle digèrera un très grand nombre de vos calculs en parallèle. Et en bonne grenouille, elle sera refroidie par un circuit d'eau tiède (DLC en anglais pour Direct Leg Cooling).

Mode Freeride (appel à projets)

Pendant les 6 premières semaines de fonctionnement (à partir de mi-mars), la machine ne sera pas dans nos locaux, mais sera exploitable depuis les locaux de notre fournisseur Bull. Etant donné qu'il s'agit d'une période de rôdage durant laquelle nous souhaitons pousser la machine à ses limites et éventuellement faire des correctifs et des réglages, nous proposons de la réserver à quelques utilisateurs ayant des codes capables d'exploiter au mieux cette machine tout en ayant un challenge scientifique à relever puisqu'ils auront l'exclusivité des 2176 coeurs pendant plusieurs jours (environ 1,5 millions d'heures de calcul au total). Nous faisons donc dès à présent un appel à projets et vous pouvez donc nous soumettre une intention:

  • Appel à projets: nous recherchons des utilisateurs ayant des applications parallèles pouvant passer à l'échelle (de 1000 à 2176 coeurs), avec éventuellement une problématique de stress du réseau de communication, de charge mémoire ou d'entrées/sorties de fichiers, et fournir des résultats scientifiques à la suite d'une utilisation exclusive de la plateforme equip@meso de Grenoble pendant plusieurs jours.
  • Deadline: January 31, 2013
  • Si vous pensez pouvoir participer, envoyez un e-mail à equipmeso-freeride@ujf-grenoble.fr avec les informations suivantes:
    • Titre du projet
    • Nom du laboratoire, de l'équipe et du porteur du projet
    • 10 lignes max pour décrire brièvement le programme (nombre de process, besoins en I/O, besoins en RAM, bibliothèques utilisées, etc...)
    • Quelques lignes sur l'éventuel défi scientifique à relever

Nous vous contacterons ensuite si nécessaire pour avoir plus d'informations et sélectionnerons plusieurs projets qui auront un accès exclusif à la machine pendant la période freeride.

Personal tools
Namespaces

Variants
Actions
GRICAD
Communication
Presentation
Users portal
Learning
Tools