Luke project

From CIMENT
Jump to: navigation, search

Luke tux.png

See also:


Contents

Projet

Construire un cluster de noeuds hétérogènes pour des besoins spécifiques d'équipes particulières (pre/post traitement, traitements big-data, jobs séquentiels, cigri non besteffort...). Le cluster n'est pas censé éxécuter de jobs parallèles (pas de réseau à faible latence) mais doit pouvoir accéder aux ressources de stockage IRODS de manière optimum afin de faciliter les transferts vers/depuis les supercalculateurs, et éventuellement d'autres ressources de stockage.

L'idée est de mutualiser le plus possible l'administration de ce type de machines, de les raccorder au système d'authentification de CIMENT et de fiabiliser les accès en utilisant un gestionnaire de ressources comme cela est fait sur les machines de calcul de CIMENT.

L'administration système serait faite par un comité composé de correspondants dans les différents labos concernés.

A la différence des autres clusters de Ciment, la plupart des noeuds auront une adresse ip publique afin de s'autoriser toutes sortes d'interconnexions vers le monde extérieur.

Luke.png

Budgets

Pour les budgets, spécifs et devis, voir cette page: Luke_hardware

Intégration de machines existantes

Il pourrait être intéressant de rattacher à cette solution des machines existantes comme nigel ou 6po

Cigri

La plupart des ressources seraient dans cigri, en mode besteffort pour les noeuds spécifiques et en mode non-besteffort (normal) pour les noeuds "grille".

Fonctionnement

  • Toutes les ressources seraient dans un OAR unique.
  • Les accès, bien que réalisés par OAR , peuvent être en mode interactif sans limite de temps.
  • La commande oarsub pourrait être encapsulée dans des scripts pour rendre plus simple l'accès et la compréhension par les utilisateurs peu habitués à la soumission de jobs.
  • Un exemple concret, le script "visu_sub" de froggy : https://ciment.ujf-grenoble.fr/wiki/index.php/Froggy_quickstart#Visu-node
  • Des scripts de soumission (d'accès) pourront être développés pour répondre à des besoins spécifiques des équipes.
  • L'administration serait souple, collaborative et gérée par un petit comité de responsables actifs dans des labos (par exemple Albanne, Jean-Noël, Luca, Jérôme, ...)
  • L'authentification serait basée sur Perseus (nécessaire pour l'accès à Irods et aux autres clusters) qui peut être adapté si nécessaire (un seul projet "Luke" pour simplifier par exemple)
  • OAR et ssh permettront de gérer les droits d'accès et priorités
  • IRODS servira de cloud de stockage pour homogénéiser l'accès aux données entre ces machines et le reste du nuage CIMENT
  • Un serveur de licences pourra être mis en place (sur la frontale). Les jetons de licences pourraient même être gérés par OAR.
  • Une solution de visu déportée peut être mise en place.
  • Etckeeper sur les noeuds : http://joeyh.name/code/etckeeper/

Hébergement

Au SIMSU... là où il y a déja 4 noeuds de stockage IRODS.

Prévoir les frais d'hébergement!

Installation dans des racks recyclés (healthphy, r2d2 -> sortir les noeuds cassés)

Rack de healthphy:

  • rack SGI 19 pouces. La partie du bas est moins profonde que celle du haut, mais il doit être possible de décaler les rails.
  • actuellement 3 connexions 32A ondulé, par 2 PDU à 5 prises et 1 PDU à 20 prises.
  • 2 prises de 16A sont dispos sur le courant non-ondulé -> il faut prévoir 2 PDU de 16A pour pouvoir exploiter ce courant (branchement des double alims en ondulé/non-ondulé, branchement des noeuds de grille en non ondulé)
  • 2 switch 24ports 1Gb/s sont récupérables pour la connexion des noeuds grille ou du réseau IPMI (SMC 8824M TigerStack II)
  • Le rack est à vider... En fonctionnement à l'intérieur pour le moment: le petit serveur matrix et les 2 switch qui servent pour le réseau ipmi de Quath. Ces équipements pourront rester dans le rack. Un des noeuds de healthphy (bi-pro bi-socket) pourrait être utilisé comme console d'admin.

Préconisation techniques

Un minimum de préconisations seront à définir. Le comité aura même peut-être à fournir de l'expertise et du conseil sur le matériel à acquérir.

On peut proposer que l'OS soit systématiquement Debian/stable, et que le matériel doit être reconnu. L'installation de l'OS serait faite automatiquement par FAI (installé sur la frontale)

Réunion Grille OSUG

Retour enquête projets OSUG:

Compte Rendu de la Réunion : File:CR Reunion Grille de Calcul et de Stockage OSUG.pdf

Liste de diffusion

luke.ciment@imag.fr

Abonnement depuis Perseus (cocher la liste "Luke project")

Comité technique

Membre du comité technique:

Personal tools