|
|
@@ -0,0 +1,191 @@
|
|
|
+#!/bin/bash
|
|
|
+
|
|
|
+#------------------- CHECKPOINT DMTCP ex6 ---------------------------
|
|
|
+#
|
|
|
+#
|
|
|
+# commande: oarsub -S ./checkpoint-dmtcp-scratch-ex6.oar
|
|
|
+
|
|
|
+
|
|
|
+# L'exemple 6 met en oeuvre la possibilité d'effectuer un checkpoint
|
|
|
+# en travaillant sur le répertoire scratch ET avec une reprise
|
|
|
+# automatique (option idemtpotent) sur un nœud potentiellement
|
|
|
+# différent à chaque redémarrage.
|
|
|
+# - la seule difficulté est de récupérer les checkpoints sur le HOME_DIR
|
|
|
+# à chaque fin de run «avorté» (si le walltime est atteint)
|
|
|
+# - Pour la demo:
|
|
|
+# - le timer est de 20 minutes
|
|
|
+# - le walltime fixé à 10mn
|
|
|
+# - donc 3 runs avec l'option --checkpoint 120 (checkpoint 10mn-120s=8mn)
|
|
|
+
|
|
|
+
|
|
|
+#-------------- paramètres OAR---------------------------
|
|
|
+
|
|
|
+# walltime de 10min
|
|
|
+#OAR -l core=1,walltime=00:10:00
|
|
|
+#OAR -n dmtcp-scratch
|
|
|
+
|
|
|
+#les jobs successifs ecrivent dans des fichiers différents
|
|
|
+
|
|
|
+#OAR -O OAR-ckpt-dmtcp-ex6.%jobid%.out
|
|
|
+#OAR -E OAR-ckpt-dmtcp-ex6.%jobid%.err
|
|
|
+
|
|
|
+#OAR -q default
|
|
|
+
|
|
|
+# A EDITER apres consultation de :
|
|
|
+# https://www-calculco.univ-littoral.fr/outils_visu/drawgantt/
|
|
|
+# Si pour une raison d'architecture ( option de compilation)
|
|
|
+# il faut des hôtes/processeurs du même type, par ex:
|
|
|
+##OAR -p nodemodel = 'Dell_R630'
|
|
|
+# ou:
|
|
|
+##OAR -p nodemodel = 'Dell_R820'
|
|
|
+
|
|
|
+# au choix : default ou besteffort
|
|
|
+#OAR -t besteffort
|
|
|
+
|
|
|
+# pour une relance auto (c'est l'objectif!)
|
|
|
+#OAR -t idempotent
|
|
|
+
|
|
|
+# checkpoint OAR 120 s avant le walltime
|
|
|
+# Pour un exemple réel ( plusieurs heures, gros contexte, 600s (10mn))
|
|
|
+
|
|
|
+#OAR --checkpoint 120
|
|
|
+
|
|
|
+# chargement du module dmtcp
|
|
|
+source /nfs/opt/env/env.sh > /dev/null 2>&1
|
|
|
+module load dmtcp > /dev/null 2>&1
|
|
|
+
|
|
|
+#---------- la tâche à exécuter ------------------------
|
|
|
+# doit être contenu dans l'archive ./RUN_DIR.tgz
|
|
|
+
|
|
|
+PROG=timer20mn
|
|
|
+RUN_DIR=scratch-ex6
|
|
|
+
|
|
|
+#----------- pré-traitement -----------------------------
|
|
|
+
|
|
|
+GROUP=$(id -gn $OAR_USER)
|
|
|
+
|
|
|
+# Création du répertoire temporaire local dans scratch
|
|
|
+
|
|
|
+#SCRATCHDIR=/scratch/$GROUP/$OAR_USER/$OAR_JOB_NAME.$OAR_JOBID
|
|
|
+SCRATCHDIR=/scratch/$GROUP/$OAR_USER/$OAR_JOB_NAME
|
|
|
+[ ! -d $SCRATCHDIR ] && mkdir $SCRATCHDIR
|
|
|
+
|
|
|
+# Recopie de l'archive du programme (et éventuels checkpoints
|
|
|
+# et données des runs précendents) dans le répertoire
|
|
|
+
|
|
|
+cd $SCRATCHDIR
|
|
|
+
|
|
|
+# au 1er lancement, par exemple:
|
|
|
+# backup de l'archive dans le rép d'origine
|
|
|
+# (celle-ci est modifiée à chaque run car contient les checkpoints)
|
|
|
+
|
|
|
+if [ ! -f $OAR_WORKDIR/$RUN_DIR.tgz.ORG ]; then
|
|
|
+ cp $OAR_WORKDIR/$RUN_DIR.tgz $OAR_WORKDIR/$RUN_DIR.tgz.ORG
|
|
|
+fi
|
|
|
+
|
|
|
+# copie sur le scratch
|
|
|
+cp $OAR_WORKDIR/$RUN_DIR.tgz .
|
|
|
+# deploiement de l'archive
|
|
|
+tar xzf $RUN_DIR.tgz
|
|
|
+# supression de l'archive
|
|
|
+rm $RUN_DIR.tgz
|
|
|
+cd $RUN_DIR
|
|
|
+# sur quel noeud sommes-nous?
|
|
|
+/bin/hostname
|
|
|
+echo "Debut du jobs ou restart ?"
|
|
|
+
|
|
|
+# si c'est une reprise
|
|
|
+if [ -f dmtcp_restart_script.sh ]; then
|
|
|
+ LAST_HOST=`cat hostname.txt`
|
|
|
+ # sur quel noeud ?
|
|
|
+ /bin/hostname
|
|
|
+ # si le dernier run était sur un autre noeud, modifier
|
|
|
+ # le script de redémarrage
|
|
|
+ if [ $(hostname) != $LAST_HOST ]; then
|
|
|
+ echo " -> reprise du job sur autre noeud"
|
|
|
+ NEW_HOST=`/bin/hostname`
|
|
|
+ sed -i s/"$LAST_HOST"/"$NEW_HOST"/g dmtcp_restart_script.sh
|
|
|
+ # optionnel (pour debug)
|
|
|
+ cp hostname.txt hostname_last.txt
|
|
|
+ # backup du nouvel hostname
|
|
|
+ /bin/hostname > hostname.txt
|
|
|
+ else
|
|
|
+ echo "-> reprise sur le meme noeud"
|
|
|
+ fi
|
|
|
+ # relancer depuis le dernier checkpoint
|
|
|
+ ./dmtcp_restart_script.sh &
|
|
|
+ PROGPID=$!
|
|
|
+else
|
|
|
+ echo " -> Debut du jobs"
|
|
|
+ # sauvegarde du hostname
|
|
|
+ /bin/hostname > hostname.txt
|
|
|
+ dmtcp_launch ./timer20mn &
|
|
|
+ PROGPID=$!
|
|
|
+fi
|
|
|
+
|
|
|
+#---------------------------------------------------------
|
|
|
+# gestion du checkpoint OAR
|
|
|
+#---------------------------------------------------------
|
|
|
+
|
|
|
+# fonction de traitement du signal OAR
|
|
|
+sighandler() {
|
|
|
+ echo "reception checkpoint OAR (signal12)"
|
|
|
+ # demande de checkpoint (-c) au coordinateur dmtcp
|
|
|
+ dmtcp_command -c
|
|
|
+ sleep 5
|
|
|
+ # regroupement et ménage pour la relance du job
|
|
|
+ # ---------------------------------------------
|
|
|
+ mv $OAR_STDOUT .
|
|
|
+ mv $OAR_STDERR .
|
|
|
+ # archivage des fichiers :hosts, checkpoints ...
|
|
|
+ cd ..
|
|
|
+ tar czf $RUN_DIR.tgz ./$RUN_DIR
|
|
|
+ # recopie sur $HOME
|
|
|
+ mv $RUN_DIR.tgz $OAR_WORKDIR
|
|
|
+ # menage
|
|
|
+ cd ..
|
|
|
+ rm -rf $SCRATCHDIR
|
|
|
+ # suicide avant que LEON s'en occupe!
|
|
|
+ [ -n "$PROGPID" ] && kill -9 $PROGPID
|
|
|
+ SCRIPT_CHECKPOINTED="YES"
|
|
|
+ }
|
|
|
+
|
|
|
+# signal Unix attendu par OAR (defaut = SIGUSR1/10, forcé ici
|
|
|
+# à 12 par le paramètre --signal 12 (cf. param OAR au début)
|
|
|
+CHKPNT_SIGNAL=12
|
|
|
+
|
|
|
+# valeur de sortie pour l'option "--idempotent"
|
|
|
+# (restart automatique) )
|
|
|
+EXIT_UNFINISHED=99
|
|
|
+
|
|
|
+# indique au script OAR de capter le signal 12
|
|
|
+trap sighandler $CHKPNT_SIGNAL
|
|
|
+
|
|
|
+# wait indispensable pour maintien des communucations
|
|
|
+# (signaux) entre ce script et le PROG
|
|
|
+while kill -0 "$PROGPID" 2>/dev/null; do
|
|
|
+ wait $PROGPID
|
|
|
+done
|
|
|
+
|
|
|
+# important : le code 99 doit être retourné pour que l'option
|
|
|
+# idempotent ( relance auto.) soit effective
|
|
|
+[ -n "$SCRIPT_CHECKPOINTED" ] && exit 99
|
|
|
+
|
|
|
+
|
|
|
+#---------------------------------------------------------
|
|
|
+# fin du programme: postraitement
|
|
|
+#---------------------------------------------------------
|
|
|
+# DWTFYW!
|
|
|
+echo "---post treatement---"
|
|
|
+# suppression des ckpt (ménage)
|
|
|
+echo "fin effective du programme, suppression des checkpoints"
|
|
|
+rm -f ckpt_*.dmtcp dmtcp_restart_script*
|
|
|
+# a supprimer?
|
|
|
+mv hostname.txt last_hostname.txt
|
|
|
+cd ..
|
|
|
+cp -rp $RUN_DIR $OAR_WORKDIR
|
|
|
+cd ..
|
|
|
+rm -rf $SCRATCHDIR
|
|
|
+# écrasement de la dernière archive intermédiaire par l'originale
|
|
|
+mv $OAR_WORKDIR/$RUN_DIR.tgz.OAR $OAR_WORKDIR/$RUN_DIR.tgz
|
|
|
+exit $?
|
