Toward exascale tool infrastructure (or what weve been up - - PowerPoint PPT Presentation
Department of Computer Science Toward exascale tool infrastructure (or what weve been up to this past year) Dorian Arnold / University of New Mexico
Department of Computer Science
Dorian ¡Arnold ¡/ ¡University ¡of ¡New ¡Mexico ¡ ¡ ¡ With ¡Taylor ¡Groves ¡and ¡Whit ¡Schonbein/ ¡University ¡of ¡New ¡Mexico ¡ ¡ ¡ ¡
} LIBI ¡for ¡normal ¡MRNet ¡startup ¡
} What ¡we ¡desired ¡
Large ¡Scale ¡Distributed ¡SoOware ¡ Job ¡Launchers ¡ CommunicaCon ¡ Services ¡ LIBI ¡
rsh/ssh SLURM OpenRTE ALPS
LaunchMON ¡
Debuggers System Monitors Applications Performance Analyzers Overlay Networks COBO MPI
Scalable Systems Lab
1.
2.
3.
Scalable Systems Lab
} New ¡LIBINetwork ¡class ¡
} Can ¡use ¡SLURM ¡or ¡rsh ¡for ¡process ¡launch ¡
} Tested ¡against ¡MRNet ¡4.0 ¡(no ¡regressions) ¡ } Merged ¡into ¡MRNet ¡master ¡branch ¡as ¡of ¡April ¡2014 ¡
Scalable Systems Lab
} Parent ¡creates ¡children ¡
} ConfiguraCon ¡informaCon ¡
} Requires ¡starCng ¡all ¡
Scalable Systems Lab
} Root ¡creates ¡all ¡processes ¡
} ConfiguraCon ¡informaCon ¡
} Root ¡gathers ¡then ¡scabers ¡ } Requires ¡starCng ¡all ¡
Scalable Systems Lab
} Tool ¡infrastructure ¡does ¡not ¡start ¡all ¡processes ¡
} How ¡do ¡back-‑ends ¡learn ¡and ¡connect ¡to ¡parents? ¡
} Why ¡not ¡leverage ¡scalable ¡informaCon ¡services ¡(IS)? ¡
Scalable Systems Lab
} General ¡MRNet ¡extension ¡for ¡start-‑up ¡data ¡distribuCon
} IniCal ¡implementaCon ¡uses ¡MongoDB ¡
} Prototype ¡available ¡in ¡KVS ¡branch ¡of ¡MRNet ¡repository ¡
} Root ¡creates ¡internal ¡nodes ¡ } Gathers ¡configuraCon ¡
informaCon ¡
} Publishes ¡in ¡KVS ¡ } Third ¡party ¡creates ¡leaves ¡ } Leaves ¡retrieve ¡configuraCon ¡
informaCon ¡from ¡KVS ¡
} Leaves ¡connect ¡to ¡internal ¡
nodes ¡
Scalable Systems Lab
} Generalized ¡mechanism ¡for ¡
} Parent ¡and ¡orphan ¡interfaces ¡
} Hostname ¡ } Port ¡ } Rank ¡ } Parent ¡hostname ¡ } Parent ¡port ¡ } Parent ¡rank ¡ } Session ¡id ¡ ¡ ¡ ¡ ¡//currently ¡unused ¡
Scalable Systems Lab
… //instantiate MRNet internal nodes as per usual … For all leaf internal nodes: nodeinfo.iRank = (int)leaves[curr_leaf]->get_Rank(); nodeinfo.iport = (int)leaves[curr_leaf]->get_Port(); nodeinfo.ihostname = leaves[curr_leaf]->get_HostName(); //MongoParent is derived from NDEParent MongoParent* parent = new MongoParent(info); parent->set_DBHost(db); parent->connect_toDB(); parent->send_MyNodeInfo();
… //MongoOrphan is derived from NDEOrphan MongoOrphan orphan; set_DBHost(&orphan, argv[1]); connect_toDB(&orphan); init_NDEO(&orphan, NULL, NULL); discover_Parent(&orphan); sprintf(parHostname, “%s”, orphan.base.myInfo.phostname); sprintf(parPort, "%d", orphan.base.myInfo.pport); sprintf(parRank, "%d", orphan.base.myInfo.pRank); sprintf(myHostname, “%s”, orphan.base.myInfo.ihostname); sprintf(myRank, "%d", orphan.base.myInfo.iRank); //instantiate MRNet back-end node as per usual …
Scalable Systems Lab
} Instead ¡of ¡“root ¡gather”, ¡parents ¡publish ¡own ¡data ¡ } Comprehensive ¡funcConality ¡tesCng ¡ } Test ¡performance ¡to ¡determine ¡scalability ¡ } AutomaCc ¡peer/session ¡discovery: ¡invesCgate ¡ways ¡to ¡
TBŌN ¡Autonomy ¡aka ¡the ¡self-‑* ¡properCes: ¡
} Self-‑configuring ¡
} Self-‑monitoring ¡
} Self-‑healing ¡
} Self-‑opCmizing ¡
¡
Monitoring( Detec,ng( Deciding( Ac,ng( Sensors( Effectors(
Events( Symptoms( Decisions( Ac,ons(
1.
2.
3.
4.
5.
6.
} Develop ¡performance ¡models ¡
Consider ¡processors ¡and ¡networks ¡influence ¡on ¡topology ¡performance ¡
} Build ¡sensors ¡to ¡collect ¡data ¡to ¡parameterize ¡models ¡ } Compare ¡current ¡observed ¡performance ¡to ¡other ¡configuraCons ¡
Dynamic(Resource(Management( Job(Scheduler(
Tool( Sessions( User( Jobs( Layer(2:( Management(Layer( Layer(1:( Service(Layer( Autonomous(Resource(Provisioning( Layer(0:( Tools(and(Apps( Tool( Infrastructure(
Scalable Systems Lab
} Currently ¡MRNet ¡user ¡specifies ¡complete ¡topology ¡
} Ideal: ¡User ¡specifies ¡nothing ¡about ¡the ¡topology ¡
} Intermediate ¡point: ¡user ¡gives ¡generic ¡topology ¡
Scalable Systems Lab
} Physical ¡(internal) ¡nodes ¡
} Process ¡placement ¡& ¡inter-‑process ¡connecCvity ¡
Scalable Systems Lab
} createTopologySpecification(): ¡
Dictates ¡the ¡constraints ¡to ¡use ¡for ¡tree ¡topology ¡
} Standard ¡MRNet ¡calls ¡to ¡use ¡created ¡topology ¡
} Number ¡of ¡internal ¡processes ¡per ¡node ¡
} Collocate ¡internal ¡processes ¡with ¡front-‑end ¡
} Collocate ¡internal ¡processes ¡with ¡back-‑end ¡
} Max ¡fan ¡out ¡
} Min ¡fan ¡out ¡
} Tree ¡type: ¡balanced, ¡perfect, ¡binomial, ¡graded ¡
} Modes: ¡“maximize ¡fan ¡out”, ¡“maximize ¡depth”, ¡“fit ¡to ¡
Scalable Systems Lab
} Performance ¡tesCng ¡of ¡various ¡topology ¡types ¡with ¡
} More ¡robust ¡tesCng ¡and ¡integraCon ¡into ¡mainline ¡
Scalable Systems Lab
} “External” ¡add-‑on ¡if ¡possible ¡
} Reduces ¡barrier ¡to ¡acceptance ¡ } Eases ¡“blame ¡abribuCon” ¡
Scalable Systems Lab
} Autonomous ¡tool ¡operaCon ¡in ¡general ¡ } Exascale ¡tool ¡readiness ¡
} How ¡relevant ¡are ¡faults ¡and ¡failures ¡for ¡tools? ¡