HEP-Puppet AutomaCsaCon of LHC site deployment - - PowerPoint PPT Presentation

HEP-­‑Puppet ¡

Thursday, ¡20 ¡June ¡13 ¡ Lukasz ¡Kreczko ¡-­‑ ¡DICE ¡ 1 ¡

AutomaCsaCon ¡of ¡LHC ¡ site ¡deployment ¡ ¡

LocaCon ¡for ¡modules ¡

• hGps://github.com/HEP-­‑Puppet ¡

– Good ¡collaboraCon ¡tools ¡available ¡for ¡free ¡ – Can ¡be ¡easily ¡interfaced ¡with ¡CI ¡(e.g. ¡ travis.org) ¡ – No ¡administraCon ¡needed ¡(+ ¡git ¡-­‑> ¡no ¡single ¡ point ¡of ¡failure) ¡

Thursday, ¡20 ¡June ¡13 ¡ Lukasz ¡Kreczko ¡-­‑ ¡DICE ¡ 2 ¡

Current ¡modules ¡

• Apel ¡parser ¡+ ¡publisher ¡(feedback ¡more ¡than ¡

welcome) ¡

– “translaCon” ¡of ¡documentaCon ¡into ¡Puppet ¡

• ARC ¡CE ¡currently ¡in ¡development ¡
• Modules ¡planned: ¡

– HTCondor, ¡Argus ¡server, ¡HDFS ¡SE/grid ¡[p, ¡PhEDEx ¡box ¡ – In ¡general: ¡Whenever ¡a ¡change ¡is ¡needed ¡(or ¡new ¡ machine) ¡I ¡am ¡trying ¡to ¡do ¡it ¡in ¡puppet ¡

Thursday, ¡20 ¡June ¡13 ¡ Lukasz ¡Kreczko ¡-­‑ ¡DICE ¡ 3 ¡

Module ¡structure ¡

• A ¡full ¡example: ¡

– hGp://docs.puppetlabs.com/puppet/2.7/ reference/modules_fundamentals.html#example ¡

• If ¡you ¡want ¡to ¡install ¡it ¡from ¡a ¡service ¡like ¡

puppet ¡forge: ¡

– Needs ¡Modulefile ¡(informaCon ¡about ¡the ¡module) ¡ – metadata.json ¡(file ¡checksums ¡+ ¡Modulefile) ¡

Thursday, ¡20 ¡June ¡13 ¡ Lukasz ¡Kreczko ¡-­‑ ¡DICE ¡ 4 ¡

Ease ¡of ¡development ¡

• Puppet ¡plugin ¡(from ¡puppetlabs) ¡for ¡Eclipse: ¡

– AutomaCcally ¡creates ¡all ¡necessary ¡files ¡for ¡new ¡ modules ¡ – Updates ¡metadata.json ¡as ¡files ¡are ¡changed ¡ – Shows ¡syntax ¡errors ¡ – Configurable ¡formaeng ¡(if ¡we ¡want ¡to ¡have ¡a ¡ common ¡code ¡layout) ¡

Thursday, ¡20 ¡June ¡13 ¡ Lukasz ¡Kreczko ¡-­‑ ¡DICE ¡ 5 ¡

Format ¡examples ¡

Thursday, ¡20 ¡June ¡13 ¡ Lukasz ¡Kreczko ¡-­‑ ¡DICE ¡ 6 ¡

Non ¡puppet ¡slides ¡

• Further ¡slides ¡are ¡Foreman ¡

Thursday, ¡20 ¡June ¡13 ¡ Lukasz ¡Kreczko ¡-­‑ ¡DICE ¡ 7 ¡

Foreman ¡

• At ¡Bristol ¡we ¡use ¡Puppet ¡3.2.2 ¡+ ¡Foreman ¡1.2 ¡
• Foreman ¡acts ¡as: ¡

– Monitoring ¡of ¡puppet ¡distribuCon ¡(reports) ¡ – Provider ¡of ¡Roles/node ¡definiCons ¡(puppet ¡site.pp ¡is ¡ empty!): ¡assigns ¡puppet ¡classes ¡ – Provides ¡data ¡(hiera ¡alternaCve) ¡ – Collector ¡of ¡facts ¡and ¡their ¡historic ¡evoluCon ¡(aka ¡ trends) ¡ – And ¡provisioning ¡of ¡machines, ¡etc. ¡(too ¡much ¡to ¡cover ¡ here) ¡

Thursday, ¡20 ¡June ¡13 ¡ Lukasz ¡Kreczko ¡-­‑ ¡DICE ¡ 8 ¡

Foreman ¡

Thursday, ¡20 ¡June ¡13 ¡ Lukasz ¡Kreczko ¡-­‑ ¡DICE ¡ 9 ¡

Foreman ¡

Thursday, ¡20 ¡June ¡13 ¡ Lukasz ¡Kreczko ¡-­‑ ¡DICE ¡ 10 ¡

Foreman ¡

Thursday, ¡20 ¡June ¡13 ¡ Lukasz ¡Kreczko ¡-­‑ ¡DICE ¡ 11 ¡