D-F -FACTOR OR: : A Quant Quantit itativ ive e Per erfor - PowerPoint PPT Presentation

D-F -FACTOR OR: : A Quant Quantit itativ ive e Per erfor ormance mance Model odel of of Applica pplication ion Slo low-do -down n in in Mult ulti- i- Res esour ource ce Shar hared ed Systems ems Presenter: Youngjae Kim June 14 th 2012 Seung-Hwan Lim 1,2 , Jae-Seok Huh 1 , Youngjae Kim 1 , Galen M. Shipman 1 , and Chita R. Das 2 1 Oak Ridge National Laboratory 2 Pennsylvania State University

A norm in a computing system: multiple concurrent workloads Enterprise-scale system : Desktop system or server consolidation Smartphone : multiple programs Computing systems are running multiple workloads. Applications slow down due to resource contentions. How ¡can ¡we ¡es*mate ¡the ¡slow-­‑down ¡of ¡mul*ple ¡ concurrent ¡workloads ¡in ¡mul*-­‑resource ¡systems? ¡ 2 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

Estimating the slow-down of applications due to interference. Empirical ¡ Analy9cal ¡ Method ¡ ¡ Method ¡ Queuing ¡model ¡ Measure ¡the ¡slow-­‑down ¡ with ¡other ¡workloads. ¡ • Based ¡on ¡well-­‑established ¡theory. ¡ • Representa9ve ¡ • However, ¡to ¡enhance ¡accuracy ¡more ¡ workloads ¡ detailed ¡informa9on ¡on ¡resource ¡ usage ¡is ¡oDen ¡required. ¡ • Sta9s9cally ¡similar ¡ workloads ¡ Linear ¡Sum ¡ • The ¡simplest ¡analy9cal ¡model. ¡ We ¡extend ¡the ¡linear ¡sum ¡model ¡to ¡es*mate ¡the ¡slow-­‑ • Sum ¡of ¡individual ¡running ¡9mes. ¡ down ¡of ¡applica*ons ¡due ¡to ¡resource ¡conten*on. ¡ 3 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

The non-linear slow-down in multi- resource systems Experiments CPU workload: CPU job consists of arithmetic operations only Dedicated to run on a single-core CPU I/O workload: Each I/O job randomly reads two 2GB of files (RAM = 4GB) Both CPU and I/O workloads take 100 sec without the presence of other workloads. 250 ¡ Measurement ¡ Linear ¡ Total running time (sec) 200 ¡ Linear sum model fails 150 ¡ to explain multi-resource 100 ¡ contention. 50 ¡ 0 ¡ 2 ¡CPUs ¡ CPU ¡+ ¡IO ¡ 2 ¡IOs ¡ 4 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

D-Factor ( Dilation Factor ) model Estimates the slow-down of jobs due to contention for multiple resources in a system 5 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

D-factor model extends linear sum. Objective We want to describe the slow-down of applications in multi- resource systems Design Constraints To maintain the simplicity instead of the perfection. To easily use in existing schedulers. Our Approach We extend the linear sum model. However, it has the following limitation. The linear sum is for single-resource systems. However, the basis of many scheduling algorithms requires to consider multi-resource system environment. 6 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

An Overview of D-factor Model Framework Applica9on ¡ Es9mate ¡Slow-­‑ Profiles ¡ down ¡ D-­‑factor ¡Model ¡ • Loading ¡vectors, ¡ • λ ¡of ¡each ¡ applica9on ¡ p ¡ ¡ D-factor model explains the expected slow-down when applications are concurrently running. λ is a quadratic function of loading vectors in the D-factor model. 7 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

Outline Introduc4on ¡ How ¡to ¡describe ¡jobs ¡and ¡machines ¡ • Dila9on ¡factor; ¡job ¡and ¡job ¡slices; ¡and ¡loading ¡vector ¡ How ¡to ¡es4mate ¡running ¡4mes ¡ Valida4on ¡results ¡ Conclusions ¡& ¡Future ¡work ¡ 8 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

Each fraction of a job will be dilated by resource contention. Stand-alone behavior Co-located behavior Job1 ¡ Job2 ¡ Job1 ¡ Job2 ¡ Job slice CPU ¡ CPU ¡ CPU ¡ CPU ¡ CPU ¡ I/O ¡ Time I/O ¡ I/O ¡ CPU ¡ I/O ¡ CPU ¡ I/O ¡ I/O ¡ I/O ¡ CPU ¡ I/O ¡ CPU ¡ I/O ¡ CPU ¡ I/O ¡ *System model: Single CPU system 9 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

Dilation Factor, λ λ = Running Time w/ Other Jobs Stand-Alone Running Time Job1 ¡ Job2 ¡ Job1 ¡ Job2 ¡ CPU ¡ CPU ¡ CPU ¡ CPU ¡ CPU ¡ I/O ¡ I/O ¡ I/O ¡ CPU ¡ I/O ¡ CPU ¡ I/O ¡ I/O ¡ I/O ¡ CPU ¡ I/O ¡ CPU ¡ I/O ¡ CPU ¡ I/O ¡ λ 1 = λ 2 = 7 / 5 = 1.4 10 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

Dilation Factor Slow-down due to resource contention Defini4on ¡1: ¡Dila4on ¡Factor ¡ ¡ Dila9on ¡factor ¡ ¡λ ¡is ¡the ¡expecta9on ¡of ¡the ¡factor ¡of ¡dilated ¡ comple9on ¡9me ¡due ¡to ¡the ¡resource ¡conten9on, ¡denoted ¡by ¡ Running ¡9me ¡with ¡ other ¡jobs ¡ Dilation Factor λ = T τ Stand-­‑alone ¡ running ¡9me ¡ 11 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

Machine : serves multiple jobs with shared system resources A ¡por9on ¡of ¡job-­‑1 ¡at ¡ a ¡certain ¡9me ¡ CPU ¡ Memory ¡ Disk ¡I/O ¡ Network ¡I/O ¡ Job 1 Job 3 Job 5 Job 2 Job 6 Job 4 A job may contend for multiple system resources with other jobs in its overall execution. 12 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

Defini4on ¡2. ¡Job ¡slice ¡and ¡Job ¡ Job ¡slice ¡ : ¡a ¡hypothe9cal ¡frac9on ¡of ¡a ¡job ¡that ¡accesses ¡one ¡resource ¡ Job ¡: ¡a ¡sequence ¡of ¡job ¡slices ¡ Job slice Assumptions CPU ¡ Disk ¡I/O ¡ • A job is a sequence of job slices. Job slice sequence Network ¡I/O ¡ • A job slice accesses only one resource for a hypothetical one-unit time. CPU ¡ MEM ¡ • The service time of each job slice does not change by interference. CPU ¡ • No idle period between job slices. Network ¡I/O ¡ • Jobs are independent to each other, i.e., … … different processes. 13 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

Job : described by resource access probabilities 2 Resources (CPU and I/O) in a system Job1 ¡ Job2 ¡ Job slice : accesses single resource. CPU ¡ CPU ¡ CPU ¡ I/O ¡ I/O ¡ I/O ¡ CPU ¡ I/O ¡ P i = (P cpu , P I/O ) CPU ¡ I/O ¡ p 1 = (0.6,0.4) p 2 = (0.4,0.6) Resource probability Resource probability Vector P 1 for Job 1 vector P 2 for Job 2 14 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

Defini4on ¡3. ¡Loading ¡vector ¡: ¡ ¡ ¡ A ¡loading ¡vector ¡consists ¡of ¡elements ¡that ¡represent ¡the ¡por9on ¡of ¡ 9me ¡in ¡accessing ¡each ¡resource ¡during ¡execu9on ¡of ¡a ¡job ¡ ¡ Job1 ¡ CPU ¡ p 1 = (0.6,0.4) CPU ¡ I/O ¡ I/O ¡ CPU ¡ Loading vector : the statistical characterization of a job 15 Managed by UT-Battelle 15 for the U.S. Department of Energy SIGMETRICS’12

Loading Matrix : Describes the Set of Jobs in a System n jobs j th job Probability of accessing i th resource resource i by job j during its m resources execution n Total ¡loading ¡vector, ¡ p p Loading vector of job j, p j ∑ = j j 1 = 16 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

Outline Introduc4on ¡ How ¡to ¡describe ¡jobs ¡and ¡machines ¡ How ¡to ¡es4mate ¡running ¡4mes ¡ • An ¡example ¡: ¡n-­‑jobs ¡in ¡2-­‑resource ¡ • By-­‑products ¡ • How ¡to ¡obtain ¡loading ¡vectors ¡of ¡jobs ¡ • How ¡to ¡reduce ¡to ¡linear ¡sum ¡ ¡ ¡ Valida4on ¡results ¡ Conclusions ¡& ¡Future ¡work ¡ 17 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12

Dilation Factor Theorem Theorem ¡1 : ¡Given ¡a ¡job ¡set ¡on ¡a ¡machine ¡characterized ¡by ¡the ¡ loading ¡vectors ¡ p j, ¡the ¡dila+on ¡factors, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ are ¡given ¡by ¡ λ j = T / τ ¡ = 1 p p p p λ + − • • ¡ j j j j ¡Factor ¡of ¡the ¡service ¡ ¡ ¡ ¡ ¡Sum ¡of ¡the ¡probability ¡of ¡ ¡The ¡probability ¡of ¡the ¡ 9me ¡of ¡the ¡job ¡ interference ¡with ¡ all ¡the ¡jobs ¡ interference ¡ with ¡itself ¡ without ¡interference ¡ ¡ n p p ¡ ∑ = j ¡ j 1 = Intuitions: Due to the resource contention, each job slice will be dilated such that from δ to δ + waiting time while other jobs are served in the resource 18 Managed by UT-Battelle for the U.S. Department of Energy SIGMETRICS’12