A n A n a l y s i s o f A c c e l e r a t o r - PowerPoint PPT Presentation

A n A n a l y s i s o f A c c e l e r a t o r C o u p l i n g i n H e t e r o g e n e o u s A r c h i t e c t u r e s D A C ' 1 5 , S a n F r a n c i s c o , C A , U S A E mi l i o G . C o t a P a o l o Ma n t o v a n i C o C l u o mb l u mb i a U i a n i U v n e r i v s e i t r y s i t y G i u s e p p e D i G u g l i e l mo L u c a P . C a r l o n i

G e n e r a l i t y v s . E f fi c i e n c y P o s t - D e n n a r d s c a l i n g a n d CPUs Generality fi x e d p o w e r b u d g e t s a r e d r i v i n g d e s i g n s t o w a r d CMPs s p e c i a l i z a t i o n Many-cores DSPs, GPGPUs Accelerators (ASICs) Specialization 1 10 100 1000 Energy Efficiency A c c e l e r a t o r s h a v e b e c o me b e c o me e s s e n t i a l f o r h i g h - e f fi c i e n c y s y s t e ms , e . g . S o C s

O u r G o a l A n a l y s i s o f A c c e l e r a t o r C o u p l i n g s A ma j o r t r a d e - o f f i n a c c e l e r a t o r d e s i g n , s i n c e i t d e t e r mi n e s h o w me mo r y i s a c c e s s e d O u r g o a l : t o d r a w o b s e r v a t i o n s a b o u t p e r f o r ma n c e , e f fi c i e n c y a n d p r o g r a mma b i l i t y o f a c c e l e r a t o r s w i t h d i f f e r e n t c o u p l i n g s T w o ma i n o p t i o n s w . r . t . C P U s : ● T i g h t l y - C o u p l e d ( T C A s ) ● L o o s e l y - C o u p l e d ( L C A s )

T i g h t l y - C o u p l e d ( T C A s ) a . k . a . “ c o p r o c e s s o r mo d e l ” ✔ N i l i n v o c a t i o n o v e r h e a d ( v i a I S A e x t e n s i o n s ) ✔ N o i n t e r n a l s t o r a g e : d i r e c t a c c e s s t o L 1 c a c h e ✗ L i mi t e d p o r t a b i l i t y : d e s i g n h e a v i l y t i e d t o C P U

L o o s e l y - C o u p l e d ( L C A s ) a . k . a . “ S o C - l i k e mo d e l ” ✔ G o o d d e s i g n r e u s e : n o C P U - s p e c i fi c k n o w l e d g e ✗ F i x e d s e t - u p c o s t s d u e t o d r i v e r i n v o c a t i o n a n d D MA ✔ F r e e d o m t o t a i l o r p r i v a t e me mo r i e s ( s c r a t c h p a d s ) , e . g . p r o v i d i n g d i f f e r e n t b a n k s , p o r t s , a n d b i t w i d t h s ✗ S c r a t c h p a d s r e q u i r e l a r g e a r e a e x p e n s e s

L o o s e l y - C o u p l e d ( L C A s ) a . k . a . “ S o C - l i k e mo d e l ” T w o fl a v o r s : ● L L C - D MA ● D R A M- D MA ✔ G o o d d e s i g n r e u s e : n o C P U - s p e c i fi c k n o w l e d g e ✗ F i x e d s e t - u p c o s t s d u e t o d r i v e r i n v o c a t i o n a n d D MA ✔ F r e e d o m t o t a i l o r p r i v a t e me mo r i e s ( s c r a t c h p a d s ) , e . g . p r o v i d i n g d i f f e r e n t b a n k s , p o r t s , a n d b i t w i d t h s ✗ S c r a t c h p a d s r e q u i r e l a r g e a r e a e x p e n s e s

T a r g e t A p p l i c a t i o n s ● S e v e n h i g h - t h r o u g h p u t a p p l i c a t i o n s f r o m t h e P E R F E C T B e n c h ma r k S u i t e [ * ] [*] http://hpc.pnl.gov/PERFECT

A c c e l e r a t o r D e s i g n ● U s e d H i g h - L e v e l S y n t h e s i s f o r p r o d u c t i v i t y ● Mo s t e f f o r t i s o n t h e me mo r y s u b s y s t e m t o e x p l o i t p a r a l l e l i s m, i . e . a l a r g e n u mb e r o f o p e r a t i o n s p e r c l o c k c y c l e – Mo s t a c c e l e r a t o r a r e a i s t h e r e f o r e me mo r y

E x p e r i me n t a l Me t h o d o l o g y ● F u l l - s y s t e m s i mu l a t i o n r u n n i n g L i n u x ● I n - o r d e r e mb e d d e d - l i k e i 3 8 6 c o r e s ● D e t a i l e d L e v e l - 1 a n d L e v e l - 2 c a c h e mo d e l s ● A c c u r a t e D R A M s i mu l a t i o n w i t h D R A MS i m2

E x p e r i me n t a l Me t h o d o l o g y H e t e r o g e n e o u s S y s t e m S i mu l a t i o n I n p u t C c o d e S y s t e mC Wr i t e O S d r i v e r , a d d d r i v e r A d d s p e c i a l H i g h - L e v e l i n v o c a t i o n s i n s t r u c t i o n s S y n t h e s i s T o o l T C A s i mu l a t i o n R T L O u t p u t L C A s i mu l a t i o n ● L a t e n c i e s f r o m R T L a r e b a c k - a n n o t a t e d i n t o t h e s i mu l a t o r ( f o r T C A s ) a n d S y s t e mC ( L C A s ) ● L C A s : S y s t e mC a c c e l e r a t o r s i mu l a t i o n r u n i n p a r a l l e l w i t h t h e s i mu l a t o r , s y n c h r o n i z i n g e v e r y 1 0 0 c y c l e s

S p e e d u p o v e r S o f t w a r e ● L L C - D MA L C A > D R A M- D MA L C A > T C A ● R a t i o o f s c r a t c h p a d v s . i n p u t s i z e ma t t e r s , e . g . F F T ● D R A M b a n d w i d t h b o t t l e n e c k o n a c c e l e r a t o r s w i t h c o mmu n i c a t i o n > > c o mp u t a t i o n , e . g . s o r t

P e r f o r ma n c e & E n e r g y ● L L C - D MA L C A > D R A M- D MA L C A > T C A ● E f fi c i e n c y g a p b e t w e e n L C A s d u e t o d i f f e r e n c e i n o f f - c h i p a c c e s s e s ● L L C p o l l u t i o n s t u d y r e s u l t s i n p a p e r / p o s t e r

C o n c l u d i n g O b s e r v a t i o n s ● L C A s b e s t p o s i t i o n e d t o d e l i v e r h i g h t h r o u g h p u t g i v e n n o n - t r i v i a l i n p u t s a me n a b l e t o c o mp u t a t i o n i n b u r s t s – D R A M b a n d w i d t h c a n l i mi t t h i s p o t e n t i a l ● P r o g r a mmi n g L C A s i s n o t c o n c e p t u a l l y c o mp l e x – O p e r a t i n g S y s t e ms h a v e s i mp l e , w e l l - d e fi n e d i n t e r f a c e s f o r t h i s ● Wh y L C A s > T C A s : T a i l o r e d , ma n y - p o r t e d s c r a t c h p a d s a r e k e y t o p e r f o r ma n c e – L 1 s c a n n o t p r o v i d e t h i s p a r a l l e l i s m ( a t m o s t 2 p o r t s ! )