T o w a r d s a c o d e l e t - b a s e d r u - PowerPoint PPT Presentation

T o w a r d s a c o d e l e t - b a s e d r u n t i me f o r e x a s c a l e c o mp u t i n g C h r i s L a u d e r d a l e E T I n t e r n a t i o n a l , I n c .

S l i d e 2 o f 2 4 W h a t w i l l b e c o v e r e d ● P r o b l e m s & m o t i v a t i o n ● C o d e l e t r u n t i m e o v e r v i e w ● C o d e l e t s & c o m p l e x e s ● D e a l i n g w i t h l o c a l i t y & h e t e r o g e n e i t y ● R e l a t e d w o r k & c o n c l u s i o n

S l i d e 3 o f 2 4 I n t r o d u c t i o n ● C a n ’ t r e a c h e x a s c a l e b y c o n t i n u i n g p a s t t r e n d s ● N e e d s o m e t h i n g t o ● E x p o s e a n d c o o r d i n a t e p a r a l l e l i s m ● C o n t r o l d a t a a n d e x e c u t i o n l o c a l i t y ● A b s t r a c t p l a t f o r m - a n d l o c a t i o n - s p e c i f i c d e t a i l s ● U n i f y s o f t w a r e i n t e r f a c e f o r s u p e r c o m p u t i n g

S l i d e 4 o f 2 4 Ab s t r a c t ma c h i n e mo d e l C l u s t e r N o d e N o d e N o d e N o d e C P U C o r e / C o r e / C P U g r o u p g r o u p G P U / a c c e l . C P U C o r e / C o r e / g r o u p g r o u p G P U / a c c e l . C o r e / g r o u p C h i p - l o c a l R A M N o d e R A M C P U C o r e L o c a l R A M E x e c . T h r e a d s u n i t s R e g i s t e r s

S l i d e 5 o f 2 4 Ha r d w a r e - r e l a t e d p r o b l e ms : S c a l a b i l i t y ● P r e s e n t & f u t u r e r e l i a n c e o n t h r e a d - l e v e l p a r a l l e l i s m f o r p e r f o r m a n c e i n c r e a s e s ● C a n ’ t k e e p i n c r e a s i n g c l o c k r a t e ● C a n ’ t k e e p r e l y i n g o n i n s t r u c t i o n - l e v e l p a r a l l e l i s m ● Me m o r y a c c e s s ● Mo r e c o r e s → h i g h e r a c c e s s l a t e n c y , p o w e r c o s t ● N o t p r a c t i c a l t o u s e c o h e r e n t c a c h e s ● S m a l l c o r e - / c h i p - l o c a l m e m o r i e s s i m p l i f y h a r d w a r e b u t c o m p l i c a t e s o f t w a r e ● N e e d a w a y t o h i d e a c c e s s l a t e n c i e s a n d c r o s s a d d r e s s s p a c e s

S l i d e 6 o f 2 4 Ha r d w a r e - r e l a t e d p r o b l e ms : He t e r o g e n e i t y ● I n c r e a s i n g l y c o m m o n ● G o o d s o l u t i o n f o r ● E f f e c t i v e u t i l i z a t i o n o f s p a c e / p o w e r o n c h i p ● A c c e l e r a t i n g m a t r i x - / v e c t o r - r e l a t e d o p e r a t i o n s ● D i f f i c u l t t o a c t u a l l y u s e i n s o f t w a r e ● S p e c i a l A P I s f o r a c c e l e r a t o r s ● Mu s t s t a t i c a l l y p a r t i t i o n w o r k o r d u p l i c a t e c o d e ● N e e d t o h a n d l e m o r e t r a n s p a r e n t l y ( u n i f y a n d c o o r d i n a t e s u p p o r t s o f t w a r e )

S l i d e 7 o f 2 4 S o f t w a r e - r e l a t e d p r o b l e ms ● R e l i a n c e o n s e q u e n t i a l p r o c e s s i n g , c o h e r e n t m e m o r y ● C a n u s e m u l t i t h r e a d i n g f o r p a r a l l e l i s m , b u t ● H i g h a d d r e s s s p a c e / m e m o r y o v e r h e a d f o r s t a c k ● H i g h o v e r h e a d t o c r e a t e , m a n a g e , s w i t c h t h r e a d s ● S t a c k m u s t r e m a i n i n f i x e d a d d r e s s r a n g e f o r i t s l i f e t i m e ● N e e d a w a y t o s i d e s t e p b l o c k i n g , e x p o s e f i n e - g r a i n e d p a r a l l e l i s m

S l i d e 8 o f 2 4 E x i s t i n g s o f t w a r e f r a me w o r k s MP I , S H ME M: E x p l i c i t d a t a t r a n s f e r C l u s t e r N o d e N o d e N o d e N o d e C P U C o r e / C o r e / C P U g r o u p g r o u p G P U / a c c e l . C P U C o r e / C o r e / g r o u p g r o u p C o r e / G P U / a c c e l . g r o u p C h i p - l o c a l R A M N o d e R A M C P U O p e n MP : P a r a l l e l f o r - a l l O p e n C L , C U D A , D i r e c t C o m p u t e : C i l k : P a r a l l e l r e c u r s i o n C o r e S e l f - c o n t a i n e d S I MD k e r n e l s L o c a l R A M E x e c . T h r e a d s u n i t s R e g i s t e r s

S l i d e 9 o f 2 4 E x i s t i n g s o f t w a r e f r a me w o r k s MP I , S H ME M ● Mu s t e x p l i c i t l y t r a n s f e r d a t a t o / f r o m s p e c i f i c n o d e s ● A r e n o t t h r e a d - s a f e i n g e n e r a l ( s p e c i f i c t o i m p l e m e n t a t i o n ) ● O p e n MP , C i l k , T B B ● O p e n MP & C i l k g e a r e d t o s p e c i f i c a l g o r i t h m t y p e s ● T B B i s C + + - o n l y ; C i l k i s C - o n l y , b u t t e c h n i q u e s c o u l d b e a p p l i e d t o C + ● + / F O R T R A N Wo r k o n l y i n o n e a d d r e s s s p a c e ● U n i f o r m , c o h e r e n t m e m o r y a s s u m e d ● O p e n C L , C U D A , D i r e c t C o m p u t e ● O p e n C L a n d D i r e c t 3 D d e v i c e c o n t e x t s n o t t h r e a d - s a f e ; C U D A i s ● Mu s t e x p l i c i t l y c o o r d i n a t e C P U a n d G P U ● E x i s t i n g f r a m e w o r k s a c h i e v e s p e c i f i c g o a l s , b u t d o n o t i n t e r a c t w e l l . ●

S l i d e 1 0 o f 2 4 C o d e l e t r u n t i me o v e r v i e w P r e s e n t s o f t w a r e s t a c k : P r o p o s e d s o f t w a r e s t a c k : A p p l i c a t i o n A p p l i c a t i o n S y s t e m l i b r a r i e s C o d e l e t r u n t i me O p e r a t i n g s y s t e m S y s t e m l i b r a r i e s H a r d w a r e O p e r a t i n g s y s t e m H a r d w a r e P r e s e n t e x e c u t i o n m o d e l : P r o p o s e d e x e c u t i o n m o d e l : F u n c t i o n c a l l s [ F u n c t i o n c a l l s ] [ U s e r - m o d e t h r e a d s ] C o d e l e t d i s p a t c h O S / H W t h r e a d s [ U s e r - m o d e t h r e a d s ] O S / H W t h r e a d s

S l i d e 1 1 o f 2 4 C o d e l e t r u n t i me o v e r v i e w : C o d e l e t s ● B r e a k a p p l i c a t i o n i n t o s m a l l e r p i e c e s ( = c o d e l e t s ) ● C o d e l e t s s h o u l d n ’ t b l o c k o r r u n i n d e f i n i t e l y ● Mu s t e x p l i c i t l y s p i l l / f i l l a t c o d e l e t b o u n d a r i e s ● L o w - o v e r h e a d h i d i n g o f l o n g - l a t e n c y o p e r a t i o n s ● O n e c o d e l e t s t a r t s a n o p e r a t i o n , a n o t h e r c a t c h e s t h e r e s u l t ● R u n t i m e p r o v i d e s f o r i n t e r - a d d r e s s - s p a c e m o b i l i t y ● S i m p l e & r a p i d e x p o s u r e o f f i n e - g r a i n e d p a r a l l e l i s m ● Ma k e s s c a l a b i l i t y e a s y –j u s t p r o v i d e w o r k a n d s o m e t h i n g w i l l r u n i t