W E S C A L E D I T S c a l e t e s t i n g E - - PowerPoint PPT Presentation
W E S C A L E D I T S c a l e t e s t i n g E c l i p s e H o n o o n O p e n S h i f t D e j a n B o s a n a c , J e n s R e i m a n n S e n i o r S o f t w a r e E
S c a l e t e s t i n g E c l i p s e H
O p e n S h i f t D e j a n B
a n a c , J e n s R e i m a n n S e n i
S
t w a r e E n g i n e e r E c l i p s e C
E u r
e 2 1 8
2
T w i t t e r : @ d e j a n b G i t H u b : @ d e j a n b S e n i
S
t w a r e E n g i n e e r s M i d d l e w a r e / M e s s a g i n g F
u s
I
T w i t t e r : @ c t r
G i t H u b : @ c t r
3
“ E c l i p s e H
p r
i d e s r e m
e s e r v i c e i n t e r f a c e s f
c
n e c t i n g l a r g e n u m b e r s
I
d e v i c e s t
b a c k e n d a n d i n t e r a c t i n g w i t h t h e m i n a u n i f
m w a y r e g a r d l e s s
t h e d e v i c e c
m u n i c a t i
p r
. “ … “ H
p e c i fi c a l l y s u p p
t s s c a l a b l e a n d s e c u r e i n g e s t i
l a r g e v
u m e s
s e n s
d a t a b y m e a n s
i t s T e l e m e t r y a n d E v e n t A P I s . “
5
s s c a l a b l e
l l
s t
n e c t a l a r g e n u m b e r s
d e v i c e s
c
e f u n c t i
a l i t y i s t h e i n g e s t i
t e l e m e t r y d a t a
6
O p e n S h i f t
7
F i r s t a t t e m p t t
u n a l a r g e r t e s t .
V a l i d a t e t h a t
r fi x e s a c t u a l l y w
k e d . Y e s , t h e y d i d .
T e s t i f H
c a l e s . … d
s i t ?
9
4 8 n
e s
8 8 8 c
e s ( 3 3 9 2 t h r e a d s )
. 1 P B
s t
a g e c a p a c i t y
6 D E L L R 6 2
x E 5
6 2 , 6 4 / 1 2 8 G B R A M
9 2 t
a l c
e s , 3 8 4 t
a l t h r e a d s
5 3 6 G B R A M
1
n e f
H
n d i t s i n f r a s t r u c t u r e
i n f r a s t r u c t u r e n
e s
l u s t e r n a t i v e s t
a g e ( G l u s t e r )
n e f
s i m u l a t i n g d e v i c e s a n d c
s u m e r s
a s i t n e c e s s a r y ? N
b u t e a s i e r t
k w i t h .
e d i c a t e d m a s t e r s
M a s t e r I n f r a I n f r a I n f r a M a s t e r C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e
1 1
e a l s
i d t e s t s a r
n d e v e n t s , M Q T T . B u t t h e f
u s w a s
t e l e m e t r y
e r H T T P .
e w a n t e d t
s t a b l i s h a b a s e l i n e f
t e l e m e t r y
e r H T T P , a n d t h e n s t a r t p l a y i n g a r
n d , m a k i n g m
i fi c a t i
s .
e a l s
a n t e d t
a l i d a t e a v i e w fi x e s a n d i d e a s w e h a d i n t h e p a s t .
a k e a t
d
n a p p r
c h . U s e t h e d e f a u l t s , t h e n
t i m i z e .
1 2
p e n S h i f t ( O C P ) 3 . 9 . 1
H E L 7 . 5
n M a s s e . 2 1
c l i p s e H
7
n a p s h
v e r s i
, c l
e t
2
k e d
G i t H u b – “ r e d h a t
/ h
.
i m u a t
– “ r e d h a t
/ h
i m u l a t
”
e v i c e s i m u l a t
s u m e r s i m u l a t
c a l e T e s t – “ r e d h a t
/ h
c a l e
e s t ”
c a l e t e s t d e p l
m e n t a n d t
s
1 3
e t t h e t e s t s e t u p u p a n d r u n n i n g
r e a t e a b a s e l i n e f
t e s t i n g , m a x
t t h e n u m b e r
m e s s a g e s / s
t a r t a u t
a t e d t e s t i n g , r a m p i n g u p t h e w
k l
d , m e a s u r i n g t h e r e s u l t s , s e e i n g i f i t s c a l e s .
e s t a f e w s c e n a r i
: O p e n J 9 , T h r e a d i n g s e t t i n g s , e v e n t s , …
1 5
1 6
1 7
1 9
2
h e s i m u l a t i
c l u s t e r r u n s X p
s , s i m u l a t i n g Y d e v i c e s , s e n d i n g
e m e s s a g e e a c h s e c
d .
m a n y a t t e m p t s t
e n d ?
h e s i m u l a t i
c l u s t e r r u n s Z p
s , c
s u m i n g m e s s a g e s a s f a s t a s p
s i b l e .
m a n y m e s s a g e s r e c e i v e d ?
a n d l e s b a c k
r e s s u r e b y r e j e c t i n g m e s s a g i n g a t t h e p r
a d a p t e r . H a s a n H T T P c
e f
t h a t .
h i c h e r r
s ?
e c a n c a l c u l a t e t h e e r r
r a t e , m e s s a g e s t h a t c
l d n ’ t b e s e n t d u e t
n e r r
/ r e j e c t
t h e c l
d s i d e .
e c a n s c a l e u p p r
u c e r s , c
s u m e r s a n d i n f r a s t r u c t u r e c
p
e n t s ( E n M a s s e , H
.
2 1
2 2
QPID Routers 1 1 1 1 1 2 2 Devices / Pod 1,000 1,000 1,000 1,000 1,000 1,000 1,000 Pods 1 2 4 8 16 32 40 Messages / second 1,000 2,000 4,000 8,000 16,000 32,000 40,000 Request RTT (ms) <5 <5 11 45 20 50 150 Consumers 20 20 20 20 20 20 8 Consumer Credits 1,000 1,000 1,000 1,000 1,000 1,000 1,000 Hono Adapters 1 1 1 1 2 5 10 Receiver Link Credit 1,000 1,000 1,000 1,000 1,000 1,000 1,000 Hono Device Registry 10 10 10 10 10 10 10 Receiver Link Credit 1,000 1,000 1,000 1,000 1,000 1,000 1,000 Failure Ratio (%) < 0.1 < 0.1 < 0.1 < 0.1 < 0.1 < 0.1 < 1 Average Throughput (msgs 1,000 2,000 4,000 8,000 16,000 32,000 40,000 Messages / Instance
1000 2000 4000 8000 8000 6400 4000
2 3
D e d i c a t e d Q P I D r
t e r n
e s
e v i c e r e g i s t r y s e r v i c e a s a s i d e c a r
n
e s r u n n i n g H
e r v i c e s
s i n g a H T T P c l i e n t l i b r a r y w h i c h s c a l e s .
h r
g h p u t i s l i m i t e d b y C P U a n d N e t w
k r e s
r c e s
A M i s n
a n l i m i t i n g f a c t
e i t h e r i s d i s k ( f
t e l e m e t r y ! )
2 5
2 6
2 7
a v i n g d e d i c a t e d Q P I D r
t e r n
e s , d i d r e d u c e t h e i n t e r n
e t r a f fi c .
s i n g n
e p
t s ( v s r
t e s ) i m p r
e d t h e p e r f
m a n c e a l
.
M a s t e r I n f r a I n f r a I n f r a M a s t e r C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e C
u t e
2 8
e
t h e i n i t i a l l i m i t a t i
s c a m e f r
t h e d e v i c e s i m u l a t
, w h i c h c
l d n
k e e p u p s e n d i n g r e q u e s t s .
k H t t p – S i m p l e A P I , a v e r a g e p e r f
m a n c e
a v a d e f a u l t H T T P c l i e n t – C
p l i c a t e d , b a d p e r f
m a n c e
p a c h e H t t p C l i e n t – C
p l i c a t e d , b a d p e r f
m a n c e
H C – A v e r a g e A P I , g
p e r f
ma n c e
e r t . x H T T P C l i e n t – G
A P I , g
p e r f
m a n c e
e w e n t w i t h v e r t . x i t a l s
r
i d e s a s i m p l e A P I a n d w e a l r e a d y k n e w i t .
2 9
w i t c h i n g t
a t i v e T L S r e d u c e s t h e C P U l
d , e s p e c i a l l y
e r t h e l
g r u n .
w i t c h i n g t
e t t y e p
l ( ) i m p r
e s t h e t h r
g h p u t a n d t a k e s l
d
f t h e J V M .
3 1
1 )S c a l e u p p r
u c e r 2 ) W a i t f
a s t a b l e m e s s a g e fl
3 ) I f t h e fl
i s s t a b l e ( e r r
r a t e ) , c
t i n u e w i t h 1 ) 4 ) O t h e r w i s e s c a l e u p H
d a p t e r s u n t i l w e h i t a l i m i t 5 ) E n d t h e t e s t w h e n w e r e a c h e d t h e a d a p t e r l i m i t
3 2
3 4
e r t . x a s s i g n s “ v e r t i c l e s ” ( s e r v i c e s ) t
w
k e r t h r e a d .
s 1 J V M w i t h 9 w
k e r t h r e a d s b e t t e r t h a n 9 J V M s w i t h 1 w
k e r t h r e a d ?
2.000 4.000 6.000 8.000 10.000 12.000 14.000 16.000 18.000 20.000 22.000 24.000 26.000 28.000 30.000 32.000 34.000 36.000 38.000 40.000 42.000 44.000 46.000 48.000 50.000 52.000 54.000 56.000 58.000 60.000 62.000 64.000 66.000 68.000 70.000 72.000 20 40 60 80 100 120 200 400 600 800 1.000 1.200 rtt (ms) – 1 msgs/s/thread – 1 rtt (ms) – 9 msgs/s/thread – 9
3 5
2 . 4 . 6 . 8 . 1 . 1 2 . 1 4 . 1 6 . 1 8 . 2 . 2 2 . 2 4 . 2 6 . 2 8 . 3 . 3 2 . 3 4 . 3 6 . 3 8 . 4 . 4 2 . 4 4 . 4 6 . 4 8 . 5 . 5 2 . 5 4 . 5 6 . 5 8 . 6 . 6 2 . 6 4 . 6 6 . 6 8 . 7 . 7 2 . 20 40 60 80 100 120 200 400 600 800 1.000 1.200 rtt (ms) – 1 msgs/s/thread – 1 rtt (ms) – 9 msgs/s/thread – 9
3 6
r e a t e a f a b r i c S 2 I b u i l d e r f
O p e n J 9
t r
/ s 2 i
a v a
e n j 9
u n t h e d e f a u l t s c e n a r i
i t h i t
e a l d i f f e r e n c e c
l d b e s e e n .
A M n e v e r w a s a l i m i t i n g f a c t
.
u t t h e p e r f
m a n c e w a s t h e s a m e .
3 8
3 9
1 )I n t h e d e f a u l t s c e n a r i
w i t h 9 w
k e r t h r e a d s , a d d i n g a n a d d i t i
a l p
i n c r e a s e d t h e c l u s t e r c a p a c i t y b y ~ 5 . m s g s / s . 2 ) W e c
l d r e p e a t t h a t u n t i l w e h i t
t c l u s t e r l i m i t .
4
h e r e q u e s t / r e s p
s e c l i e n t h a d s
e i s s u e s w i t h b a c k
r e s s u r e h a n d l i n g ( fi x e d i n . 7 )
h e r e w a s a m e m
y l e a k , b u i l d i n g u p s t r e s s
t h e J V M ( fi x e d i n . 7 )
h e r e w a s a p e r f
m a n c e i s s u e i n t h e A M Q P 1 . e n c
i n g ( fi x e d i n . 8
1 )
n d w e c
t i n u e t
m p r
e i t …
4 1
h e d e v i c e r e g i s t r y , w h i c h i s n
p a r t
H
h a s a h u g e i m p a c t
t h e
e r a l l p e r f
m a n c e .
s u m e r s a l s
l a y a r
e i n t h e
e r a l l p e r f
m a n c e . W e s i m p l y t h r e w a w a y t h e p a y l
d . T h i s m a y n
b e v i a b l e b u s i n e s s c a s e f
y
;
4 2
c l i p s e H
c l i p s e / h
c a l e T e s t D e p l
m e n t
e d h a t
/ h
c a l e
e s t
i mu l a t
e d h a t
/ h
i m u l a t