S p e c t r a l f i t t i n g m e t h o d s Wo - PowerPoint PPT Presentation

B a c k g r o u n d + S o u r c e ● s � r c + b k g G a u s s G a u s s ( s u b t r a c t a b l e , f l a t s / d a r k s ) ● s � r c + b k g P o i s s o n P o i s s o n � – H i g h c o u n t s ( > 1 0 0 ) i n e v e r y s i n g l e s r c a n d b k g b i n G a u s s + S u b t r a c t w i t h b k g v a r i a n c e p r o p a g a t i o n – S u b t r a c t & m o d e l w i t h S k e l l a m d i s t r i b u t i o n – D o t h e r i g h t t h i n g a n d m o d e l b o t h a s P o i s s o n ● ● ●

B a c k g r o u n d + S o u r c e ● s � r c + b k g G a u s s G a u s s ( s u b t r a c t a b l e , f l a t s / d a r k s ) ● s � r c + b k g P o i s s o n P o i s s o n � – H i g h c o u n t s ( > 1 0 0 ) i n e v e r y s i n g l e s r c a n d b k g b i n G a u s s + S u b t r a c t w i t h b k g v a r i a n c e p r o p a g a t i o n – S u b t r a c t & m o d e l w i t h S k e l l a m d i s t r i b u t i o n – D o t h e r i g h t t h i n g a n d m o d e l b o t h a s P o i s s o n ● P o i s s o n e s t i m a t e o f r a t e i n e a c h b i n , i n d e p e n d e n t l y ● F u n c t i o n a p p r o x i m a t i o n o f b a c k g r o u n d – I n c o u n t s ( e m p i r i c a l m o d e l ) – P h y s i c a l b a c k g r o u n d f l u x m o d e l – F i t s i m u l t a n e o u s l y w i t h s o u r c e – F i t b a c k g r o u n d m o d e l f i r s t , u s e b e s t - f i t b a c k g r o u n d s h a p e f o r s o u r c e f i t

B a c k g r o u n d + S o u r c e A s s u m p t i o n s : - a r e a e n e r g y - i n d e p e n d e n t - r a t e c o n s t a n t w i t h a r e a , t i m e , l o c a t i o n R e m e m b e r : λ = n u m b e r / c m ² / s / k e V * d E * d t * d A

e R O S I T A b a c k g r o u n d ● D i f f u s e e m i s s i o n – L o c a l h o t b u b b l e – G a l a c t i c d i s k – G a l a c t i c h a l o ● C o s m i c b a c k g r o u n d – U n r e s o l v e d A G N ● H i g h - e n e r g y p a r t i c l e b a c k g r o u n d h t t p s : / / w i k i . m p e . m p g . d e / e R o s i t a / S c i e n c e R e l a t e d S t u f f / B a c k g r o u n d

S e m i - p h y s i c a l b a c k g r o u n d m o d e l s M a x i m i z e p o i s s o n l i k e l i h o o d a t a l l b i n s � s h a p e P a r t i c l e b a c k g r o u n d C o s m i c b a c k g r o u n d I n s t r u m e n t a l b a c k g r o u n d … L o c a t i o n & t i m e - N u S T A R ( Wi k + 1 4 ) d e p e n d e n t � e s p e c i a l l y i m p o r t a n t f o r e x t e n d e d s o u r c e

E m p i r i c a l b a c k g r o u n d m o d e l s M a x i m i z e p o i s s o n l i k e l i h o o d a t a l l b i n s � s h a p e P r o s : ● C a n c o n t a i n p h y s i c a l k n o w l e d g e & s m o o t h n e s s ● S m a l l u n c e r t a i n t i e s ● 0 b i n c o u n t s o k C o n s : C h a n d r a ● N e e d t o s p e c i f y m o d e l ● F i t c a n b e p o o r ( X M M , C h a n d r a , S w i f t m o d e l s i n - h o u s e )

E m p i r i c a l b a c k g r o u n d m o d e l s A u t o m a t e d s h a p e f i n d i n g S i m m o n d s , B u c h n e r e t a l . ( 2 0 1 7 ) X M M / P N , M O S , C h a n d r a / A C I S , N u S T A R , S u z a k u , R X T E , S w i f t / X R T

B a c k g r o u n d : I n d i v i d u a l b i n s E s t i m a t e m o s t l i k e l y b a c k g r o u n d r a t e i n e a c h b i n P r o s : A d d s c a l e d t o s o u r c e r e g i o n ● n o m o d e l s p e c i f i c a t i o n c o u n t s n e e d e d C o n s : ( w s t a t , ● n o c o n t i n u i t y X s p e c d e f a u l t i f s e t t o c s t a t ● u n n e c e s s a r i l y l a r g e w i t h n o b a c k g r o u n d m o d e l ) u n c e r t a i n t i e s ● n e e d > 0 c o u n t s p e r b i n p g s t a t

I n f e r e n c e w i t h l i k e l i h o o d s -0.5 Cstat, -0.5 chi² H i g h e r L : m o d e l u n d e r t h e s e p a r a m e t e r s o f t e n m a k e s t h i s d a t a L o w e r L : l e s s f r e q u e n t l y � F r e q u e n c y o f d a t a L i k e l i h o o d f u n c t i o n a t D , a t p a r a m e t e r v a l u e s ( n o t a d e n s i t y )

I n f e r e n c e d e s i d e r a t a ● P a r a m e t e r r a n g e s a l l o w e d o r p r o b a b l e ( L , T , …, p h y s i c a l p a r a m e t e r s ) P r o b a b i l i t y d e n s i t y I n i n f i n i t e l y s m a l l r e g i o n : z e r o p r o b a b i l i t y F i n d r e g i o n s w i t h h i g h p r o b a b i l i t y m a s s V o l u m e D e n s i t y P r o b a b i l i t y m a s s P a r a m e t e r s p a c e e x p l o r a t i o n

C o n d i t i o n a l p r o b a b i l i t i e s – B a y e s t h e o r e m – P ( A | B ) ! = P ( B | A ) – N o r m a l i s a t i o n – P a r a m e t e r i n f e r e n c e – M o d e l i n f e r e n c e – I n t e r p r e t a t i o n

C o n d i t i o n a l p r o b a b i l i t i e s B a y e s t h e o r e m

P a r a m e t e r s p a c e e x p l o r a t i o n

P a r a m e t e r s p a c e e x p l o r a t i o n ● L o c a l o p t i m i z a t i o n – L M , s i m p l e x , … ( m a n y ) – M o n t e c a r l o o p t i m i z a t i o n ● L o c a l s a m p l i n g : M C M C – T e m p e r i n g – L i m i t a t i o n s ● G l o b a l o p t i m i z a t i o n – G e n e t i c a l g o r i t h m s ( D E ) ● G l o b a l s a m p l i n g – N e s t e d s a m p l i n g

B e s t f i t p a r a m e t e r s I f a w a y f r o m b o u n d a r y ● I f m o d e l i s l i n e a r ● � I f n d a t a h i g h ( s y m m e t r i c , ● s i n g l e g a u s s ) � I f i s t r u e p a r a m e t e r ● � t h e n � I f m a n y d a t a a r e c r e a t e d u n d e r l o g L i n t e r v a l - 1 b e l o w b e s t f i t C o n t a i n s t r u e v a l u e 6 8 % o f r e a l i s a t i o n s C o n f i d e n c e i n t e r v a l Wh a t w a s t h e q u e s t i o n a g a i n ? A r e c o n d i t i o n s f u l f i l l e d ? Wh a t d o u n e q u a l “ e r r o r s ” m e a n ?

B e s t f i t p a r a m e t e r s L I f a w a y f r o m b o u n d a r y ● I f m o d e l i s l i n e a r ● I f c o n d i t i o n s � a r e n o t m e t I f n d a t a h i g h ( s y m m e t r i c , ● s i n g l e g a u s s ) ( a l w a y s ) � I f i s t r u e p a r a m e t e r ● θ � i � M o n t e C a r l o s s i m u l a t i o n s n ( p a r a m e t r i c b o o t s t r a p ) C o n f i d e n c e i n t e r v a l C a l i b r a t e a

D e t e c t i o n L L I f a w a y f r o m b o u n d a r y ● I f m o d e l i s l i n e a r ● I f c o n d i t i o n s � a r e n o t m e t I f n d a t a h i g h ( s y m m e t r i c , ● s i n g l e g a u s s ) ( a l w a y s ) � I f i s t r u e p a r a m e t e r ● θ � i = 0 � M o n t e C a r l o s s i m u l a t i o n s n ( p a r a m e t r i c b o o t s t r a p ) … p - v a l u e s

B e s t f i t d i s t r i b u t i o n s L C o n v o l u t i o n o f T r u e p a r a m e t e r d i s t r i b u t i o n + M e a s u r e m e n t e r r o r & a n a l y s i s m e t h o d C o n f i d e n c e i n t e r v a l s θ H i s t o g r a m o f b e s t f i t s M e a n i n g ? U p p e r l i m i t s ? C u m u l a t i v e d i s t r i b u t i o n C l e a n s o l u t i o n : B u c h n e r + 1 7 a M o d e l p o p u l a t i o n d i s t r i b u t i o n ( H B M )

Sampling

B a y e s i a n p o s t e r i o r L L F i n d r e g i o n s w i t h h i g h p r o b a b i l i t y m a s s V o l u m e D e n s i t y P r o b a b i l i t y m a s s θ I d e a : S a m p l e p a r a m e t e r s o l u t i o n s p r o p o r t i o n a l l y t o t h e i r p r o b a b i l i t y F o r e x a m p l e w i t h a g r i d

P o s t e r i o r g r i d

P o s t e r i o r g r i d

B a y e s i a n p o s t e r i o r P p a r a m e t e r s o l u t i o n s w e i g h t e d b y t h e i r p r o b a b i l i t y C r e d i b l e i n t e r v a l s θ D e f i n i t i o n s : � � D e n s i t y c u m u l a t i v e q u a n t i l e s H i g h e s t D e n s i t y I n t e r v a l s B o r d e r s ( u p p e r l i m i t s )

C u r s e o f d i m e n s i o n a l i t y ● k � g r i d i n f e a s i b l e d ● S � a m p l e � 1 � 2 � 3 …. ( P o s t e r i o r c h a i n s ) w w 2 w …. 1 3 ● T e c h n i q u e s : – I m p o r t a n c e s a m p l i n g – M C M C – N e s t e d s a m p l i n g

U s i n g p o s t e r i o r c h a i n s P ● P o s t e r i o r c h a i n � 1 � 2 � 3 …. q 10 q 50 q 90 ● F i n d r e g i o n s w i t h h i g h p r o b P P(x>4)= ● C sample fraction o m p u t e p r o b . o f r e g i o n s ● P o s t e r i o r p r e d i c t i o n s ● D e r i v e d q u a n t i t i e s � F , z L , z

I m p o r t a n c e s a m p l i n g P D r a w f r o m p r o p o s a l d i s t r i b u t i o n Q � � We i g h b y Q ( ) / P ( | D ) � w � e i g h t e d c h a i n A d v a n t a g e s : θ - E f f i c i e n t i n l o w - d - P a r a l l e l i s a b l e - C a n i n t e g r a t e p a r a m e t e r s p a c e D i s a d v a n t a g e s - N e e d t o f i n d g o o d p r o p o s a l ( V B ) - P o o r s c a l i n g t o 1 0 - 2 0 d - P o o r p e r f o r m a n c e i f p r o p o s a l i s b a d ( v a r i a n c e i n d i c a t o r )

M a r k o v C h a i n M o n t e C a r l o L L Starting point θ x Loop forever: θ ’ = Normal( θ , sigma_p) if P( θ ’|D)/P)D)/P( θ |D)/P)D) > U(): θ = θ ’ add θ to chain θ

M C M C L L Starting point θ x Loop forever: θ ’ = Normal( θ , sigma_p) if P( θ ’|D)/P)D)/P( θ |D)/P)D) > U(): θ = θ ’ add θ to chain θ E m e r g i n g b e h a v i o u r :

M C M C p r o p o s a l s ● M e t r o p o l i s + R a n d o m Wa l k ● G o o d m a n - We a r e ( e m c e e ) ● H M C ( H a m i l t o n i a n M o n t e C a r l o ) � a n i m a t i o n h t t p s : / / c h i - f e n g . g i t h u b . i o / m c m c - d e m o / a p p . h t m l R a n d o m w a l k , H M C

M C M C p r o p o s a l s ● M e t r o p o l i s R a n d o m Wa l k – A d v : s i m p l e – D i s a d v : p o o r m i x i n g G o o d m a n & We a r e ( 2 0 1 0 ) ● A f f i n e - i n v a r i a n t e n s e m b l e e m c e e – A d v : a u t o - t u n i n g f o r g a u s s i a n L – D i s a d v : p o o r m i x i n g i n b a n a n a s , c o l l a p s e s i n h i g h - d ( H u i j s e r + 1 5 ) ● H M C ( H a m i l t o n i a n M o n t e C a r l o ) – A d v : t u n e s i t s e l f t o s u r f a c e – D i s a d v : n e e d g r a d i e n t s o f m o d e l s

M C M C s t o p p i n g ● M � C M C t h e o r y : n i n f ● T P h a s e s : r a c e p l o t s I d e n t i f i c a t i o n M i x i n g ● A u t o c o r r e l a t i o n ( b u r n - i n ) l e n g t h ( b y E r i c F o r d ) ● C o n v e r g e n c e t e s t s – D e t e c t i f u n r e l i a b l e – G e l m a n - R u b i n d i a g n o s t i c – ( m a n y m o r e )

Global optimization

G l o b a l m a x i m a L

E s c a p i n g l o c a l m a x i m a : s t r a t e g i e s ● M u l t i p l e r a n d o m s t a r t p o s i t i o n s – A u g m e n t l o c a l t e c h n i q u e s L ● M a k e s u r f a c e e a s i e r – T e m p e r i n g / A n n e a l i n g ● Wa l k e r p o p u l a t i o n – G W – G e n e t i c a l g o r i t h m s ( D E )

G e n e t i c a l g o r i t h m s M u t a t i o n S e l e c t i o n C r o s s - o v e r v s Wi t h f i t n e s s f u n c t i o n ( h e r e : L ) I n i t i a l p o p u l a t i o n O f f s p r i n g N e w g e n e r a t i o n

G e n e t i c a l g o r i t h m s ● D i f f e r e n t i a l e v o l u t i o n ● Z o o m s i n t o h i g h e s t r e g i o n s moncar A d v a n t a g e s : - G l o b a l - R o b u s t t o d e g e n e r a c i e s , a u t o - t u n i n g p r o p o s a l - Wo r k s i n h i g h - d & n o n - c o n t i n u o u s p a r a m e t e r s D i s a d v a n t a g e s : - S o m e t u n i n g p a r a m e t e r s - s t o p p i n g c r i t e r i o n m a y n o t b e m e a n i n g f u l - D o e s n o t s a m p l e ( o n l y b e s t - f i t )

M o d e l c o m p a r i s o n

M o d e l c o m p a r i s o n B u c h n e r + 1 4 ● E m p i r i c a l m o d e l s – I n f o r m a t i o n c o n t e n t – P r e d i c t i o n q u a l i t y ● C o m p o n e n t p r e s e n c e – R e g i o n s o f p r a c t i c a l h t t p s : / / a r x i v . o r g / a b s / 1 5 0 6 . 0 2 2 7 3 e q u i v a l e n c e B e t a n c o u r t ( 2 0 1 5 ) ● P h y s i c a l e f f e c t s – B a y e s i a n m o d e l c o m p a r i s o n – P r i o r s o f t e n w e l l - j u s t i f i e d

I n f o r m a t i o n c r i t e r i a ● A k a i k e i n f o r m a t i o n c r i t e r i o n A k a i k e ( 1 9 7 3 ) ● I s m o r e c o m p l e x w o r t h s t o r i n g ? AIC = 2 * d – 2 * L max AIC = 2 * d + CStat A d v a n t a g e s : - r o o t e d i n i n f o r m a t i o n t h e o r y - i n d e p e n d e n t o f p r i o r D i s a d v a n t a g e s : - N o u n c e r t a i n t i e s , t h r e s h o l d s u n c l e a r - …

P u n i s h i n g p r e d i c t i o n d i v e r s i t y ( n o t n u m b e r o f p a r a m e t e r s ) D a t a F l e x i b l e m o d e l I n f l e x i b l e m o d e l L h i g h , V t i n y L m e d i u m , V m e d i u m

P o s t e r i o r B a y e s P r i o r o d d s r a t i o f a c t o r o d d s r a t i o

B u c h n e r + 1 4

Global sampling

Missing ingredients ● MCMC: Insert tuned transition kernel ● NS: Insert constrained drawing algorithm ● General solutions: MultiNest, MCMC, HMCMC, Galilean, RadFriends, PolyChord

A n i m a t i o n : h t t p s : / / j o h a n n e s b u c h n e r . g i t h u b . i o / m c m c - d e m o / a p p . h t m l # R a d F r i e n d s - N S , s t a n d a r d ( v i a c h i - f e n g . g i t h u b . i o )

P o s t e r i o r B a y e s P r i o r o d d s r a t i o f a c t o r o d d s r a t i o

B u c h n e r + 1 4

C a l i b r a t i n g m o d e l d e c i s i o n s ● M � o d e l p r o b a b i l i t i e s d e c i s i o n s ● F a l s e d e c i s i o n r a t e ( f a l s e p o s i t i v e s / n e g a t i v e s ) – M o n t e C a r l o s i m u l a t i o n s ( p a r a m e t r i c b o o t s t r a p ) B u c h n e r + 1 4

C a l i b r a t i n g m o d e l d e c i s i o n s B u c h n e r + 1 4 p o w e r l a w i n p u t p o w e r l a w i n p u t w a b s i n p u t w a b s i n p u t False negatives Non-decisions A d v a n t a g e s : - G e t r i d o f p a r a m e t e r p r i o r d e p e n d e n c e s - H a v e f r e q u e n t i s t p r o p e r t i e s o f B a y e s i a n m e t h o d - C o m p l e t e l y B a y e s i a n t r e a t m e n t + d e c i s i o n s D i s a d v a n t a g e s : - C a n b e c o m p u t a t i o n a l l y e x p e n s i v e

F r e q u e n t i s t p r o p e r t i e s o f B a y e s i a n m e t h o d s ● M a k e d e c i s i o n s – I s p a r a m e t e r g r e a t e r t h a n C ? – I s t h i s m o d e l “ b e t t e r ” t h a n t h e o t h e r ? ● P a r a m e t r i c b o o t s t r a p – M o n t e C a r l o s i m u l a t i o n a l l o w a r b i t r a r y c o m p l e x i t y

M o d e l c o m p a r i s o n y e s P P C T e s t mo d e l i n i s o l a t i o n ? P a r a me t r i c b o o t s t r a p n o , r e l a t i v e e m p i r i c a l C o mp a r e p h y s i c a l mo d e l s o r I n f o r ma t i o n c o n t e n t ( A I C ) e mp i r i c a l d e s c r i p t i o n s ? P r e d i c t i o n q u a l i t y ( C r o s s v a l i d a t i o n ) p h y s i c a l e f f e c t s y e s P a r a me t e r e s t i ma t i o n A d d i t i v e c o mp o n e n t R e g i o n o f e q u i v a l e n c e B a y e s i a n mo d e l c o mp a r i s o n n o B a y e s i a n mo d e l c o mp a r i s o n

A g e n d a ● Y e s t e r d a y : – B a s i c s t a t i s t i c s , p r o b l e m s e t u p – P a r a m e t e r e s t i m a t i o n m e t h o d s , c r e d i b l e & c o n f i d e n c e i n t e r v a l s – M o d e l c o m p a r i s o n m e t h o d s S p e c t r o s c o p y + l o w e r E – V i s u a l i s a t i o n s + h i g h e r E ● T o d a y : + i m a g i n g + t i m e – E x t e n d e d s o u r c e s , c a l i b r a t i o n O u t s i d e s p e c t r o s c o p y – S t a c k i n g i n f o r m a t i o n – D i s c u s s i o n & Q u e s t i o n s – P r a c t i c a l p o i n t e r s & Wr a p - u p ● N o t c o v e r e d : – T o o l s – P i l e - u p & v a r i a b i l i t y

S p e c t r a w i t h f e w c o u n t s

S p e c t r a w i t h f e w c o u n t s ● A r e n o t h i n g s p e c i a l ● P o i s s o n l i k e l i h o o d + g o o d b a c k g r o u n d h a n d l i n g N ● 0 c o u n t s T ● T h i n k i n t e r m s o f a l l o w e d r e g i o n s

L, N H from X-ray spectrum Scattered Powerlaw component CTK flat spectrum + FeK line

L, N H from X-ray spectrum Probability cloud

I n t r i n s i c p a r a m e t e r d i s t r i b u t i o n s

E x a m p l e ● M e a s u r e m e n t g a v e x 1 = 4 + - 1 x 2 = 5 + - 0 . 1 ● G e n e r a t e 1 0 0 s a m p l e s f o r e a c h 100xN matrix of x

E x a m p l e ● E v a l u a t e m o d e l 100xN matrix of x F ( x ) 100xN matrix of F

E x a m p l e ● S u m p r o b a b i l i t i e s N 100xN matrix of F vector ● M u l t i p l y p r o b a b i l i t i e s L ● T h e n t r y o u t o t h e r m o d e l p a r a m e t e r s

G r a p h i c e x p l a n a t i o n P(x) Measurement error x F(x) Population distribution

G r a p h i c e x p l a n a t i o n P(x) Measurement error x F(x) Population distribution

G r a p h i c e x p l a n a t i o n P(x) Measurement error x F(x) Population distribution

G r a p h i c e x p l a n a t i o n P(x) Measurement error x F(x) Population distribution

B e h a v i o u r ● G e n e r a t e f r o m 6 + - 2 w i t h m e a s u r e m e n t e r r o r s

B e h a v i o u r