bayesian inference for logistic models using polya gamma
play

Bayesian inference for logistic models using Polya-gamma latent - PowerPoint PPT Presentation

Bayesian inference for logistic models using Polya-gamma latent variables Nicholas G. Polson, James G. Scott, Jesse Windle (Slides based on slides by James G. Scott) 1 Modeling binary data Age AgeGroup Race Completed InsuranceType


  1. Bayesian inference for logistic models using Polya-gamma latent variables Nicholas G. Polson, James G. Scott, Jesse Windle (Slides based on slides by James G. Scott) 1

  2. Modeling binary data Age AgeGroup Race Completed InsuranceType Location PracticeType 515 21 18to26 Black 0 Military Odenton FamilyPractice 423 21 18to26 Black 0 PrivatePayer Odenton FamilyPractice 388 17 11to17 White 0 PrivatePayer Odenton Pediatric 6 11 11to17 Black 0 Medicaid Odenton Pediatric 1104 19 18to26 Black 0 Medicaid Bayview Pediatric 1412 19 18to26 Black 0 Medicaid JohnsHopkins OBGYN 1354 24 18to26 White 0 PrivatePayer JohnsHopkins OBGYN 318 18 18to26 Black 1 Military Odenton FamilyPractice 768 24 18to26 White 1 PrivatePayer Odenton OBGYN 29 13 11to17 Other/Unknown 0 PrivatePayer Odenton FamilyPractice 1173 14 11to17 Hispanic 0 PrivatePayer Bayview Pediatric 799 24 18to26 White 0 PrivatePayer Odenton OBGYN 633 24 18to26 White 1 PrivatePayer WhiteMarsh OBGYN 111 13 11to17 Other/Unknown 0 Medicaid Odenton Pediatric 69 15 11to17 Black 0 PrivatePayer Odenton FamilyPractice 559 12 11to17 Black 0 Military Odenton Pediatric 1289 26 18to26 White 1 HospitalBased Bayview OBGYN 1127 18 11to17 White 0 Medicaid Bayview Pediatric 1250 18 11to17 Black 0 PrivatePayer Bayview Pediatric 1098 15 11to17 White 1 Medicaid Bayview Pediatric 378 12 11to17 White 1 Military Odenton FamilyPractice 702 26 18to26 White 0 PrivatePayer WhiteMarsh OBGYN .... Idea: p ( y | x ) = f ( β ⊤ x ) 2

  3. Modeling binary data Age AgeGroup Race Completed InsuranceType Location PracticeType 515 21 18to26 Black 0 Military Odenton FamilyPractice 423 21 18to26 Black 0 PrivatePayer Odenton FamilyPractice 388 17 11to17 White 0 PrivatePayer Odenton Pediatric 6 11 11to17 Black 0 Medicaid Odenton Pediatric 1104 19 18to26 Black 0 Medicaid Bayview Pediatric 1412 19 18to26 Black 0 Medicaid JohnsHopkins OBGYN 1354 24 18to26 White 0 PrivatePayer JohnsHopkins OBGYN 318 18 18to26 Black 1 Military Odenton FamilyPractice 768 24 18to26 White 1 PrivatePayer Odenton OBGYN 29 13 11to17 Other/Unknown 0 PrivatePayer Odenton FamilyPractice 1173 14 11to17 Hispanic 0 PrivatePayer Bayview Pediatric 799 24 18to26 White 0 PrivatePayer Odenton OBGYN 633 24 18to26 White 1 PrivatePayer WhiteMarsh OBGYN 111 13 11to17 Other/Unknown 0 Medicaid Odenton Pediatric 69 15 11to17 Black 0 PrivatePayer Odenton FamilyPractice 559 12 11to17 Black 0 Military Odenton Pediatric 1289 26 18to26 White 1 HospitalBased Bayview OBGYN 1127 18 11to17 White 0 Medicaid Bayview Pediatric 1250 18 11to17 Black 0 PrivatePayer Bayview Pediatric 1098 15 11to17 White 1 Medicaid Bayview Pediatric 378 12 11to17 White 1 Military Odenton FamilyPractice 702 26 18to26 White 0 PrivatePayer WhiteMarsh OBGYN .... Idea: p ( y | x ) = f ( β ⊤ x ) Non-Bayesian: logistic regression Bayesian: probit regression 2

  4. Why probit? • Simple auxiliary variable trick (Albert and Chib) 3

  5. ���������������������������������������������� ���������������������������������������������� ���������������������������������������������� N N i β ) } 1 − y i · { 1 − Φ( x T � � { Φ( x T i β ) } y i L ( β ) = L i ( β ) = �������������� ������������������������������������������������������ i =1 i =1 �������������� ������������������������������������������������������ �������������� ������������������������������������������������������ 1 � exp { − ( z i − x T i β ) 2 / 2 } dz i L i ( β ) = √ 2 � A i � ( −∞ , 0) , y i = 0 A i = (0 , ∞ ) , y i = 1 . -2 0 2 4 -2 0 2 4 4

  6. ����������������������������������������� ���������������������������� Auxiliary variables ������������������������������� p ( β | Y ) p ( β ) L ( β ) ∝ N � � � ( z i ; x T = p ( β ) i β , 1) dz i A i i =1 n N � � � � � � ( z i ; x T = z ∈ A i p ( β ) i β , 1) dz R n I i =1 i =1 � R n p ( β , z | Y ) dz ∝ ���������������������������������������������� �������� ���������������� ��� � 5

  7. ����������������������������������������� ���������������������������� Auxiliary variables ������������������������������� p ( β | Y ) p ( β ) L ( β ) ∝ N � � � ( z i ; x T = p ( β ) i β, 1) dz i A i i =1 n N � � � � � � ( z i ; x T = z ∈ A i p ( β ) i β, 1) dz R n I i =1 i =1 � R n p ( β, z | Y ) dz ∝ Gibbs sampling: alternate between p ( β | z , Y ) (Gaussian) and ���������������������������������������������� �������� p ( z | β, Y ) (Truncated Gaussian) ���������������� ��� � 5

  8. ����������������������������������������� ���������������������������� Auxiliary variables ������������������������������� p ( β | Y ) p ( β ) L ( β ) ∝ N � � � ( z i ; x T = p ( β ) i β, 1) dz i A i i =1 n N � � � � � � ( z i ; x T = z ∈ A i p ( β ) i β, 1) dz R n I i =1 i =1 � R n p ( β, z | Y ) dz ∝ Gibbs sampling: alternate between p ( β | z , Y ) (Gaussian) and ���������������������������������������������� �������� p ( z | β, Y ) (Truncated Gaussian) ���������������� ��� � Similar ideas for models involving fancier likelihoods (binomial, negative binomial etc.) 5

  9. Auxiliary variable representation for logistic ���� likelihood? N { exp( x T i β ) } y i � p ( β | Y ) ∝ p ( β ) · 1 + exp( x T i β ) i =1 � ? = p ( β, z | Y ) dz . 6

  10. ������������������������������������������������������������ ������������������ �� �� �� ������������������������ ����� ��� �� � Polya Gamma distribution ������������������������������������������������������������ ������������������ X ∼ �� ( b, c ) �� ∞ 1 g k D � X = ( k − 1 / 2) 2 + c 2 / (4 π 2 ) 2 π 2 k =1 iid �� ( b, 1) g k ∼ ������������������������ ����� ��� �� � 7

Download Presentation
Download Policy: The content available on the website is offered to you 'AS IS' for your personal information and use only. It cannot be commercialized, licensed, or distributed on other websites without prior consent from the author. To download a presentation, simply click this link. If you encounter any difficulties during the download process, it's possible that the publisher has removed the file from their server.

Recommend


More recommend