� � � � � ������� � � ��������� � � ��������������� Thanks to R Parr, C Guesterin �
������� � ����������� � ������������� � ������������������ �����!� � "��!�����#�������� � $��������$���%�&�����!� � '��������� � $('����������� � �������������� � )���������������� �
(������*���+��+���'��������� � ���������,�� ��*�������-��!#. /����������� ��-�-���������0���������0���� ���������� 1 � ����,�� ��*������,�0������� �-���+�����%�%�%�%� � /�������������'2��)3'221 �
���������"�����-����� � $������� � 5��������6� θ θ %��5��������6��7 θ θ θ θ θ θ � ��� �������.�.�.� � ���� ��������+���� � ������!�����������-������!!�����*����������-����� � 5��%�%�%�%���6� θ θ 3 3 3 (1 3 ) 2 2 2 2 θ θ θ (1 (1− − θ θ) (1 ) (1− − θ θ) ) θ θ = = θ (1− − θ θ) θ θ θ θ (1 (1 − − θ θ ) (1 ) (1 − − θ θ ) ) θ θ = = θ θ (1 (1 − − θ θ ) ) � 2�8���!�� " �,� α � ���������� α � ������ 4
$�:�����(�#��������'��������� � ������ �-���+������� " �, α � ���������� α � ������� � ����������������� ���������������-������� � (������*�;-���< θ ������ � ����=������ ��-��� � /���>�������-?�!��+��,��!����1 � ��� ����������� θ �������:���=�� ���� ��-�-�������,��-���+�������� 9
2�� ���;(������*< A�*������ � 2�������+���+�����=���� ∂ ∂ − h t h t t θ − θ = θ + − θ = + ln[ (1 ) ] [ ln ln (1 ) ] h t ∂ θ ∂ θ θ − θ (1 ) − + ( 1 ) h t t θ θ − + = � = So just average!!! − h t t � + = θ ˆ = 0 θ θ − θ + (1 ) t h @
��0������,�� ������;������<1 α ˆ H θ = MLE α + α H T � )�+���� ����������� �����%� θ $(' 6��C9�6�D.@ � ���� )�+����D �����������D �����%� θ $(' 6�D.@ � ������� ������������������ ������������� B
3���*�&�����!� Normal( µ =0.6, σ =0.048) � &�����!����������� ;� ����< ������������ � ��������������%��� � $����� µ 6��C��F�� � &�����!��� σ � µ ��G µ �C��F�� σ σ σ Normal( µ =0.6, σ =0.0048) � �����������%���� µ 6D.@� σ 6D.D4E � ����������D�%��D�� µ 6D.@� σ 6D.DD4E E
���������"�����-����� P( D | θ θ ) for fixed θ θ =0.6 θ θ θ θ n=5 n=50 5��- ����� 6D.@ !����*���������#C� �����%����� ,�� � H
5��-�-���������!����� P( D | θ θ ) for fixed D θ θ 5��- ����� 6 θ !����*���������� �����%�� ����� �D
���,,���*>� '8������ m 1 � "�,��������������������������-���+����+���*���+������.+.� ���MD%�N = S X m i m = i 1 � 5I2 � O� µ F� λ K�P�� 7�� λ Q�� 5�I�J2 � G µ J < λ K� ≥ ��G �� 7���� λ C Γ �� � ������ ∀ �-��������������-�������...�����?�������������... � 2�� ����+���*����#�������-��!�������������+���� ���L��� ����� � ����!������� ��
2�� ���-����� �����*����,,���*>� ���8������� ����� � L,�� ��� � 6� α � F α � α � 2�� ����+���*��6 ˆ H θ = MLE α + α � (��� θ R -����������� �������� H T �������� ε OD� ��
5A��(������* � 5A���5��-�-���A ��:�����������!� � ���#��0���������-��!#� ��������� θ %� � 0������ ε 6�D.�%� � 0���� ��-�-������ ≥ �7 δ 6�D.H9 ��8�����L,�� �����O���� �C δ �C�� ε 2 ≈ 460.2 ��
/�����-���� �����#��0���*�1� � 2 �� ���� #��0 ��������-��!#� θ ��� ;!����< ���9D79D � �!���"�����������������#������"�$��� � ��������������������������*��� θ %� �-������� ������->� �+��� ����-���+�������,� θ �4
Two (related) Distributions: Parameter, Instances Θ Θ Θ Θ Uniform density 1.0 Θ Θ Θ Θ = 0.1 Θ Θ Θ Θ = 0.1 Θ Θ = 0.5 Θ Θ Θ Θ Θ = 0.8 Θ Θ T T H T T H T H T T T H H H H T H H � � � � � � � � � � � � �9
Two (related) Distributions: Parameter, Instances Θ Θ Θ Θ Uniform density 1.0 1.0 1.0 Θ Θ Θ Θ Θ Θ Θ = 0.1 Θ Θ Θ Θ = 0.5 Θ Θ = 0.8 Θ Θ T T H T T H T H T T T H H H H T H H � � � � � � � � � � � � �@
���������(������* � 3�������������� ��#������� ���� �������� � ����8��+���������0�� ��*��: θ 5� θ J"� � �B
���������(������*�,�������-��!# ��#������� ���� �������� � (�#��������,��!����������� ������������ � /�����-���� ����1 � �� ��������: ����#��0���*� � 2�� ��� ���������,��� � ���?�*���� ������ � ������7,������ �������������,� ��������� ������������������� � %���#�"�����&���"'!(�������������#����)������!���" �E
����� �����������-������G 5� θ � � 5����� � (�#��������,��!����� � )�+����S�T�������%�-�� � $�������C�� F�-� � 3������� �,��%-O�� ��������������G���C���F-G�� � &�����!������-�C���F-� � ��F-G�� �H
5���������������-������ ,�������� Prior P( θ ) Likelihood P(D| θ ) �D So Posterior is same form as Prior!! Conjugate!
5���������"�����-����� � 5������� θ T ����� α � %� α � � � "���� � ��� � �����%�� � ����� � 5���������������-������� θ J � T�������� � F� α � %��� � F� α � � + observe 1 head + observe Prior 27 more heads; �� 18 tails
Recommend
More recommend