ss s r s t

ss - PowerPoint PPT Presentation

ss sr s t t r trs r


  1. ❚❀❡ s✉♣❡r✈✐s❡❞ ❧❡❛r♥✐♥❣ ❛❧❣♊r✐t❀♠s ❛❝❝❡ss t♩ ❛ ❞❛t❛s❡t ♊❢ ❡①❛♠♣❧❡s✱ ❡❛❝❀ ❛ss♩❝✐❛t❡❞ ✐♥ ❣❡♥❡r❛❧ t♩ ❛ t❛r❣❡t ♩r ❧❛❜❡❧ ✳ ▲❡❛r♥ ❢r♩♠ ❞❛t❛ ✈✐❛ st❛t✐st✐❝ ♠♊❞❡❧s ❚❛s❊ ✲ P❡r❢♊r♠❛♥❝❡ ✲ ❊①♣❡r✐❡♥❝❡ ❬❚▌✟✌❪ ❙✉♣❡r✈✐s❡❞ ▲❡❛r♥✐♥❣ ▌❛❝❀✐♥❡ ▲❡❛r♥✐♥❣ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s Pr♊✜❧✐♥❣ ❆tt❛❝❩s✳✳✳❙✉♣❡r✈✐s❡❞ ▲❡❛r♥✐♥❣ ❚❛r❣❡t ❈❧♊♥❡ ❞❡✈✐❝❡ ❞❡✈✐❝❡ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✺✎✹✷

  2. ▲❡❛r♥ ❢r♩♠ ❞❛t❛ ✈✐❛ st❛t✐st✐❝ ♠♊❞❡❧s ❚❛s❊ ✲ P❡r❢♊r♠❛♥❝❡ ✲ ❊①♣❡r✐❡♥❝❡ ❬❚▌✟✌❪ ❚❀❡ s✉♣❡r✈✐s❡❞ ❧❡❛r♥✐♥❣ ❛❧❣♊r✐t❀♠s ❛❝❝❡ss t♩ ❛ ❞❛t❛s❡t ♊❢ ❡①❛♠♣❧❡s✱ ❡❛❝❀ ❛ss♩❝✐❛t❡❞ ✐♥ ❣❡♥❡r❛❧ t♩ ❛ t❛r❣❡t ♩r ❧❛❜❡❧ ✳ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s Pr♊✜❧✐♥❣ ❆tt❛❝❩s✳✳✳❙✉♣❡r✈✐s❡❞ ▲❡❛r♥✐♥❣ ❚❛r❣❡t ❈❧♊♥❡ ❞❡✈✐❝❡ ❞❡✈✐❝❡ ▌❛❝❀✐♥❡ ▲❡❛r♥✐♥❣ ❙✉♣❡r✈✐s❡❞ ▲❡❛r♥✐♥❣ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✺✎✹✷

  3. ❚❀❡ s✉♣❡r✈✐s❡❞ ❧❡❛r♥✐♥❣ ❛❧❣♊r✐t❀♠s ❛❝❝❡ss t♩ ❛ ❞❛t❛s❡t ♊❢ ❡①❛♠♣❧❡s✱ ❡❛❝❀ ❛ss♩❝✐❛t❡❞ ✐♥ ❣❡♥❡r❛❧ t♩ ❛ t❛r❣❡t ♩r ❧❛❜❡❧ ✳ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s Pr♊✜❧✐♥❣ ❆tt❛❝❩s✳✳✳❙✉♣❡r✈✐s❡❞ ▲❡❛r♥✐♥❣ ❚❛r❣❡t ❈❧♊♥❡ ❞❡✈✐❝❡ ❞❡✈✐❝❡ ▌❛❝❀✐♥❡ ▲❡❛r♥✐♥❣ ▲❡❛r♥ ❢r♩♠ ❞❛t❛ ✈✐❛ st❛t✐st✐❝ ♠♊❞❡❧s ❚❛s❊ ✲ P❡r❢♊r♠❛♥❝❡ ✲ ❊①♣❡r✐❡♥❝❡ ❬❚▌✟✌❪ ❙✉♣❡r✈✐s❡❞ ▲❡❛r♥✐♥❣ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✺✎✹✷

  4. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s Pr♊✜❧✐♥❣ ❆tt❛❝❩s✳✳✳❙✉♣❡r✈✐s❡❞ ▲❡❛r♥✐♥❣ ❚❛r❣❡t ❈❧♊♥❡ ❞❡✈✐❝❡ ❞❡✈✐❝❡ ▌❛❝❀✐♥❡ ▲❡❛r♥✐♥❣ ▲❡❛r♥ ❢r♩♠ ❞❛t❛ ✈✐❛ st❛t✐st✐❝ ♠♊❞❡❧s ❚❛s❊ ✲ P❡r❢♊r♠❛♥❝❡ ✲ ❊①♣❡r✐❡♥❝❡ ❬❚▌✟✌❪ ❙✉♣❡r✈✐s❡❞ ▲❡❛r♥✐♥❣ ❚❀❡ s✉♣❡r✈✐s❡❞ ❧❡❛r♥✐♥❣ ❛❧❣♊r✐t❀♠s ❛❝❝❡ss t♩ ❛ ❞❛t❛s❡t ♊❢ ❡①❛♠♣❧❡s✱ ❡❛❝❀ ❛ss♩❝✐❛t❡❞ ✐♥ ❣❡♥❡r❛❧ t♩ ❛ t❛r❣❡t ♩r ❧❛❜❡❧ ✳ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✺✎✹✷

  5. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈❧❛ssr♩♩♠ ❙✐❞❡✲❈❀❛♥♥❡❧ ❆tt❛❝❩s ❈❧♊♥❡ ❞❡✈✐❝❡ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✻✎✹✷

  6. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈❧❛ssr♩♩♠ ❙✐❞❡✲❈❀❛♥♥❡❧ ❆tt❛❝❩s ❚❛r❣❡t ❞❡✈✐❝❡ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✻✎✹✷

  7. ▌❛❝❀✐♥❡ ▲❡❛r♥✐♥❣ ❝❧❛ss✐✜❡rs ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ ❧✐t❡r❛t✉r❡✿ ❙❱▌ ✭❬❍♊s✰✶✶❀ ❍❩✶✷❪✮✱ ❘❋ ✭❬▲❇▌✶✹❀ ▲❇▌✶✺❪✮ ❆❞✈❛♥❝❡❞ ❆tt❛❝❩ ❛s ▌✉❧t✐♣❧❡ ❈❧❛ss✐✜❝❛t✐♊♥ Pr♊❜❧❡♠s ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈❧❛ss✐✜❝❛t✐♊♥ ❈❧❛ss✐✜❝❛t✐♊♥ ♣r♊❜❧❡♠ ❆ss✐❣♥ t♩ ❛ ❞❛t✉♠ ᅵ X ❛ ❧❛❜❡❧ Z ❛♠♊♥❣ ❛ s❡t ♊❢ ♣♊ss✐❜❧❡ ❧❛❜❡❧s Z = { s ✶ , s ✷ , s ✾ } ✱ ♩r ♣r♩❜❛❜✐❧✐t✐❡s✳ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✌✎✹✷

  8. ▌❛❝❀✐♥❡ ▲❡❛r♥✐♥❣ ❝❧❛ss✐✜❡rs ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ ❧✐t❡r❛t✉r❡✿ ❙❱▌ ✭❬❍♊s✰✶✶❀ ❍❩✶✷❪✮✱ ❘❋ ✭❬▲❇▌✶✹❀ ▲❇▌✶✺❪✮ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈❧❛ss✐✜❝❛t✐♊♥ ❈❧❛ss✐✜❝❛t✐♊♥ ♣r♊❜❧❡♠ ❆ss✐❣♥ t♩ ❛ ❞❛t✉♠ ᅵ X ❛ ❧❛❜❡❧ Z ❛♠♊♥❣ ❛ s❡t ♊❢ ♣♊ss✐❜❧❡ ❧❛❜❡❧s Z = { s ✶ , s ✷ , s ✾ } ✱ ♩r ♣r♩❜❛❜✐❧✐t✐❡s✳ ❆❞✈❛♥❝❡❞ ❆tt❛❝❩ ❛s ▌✉❧t✐♣❧❡ ❈❧❛ss✐✜❝❛t✐♊♥ Pr♊❜❧❡♠s ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✌✎✹✷

  9. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈❧❛ss✐✜❝❛t✐♊♥ ▌❛❝❀✐♥❡ ▲❡❛r♥✐♥❣ ❝❧❛ss✐✜❡rs ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ ❧✐t❡r❛t✉r❡✿ ❙❱▌ ✭❬❍♊s✰✶✶❀ ❍❩✶✷❪✮✱ ❘❋ ✭❬▲❇▌✶✹❀ ▲❇▌✶✺❪✮ ❈❧❛ss✐✜❝❛t✐♊♥ ♣r♊❜❧❡♠ ❆ss✐❣♥ t♩ ❛ ❞❛t✉♠ ᅵ X ❛ ❧❛❜❡❧ Z ❛♠♊♥❣ ❛ s❡t ♊❢ ♣♊ss✐❜❧❡ ❧❛❜❡❧s Z = { s ✶ , s ✷ , s ✾ } ✱ ♩r ♣r♩❜❛❜✐❧✐t✐❡s✳ ❆❞✈❛♥❝❡❞ ❆tt❛❝❩ ❛s ▌✉❧t✐♣❧❡ ❈❧❛ss✐✜❝❛t✐♊♥ Pr♊❜❧❡♠s ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✌✎✹✷

  10. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ◆♩t❛t✐♊♥s ◆♩t❛t✐♊♥s ❛♥❞ ❣❡♥❡r❛❧✐t✐❡s ◮ ❙✐❞❡✲❝❀❛♥♥❡❧ tr❛❝❡s✿ r❡❛❧✐③❛t✐♊♥s ♊❢ ❛ r❛♥❞♊♠ ✈❡❝t♩r ᅵ X ∈ R D ◮ D ✐s t❀❡ ♥✉♠❜❡r ♊❢ t✐♠❡ s❛♠♣❧❡s ✭♩r ❢❡❛t✉r❡s✮ ◮ ❚❛r❣❡t✿ ❛ s❡♥s✐t✐✈❡ ✈❛r✐❛❜❧❡ Z = f ( ❡ , ❊ ) ✐♥ Z = { s ✶ , . . . , s |Z| } Pr♊✜❧✐♥❣ ❛tt❛❝❩ s❝❡♥❛r✐♩ ◮ ❧❛❜❡❧❧❡❞ tr❛❝❡s D tr❛✐♥ = ( ᅵ x i , e i , k i ) N i = ✶ ✱ ❛❝q✉✐r❡❞ ✉♥❞❡r ❊♥♊✇♥ s❡❝r❡ts ◮ ❛tt❛❝❩ tr❛❝❡s D ❛tt❛❝❩ = ( ᅵ x i , e i ) N a i = ✶ ❛❝q✉✐r❡❞ ✉♥❞❡r ✉♥❊♥♊✇♥ s❡❝r❡ts ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✜✎✹✷

  11. ♠❛♥❛❣❡ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ♣r♊❜❧❡♠ ❬ ❪ tr❛✐♥ ♠❛♥❞❛t♩r② ❞✐♠❡♥s✐♊♥❛❧✐t② r❡❞✉❝t✐♊♥ ❬ ❪ tr❛✐♥ ✭❣❡♥❡r❛t✐✈❡ ♠♊❞❡❧✮ ●❛✉ss✐❛♥ ❀②♣♊t❀❡s✐s ✭ ❚❡♠♣❧❛t❡ ❆tt❛❝❩ ✮ ❬❈❘❘✵✞❪ ✭❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧✮ ❆✲♣♊st❡r✐♩r✐ ♣r♩❜❛❜✐❧✐t② s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s ✱ ✶ ✶ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s Pr♊✜❧✐♥❣ ❆tt❛❝❩ Pr♊✜❧✐♥❣ ♣❀❛s❡ ◮ ❡st✐♠❛t❡ ◮ p ᅵ X | Z = z ❆tt❛❝❩ ♣❀❛s❡ ◮ ▲✐❊❡❧✐❀♊♊❞ s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p ᅵ ( ᅵ x i ) i = ✶ ,..., N a , ( f ( e i , k )) i = ✶ ,..., N a X | Z ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✟✎✹✷

  12. ♠❛♥❛❣❡ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ♣r♊❜❧❡♠ ❬ ❪ tr❛✐♥ ♠❛♥❞❛t♩r② ❞✐♠❡♥s✐♊♥❛❧✐t② r❡❞✉❝t✐♊♥ ❬ ❪ tr❛✐♥ ●❛✉ss✐❛♥ ❀②♣♊t❀❡s✐s ✭ ❚❡♠♣❧❛t❡ ❆tt❛❝❩ ✮ ❬❈❘❘✵✞❪ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s Pr♊✜❧✐♥❣ ❆tt❛❝❩ Pr♊✜❧✐♥❣ ♣❀❛s❡ ◮ ❡st✐♠❛t❡ ◮ p ᅵ X | Z = z p ᅵ X p Z ✭❣❡♥❡r❛t✐✈❡ ♠♊❞❡❧✮ ◮ p Z | ᅵ x ✭❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧✮ X = ᅵ ❆tt❛❝❩ ♣❀❛s❡ ◮ ▲✐❊❡❧✐❀♊♊❞ s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p ᅵ ( ᅵ x i ) i = ✶ ,..., N a , ( f ( e i , k )) i = ✶ ,..., N a X | Z ◮ ❆✲♣♊st❡r✐♩r✐ ♣r♩❜❛❜✐❧✐t② s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p Z | ᅵ f ( e i , k ) i = ✶ ,..., N a , ( ᅵ x i ) i = ✶ ,..., N a ✱ X ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✟✎✹✷

  13. ♠❛♥❛❣❡ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ♣r♊❜❧❡♠ ❬ ❪ tr❛✐♥ ♠❛♥❞❛t♩r② ❞✐♠❡♥s✐♊♥❛❧✐t② r❡❞✉❝t✐♊♥ ❬ ❪ tr❛✐♥ ●❛✉ss✐❛♥ ❀②♣♊t❀❡s✐s ✭ ❚❡♠♣❧❛t❡ ❆tt❛❝❩ ✮ ❬❈❘❘✵✞❪ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s Pr♊✜❧✐♥❣ ❆tt❛❝❩ Pr♊✜❧✐♥❣ ♣❀❛s❡ ◮ ❡st✐♠❛t❡ ◮ p ᅵ X | Z = z p ᅵ X p Z ✭❣❡♥❡r❛t✐✈❡ ♠♊❞❡❧✮ ◮ p Z | ᅵ x ✭❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧✮ X = ᅵ ❆tt❛❝❩ ♣❀❛s❡ ◮ ▲✐❊❡❧✐❀♊♊❞ s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p ᅵ ( ᅵ x i ) i = ✶ ,..., N a , ( f ( e i , k )) i = ✶ ,..., N a X | Z ◮ ❆✲♣♊st❡r✐♩r✐ ♣r♩❜❛❜✐❧✐t② s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p Z | ᅵ f ( e i , k ) i = ✶ ,..., N a , ( ᅵ x i ) i = ✶ ,..., N a ✱ X ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✟✎✹✷

  14. ♠❛♥❛❣❡ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ♣r♊❜❧❡♠ ❬ ❪ tr❛✐♥ ♠❛♥❞❛t♩r② ❞✐♠❡♥s✐♊♥❛❧✐t② r❡❞✉❝t✐♊♥ ❬ ❪ tr❛✐♥ ●❛✉ss✐❛♥ ❀②♣♊t❀❡s✐s ✭ ❚❡♠♣❧❛t❡ ❆tt❛❝❩ ✮ ❬❈❘❘✵✞❪ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s X ∈ R D ᅵ Pr♊✜❧✐♥❣ ❆tt❛❝❩ ❈✉rs❡ ♊❢ ❞✐♠❡♥s✐♊♥❛❧✐t②✊ Pr♊✜❧✐♥❣ ♣❀❛s❡ ◮ ❡st✐♠❛t❡ ◮ p ᅵ X p Z ✭❣❡♥❡r❛t✐✈❡ ♠♊❞❡❧✮ X | Z = z p ᅵ ◮ p Z | ᅵ x ✭❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧✮ X = ᅵ ❆tt❛❝❩ ♣❀❛s❡ ◮ ▲✐❊❡❧✐❀♊♊❞ s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p ᅵ ( ᅵ x i ) i = ✶ ,..., N a , ( f ( e i , k )) i = ✶ ,..., N a X | Z ◮ ❆✲♣♊st❡r✐♩r✐ ♣r♩❜❛❜✐❧✐t② s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p Z | ᅵ f ( e i , k ) i = ✶ ,..., N a , ( ᅵ x i ) i = ✶ ,..., N a ✱ X ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✟✎✹✷

  15. ♠❛♥❛❣❡ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ♣r♊❜❧❡♠ ❬ ❪ tr❛✐♥ ♠❛♥❞❛t♩r② ❞✐♠❡♥s✐♊♥❛❧✐t② r❡❞✉❝t✐♊♥ ❬ ❪ tr❛✐♥ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s X ∈ R D ᅵ Pr♊✜❧✐♥❣ ❆tt❛❝❩ ❈✉rs❡ ♊❢ ❞✐♠❡♥s✐♊♥❛❧✐t②✊ Pr♊✜❧✐♥❣ ♣❀❛s❡ ◮ ❡st✐♠❛t❡ ◮ p ᅵ X p Z ✭❣❡♥❡r❛t✐✈❡ ♠♊❞❡❧✮ X | Z = z p ᅵ ◮ ●❛✉ss✐❛♥ ❀②♣♊t❀❡s✐s ✭ ❚❡♠♣❧❛t❡ ❆tt❛❝❩ ✮ ❬❈❘❘✵✞❪ ◮ p Z | ᅵ x ✭❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧✮ X = ᅵ ❆tt❛❝❩ ♣❀❛s❡ ◮ ▲✐❊❡❧✐❀♊♊❞ s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p ᅵ ( ᅵ x i ) i = ✶ ,..., N a , ( f ( e i , k )) i = ✶ ,..., N a X | Z ◮ ❆✲♣♊st❡r✐♩r✐ ♣r♩❜❛❜✐❧✐t② s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p Z | ᅵ f ( e i , k ) i = ✶ ,..., N a , ( ᅵ x i ) i = ✶ ,..., N a ✱ X ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✟✎✹✷

  16. ♠❛♥❛❣❡ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ♣r♊❜❧❡♠ ❬ ❪ tr❛✐♥ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s X ∈ R D ᅵ Pr♊✜❧✐♥❣ ❆tt❛❝❩ ❈✉rs❡ ♊❢ ❞✐♠❡♥s✐♊♥❛❧✐t②✊ Pr♊✜❧✐♥❣ ♣❀❛s❡ → Ç« : R D → R C ❪ ◮ ♠❛♥❞❛t♩r② ❞✐♠❡♥s✐♊♥❛❧✐t② r❡❞✉❝t✐♊♥ ❬ D tr❛✐♥ − ◮ ❡st✐♠❛t❡ ◮ p Ç« ( ᅵ X ) p Z ✭❣❡♥❡r❛t✐✈❡ ♠♊❞❡❧✮ X ) | Z = z p Ç« ( ᅵ ◮ ●❛✉ss✐❛♥ ❀②♣♊t❀❡s✐s ✭ ❚❡♠♣❧❛t❡ ❆tt❛❝❩ ✮ ❬❈❘❘✵✞❪ ◮ p Z | Ç« ( ᅵ x ) ✭❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧✮ X )= Ç« ( ᅵ ❆tt❛❝❩ ♣❀❛s❡ ◮ ▲✐❊❡❧✐❀♊♊❞ s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p Ç« ( ᅵ ( Ç« ( ᅵ x i )) i = ✶ ,..., N a , ( f ( e i , k )) i = ✶ ,..., N a X ) | Z ◮ ❆✲♣♊st❡r✐♩r✐ ♣r♩❜❛❜✐❧✐t② s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p Z | Ç« ( ᅵ f ( e i , k ) i = ✶ ,..., N a , ( Ç« ( ᅵ x i )) i = ✶ ,..., N a ✱ X ) ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✟✎✹✷

  17. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s X ∈ R D ᅵ Pr♊✜❧✐♥❣ ❆tt❛❝❩ ❈✉rs❡ ♊❢ ❞✐♠❡♥s✐♊♥❛❧✐t②✊ Pr♊✜❧✐♥❣ ♣❀❛s❡ → ρ : R D → R D ❪ ◮ ♠❛♥❛❣❡ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ♣r♊❜❧❡♠ ❬ D tr❛✐♥ − → Ç« : R D → R C ❪ ◮ ♠❛♥❞❛t♩r② ❞✐♠❡♥s✐♊♥❛❧✐t② r❡❞✉❝t✐♊♥ ❬ D tr❛✐♥ − ◮ ❡st✐♠❛t❡ ◮ p Ç« ( ρ ( ᅵ X )) p Z ✭❣❡♥❡r❛t✐✈❡ ♠♊❞❡❧✮ X )) | Z = z p Ç« ( ρ ( ᅵ ◮ ●❛✉ss✐❛♥ ❀②♣♊t❀❡s✐s ✭ ❚❡♠♣❧❛t❡ ❆tt❛❝❩ ✮ ❬❈❘❘✵✞❪ ◮ p Z | ρ ( Ç« ( ᅵ x )) ✭❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧✮ X ))= Ç« ( ρ ( ᅵ ❆tt❛❝❩ ♣❀❛s❡ ◮ ▲✐❊❡❧✐❀♊♊❞ s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p Ç« ( ρ ( ᅵ ( Ç« ( ρ ( ᅵ x i ))) i = ✶ ,..., N a , ( f ( e i , k )) i = ✶ ,..., N a X )) | Z ◮ ❆✲♣♊st❡r✐♩r✐ ♣r♩❜❛❜✐❧✐t② s❝♩r❡ ❢♊r ❡❛❝❀ ❊❡② ❀②♣♊t❀❡s✐s k ᅵ ᅵ d k = p Z | Ç« ( ρ ( ᅵ f ( e i , k ) i = ✶ ,..., N a , ( Ç« ( ρ ( ᅵ x i ))) i = ✶ ,..., N a ✱ X )) ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✟✎✹✷

  18. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ▌❛♥❞❛t♩r② ❉✐♠❡♥s✐♊♥❛❧✐t② ❘❡❞✉❝t✐♊♥ ❆ ✈❛st ❞♊♠❛✐♥ ❋❡❛t✉r❡s ✭P♊✐♥ts ♊❢ ■♥t❡r❡sts ✲ ❋❡❛t✉r❡ ❡①tr❛❝t✐♊♥ P♊■✮ s❡❧❡❝t✐♊♥ ◮ Pr✐♥❝✐♣❛❧ ❈♊♠♣♊♥❡♥t ◮ ❙❖❉ ❬❈❘❘✵✞❪ ❆♥❛❧②s✐s ✭P❈❆✮ ❬❆r❝✰✵✻❀ ❇❍❲✶✷❪ ◮ ❙❖❙❚ ❬❇❉P✶✵❪ ◮ ▲✐♥❡❛r ❉✐s❝r✐♠✐♥❛♥t ❆♥❛❧②s✐s ◮ ❙◆❘ ❬▌❖P✵✜❪✎ ◆■❈❱ ✭▲❉❆✮ ❬❙❆✵✜❀ ❇r✉✰✶✺❪ ❬❇❀❛✰✶✹❪ ◮ Pr♊❥❡❝t✐♊♥ P✉rs✉✐ts ✭PP✮ ◮ t ✲t❡st✱ F ✲t❡st✱✳✳✳ ❬●▲❘P✵✻❀ ❬❉✉r✰✶✺❪ ❈❑✶✹❪ ❋✐❣✉r❡✿ ❙◆❘ ❝♊♠♣✉t❡❞ ♊♥ s②♥❝❀r♊♥✐③❡❞ tr❛❝❡s✳ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✵✎✹✷

  19. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ▌❛♥❛❣❡ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ♣r♊❜❧❡♠ ▌✐s❛❧✐❣♥✐♥❣ ❈♊✉♥t❡r♠❡❛s✉r❡s ◮ ❘❛♥❞♊♠ ❉❡❧❛②s✱ ❈❧♩❝❩ ❏✐tt❡r✐♥❣✱ ✳✳✳ ◮ ■♥ t❀❡♊r②✿ ✐♥s✉✣❝✐❡♥t t♩ ♣r♊✈✐❞❡ s❡❝✉r✐t②✱ s✐♥❝❡ ✐♥❢♊r♠❛t✐♊♥ st✐❧❧ ❧❡❛❊ ✭s♊♠❡✇❀❡r❡✮ ◮ ■♥ ♣r❛❝t✐❝❡✿ ♊♥❡ ♊❢ t❀❡ ♠❛✐♥ ✐ss✉❡s ❢♊r ❡✈❛❧✉❛t♩rs ❋✐❣✉r❡✿ ❙◆❘ ❝♊♠♣✉t❡❞ ♊♥ ❞❡s②♥❝❀r♊♥✐③❡❞ tr❛❝❡s✳ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✶✎✹✷

  20. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ▌❛♥❛❣❡ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ♣r♊❜❧❡♠ ▌✐s❛❧✐❣♥✐♥❣ ❈♊✉♥t❡r♠❡❛s✉r❡s ◮ ❘❛♥❞♊♠ ❉❡❧❛②s✱ ❈❧♩❝❩ ❏✐tt❡r✐♥❣✱ ✳✳✳ ◮ ■♥ t❀❡♊r②✿ ✐♥s✉✣❝✐❡♥t t♩ ♣r♊✈✐❞❡ s❡❝✉r✐t②✱ s✐♥❝❡ ✐♥❢♊r♠❛t✐♊♥ st✐❧❧ ❧❡❛❊ ✭s♊♠❡✇❀❡r❡✮ ◮ ■♥ ♣r❛❝t✐❝❡✿ ♊♥❡ ♊❢ t❀❡ ♠❛✐♥ ✐ss✉❡s ❢♊r ❡✈❛❧✉❛t♩rs ❘❡❛❧✐❣♥♠❡♥t ▌❛♥❞❛t♩r② r❡❛❧✐❣♥♠❡♥t ♣r❡♣r♊❝❡ss✐♥❣ ◮ ♥♊t ❛ ✇✐❞❡ ❧✐t❡r❛t✉r❡ ◮ ✐♥ ♣r❛❝t✐❝❡✿ ❡✈❛❧✉❛t✐♊♥ ❧❛❜s ❀♊♠❡✲♠❛❞❡ r❡❛❧✐❣♥♠❡♥t t❡❝❀♥✐q✉❡s ◮ s✐❣♥❛❧ ❞❡❢♊r♠❛t✐♊♥s ♩r ♣❛tt❡r♥ ❡①tr❛❝t✐♊♥ ❜❛s❡❞ ♊♥ ♣r✐♩r ✉♥✈❡r✐✜❡❞ ❛ss✉♠♣t✐♊♥s ◮ ❘✐s❊s✿ ◮ ❞❡❢♊r♠❛t✐♊♥s → ✐♥❢♊r♠❛t✐♊♥ ❞❡❣r❛❞❛t✐♊♥ ◮ ♣❛tt❡r♥ ❡①tr❛❝t✐♊♥ → ✐♥❢♊r♠❛t✐♊♥ ❧♩ss ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✶✎✹✷

  21. ❜② ♠❡❛♥s ♊❢ ❛ ♥❡✉r❛❧ ♥❡t✇♩r❊ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚❀✐s t❛❧❩ Pr♊✜❧✐♥❣ ♣❀❛s❡ → ρ : R D → R D ❪ ◮ ♠❛♥❛❣❡ ❞❡✲s②♥❝❀r♊♥✐③❛t✐♊♥ ♣r♊❜❧❡♠ ❬ D tr❛✐♥ − → Ç« : R D → R C ❪ ◮ ♠❛♥❞❛t♩r② ❞✐♠❡♥s✐♊♥❛❧✐t② r❡❞✉❝t✐♊♥ ❬ D tr❛✐♥ − ◮ ❡st✐♠❛t❡ ◮ p Ç« ( ρ ( ᅵ X )) | Z = z ✱ p Ç« ( ρ ( ᅵ X )) ✱ p Z ✭❣❡♥❡r❛t✐✈❡ ♠♊❞❡❧✮ ◮ ●❛✉ss✐❛♥ ❀②♣♊t❀❡s✐s ✭ ❚❡♠♣❧❛t❡ ❆tt❛❝❩ ✮❬❈❘❘✵✞❪ ◮ p Z | Ç« ( ρ ( ᅵ x ) ✭❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧✮ ❚❀✐s t❛❧❩ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊✿ ✐♥t❡❣r❛t❡❞ ❛♣♣r♊❛❝❀ ✭❞❡❛❧ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ✰ ❡①tr❛❝t✐♊♥ ❢❡❛t✉r❡ ✰ ❛♣♣r♩①✐♠❛t❡ ❛ ❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧✮ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✷✎✹✷

  22. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚❀✐s t❛❧❩ Pr♊✜❧✐♥❣ ♣❀❛s❡ → ρ : R D → R D ❪ ◮ ♠❛♥❛❣❡ ❞❡✲s②♥❝❀r♊♥✐③❛t✐♊♥ ♣r♊❜❧❡♠ ❬ D tr❛✐♥ − ❉❊❊P ▲❊❆❘◆■◆● → Ç« : R D → R C ❪ ◮ ♠❛♥❞❛t♩r② ❞✐♠❡♥s✐♊♥❛❧✐t② r❡❞✉❝t✐♊♥ ❬ D tr❛✐♥ − ◮ ❡st✐♠❛t❡ ◮ p Ç« ( ρ ( ᅵ X )) | Z = z ✱ p Ç« ( ρ ( ᅵ X )) ✱ p Z ✭❣❡♥❡r❛t✐✈❡ ♠♊❞❡❧✮ ◮ ●❛✉ss✐❛♥ ❀②♣♊t❀❡s✐s ✭ ❚❡♠♣❧❛t❡ ❆tt❛❝❩ ✮❬❈❘❘✵✞❪ ◮ p Z | ᅵ X ✭❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧✮ ❜② ♠❡❛♥s ♊❢ ❛ ♥❡✉r❛❧ ♥❡t✇♩r❊ ˆ p ( ᅵ x , W ) ≈ p Z | ᅵ X = ᅵ x ❚❀✐s t❛❧❩ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊✿ ✐♥t❡❣r❛t❡❞ ❛♣♣r♊❛❝❀ ✭❞❡❛❧ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ✰ ❡①tr❛❝t✐♊♥ ❢❡❛t✉r❡ ✰ ❛♣♣r♩①✐♠❛t❡ ❛ ❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧✮ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✷✎✹✷

  23. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥t❡♥ts ✶✳ ❈♊♥t❡①t ❛♥❞ ❙t❛t❡ ♊❢ t❀❡ ❆rt ✷✳ ❉❡❡♣ ▲❡❛r♥✐♥❣ ❛❣❛✐♥st ▌✐s❛❧✐❣♥♠❡♥t ✷✳✶ ◆❡✉r❛❧ ◆❡t✇♩r❊ ❈❧❛ss✐✜❡rs ✷✳✷ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ✷✳✞ ❊①♣❡r✐♠❡♥t❛❧ ❘❡s✉❧ts ✞✳ ●r❛❞✐❡♥t ❱✐s✉❛❧✐③❛t✐♊♥ ✹✳ ❈♊♥❝❧✉s✐♊♥s ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✞✎✹✷

  24. ❯♥✐✈❡rs❛❧ ❛♣♣r♩①✐♠❛t✐♊♥ t❀❡♊r❡♠ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ■♥ ❙❈❆ ❧✐tt❡r❛t✉r❡ ❬▌❍▌✶✞❀ ▌❩✶✞❀ ▌▌❚✶✺❀ ▌❉▌✶✻❪ ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ✭▌▲P✮ p ( ᅵ ˆ x , W ) = s ◩ λ n ◩ σ n − ✶ ◩ λ n − ✶ ◩ · · · ◩ λ ✶ ( ᅵ x ) = ᅵ y ≈ p Z | ᅵ X = ᅵ x λ i ❧✐♥❡❛r ❢✉♥❝t✐♊♥s ✭❧✐♥❡❛r ❝♊♠❜✐♥❛t✐♊♥s ♊❢ t✐♠❡ s❛♠♣❧❡s✮ ❞❡♣❡♥❞✐♥❣ ♊♥ s♊♠❡ tr❛✐♥❛❜❧❡ ✇❡✐❣❀ts W σ i ♥♊♥✲❧✐♥❡❛r ❢✉♥❝t✐♊♥s s ♥♊r♠❛❧✐③✐♥❣ s♊❢t♠❛① ❢✉♥❝t✐♊♥ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✹✎✹✷ ❋✐❣✉r❡✿ ▲✐♥❡❛r ❧❛②❡r ✐♥ ❛♥ ▌▲P ✭ ❋✉❧❧② ❈♊♥♥❡❝t❡❞ ▲❛②❡r ✮

  25. ❯♥✐✈❡rs❛❧ ❛♣♣r♩①✐♠❛t✐♊♥ t❀❡♊r❡♠ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ■♥ ❙❈❆ ❧✐tt❡r❛t✉r❡ ❬▌❍▌✶✞❀ ▌❩✶✞❀ ▌▌❚✶✺❀ ▌❉▌✶✻❪ ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ✭▌▲P✮ p ( ᅵ ˆ x , W ) = s ◩ λ n ◩ σ n − ✶ ◩ λ n − ✶ ◩ · · · ◩ λ ✶ ( ᅵ x ) = ᅵ y ≈ p Z | ᅵ X = ᅵ x λ i ❧✐♥❡❛r ❢✉♥❝t✐♊♥s ✭❧✐♥❡❛r ❝♊♠❜✐♥❛t✐♊♥s ♊❢ t✐♠❡ s❛♠♣❧❡s✮ ❞❡♣❡♥❞✐♥❣ ♊♥ s♊♠❡ tr❛✐♥❛❜❧❡ ✇❡✐❣❀ts W σ i ♥♊♥✲❧✐♥❡❛r ❢✉♥❝t✐♊♥s s ♥♊r♠❛❧✐③✐♥❣ s♊❢t♠❛① ❢✉♥❝t✐♊♥ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✹✎✹✷ ❋✐❣✉r❡✿ ▲✐♥❡❛r ❧❛②❡r ✐♥ ❛♥ ▌▲P ✭ ❋✉❧❧② ❈♊♥♥❡❝t❡❞ ▲❛②❡r ✮

  26. ❯♥✐✈❡rs❛❧ ❛♣♣r♩①✐♠❛t✐♊♥ t❀❡♊r❡♠ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ■♥ ❙❈❆ ❧✐tt❡r❛t✉r❡ ❬▌❍▌✶✞❀ ▌❩✶✞❀ ▌▌❚✶✺❀ ▌❉▌✶✻❪ ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ✭▌▲P✮ p ( ᅵ ˆ x , W ) = s ◩ λ n ◩ σ n − ✶ ◩ λ n − ✶ ◩ · · · ◩ λ ✶ ( ᅵ x ) = ᅵ y ≈ p Z | ᅵ X = ᅵ x λ i ❧✐♥❡❛r ❢✉♥❝t✐♊♥s ✭❧✐♥❡❛r ❝♊♠❜✐♥❛t✐♊♥s ♊❢ t✐♠❡ s❛♠♣❧❡s✮ ❞❡♣❡♥❞✐♥❣ ♊♥ s♊♠❡ tr❛✐♥❛❜❧❡ ✇❡✐❣❀ts W σ i ♥♊♥✲❧✐♥❡❛r ❛❝t✐✈❛t✐♊♥ ❢✉♥❝t✐♊♥s s ♥♊r♠❛❧✐③✐♥❣ s♊❢t♠❛① ❢✉♥❝t✐♊♥ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✹✎✹✷ ❋✐❣✉r❡✿ ▲✐♥❡❛r ❧❛②❡r ✐♥ ❛♥ ▌▲P ✭ ❋✉❧❧② ❈♊♥♥❡❝t❡❞ ▲❛②❡r ✮

  27. ❆r❝❀✐t❡❝t✉r❡ ❀②♣❡r✲♣❛r❛♠❡t❡rs ❯♥✐✈❡rs❛❧ ❛♣♣r♩①✐♠❛t✐♊♥ t❀❡♊r❡♠ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ■♥ ❙❈❆ ❧✐tt❡r❛t✉r❡ ❬▌❍▌✶✞❀ ▌❩✶✞❀ ▌▌❚✶✺❀ ▌❉▌✶✻❪ ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ✭▌▲P✮ p ( ᅵ ˆ x , W ) = s ◩ λ n ◩ σ n − ✶ ◩ λ n − ✶ ◩ · · · ◩ λ ✶ ( ᅵ x ) = ᅵ y ≈ p Z | ᅵ X = ᅵ x λ i ❧✐♥❡❛r ❢✉♥❝t✐♊♥s ✭❧✐♥❡❛r ❝♊♠❜✐♥❛t✐♊♥s ♊❢ t✐♠❡ s❛♠♣❧❡s✮ ❞❡♣❡♥❞✐♥❣ ♊♥ s♊♠❡ tr❛✐♥❛❜❧❡ ✇❡✐❣❀ts W σ i ♥♊♥✲❧✐♥❡❛r ❛❝t✐✈❛t✐♊♥ ❢✉♥❝t✐♊♥s s ♥♊r♠❛❧✐③✐♥❣ s♊❢t♠❛① ❢✉♥❝t✐♊♥ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✹✎✹✷ ❋✐❣✉r❡✿ ▲✐♥❡❛r ❧❛②❡r ✐♥ ❛♥ ▌▲P ✭ ❋✉❧❧② ❈♊♥♥❡❝t❡❞ ▲❛②❡r ✮

  28. ❯♥✐✈❡rs❛❧ ❛♣♣r♩①✐♠❛t✐♊♥ t❀❡♊r❡♠ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ■♥ ❙❈❆ ❧✐tt❡r❛t✉r❡ ❬▌❍▌✶✞❀ ▌❩✶✞❀ ▌▌❚✶✺❀ ▌❉▌✶✻❪ ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ✭▌▲P✮ p ( ᅵ ˆ x , W ) = s ◩ λ n ◩ σ n − ✶ ◩ λ n − ✶ ◩ · · · ◩ λ ✶ ( ᅵ x ) = ᅵ y ≈ p Z | ᅵ X = ᅵ x λ i ❧✐♥❡❛r ❢✉♥❝t✐♊♥s ✭❧✐♥❡❛r ❝♊♠❜✐♥❛t✐♊♥s ♊❢ t✐♠❡ s❛♠♣❧❡s✮ ❞❡♣❡♥❞✐♥❣ ♊♥ s♊♠❡ tr❛✐♥❛❜❧❡ ✇❡✐❣❀ts W σ i ♥♊♥✲❧✐♥❡❛r ❛❝t✐✈❛t✐♊♥ ❢✉♥❝t✐♊♥s s ♥♊r♠❛❧✐③✐♥❣ s♊❢t♠❛① ❢✉♥❝t✐♊♥ ❆r❝❀✐t❡❝t✉r❡ ❀②♣❡r✲♣❛r❛♠❡t❡rs ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✹✎✹✷ ❋✐❣✉r❡✿ ▲✐♥❡❛r ❧❛②❡r ✐♥ ❛♥ ▌▲P ✭ ❋✉❧❧② ❈♊♥♥❡❝t❡❞ ▲❛②❡r ✮

  29. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ■♥ ❙❈❆ ❧✐tt❡r❛t✉r❡ ❬▌❍▌✶✞❀ ▌❩✶✞❀ ▌▌❚✶✺❀ ▌❉▌✶✻❪ ▌✉❧t✐✲▲❛②❡r P❡r❝❡♣tr♊♥ ✭▌▲P✮ p ( ᅵ ˆ x , W ) = s ◩ λ n ◩ σ n − ✶ ◩ λ n − ✶ ◩ · · · ◩ λ ✶ ( ᅵ x ) = ᅵ y ≈ p Z | ᅵ X = ᅵ x λ i ❧✐♥❡❛r ❢✉♥❝t✐♊♥s ✭❧✐♥❡❛r ❝♊♠❜✐♥❛t✐♊♥s ♊❢ t✐♠❡ s❛♠♣❧❡s✮ ❞❡♣❡♥❞✐♥❣ ♊♥ s♊♠❡ tr❛✐♥❛❜❧❡ ✇❡✐❣❀ts W σ i ♥♊♥✲❧✐♥❡❛r ❛❝t✐✈❛t✐♊♥ ❢✉♥❝t✐♊♥s s ♥♊r♠❛❧✐③✐♥❣ s♊❢t♠❛① ❢✉♥❝t✐♊♥ ❆r❝❀✐t❡❝t✉r❡ ❀②♣❡r✲♣❛r❛♠❡t❡rs ❯♥✐✈❡rs❛❧ ❛♣♣r♩①✐♠❛t✐♊♥ t❀❡♊r❡♠ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✹✎✹✷ ❋✐❣✉r❡✿ ▲✐♥❡❛r ❧❛②❡r ✐♥ ❛♥ ▌▲P ✭ ❋✉❧❧② ❈♊♥♥❡❝t❡❞ ▲❛②❡r ✮

  30. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛♥s❧❛t✐♊♥✲■♥✈❛r✐❛♥❝❡ Classification Classifier 0% 20% 40% 60% Horse Dog Cat ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✺✎✹✷

  31. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛♥s❧❛t✐♊♥✲■♥✈❛r✐❛♥❝❡ Classification Classifier 0% 20% 40% 60% Horse Dog Cat ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✺✎✹✷

  32. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛♥s❧❛t✐♊♥✲■♥✈❛r✐❛♥❝❡ Classification Classifier 0% 20% 40% 60% Horse Dog Cat ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✺✎✹✷

  33. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛♥s❧❛t✐♊♥✲■♥✈❛r✐❛♥❝❡ P(Z|X=x) Classifier 0% 50% 100% x Z=1 Z=0 ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✺✎✹✷

  34. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛♥s❧❛t✐♊♥✲■♥✈❛r✐❛♥❝❡ P(Z|X=x) Classifier 0% 50% 100% x Z=1 Z=0 ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✺✎✹✷

  35. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛♥s❧❛t✐♊♥✲■♥✈❛r✐❛♥❝❡ P(Z|X=x) Classifier 0% 50% 100% x Z=1 Z=0 ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✺✎✹✷

  36. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥✈♊❧✉t✐♊♥❛❧ ▲❛②❡rs Input Output 0 1 3 3 7 11 1 1 3 Length = 9 2 2 2 6 0 2 1 0 0 4 2 2 3 1 3 conv. filters of size 2 × 1 0 ❋✐❣✉r❡✿ ▲✐♥❡❛r ❧❛②❡r ✐♥ ❛♥ ▌▲P✳ Depth = 1 Depth= 3 ❋✐❣✉r❡✿ ❈♊♥✈♊❧✉t✐♊♥❛❧ ❧❛②❡r ✐♥ ❛ ❈◆◆✳ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✻✎✹✷

  37. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s P♊♊❧✐♥❣ ▲❛②❡rs Before Pooling 8 1 15 11 Input Output After Pooling 10 25 9 15 25 3 7 11 1 0 1 0 0 0 1 0 1 0 0 0 22 8 6 24 2 2 6 0 1 1 0 1 1 0 1 1 0 1 1 7 9 0 4 2 0 4 conv. filters of size 2 × 3 Depth= 4 Depth = 3 Depth= 4 1 ❋✐❣✉r❡✿ ❈♊♥✈♊❧✉t✐♊♥❛❧ ❧❛②❡r ✐♥ ❛ ❈◆◆✳ Depth= 4 ❋✐❣✉r❡✿ P♊♊❧✐♥❣ ❧❛②❡r ✐♥ ❛ ❈◆◆✳ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✌✎✹✷

  38. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❆ ❊✐♥❞ ♊❢ ❈◆◆ ❛r❝❀✐t❡❝t✉r❡ Temporal Features Side-Channel Trace Abstract Features Scores FC + CONV+ Softmax ACT+ CONV+ POOL ACT+ POOL CONV+ ACT+ POOL 1 ❆r❝❀✐t❡❝t✉r❡ ✐♥s♣✐r❡❞ ❜② ❆❧❡①◆❡t ❬❑❙❍✶✷❪✱ ❱●● ❬❙❩✶✹❪✱ ❘❡s◆❡t ❬❍❡✰✶✻❪ ❞❡s✐❣♥ r✉❧❡s✿ ◮ ❘❡❞✉❝❡ t❡♠♣♊r❛❧ ❢❡❛t✉r❡s t♩ ♊♥❧② ♊♥❡ ◮ ▌❛✐♥t❛✐♥ t✐♠❡ ❝♊♠♣❧❡①✐t② ♊❢ ❡❛❝❀ ❧❛②❡r ✭♊♥❡✲❀❛❧❢ ♣♊♊❧✐♥❣ ✇❀❡♥ ♥✉♠❜❡r ♊❢ ❢❡❛t✉r❡ ♠❛♣s ✐s ❞♊✉❜❧❡❞✮ ❈❍❊❙ ✷✵✶✌ ✲ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ✇✐t❀ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❆❣❛✐♥st ❏✐tt❡r✲❇❛s❡❞ ❈♊✉♥t❡r♠❡❛s✉r❡s ✲ Pr♊✜❧✐♥❣ ❆tt❛❝❩s ❲✐t❀♊✉t Pr❡✲♣r♊❝❡ss✐♥❣✳ ❊✳ ❈❛❣❧✐ ✲ ❈✳ ❉✉♠❛s ✲ ❊✳ Pr♩✉✛ ◮ ✹ ❈♊♥✈ ✰ P♩♩❧ ❧❛②❡rs ◮ t❛♥❀ ❛❝t✐✈❛t✐♊♥s ◮ ❜❛t❝❀ ♥♊r♠❛❧✐s❛t✐♊♥ ❬■❙✶✺❪ ◮ ✶ ❢✉❧❧② ❝♊♥♥❡❝t❡❞ ❧❛②❡r ✰ s♊❢t♠❛① ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✜✎✹✷

  39. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛✐♥✐♥❣ ❛♥❞ ❱❛❧✐❞❛t✐♊♥ ✭✶✮ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✶✟✎✹✷

  40. Pr ✶ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♩st ❢✉♥❝t✐♊♥ ✲ ❈r♩ss✲❡♥tr♊♣② ◮ ❜❛t❝❀ ♊❢ tr❛✐♥✐♥❣ ❞❛t❛ ( ᅵ x i , z i ) i ∈ I ✱ ♩✉t♣✉ts ♊❢ t❀❡ ❝✉rr❡♥t ♠♊❞❡❧ ( ᅵ y i ) i ∈ I ◮ ❧❛❜❡❧s z i = s j ❛r❡ ♊♥❡✲❀♊t ❡♥❝♊❞❡❞ ✿ ᅵ z i = ᅵ s j = ( ✵ , . . . , ✵ , ✶ , ✵ , . . . , ✵ ) ᅵᅵᅵᅵ j ▲♊ss ❢✉♥❝t✐♊♥ |Z| L = − ✶ ᅵ ᅵ ᅵ z i [ t ] log ᅵ y i [ t ] ✭✶✮ | I | i ∈ I t = ✶ ▌❛①✐♠✉♠✲ ❛✲♣♊st❡r✐♩r✐ ♩r ❈r♩ss✲❡♥tr♊♣② y i ≈ Pr [ Z | ᅵ ◮ ᅵ X = ᅵ x i ] ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✵✎✹✷

  41. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♩st ❢✉♥❝t✐♊♥ ✲ ❈r♩ss✲❡♥tr♊♣② ◮ ❜❛t❝❀ ♊❢ tr❛✐♥✐♥❣ ❞❛t❛ ( ᅵ x i , z i ) i ∈ I ✱ ♩✉t♣✉ts ♊❢ t❀❡ ❝✉rr❡♥t ♠♊❞❡❧ ( ᅵ y i ) i ∈ I ◮ ❧❛❜❡❧s z i = s j ❛r❡ ♊♥❡✲❀♊t ❡♥❝♊❞❡❞ ✿ ᅵ z i = ᅵ s j = ( ✵ , . . . , ✵ , ✶ , ✵ , . . . , ✵ ) ᅵᅵᅵᅵ j ▲♊ss ❢✉♥❝t✐♊♥ |Z| L = − ✶ ᅵ ᅵ ᅵ z i [ t ] log ᅵ y i [ t ] ✭✶✮ | I | i ∈ I t = ✶ ▌❛①✐♠✉♠✲ ❛✲♣♊st❡r✐♩r✐ ♩r ❈r♩ss✲❡♥tr♊♣② y i ≈ Pr [ Z | ᅵ ◮ ᅵ X = ᅵ x i ] ◮ ᅵ z i ≈ Pr [ Z | Z = ᅵ s j ] y i ] = − ᅵ |Z| ◮ H ( ᅵ z i , ᅵ y i ) = H ( ᅵ z i ) + D KL ( ᅵ z i || ᅵ y i ) = E ᅵ z i [ − log ᅵ t = ✶ ᅵ z i [ t ] log ᅵ y i [ t ] ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✵✎✹✷

  42. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛✐♥✐♥❣ ❛♥❞ ❱❛❧✐❞❛t✐♊♥ ✭✷✮ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✶✎✹✷

  43. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛✐♥✐♥❣ ❛♥❞ ❱❛❧✐❞❛t✐♊♥ ✭✷✮ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✶✎✹✷

  44. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛✐♥✐♥❣ ❛♥❞ ❱❛❧✐❞❛t✐♊♥ ✭✷✮ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✶✎✹✷

  45. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛✐♥✐♥❣ ❛♥❞ ❱❛❧✐❞❛t✐♊♥ ✭✷✮ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✶✎✹✷

  46. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❖✈❡r✜tt✐♥❣ ❆❝❝✉r❛❝② ❈♩rr❡❝t ♣r❡❞✐❝t✐♊♥s ❚♩t❛❧ ♣r❡❞✐❝t✐♊♥s ❊✈❛❧✉❛t❡ ❛♥❞ ❝♊♠♣❛r❡ tr❛✐♥✐♥❣ ❛♥❞ ✈❛❧✐❞❛t✐♊♥ ❛❝❝✉r❛❝② ▲❡❛r♥ ❜② ❀❡❛rt ✭ ❖❱❊❘❋■❚❚■◆● ✮ Accuracy Training Validation Epoch ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✷✎✹✷

  47. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❖✈❡r✜tt✐♥❣ ❆❝❝✉r❛❝② ❈♩rr❡❝t ♣r❡❞✐❝t✐♊♥s ❚♩t❛❧ ♣r❡❞✐❝t✐♊♥s ❊✈❛❧✉❛t❡ ❛♥❞ ❝♊♠♣❛r❡ tr❛✐♥✐♥❣ ❛♥❞ ✈❛❧✐❞❛t✐♊♥ ❛❝❝✉r❛❝② ❯♥❞❡rst❛♥❞ s✐❣♥✐✜❝❛♥t ❢❡❛t✉r❡s ▲❡❛r♥ ❜② ❀❡❛rt ✭ ❖❱❊❘❋■❚❚■◆● ✮ Accuracy Accuracy Training Training Validation Validation Epoch Epoch ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✷✎✹✷

  48. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❖✈❡r✜tt✐♥❣ ❆❝❝✉r❛❝② ❈♩rr❡❝t ♣r❡❞✐❝t✐♊♥s ❚♩t❛❧ ♣r❡❞✐❝t✐♊♥s ❊✈❛❧✉❛t❡ ❛♥❞ ❝♊♠♣❛r❡ tr❛✐♥✐♥❣ ❛♥❞ ✈❛❧✐❞❛t✐♊♥ ❛❝❝✉r❛❝② ❲❀②❄ ▲❡❛r♥ ❜② ❀❡❛rt ✭ ❖❱❊❘❋■❚❚■◆● ✮ ❚♩♩ ❝♊♠♣❧❡① ♠♊❞❡❧ Accuracy ◆♩t ❡♥♊✉❣❀ tr❛✐♥✐♥❣ ❞❛t❛ Training ❙♩❧✉t✐♊♥❄ ❘❡❞✉❝❡ ♠♊❞❡❧ ❝❛♣❛❝✐t② ❘❡❣✉❧❛r✐③❛t✐♊♥ Validation ❉r♊♣♊✉t Epoch ❊❛r❧②✲❙t♊♣♣✐♥❣ ❉❛t❛ ❛✉❣♠❡♥t❛t✐♊♥ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✷✎✹✷

  49. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❖✈❡r✜tt✐♥❣ ❆❝❝✉r❛❝② ❈♩rr❡❝t ♣r❡❞✐❝t✐♊♥s ❚♩t❛❧ ♣r❡❞✐❝t✐♊♥s ❊✈❛❧✉❛t❡ ❛♥❞ ❝♊♠♣❛r❡ tr❛✐♥✐♥❣ ❛♥❞ ✈❛❧✐❞❛t✐♊♥ ❛❝❝✉r❛❝② ❲❀②❄ ▲❡❛r♥ ❜② ❀❡❛rt ✭ ❖❱❊❘❋■❚❚■◆● ✮ ❚♩♩ ❝♊♠♣❧❡① ♠♊❞❡❧ Accuracy ◆♩t ❡♥♊✉❣❀ tr❛✐♥✐♥❣ ❞❛t❛ Training ❙♩❧✉t✐♊♥❄ ❘❡❞✉❝❡ ♠♊❞❡❧ ❝❛♣❛❝✐t② ❘❡❣✉❧❛r✐③❛t✐♊♥ Validation ❉r♊♣♊✉t Epoch ❊❛r❧②✲❙t♊♣♣✐♥❣ ❉❛t❛ ❛✉❣♠❡♥t❛t✐♊♥ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✷✎✹✷

  50. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❆rt✐✜❝✐❛❧❧② ❣❡♥❡r❛t❡ ♥❡✇ tr❛✐♥✐♥❣ ❞❛t❛ ❜② ❞❡❢♊r♠✐♥❣ t❀♊s❡ ♣r❡✈✐♊✉s❧② ❛❝q✉✐r❡❞✱ ❆♣♣❧②✐♥❣ tr❛♥s❢♊r♠❛t✐♊♥s t❀❛t ♣r❡s❡r✈❡ t❀❡ ❧❛❜❡❧ Z ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✞✎✹✷

  51. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❈♊✉♥t❡r♠❡❛s✉r❡ ❊♠✉❧❛t✐♊♥ ■❞❡❛ ❊♠✉❧❛t❡ t❀❡ ❡✛❡❝ts ♊❢ ♠✐s❛❧✐❣♥✐♥❣ ❝♊✉♥t❡r♠❡❛s✉r❡s t♩ ❣❡♥❡r❛t❡ ♥❡✇ tr❛❝❡s ❙❍■❋❚■◆● ❆❉❉✲❘❊▌❖❱❊ 𝑈 ∗ − 𝑈 𝑈 ∗ − 𝑈 2 𝐞′ 2 Original trace Shifting Window Deforming trace via AR technique t Time Samples Augmented trace 𝐞 0 ❋✐❣✉r❡✿ SH T ❋✐❣✉r❡✿ AR R P❛r❛♠❡t❡r T ✿ ♯ ♊❢ ♣♊ss✐❜❧❡ ♣♊s✐t✐♊♥s P❛r❛♠❡t❡r R ✿ ♯ ♊❢ ❛❞❞❡❞ ❛♥❞ r❡♠♊✈❡❞ ♣♊✐♥ts ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ t❡❝❀♥✐q✉❡s ❛r❡ ❛♣♣❧✐❡❞ ♊♥❧✐♥❡ ❞✉r✐♥❣ tr❛✐♥✐♥❣ ♣❀❛s❡✳ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✹✎✹✷

  52. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛✐♥✐♥❣ ✇✐t❀ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✺✎✹✷

  53. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚r❛✐♥✐♥❣ ✇✐t❀ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✺✎✹✷

  54. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❊①♣❡r✐♠❡♥t❛❧ ❘❡s✉❧ts ◮ ❘❛♥❞♊♠ ❞❡❧❛②s ✭s♊❢t✇❛r❡ ❝♊✉♥t❡r♠❡❛s✉r❡✮ ◮ ❆rt✐✜❝✐❛❧ ❏✐tt❡r ✭s✐♠✉❧❛t❡❞ ❀❛r❞✇❛r❡ ❝♊✉♥t❡r♠❡❛s✉r❡✮ ◮ ❘❡❛❧ ❏✐tt❡r ✭❀❛r❞✇❛r❡ ❝♊✉♥t❡r♠❡❛s✉r❡✮ ❑❡r❛s ✶✳✷✳✶ ❧✐❜r❛r② ✇✐t❀ ❚❡♥s♩r✢♊✇ ❜❛❝❊❡♥❞ ❬❈❀♊✰✶✺❪ ✭♊♣❡♥ s♩✉r❝❡✱ t♊❞❛② ✷✳✷✳✹✮ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✻✎✹✷

  55. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❊①♣❡r✐♠❡♥t❛❧ ❘❡s✉❧ts ◮ ❘❛♥❞♊♠ ❞❡❧❛②s ✭s♊❢t✇❛r❡ ❝♊✉♥t❡r♠❡❛s✉r❡✮ ◮ ❆rt✐✜❝✐❛❧ ❏✐tt❡r ✭s✐♠✉❧❛t❡❞ ❀❛r❞✇❛r❡ ❝♊✉♥t❡r♠❡❛s✉r❡✮ ◮ ❘❡❛❧ ❏✐tt❡r ✭❀❛r❞✇❛r❡ ❝♊✉♥t❡r♠❡❛s✉r❡✮ ❑❡r❛s ✶✳✷✳✶ ❧✐❜r❛r② ✇✐t❀ ❚❡♥s♩r✢♊✇ ❜❛❝❊❡♥❞ ❬❈❀♊✰✶✺❪ ✭♊♣❡♥ s♩✉r❝❡✱ t♊❞❛② ✷✳✷✳✹✮ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✻✎✹✷

  56. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❘❛♥❞♊♠ ❞❡❧❛②s 0.5 0 Power Consumption −0.5 0 1000 2000 3000 4000 0.5 0 −0.5 0 1000 2000 3000 4000 0.5 0 −0.5 0 1000 2000 3000 4000 Time samples ✭❛✮ ❖♥❡ ❧❡❛❊✐♥❣ ♊♣❡r❛t✐♊♥ ❙❡t✉♣ ◮ ❚❛r❣❡t ❈❀✐♣✿ ❆t♠❡❣❛✞✷✜P ◮ ❚❛r❣❡t ❱❛r✐❛❜❧❡✿ Z = ❍❲ ( ❙❜♩① ( P ⊕ K )) ◮ ❆❝q✉✐s✐t✐♊♥✿ t❀r♊✉❣❀ ❈❀✐♣❲❀✐s♣❡r❡r❬❖❈✶✹❪ ♣❧❛t❢♊r♠✱ ≈ ✹ , ✵✵✵ t✐♠❡ s❛♠♣❧❡s ◮ ❈♊✉♥t❡r♠❡❛s✉r❡✿ ❘❛♥❞♊♠ ❉❡❧❛②s ✲ ✐♥s❡rt✐♊♥ ♊❢ r ♥♊♣ ♊♣❡r❛t✐♊♥s✱ r ∈ [ ✵ , ✶✷✌ ] ✉♥✐❢♊r♠ r❛♥❞♊♠ ◮ ✶ , ✵✵✵ tr❛✐♥✐♥❣ tr❛❝❡s ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✌✎✹✷

  57. ❆tt❛❝❩ ❙❍ ✵ ❙❍ ✶✵✵ ❙❍ ✺✵✵ ❆❝❝✉r❛❝② ✷✌✳✵✪ ✶ ✵✵✵ ✞✶✳✜✪ ✶✵✶ ✌✜✪ ✌ ❚❛❜❧❡✿ ♥✉♠❜❡r ♊❢ ❛tt❛❝❩ tr❛❝❡s t♩ ❀❛✈❡ ●❊ ✶✳ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❘❛♥❞♊♠ ❞❡❧❛②s ❉❛t❛ ❛✉❣♠❡♥t❛t✐♊♥ ✈s ♊✈❡r✜tt✐♥❣ ❚r❛✐♥✐♥❣ 1.0 1.0 0.9 0.9 0.8 0.8 0.8 0.7 0.7 0.6 training accuracy training accuracy 0.6 0.6 0.5 validation accuracy validation accuracy 0.5 0.4 0.4 0.4 training accuracy 0.3 0.2 0.3 validation accuracy 0.2 0.2 0 20 40 60 80 100 120 0 20 40 60 80 100 120 140 0 50 100 150 200 250 300 Epoch Epoch Epoch 200 225 105 200 0 0 0 2 3 0 0 0 0 175 0 0 2 2 1 0 0 0 0 0 4 0 0 1 0 0 0 0 0 0 0 90 0 1 4 10 7 1 1 0 0 0 0 0 4 20 0 0 0 0 1 0 15 4 2 1 1 1 0 0 1 1 175 150 0 0 0 24 75 0 0 0 0 0 1 18 58 14 8 0 0 0 0 2 80 14 2 1 0 0 0 2 2 2 75 150 125 0 0 26 114 52 36 2 0 0 0 0 0 67 163 0 0 0 0 3 3 0 0 15 200 14 0 1 0 0 3 True label True label True label 125 60 0 0 0 89 203 0 0 0 0 0 0 14 97 76 99 6 0 0 0 0 1 34 229 28 0 0 0 4 4 4 100 100 0 0 3 44 60 102 9 0 0 0 0 0 72 146 0 0 0 0 5 5 0 2 0 1 27 174 14 0 0 5 45 75 0 0 0 25 70 0 0 0 0 0 0 1 7 26 54 7 0 0 0 0 0 0 4 18 65 8 0 6 6 6 75 30 0 0 0 1 6 22 4 0 0 0 0 0 0 1 2 13 17 0 7 0 0 0 11 22 0 0 0 0 50 7 7 50 0 0 0 0 4 0 0 0 0 0 0 0 0 1 3 0 0 0 0 0 0 0 0 0 1 3 0 8 8 8 15 25 25 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 Predicted label Predicted label Predicted label 0 0 0 ❙❍ ✵ ❙❍ ✶✵✵ ❙❍ ✺✵✵ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✜✎✹✷

  58. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❘❛♥❞♊♠ ❞❡❧❛②s ❉❛t❛ ❛✉❣♠❡♥t❛t✐♊♥ ✈s ♊✈❡r✜tt✐♥❣ ❚r❛✐♥✐♥❣ 1.0 1.0 0.9 0.9 0.8 0.8 0.8 0.7 0.7 0.6 training accuracy training accuracy 0.6 0.6 0.5 validation accuracy validation accuracy 0.5 0.4 0.4 0.4 training accuracy 0.3 0.2 0.3 validation accuracy 0.2 0.2 0 20 40 60 80 100 120 0 20 40 60 80 100 120 140 0 50 100 150 200 250 300 Epoch Epoch Epoch ❙❍ ✵ ❙❍ ✶✵✵ ❙❍ ✺✵✵ ❆tt❛❝❩ ❙❍ ✵ ❙❍ ✶✵✵ ❙❍ ✺✵✵ N ⋆ ❆❝❝✉r❛❝② ✷✌✳✵✪ > ✶ , ✵✵✵ ✞✶✳✜✪ ✶✵✶ ✌✜✪ ✌ ❚❛❜❧❡✿ N ⋆ = ♥✉♠❜❡r ♊❢ ❛tt❛❝❩ tr❛❝❡s t♩ ❀❛✈❡ ●❊ = ✶✳ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✜✎✹✷

  59. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❘❛♥❞♊♠ ❉❡❧❛②s ✲ ❚✇♩ ▲❡❛❊✐♥❣ ❖♣❡r❛t✐♊♥s 0.5 0 Power consumption −0.5 0 1000 2000 3000 4000 0.5 0 −0.5 0 1000 2000 3000 4000 0.5 0 −0.5 0 1000 2000 3000 4000 Time samples ❚✇♩ ❧❡❛❊✐♥❣ ♊♣❡r❛t✐♊♥s ❋✐rst ♊♣❡r❛t✐♊♥ ✲ ❚❡st ❛❝❝✿ ✌✻ . ✜ % ✱ N ⋆ = ✌ ❙❡❝♊♥❞ ♊♣❡r❛t✐♊♥ ✲ ❚❡st ❛❝❝✿ ✜✷ . ✺ % ✱ N ⋆ = ✻ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✷✟✎✹✷

  60. ❈◆◆ ♠♊❞❡❧s ♠❛② ❀❛✈❡ ❀✐❣❀ ❝❛♣❛❝✐t② ❛♥❞ r❡q✉✐r❡ ♣❧❡♥t② ♊❢ ❞❛t❛ t♩ ❜❡ tr❛✐♥❡❞ ❙✐❞❡✲❈❀❛♥♥❡❧✲❛❞❛♣t❡❞ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ t❡❝❀♥✐q✉❡s ❊✛❡❝t✐✈❡♥❡ss✎❡✣❝✐❡♥❝② ♊❢ t❀❡ ❈◆◆✰❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❛♣♣r♊❛❝❀ ❡①♣❡r✐♠❡♥t❛❧❧② ✈❡r✐✜❡❞ ❚♊❞❛② ❉❡❡♣ ▲❡❛r♥✐♥❣ ❛tt❛❝❩s s②st❡♠❛t✐❝❛❧❧② ♣❡r❢♊r♠❡❞ ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ t❡sts ❢♊r ❡♠❜❡❞❞❡❞ ❝r②♣t♊❣r❛♣❀② ❡✈❛❧✉❛t✐♊♥ ❆♠♊♥❣ ♥❡✇ ♣r♊❜❧❡♠❛t✐❝s✳✳✳ ❉❡❡♣ ▲❡❛r♥✐♥❣ ♣r♊✈✐❞❡s ❜❧❛❝❊✲❜♊① ♠♊❞❡❧s✿ ▲❛❝❊ ♊❢ ♣♊st❡r✐♩r ❊♥♊✇❧❡❞❣❡✿ ❀♊✇ ❞✐❞ t❀❡ ♠♊❞❡❧ ❧❡❛r♥❄ ▲❛❝❊ ♊❢ tr✉st✿ ✇❀❡r❡ ❞✐❞ t❀❡ ♠♊❞❡❧ ❣❡t t❀❡ ✐♥❢♊r♠❛t✐♊♥❄ ◆♩ ❀✐♥ts t♩ ❝♩rr❡❝t ✈✉❧♥❡r❛❜✐❧✐t② ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥❝❧✉s✐♊♥s ❛❜♩✉t ❈◆◆ ◮ ❈◆◆s ♣r♊✈✐❞❡ ❛♥ ✐♥t❡❣r❛t❡❞ ❛♣♣r♊❛❝❀ t♩ ❝♊♥str✉❝t ❛ ❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧ ❢r♩♠ ♠✐s❛❧✐❣♥❡❞ ❞❛t❛ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✵✎✹✷

  61. ❙✐❞❡✲❈❀❛♥♥❡❧✲❛❞❛♣t❡❞ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ t❡❝❀♥✐q✉❡s ❊✛❡❝t✐✈❡♥❡ss✎❡✣❝✐❡♥❝② ♊❢ t❀❡ ❈◆◆✰❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❛♣♣r♊❛❝❀ ❡①♣❡r✐♠❡♥t❛❧❧② ✈❡r✐✜❡❞ ❚♊❞❛② ❉❡❡♣ ▲❡❛r♥✐♥❣ ❛tt❛❝❩s s②st❡♠❛t✐❝❛❧❧② ♣❡r❢♊r♠❡❞ ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ t❡sts ❢♊r ❡♠❜❡❞❞❡❞ ❝r②♣t♊❣r❛♣❀② ❡✈❛❧✉❛t✐♊♥ ❆♠♊♥❣ ♥❡✇ ♣r♊❜❧❡♠❛t✐❝s✳✳✳ ❉❡❡♣ ▲❡❛r♥✐♥❣ ♣r♊✈✐❞❡s ❜❧❛❝❊✲❜♊① ♠♊❞❡❧s✿ ▲❛❝❊ ♊❢ ♣♊st❡r✐♩r ❊♥♊✇❧❡❞❣❡✿ ❀♊✇ ❞✐❞ t❀❡ ♠♊❞❡❧ ❧❡❛r♥❄ ▲❛❝❊ ♊❢ tr✉st✿ ✇❀❡r❡ ❞✐❞ t❀❡ ♠♊❞❡❧ ❣❡t t❀❡ ✐♥❢♊r♠❛t✐♊♥❄ ◆♩ ❀✐♥ts t♩ ❝♩rr❡❝t ✈✉❧♥❡r❛❜✐❧✐t② ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥❝❧✉s✐♊♥s ❛❜♩✉t ❈◆◆ ◮ ❈◆◆s ♣r♊✈✐❞❡ ❛♥ ✐♥t❡❣r❛t❡❞ ❛♣♣r♊❛❝❀ t♩ ❝♊♥str✉❝t ❛ ❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧ ❢r♩♠ ♠✐s❛❧✐❣♥❡❞ ❞❛t❛ ◮ ❈◆◆ ♠♊❞❡❧s ♠❛② ❀❛✈❡ ❀✐❣❀ ❝❛♣❛❝✐t② ❛♥❞ r❡q✉✐r❡ ♣❧❡♥t② ♊❢ ❞❛t❛ t♩ ❜❡ tr❛✐♥❡❞ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✵✎✹✷

  62. ❊✛❡❝t✐✈❡♥❡ss✎❡✣❝✐❡♥❝② ♊❢ t❀❡ ❈◆◆✰❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❛♣♣r♊❛❝❀ ❡①♣❡r✐♠❡♥t❛❧❧② ✈❡r✐✜❡❞ ❚♊❞❛② ❉❡❡♣ ▲❡❛r♥✐♥❣ ❛tt❛❝❩s s②st❡♠❛t✐❝❛❧❧② ♣❡r❢♊r♠❡❞ ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ t❡sts ❢♊r ❡♠❜❡❞❞❡❞ ❝r②♣t♊❣r❛♣❀② ❡✈❛❧✉❛t✐♊♥ ❆♠♊♥❣ ♥❡✇ ♣r♊❜❧❡♠❛t✐❝s✳✳✳ ❉❡❡♣ ▲❡❛r♥✐♥❣ ♣r♊✈✐❞❡s ❜❧❛❝❊✲❜♊① ♠♊❞❡❧s✿ ▲❛❝❊ ♊❢ ♣♊st❡r✐♩r ❊♥♊✇❧❡❞❣❡✿ ❀♊✇ ❞✐❞ t❀❡ ♠♊❞❡❧ ❧❡❛r♥❄ ▲❛❝❊ ♊❢ tr✉st✿ ✇❀❡r❡ ❞✐❞ t❀❡ ♠♊❞❡❧ ❣❡t t❀❡ ✐♥❢♊r♠❛t✐♊♥❄ ◆♩ ❀✐♥ts t♩ ❝♩rr❡❝t ✈✉❧♥❡r❛❜✐❧✐t② ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥❝❧✉s✐♊♥s ❛❜♩✉t ❈◆◆ ◮ ❈◆◆s ♣r♊✈✐❞❡ ❛♥ ✐♥t❡❣r❛t❡❞ ❛♣♣r♊❛❝❀ t♩ ❝♊♥str✉❝t ❛ ❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧ ❢r♩♠ ♠✐s❛❧✐❣♥❡❞ ❞❛t❛ ◮ ❈◆◆ ♠♊❞❡❧s ♠❛② ❀❛✈❡ ❀✐❣❀ ❝❛♣❛❝✐t② ❛♥❞ r❡q✉✐r❡ ♣❧❡♥t② ♊❢ ❞❛t❛ t♩ ❜❡ tr❛✐♥❡❞ ◮ ❙✐❞❡✲❈❀❛♥♥❡❧✲❛❞❛♣t❡❞ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ t❡❝❀♥✐q✉❡s ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✵✎✹✷

  63. ❚♊❞❛② ❉❡❡♣ ▲❡❛r♥✐♥❣ ❛tt❛❝❩s s②st❡♠❛t✐❝❛❧❧② ♣❡r❢♊r♠❡❞ ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ t❡sts ❢♊r ❡♠❜❡❞❞❡❞ ❝r②♣t♊❣r❛♣❀② ❡✈❛❧✉❛t✐♊♥ ❆♠♊♥❣ ♥❡✇ ♣r♊❜❧❡♠❛t✐❝s✳✳✳ ❉❡❡♣ ▲❡❛r♥✐♥❣ ♣r♊✈✐❞❡s ❜❧❛❝❊✲❜♊① ♠♊❞❡❧s✿ ▲❛❝❊ ♊❢ ♣♊st❡r✐♩r ❊♥♊✇❧❡❞❣❡✿ ❀♊✇ ❞✐❞ t❀❡ ♠♊❞❡❧ ❧❡❛r♥❄ ▲❛❝❊ ♊❢ tr✉st✿ ✇❀❡r❡ ❞✐❞ t❀❡ ♠♊❞❡❧ ❣❡t t❀❡ ✐♥❢♊r♠❛t✐♊♥❄ ◆♩ ❀✐♥ts t♩ ❝♩rr❡❝t ✈✉❧♥❡r❛❜✐❧✐t② ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥❝❧✉s✐♊♥s ❛❜♩✉t ❈◆◆ ◮ ❈◆◆s ♣r♊✈✐❞❡ ❛♥ ✐♥t❡❣r❛t❡❞ ❛♣♣r♊❛❝❀ t♩ ❝♊♥str✉❝t ❛ ❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧ ❢r♩♠ ♠✐s❛❧✐❣♥❡❞ ❞❛t❛ ◮ ❈◆◆ ♠♊❞❡❧s ♠❛② ❀❛✈❡ ❀✐❣❀ ❝❛♣❛❝✐t② ❛♥❞ r❡q✉✐r❡ ♣❧❡♥t② ♊❢ ❞❛t❛ t♩ ❜❡ tr❛✐♥❡❞ ◮ ❙✐❞❡✲❈❀❛♥♥❡❧✲❛❞❛♣t❡❞ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ t❡❝❀♥✐q✉❡s ◮ ❊✛❡❝t✐✈❡♥❡ss✎❡✣❝✐❡♥❝② ♊❢ t❀❡ ❈◆◆✰❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❛♣♣r♊❛❝❀ ❡①♣❡r✐♠❡♥t❛❧❧② ✈❡r✐✜❡❞ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✵✎✹✷

  64. ❆♠♊♥❣ ♥❡✇ ♣r♊❜❧❡♠❛t✐❝s✳✳✳ ❉❡❡♣ ▲❡❛r♥✐♥❣ ♣r♊✈✐❞❡s ❜❧❛❝❊✲❜♊① ♠♊❞❡❧s✿ ▲❛❝❊ ♊❢ ♣♊st❡r✐♩r ❊♥♊✇❧❡❞❣❡✿ ❀♊✇ ❞✐❞ t❀❡ ♠♊❞❡❧ ❧❡❛r♥❄ ▲❛❝❊ ♊❢ tr✉st✿ ✇❀❡r❡ ❞✐❞ t❀❡ ♠♊❞❡❧ ❣❡t t❀❡ ✐♥❢♊r♠❛t✐♊♥❄ ◆♩ ❀✐♥ts t♩ ❝♩rr❡❝t ✈✉❧♥❡r❛❜✐❧✐t② ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥❝❧✉s✐♊♥s ❛❜♩✉t ❈◆◆ ◮ ❈◆◆s ♣r♊✈✐❞❡ ❛♥ ✐♥t❡❣r❛t❡❞ ❛♣♣r♊❛❝❀ t♩ ❝♊♥str✉❝t ❛ ❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧ ❢r♩♠ ♠✐s❛❧✐❣♥❡❞ ❞❛t❛ ◮ ❈◆◆ ♠♊❞❡❧s ♠❛② ❀❛✈❡ ❀✐❣❀ ❝❛♣❛❝✐t② ❛♥❞ r❡q✉✐r❡ ♣❧❡♥t② ♊❢ ❞❛t❛ t♩ ❜❡ tr❛✐♥❡❞ ◮ ❙✐❞❡✲❈❀❛♥♥❡❧✲❛❞❛♣t❡❞ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ t❡❝❀♥✐q✉❡s ◮ ❊✛❡❝t✐✈❡♥❡ss✎❡✣❝✐❡♥❝② ♊❢ t❀❡ ❈◆◆✰❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❛♣♣r♊❛❝❀ ❡①♣❡r✐♠❡♥t❛❧❧② ✈❡r✐✜❡❞ ◮ ❚♊❞❛② ❉❡❡♣ ▲❡❛r♥✐♥❣ ❛tt❛❝❩s s②st❡♠❛t✐❝❛❧❧② ♣❡r❢♊r♠❡❞ ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ t❡sts ❢♊r ❡♠❜❡❞❞❡❞ ❝r②♣t♊❣r❛♣❀② ❡✈❛❧✉❛t✐♊♥ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✵✎✹✷

  65. ▲❛❝❊ ♊❢ ♣♊st❡r✐♩r ❊♥♊✇❧❡❞❣❡✿ ❀♊✇ ❞✐❞ t❀❡ ♠♊❞❡❧ ❧❡❛r♥❄ ▲❛❝❊ ♊❢ tr✉st✿ ✇❀❡r❡ ❞✐❞ t❀❡ ♠♊❞❡❧ ❣❡t t❀❡ ✐♥❢♊r♠❛t✐♊♥❄ ◆♩ ❀✐♥ts t♩ ❝♩rr❡❝t ✈✉❧♥❡r❛❜✐❧✐t② ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥❝❧✉s✐♊♥s ❛❜♩✉t ❈◆◆ ◮ ❈◆◆s ♣r♊✈✐❞❡ ❛♥ ✐♥t❡❣r❛t❡❞ ❛♣♣r♊❛❝❀ t♩ ❝♊♥str✉❝t ❛ ❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧ ❢r♩♠ ♠✐s❛❧✐❣♥❡❞ ❞❛t❛ ◮ ❈◆◆ ♠♊❞❡❧s ♠❛② ❀❛✈❡ ❀✐❣❀ ❝❛♣❛❝✐t② ❛♥❞ r❡q✉✐r❡ ♣❧❡♥t② ♊❢ ❞❛t❛ t♩ ❜❡ tr❛✐♥❡❞ ◮ ❙✐❞❡✲❈❀❛♥♥❡❧✲❛❞❛♣t❡❞ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ t❡❝❀♥✐q✉❡s ◮ ❊✛❡❝t✐✈❡♥❡ss✎❡✣❝✐❡♥❝② ♊❢ t❀❡ ❈◆◆✰❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❛♣♣r♊❛❝❀ ❡①♣❡r✐♠❡♥t❛❧❧② ✈❡r✐✜❡❞ ◮ ❚♊❞❛② ❉❡❡♣ ▲❡❛r♥✐♥❣ ❛tt❛❝❩s s②st❡♠❛t✐❝❛❧❧② ♣❡r❢♊r♠❡❞ ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ t❡sts ❢♊r ❡♠❜❡❞❞❡❞ ❝r②♣t♊❣r❛♣❀② ❡✈❛❧✉❛t✐♊♥ ❆♠♊♥❣ ♥❡✇ ♣r♊❜❧❡♠❛t✐❝s✳✳✳ ❉❡❡♣ ▲❡❛r♥✐♥❣ ♣r♊✈✐❞❡s ❜❧❛❝❊✲❜♊① ♠♊❞❡❧s✿ P(Z|X=x) Estjmator F( . ; Ξ) 0% 20% 40% 60% 80% 100% x Z=0 Z=1 ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✵✎✹✷

  66. ▲❛❝❊ ♊❢ tr✉st✿ ✇❀❡r❡ ❞✐❞ t❀❡ ♠♊❞❡❧ ❣❡t t❀❡ ✐♥❢♊r♠❛t✐♊♥❄ ◆♩ ❀✐♥ts t♩ ❝♩rr❡❝t ✈✉❧♥❡r❛❜✐❧✐t② ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥❝❧✉s✐♊♥s ❛❜♩✉t ❈◆◆ ◮ ❈◆◆s ♣r♊✈✐❞❡ ❛♥ ✐♥t❡❣r❛t❡❞ ❛♣♣r♊❛❝❀ t♩ ❝♊♥str✉❝t ❛ ❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧ ❢r♩♠ ♠✐s❛❧✐❣♥❡❞ ❞❛t❛ ◮ ❈◆◆ ♠♊❞❡❧s ♠❛② ❀❛✈❡ ❀✐❣❀ ❝❛♣❛❝✐t② ❛♥❞ r❡q✉✐r❡ ♣❧❡♥t② ♊❢ ❞❛t❛ t♩ ❜❡ tr❛✐♥❡❞ ◮ ❙✐❞❡✲❈❀❛♥♥❡❧✲❛❞❛♣t❡❞ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ t❡❝❀♥✐q✉❡s ◮ ❊✛❡❝t✐✈❡♥❡ss✎❡✣❝✐❡♥❝② ♊❢ t❀❡ ❈◆◆✰❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❛♣♣r♊❛❝❀ ❡①♣❡r✐♠❡♥t❛❧❧② ✈❡r✐✜❡❞ ◮ ❚♊❞❛② ❉❡❡♣ ▲❡❛r♥✐♥❣ ❛tt❛❝❩s s②st❡♠❛t✐❝❛❧❧② ♣❡r❢♊r♠❡❞ ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ t❡sts ❢♊r ❡♠❜❡❞❞❡❞ ❝r②♣t♊❣r❛♣❀② ❡✈❛❧✉❛t✐♊♥ ❆♠♊♥❣ ♥❡✇ ♣r♊❜❧❡♠❛t✐❝s✳✳✳ ❉❡❡♣ ▲❡❛r♥✐♥❣ ♣r♊✈✐❞❡s ❜❧❛❝❊✲❜♊① ♠♊❞❡❧s✿ P(Z|X=x) Estjmator F( . ; Ξ) 0% 20% 40% 60% 80% 100% x Z=0 Z=1 ▲❛❝❊ ♊❢ ♣♊st❡r✐♩r ❊♥♊✇❧❡❞❣❡✿ ❀♊✇ ❞✐❞ t❀❡ ♠♊❞❡❧ ❧❡❛r♥❄ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✵✎✹✷

  67. ◆♩ ❀✐♥ts t♩ ❝♩rr❡❝t ✈✉❧♥❡r❛❜✐❧✐t② ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥❝❧✉s✐♊♥s ❛❜♩✉t ❈◆◆ ◮ ❈◆◆s ♣r♊✈✐❞❡ ❛♥ ✐♥t❡❣r❛t❡❞ ❛♣♣r♊❛❝❀ t♩ ❝♊♥str✉❝t ❛ ❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧ ❢r♩♠ ♠✐s❛❧✐❣♥❡❞ ❞❛t❛ ◮ ❈◆◆ ♠♊❞❡❧s ♠❛② ❀❛✈❡ ❀✐❣❀ ❝❛♣❛❝✐t② ❛♥❞ r❡q✉✐r❡ ♣❧❡♥t② ♊❢ ❞❛t❛ t♩ ❜❡ tr❛✐♥❡❞ ◮ ❙✐❞❡✲❈❀❛♥♥❡❧✲❛❞❛♣t❡❞ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ t❡❝❀♥✐q✉❡s ◮ ❊✛❡❝t✐✈❡♥❡ss✎❡✣❝✐❡♥❝② ♊❢ t❀❡ ❈◆◆✰❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❛♣♣r♊❛❝❀ ❡①♣❡r✐♠❡♥t❛❧❧② ✈❡r✐✜❡❞ ◮ ❚♊❞❛② ❉❡❡♣ ▲❡❛r♥✐♥❣ ❛tt❛❝❩s s②st❡♠❛t✐❝❛❧❧② ♣❡r❢♊r♠❡❞ ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ t❡sts ❢♊r ❡♠❜❡❞❞❡❞ ❝r②♣t♊❣r❛♣❀② ❡✈❛❧✉❛t✐♊♥ ❆♠♊♥❣ ♥❡✇ ♣r♊❜❧❡♠❛t✐❝s✳✳✳ ❉❡❡♣ ▲❡❛r♥✐♥❣ ♣r♊✈✐❞❡s ❜❧❛❝❊✲❜♊① ♠♊❞❡❧s✿ P(Z|X=x) Estjmator F( . ; Ξ) 0% 20% 40% 60% 80% 100% x Z=0 Z=1 ▲❛❝❊ ♊❢ ♣♊st❡r✐♩r ❊♥♊✇❧❡❞❣❡✿ ❀♊✇ ❞✐❞ t❀❡ ♠♊❞❡❧ ❧❡❛r♥❄ ▲❛❝❊ ♊❢ tr✉st✿ ✇❀❡r❡ ❞✐❞ t❀❡ ♠♊❞❡❧ ❣❡t t❀❡ ✐♥❢♊r♠❛t✐♊♥❄ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✵✎✹✷

  68. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥❝❧✉s✐♊♥s ❛❜♩✉t ❈◆◆ ◮ ❈◆◆s ♣r♊✈✐❞❡ ❛♥ ✐♥t❡❣r❛t❡❞ ❛♣♣r♊❛❝❀ t♩ ❝♊♥str✉❝t ❛ ❞✐s❝r✐♠✐♥❛t✐✈❡ ♠♊❞❡❧ ❢r♩♠ ♠✐s❛❧✐❣♥❡❞ ❞❛t❛ ◮ ❈◆◆ ♠♊❞❡❧s ♠❛② ❀❛✈❡ ❀✐❣❀ ❝❛♣❛❝✐t② ❛♥❞ r❡q✉✐r❡ ♣❧❡♥t② ♊❢ ❞❛t❛ t♩ ❜❡ tr❛✐♥❡❞ ◮ ❙✐❞❡✲❈❀❛♥♥❡❧✲❛❞❛♣t❡❞ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ t❡❝❀♥✐q✉❡s ◮ ❊✛❡❝t✐✈❡♥❡ss✎❡✣❝✐❡♥❝② ♊❢ t❀❡ ❈◆◆✰❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ❛♣♣r♊❛❝❀ ❡①♣❡r✐♠❡♥t❛❧❧② ✈❡r✐✜❡❞ ◮ ❚♊❞❛② ❉❡❡♣ ▲❡❛r♥✐♥❣ ❛tt❛❝❩s s②st❡♠❛t✐❝❛❧❧② ♣❡r❢♊r♠❡❞ ✐♥ ❙✐❞❡✲❈❀❛♥♥❡❧ t❡sts ❢♊r ❡♠❜❡❞❞❡❞ ❝r②♣t♊❣r❛♣❀② ❡✈❛❧✉❛t✐♊♥ ❆♠♊♥❣ ♥❡✇ ♣r♊❜❧❡♠❛t✐❝s✳✳✳ ❉❡❡♣ ▲❡❛r♥✐♥❣ ♣r♊✈✐❞❡s ❜❧❛❝❊✲❜♊① ♠♊❞❡❧s✿ P(Z|X=x) Estjmator F( . ; Ξ) 0% 20% 40% 60% 80% 100% x Z=0 Z=1 ▲❛❝❊ ♊❢ ♣♊st❡r✐♩r ❊♥♊✇❧❡❞❣❡✿ ❀♊✇ ❞✐❞ t❀❡ ♠♊❞❡❧ ❧❡❛r♥❄ ▲❛❝❊ ♊❢ tr✉st✿ ✇❀❡r❡ ❞✐❞ t❀❡ ♠♊❞❡❧ ❣❡t t❀❡ ✐♥❢♊r♠❛t✐♊♥❄ ◆♩ ❀✐♥ts t♩ ❝♩rr❡❝t ✈✉❧♥❡r❛❜✐❧✐t② ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✵✎✹✷

  69. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❈♊♥t❡♥ts ✶✳ ❈♊♥t❡①t ❛♥❞ ❙t❛t❡ ♊❢ t❀❡ ❆rt ✷✳ ❉❡❡♣ ▲❡❛r♥✐♥❣ ❛❣❛✐♥st ▌✐s❛❧✐❣♥♠❡♥t ✷✳✶ ◆❡✉r❛❧ ◆❡t✇♩r❊ ❈❧❛ss✐✜❡rs ✷✳✷ ❉❛t❛ ❆✉❣♠❡♥t❛t✐♊♥ ✷✳✞ ❊①♣❡r✐♠❡♥t❛❧ ❘❡s✉❧ts ✞✳ ●r❛❞✐❡♥t ❱✐s✉❛❧✐③❛t✐♊♥ ✹✳ ❈♊♥❝❧✉s✐♊♥s ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✶✎✹✷

  70. ❛❜❧❡ t♩ ❞❡t❡❝t P♊✐♥ts ♊❢ ■♥t❡r❡st ✭P♩■s✮ ❛s ❧♊♥❣ ❛s t❀❡ ♠♊❞❡❧ ❀❛s ❧❡❛r♥❡❞ s♊♠❡t❀✐♥❣ ❛❧r❡❛❞② ♣r♊♣♊s❡❞ ✐♥ ■♠❛❣❡ ❘❡❝♊❣♥✐t✐♊♥ ❬❙❱❩✶✞❀ ❙♣r✰✶✹❪ st❛rts t♩ ❜❡ ✉s❡❞ ✐♥ ❙❈❆ ❬❚✐♠✶✟❀ ❍●●✶✟❪ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ●r❛❞✐❡♥t ❱✐s✉❛❧✐③❛t✐♊♥ ▲✳▌❛s✉r❡ ❡t ❛❧✳ ✱ ●r❛❞✐❡♥t ❱✐s✉❛❧✐③❛t✐♊♥ ❢♊r ●❡♥❡r❛❧ ❈❀❛r❛❝t❡r✐③❛t✐♊♥ ✐♥ Pr♊✜❧✐♥❣ ❆tt❛❝❩s ✱ ❈❖❙❆❉❊ ✷✵✶✟ ✭❉❛r♠st❛❞t✱ ✺t❀ ❆♣r✐❧ ✷✵✶✟✮ ◮ ♣r♊♣♊s❡s ❛ ❝❀❛r❛❝t❡r✐③❛t✐♊♥ t❡❝❀♥✐q✉❡ ❜❛s❡❞ ♊♥ ❛ tr❛✐♥❡❞ ❈◆◆ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✷✎✹✷

  71. ❛❧r❡❛❞② ♣r♊♣♊s❡❞ ✐♥ ■♠❛❣❡ ❘❡❝♊❣♥✐t✐♊♥ ❬❙❱❩✶✞❀ ❙♣r✰✶✹❪ st❛rts t♩ ❜❡ ✉s❡❞ ✐♥ ❙❈❆ ❬❚✐♠✶✟❀ ❍●●✶✟❪ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ●r❛❞✐❡♥t ❱✐s✉❛❧✐③❛t✐♊♥ ▲✳▌❛s✉r❡ ❡t ❛❧✳ ✱ ●r❛❞✐❡♥t ❱✐s✉❛❧✐③❛t✐♊♥ ❢♊r ●❡♥❡r❛❧ ❈❀❛r❛❝t❡r✐③❛t✐♊♥ ✐♥ Pr♊✜❧✐♥❣ ❆tt❛❝❩s ✱ ❈❖❙❆❉❊ ✷✵✶✟ ✭❉❛r♠st❛❞t✱ ✺t❀ ❆♣r✐❧ ✷✵✶✟✮ ◮ ♣r♊♣♊s❡s ❛ ❝❀❛r❛❝t❡r✐③❛t✐♊♥ t❡❝❀♥✐q✉❡ ❜❛s❡❞ ♊♥ ❛ tr❛✐♥❡❞ ❈◆◆ ◮ ❛❜❧❡ t♩ ❞❡t❡❝t P♊✐♥ts ♊❢ ■♥t❡r❡st ✭P♩■s✮ ❛s ❧♊♥❣ ❛s t❀❡ ♠♊❞❡❧ ❀❛s ❧❡❛r♥❡❞ s♊♠❡t❀✐♥❣ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✷✎✹✷

  72. st❛rts t♩ ❜❡ ✉s❡❞ ✐♥ ❙❈❆ ❬❚✐♠✶✟❀ ❍●●✶✟❪ ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ●r❛❞✐❡♥t ❱✐s✉❛❧✐③❛t✐♊♥ ▲✳▌❛s✉r❡ ❡t ❛❧✳ ✱ ●r❛❞✐❡♥t ❱✐s✉❛❧✐③❛t✐♊♥ ❢♊r ●❡♥❡r❛❧ ❈❀❛r❛❝t❡r✐③❛t✐♊♥ ✐♥ Pr♊✜❧✐♥❣ ❆tt❛❝❩s ✱ ❈❖❙❆❉❊ ✷✵✶✟ ✭❉❛r♠st❛❞t✱ ✺t❀ ❆♣r✐❧ ✷✵✶✟✮ ◮ ♣r♊♣♊s❡s ❛ ❝❀❛r❛❝t❡r✐③❛t✐♊♥ t❡❝❀♥✐q✉❡ ❜❛s❡❞ ♊♥ ❛ tr❛✐♥❡❞ ❈◆◆ ◮ ❛❜❧❡ t♩ ❞❡t❡❝t P♊✐♥ts ♊❢ ■♥t❡r❡st ✭P♩■s✮ ❛s ❧♊♥❣ ❛s t❀❡ ♠♊❞❡❧ ❀❛s ❧❡❛r♥❡❞ s♊♠❡t❀✐♥❣ ◮ ❛❧r❡❛❞② ♣r♊♣♊s❡❞ ✐♥ ■♠❛❣❡ ❘❡❝♊❣♥✐t✐♊♥ ❬❙❱❩✶✞❀ ❙♣r✰✶✹❪ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✷✎✹✷

  73. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ●r❛❞✐❡♥t ❱✐s✉❛❧✐③❛t✐♊♥ ▲✳▌❛s✉r❡ ❡t ❛❧✳ ✱ ●r❛❞✐❡♥t ❱✐s✉❛❧✐③❛t✐♊♥ ❢♊r ●❡♥❡r❛❧ ❈❀❛r❛❝t❡r✐③❛t✐♊♥ ✐♥ Pr♊✜❧✐♥❣ ❆tt❛❝❩s ✱ ❈❖❙❆❉❊ ✷✵✶✟ ✭❉❛r♠st❛❞t✱ ✺t❀ ❆♣r✐❧ ✷✵✶✟✮ ◮ ♣r♊♣♊s❡s ❛ ❝❀❛r❛❝t❡r✐③❛t✐♊♥ t❡❝❀♥✐q✉❡ ❜❛s❡❞ ♊♥ ❛ tr❛✐♥❡❞ ❈◆◆ ◮ ❛❜❧❡ t♩ ❞❡t❡❝t P♊✐♥ts ♊❢ ■♥t❡r❡st ✭P♩■s✮ ❛s ❧♊♥❣ ❛s t❀❡ ♠♊❞❡❧ ❀❛s ❧❡❛r♥❡❞ s♊♠❡t❀✐♥❣ ◮ ❛❧r❡❛❞② ♣r♊♣♊s❡❞ ✐♥ ■♠❛❣❡ ❘❡❝♊❣♥✐t✐♊♥ ❬❙❱❩✶✞❀ ❙♣r✰✶✹❪ ◮ st❛rts t♩ ❜❡ ✉s❡❞ ✐♥ ❙❈❆ ❬❚✐♠✶✟❀ ❍●●✶✟❪ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✷✎✹✷

  74. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❆♥ ✐❞❡❛❧ ❝❛s❡ ■❞❡❛❧ ❝❛s❡✿ ✇❡ ❊♥♊✇ F ∗ = Pr [ Z | ❳ ] ✭ ✐✳❡✳ F ∗ : R D → P ( Z ) ⊂ [ ✵ , ✶ ] |Z| ✮ ❆♥ ❡①♣❧❛♥❛t✐♊♥ ❆♥ ❡①❛♠♣❧❡ ◮ ❆ss✉♠❡ t❀❡ ✐♥❢♊r♠❛t✐✈❡ ❧❡❛❊❛❣❡ ✐s ✈❡r② ❧♊❝❛❧✐③❡❞ ✭❢❡✇ P♩■s✮ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✞✎✹✷

  75. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❆♥ ✐❞❡❛❧ ❝❛s❡ ■❞❡❛❧ ❝❛s❡✿ ✇❡ ❊♥♊✇ F ∗ = Pr [ Z | ❳ ] ✭ ✐✳❡✳ F ∗ : R D → P ( Z ) ⊂ [ ✵ , ✶ ] |Z| ✮ ❆♥ ❡①❛♠♣❧❡ ❆♥ ❡①♣❧❛♥❛t✐♊♥ ◮ ❆ss✉♠❡ t❀❡ ✐♥❢♊r♠❛t✐✈❡ ❧❡❛❊❛❣❡ ✐s ✈❡r② ❧♊❝❛❧✐③❡❞ ✭❢❡✇ P♩■s✮ ◮ ❈♊♥s✐❞❡r ❛ ♥❡✇ tr❛❝❡ ❛♥❞ ✐ts ❧❛❜❡❧ ᅵ x , z ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✞✎✹✷

  76. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❆♥ ✐❞❡❛❧ ❝❛s❡ ■❞❡❛❧ ❝❛s❡✿ ✇❡ ❊♥♊✇ F ∗ = Pr [ Z | ❳ ] ✭ ✐✳❡✳ F ∗ : R D → P ( Z ) ⊂ [ ✵ , ✶ ] |Z| ✮ ❆♥ ❡①❛♠♣❧❡ ❆♥ ❡①♣❧❛♥❛t✐♊♥ ◮ ❆ss✉♠❡ t❀❡ ✐♥❢♊r♠❛t✐✈❡ ❧❡❛❊❛❣❡ ✐s ✈❡r② ❧♊❝❛❧✐③❡❞ ✭❢❡✇ P♩■s✮ ◮ t ✵ ♥♊♥ ✐♥❢♊r♠❛t✐✈❡✿ x [ t ✵ ] ᅵ→ ᅵ x [ t ✵ ] + Ç« ♥♊t s❡♥s✐t✐✈❡ ᅵ ◮ ■♥ ♩t❀❡r ✇♩r❞s✱ t ✵ ♥♊♥ ✐♥❢♊r♠❛t✐✈❡ x [ t ✵ ] F ∗ ( ᅵ ∂ → x )[ z ] ≈ ✵ ∂ᅵ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✞✎✹✷

  77. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❆♥ ✐❞❡❛❧ ❝❛s❡ ■❞❡❛❧ ❝❛s❡✿ ✇❡ ❊♥♊✇ F ∗ = Pr [ Z | ❳ ] ✭ ✐✳❡✳ F ∗ : R D → P ( Z ) ⊂ [ ✵ , ✶ ] |Z| ✮ ❆♥ ❡①❛♠♣❧❡ ❆♥ ❡①♣❧❛♥❛t✐♊♥ ◮ ❆ss✉♠❡ t❀❡ ✐♥❢♊r♠❛t✐✈❡ ❧❡❛❊❛❣❡ ✐s ✈❡r② ❧♊❝❛❧✐③❡❞ ✭❢❡✇ P♩■s✮ ◮ t ✵ ♥♊♥ ✐♥❢♊r♠❛t✐✈❡✿ x [ t ✵ ] ᅵ→ ᅵ x [ t ✵ ] + Ç« ♥♊t s❡♥s✐t✐✈❡ ᅵ ◮ ■♥ ♩t❀❡r ✇♩r❞s✱ t ✵ ♥♊♥ ✐♥❢♊r♠❛t✐✈❡ x [ t ✵ ] F ∗ ( ᅵ ∂ → x )[ z ] ≈ ✵ ∂ᅵ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✞✎✹✷

  78. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❆♥ ✐❞❡❛❧ ❝❛s❡ ■❞❡❛❧ ❝❛s❡✿ ✇❡ ❊♥♊✇ F ∗ = Pr [ Z | ❳ ] ✭ ✐✳❡✳ F ∗ : R D → P ( Z ) ⊂ [ ✵ , ✶ ] |Z| ✮ ❆♥ ❡①❛♠♣❧❡ ❆♥ ❡①♣❧❛♥❛t✐♊♥ ◮ ❆ss✉♠❡ t❀❡ ✐♥❢♊r♠❛t✐✈❡ ❧❡❛❊❛❣❡ ✐s ✈❡r② ❧♊❝❛❧✐③❡❞ ✭❢❡✇ P♩■s✮ ◮ t ✶ ✐♥❢♊r♠❛t✐✈❡✿ ᅵ x [ t ✶ ] ᅵ→ ᅵ x [ t ✶ ] + Ç« ✐s ❧✐❊❡❧② t♩ ❛✛❡❝t t❀❡ ♊♣t✐♠❛❧ ♠♊❞❡❧✬s ❞❡❝✐s✐♊♥ ◮ t ✶ ✐♥❢♊r♠❛t✐✈❡ ᅵ ᅵ ᅵ x [ t ✶ ] F ∗ ( ᅵ ᅵ ∂ → x )[ z ] ᅵ > ✵ ᅵ ∂ᅵ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✞✎✹✷

  79. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❆♥ ✐❞❡❛❧ ❝❛s❡ ■❞❡❛❧ ❝❛s❡✿ ✇❡ ❊♥♊✇ F ∗ = Pr [ Z | ❳ ] ✭ ✐✳❡✳ F ∗ : R D → P ( Z ) ⊂ [ ✵ , ✶ ] |Z| ✮ ❆♥ ❡①❛♠♣❧❡ ❆♥ ❡①♣❧❛♥❛t✐♊♥ ◮ ❆ss✉♠❡ t❀❡ ✐♥❢♊r♠❛t✐✈❡ ❧❡❛❊❛❣❡ ✐s ✈❡r② ❧♊❝❛❧✐③❡❞ ✭❢❡✇ P♩■s✮ ◮ t ✶ ✐♥❢♊r♠❛t✐✈❡✿ ᅵ x [ t ✶ ] ᅵ→ ᅵ x [ t ✶ ] + Ç« ✐s ❧✐❊❡❧② t♩ ❛✛❡❝t t❀❡ ♊♣t✐♠❛❧ ♠♊❞❡❧✬s ❞❡❝✐s✐♊♥ ◮ t ✶ ✐♥❢♊r♠❛t✐✈❡ ᅵ ᅵ ᅵ x [ t ✶ ] F ∗ ( ᅵ ∂ ᅵ → x )[ z ] ᅵ > ✵ ᅵ ∂ᅵ ❈♊♥s❡q✉❡♥❝❡s x F ∗ ( ᅵ ■❢ t ✐s ❛ P♊■✱ t❀❡♥ ✐t s❀♊✉❧❞ ❜❡ s❡❡♥ ✐♥ t❀❡ ❣r❛❞✐❡♥ts ∇ ᅵ x )[ z ] ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✞✎✹✷

  80. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❆♥ ✐❞❡❛❧ ❝❛s❡ ■❞❡❛❧ ❝❛s❡✿ ✇❡ ❊♥♊✇ F ∗ = Pr [ Z | ❳ ] ✭ ✐✳❡✳ F ∗ : R D → P ( Z ) ⊂ [ ✵ , ✶ ] |Z| ✮ ❆♥ ❡①❛♠♣❧❡ ❆♥ ❡①♣❧❛♥❛t✐♊♥ ◮ ❆ss✉♠❡ t❀❡ ✐♥❢♊r♠❛t✐✈❡ ❧❡❛❊❛❣❡ ✐s ✈❡r② ❧♊❝❛❧✐③❡❞ ✭❢❡✇ P♩■s✮ ◮ t ✶ ✐♥❢♊r♠❛t✐✈❡✿ ᅵ x [ t ✶ ] ᅵ→ ᅵ x [ t ✶ ] + Ç« ✐s ❧✐❊❡❧② t♩ ❛✛❡❝t t❀❡ ♊♣t✐♠❛❧ ♠♊❞❡❧✬s ❞❡❝✐s✐♊♥ ◮ t ✶ ✐♥❢♊r♠❛t✐✈❡ ᅵ ᅵ ᅵ x [ t ✶ ] F ∗ ( ᅵ ∂ ᅵ → x )[ z ] ᅵ > ✵ ᅵ ∂ᅵ ❈♊♥s❡q✉❡♥❝❡s x F ∗ ( ᅵ ■❢ t ✐s ❛ P♊■✱ t❀❡♥ ✐t s❀♊✉❧❞ ❜❡ s❡❡♥ ✐♥ t❀❡ ❣r❛❞✐❡♥ts ∇ ᅵ x )[ z ] ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✞✎✹✷

  81. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❆♣♣❧✐❝❛t✐♊♥ ♊♥ ❡①♣❡r✐♠❡♥t❛❧ ❞❛t❛ ❉❡s❝r✐♣t✐♊♥ ❆❙❈❆❉ ❞❛t❛s❡t ❬Pr♊✰✶✜❪✿ ❀tt♣s✿✎✎❣✐t❀✉❜✳❝♊♠✎❆◆❙❙■✲❋❘✎❆❙❈❆❉ ✺✵ , ✵✵✵ tr❛❝❡s✱ ❡❛❝❀ ♊❢ ✌✵✵ ♣♊✐♥ts ❙♩✉r❝❡ ❝♊❞❡s ♊❢ s❡❝✉r❡ ✐♠♣❧❡♠❡♥t❛t✐♊♥s ♊❢ ❆❊❙✶✷✜ ❢♊r ♣✉❜❧✐❝ ✜✲❜✐t ❛r❝❀✐t❡❝t✉r❡s ✭ ❀tt♣s✿✎✎❣✐t❀✉❜✳❝♊♠✎❆◆❙❙■✲❋❘✎s❡❝❆❊❙✲❆❚♠❡❣❛✜✺✶✺ ✮ ❈♩rr❡s♣♊♥❞s t♩ t❀❡ ✜rst ❆❊❙ r♊✉♥❞ ❚❀r❡❡ ❝❛s❡s st✉❞✐❡❞✿ ✶✳ ◆♩ ❝♊✉♥t❡r♠❡❛s✉r❡ ✿ s②♥❝❀r♊♥✐③❡❞ tr❛❝❡s✱ ♥♊ ♠❛s❊✐♥❣ ✷✳ ❆rt✐✜❝✐❛❧ r❛♥❞♊♠ s❀✐❢t ✞✳ ❙②♥❝❀r♊♥✐③❡❞ tr❛❝❡s✱ ❜♊♊❧❡❛♥ ♠❛s❊✐♥❣ ✭✉♥❊♥♊✇♥ ♠❛s❊s✮ ❚r❛✐♥❡❞ ♠♊❞❡❧ ❈◆◆ ✇✐t❀ ❛ ❱●●✲❧✐❊❡ ❛r❝❀✐t❡❝t✉r❡ ●r✐❞ s❡❛r❝❀ ♊❢ ❀②♣❡r♣❛r❛♠❡t❡rs ❇❡st ♠♊❞❡❧✿ ♠✐♥✐♠❛❧ tr❛❝❡ ♥✉♠❜❡r ✇❀❡♥ t❀❡ ❣✉❡ss✐♥❣ ❡♥tr♊♣② r❡❛❝❀❡s ✷ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✹✎✹✷

  82. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❋✐rst ❡①♣❡r✐♠❡♥t✿ ♥♊ ❝♊✉♥t❡r♠❡❛s✉r❡ ❆✈❡r❛❣❡ ♥✉♠❜❡r ♊❢ tr❛❝❡s t♩ r❡❝♊✈❡r t❀❡ s❡❝r❡t ❊❡②✿ ✾ SNR for Z = SBox ( p [3] ⊕ k [3]) ⊕ r out Gradient averaged on a 5-fold cross validation Synchronized traces No masking, no desynchronization 0 . 8 0 . 06 0 . 7 0 . 05 0 . 6 0 . 04 0 . 5 Gradient SNR 0 . 4 0 . 03 0 . 3 0 . 02 0 . 2 0 . 01 0 . 1 0 . 00 0 . 0 0 100 200 300 400 500 600 700 0 100 200 300 400 500 600 700 Time (samples) Time (samples) ❋✐❣✉r❡✿ ❙◆❘ ❋✐❣✉r❡✿ ●r❛❞✐❡♥t ❱✐s✉❛❧✐③❛t✐♊♥ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✺✎✹✷

  83. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❙❡❝♊♥❞ ❡①♣❡r✐♠❡♥t✿ ✇✐t❀ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ❆✈❡r❛❣❡ ♥✉♠❜❡r ♊❢ tr❛❝❡s t♩ r❡❝♊✈❡r t❀❡ s❡❝r❡t ❊❡②✿ ✞✳✻ Loss function gradient (average) No masking, random shift (100) SNR on ASCAD with random shift (100) 0 . 006 0.00625 0 . 005 0.00600 0 . 004 0.00575 Gradient SNR 0.00550 0 . 003 0.00525 0 . 002 0.00500 0.00475 0 . 001 0 100 200 300 400 500 600 700 0 . 000 Time(samples) 0 100 200 300 400 500 600 700 Time (samples) ❋✐❣✉r❡✿ ◆♩ P♩■ ❡♠♣❀❛s✐③❡❞ ❋✐❣✉r❡✿ ❇❛♥❞ ♊❢ ♣❡❛❊s ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✻✎✹✷

  84. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❙❡❝♊♥❞ ❡①♣❡r✐♠❡♥t✿ ✇✐t❀ ❞❡s②♥❝❀r♊♥✐③❛t✐♊♥ ❆✈❡r❛❣❡ ♥✉♠❜❡r ♊❢ tr❛❝❡s t♩ r❡❝♊✈❡r t❀❡ s❡❝r❡t ❊❡②✿ ✞✳✻ SNR on ASCAD with random shift (100) 0.00625 0.00600 0.00575 SNR 0.00550 0.00525 0.00500 0.00475 0 100 200 300 400 500 600 700 Time(samples) ❋✐❣✉r❡✿ ◆♩ P♩■ ❡♠♣❀❛s✐③❡❞ ❋✐❣✉r❡✿ ❈❀❛r❛❝t❡r✐③❛t✐♊♥ ❢♊r ❡❛❝❀ tr❛❝❡ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✻✎✹✷

  85. ❈❧❛ss✐❢②✐♥❣ ❙✐❞❡✲❈❀❛♥♥❡❧ ❉❡s②♥❝❀r♊♥✐③❡❞ ❙✐❣♥❛❧s ✇✐t❀ ❈♊♥✈♊❧✉t✐♊♥❛❧ ◆❡✉r❛❧ ◆❡t✇♩r❊s ❚❀✐r❞ ❡①♣❡r✐♠❡♥t✿ ✇✐t❀ ♠❛s❊✐♥❣ ❆✈❡r❛❣❡ ♥✉♠❜❡r ♊❢ tr❛❝❡s t♩ r❡❝♊✈❡r t❀❡ s❡❝r❡t ❊❡②✿ ≈ ✶✵✵ Loss function gradient (average) Signal-to-Noise Ratios ASCAD database With masking, no shift 0 . 8 r out 0 . 0005 Z ⊕ r out 0 . 7 0 . 6 0 . 0004 0 . 5 Gradient 0 . 0003 SNR 0 . 4 0 . 3 0 . 0002 0 . 2 0 . 0001 0 . 1 0 . 0000 0 . 0 0 100 200 300 400 500 600 700 0 100 200 300 400 500 600 700 Time (samples) Time (samples) ❋✐❣✉r❡✿ ❘❡q✉✐r❡s ❊♥♊✇❧❡❞❣❡ ♊❢ t❀❡ ♠❛s❊s ❋✐❣✉r❡✿ ◆♩ ❊♥♊✇❧❡❞❣❡ r❡q✉✐r❡❞ ✶✻✎✵✹✎✷✵✶✟✱ ❲❘❆❈✬❍ ✷✵✶✟ | ❊❧❡♊♥♊r❛ ❈❛❣❧✐ | ✞✌✎✹✷

Recommend


More recommend