SLIDE 1 ✂✁☎✄✝✆✟✞✡✠☛✆☞✄✍✌✎✂✁✑✏☞✒✓✠✔✆✡✞✡✠✖✕✘✗ ✙ ✚✛✏✜✕✢✁✤✣ ✥✧✦✩★✫✪✭✬✩✮✫✪✰✯✲✱✳✦✵✴✷✶ ✸✺✹✼✻ ✽✿✾✑❀❁✾✧✮❂✴✷❃❄★ ❅ ★✰✾❇❆☞❈❉✮❊❀❋❀❍●❏■❑❃✰✮☎▲✤●❉✦✩✪◆▼❖✴P✦✩◗✫❈❏✾❄❘❚❙ ❯✵❱❳❲ ✾✑▲❩❨❬●❭✪✫❪✫❫☎▲✑❴❵❃❄❈❉✮❊❀❋❀❛❈❉✮✫◗❄✾❄❈❝❜❞❪❂✮❄●❭✴☛❀❡✱❢✴✷✦✩❘ ❫✫✪✫❣❂✪✰✦❊❤✐✪❥✱❦❫✫✪✰❃✑▲✤●❉✦✩✪ ❧♠❱✛♥
- ♦✪✰✶♣▲q★✰✾♣❫✫✪✫❣❂✪✰✦❊❤r✪✘✱❢❫✫✪✰❃❍▲✤●❉✦✩✪
s♠❱t❱✉❱✔❱ ▲❋✦✈❘✇●♦✪❄●❭❘✇●②①☎✾✓✾❄✴③✴P✦✵✴☛❀r✦✩✪✇✱❢❫☎▲q❫✫✴P✾❚●❭✪✫❪✫❫☎▲❬❀
SLIDE 2
rain snow 0.2 0.4 0.6 0.8 1 Precipitation Temperature Unknown Function Samples Training Sample rain snow 0.2 0.4 0.6 0.8 1 1.2 1.4 Precipitation Temperature Learned Function (Classifier) guess 1 guess 2 guess 3
SLIDE 3 rain snow 0.2 0.4 0.6 0.8 1 Precipitation Temperature Future Samples Training Sample Test Sample
✬ ✾✰✮ ✴✺✪❄●♦✪✰✯ ✁ ▼❖✴P✾☎✶
☎✝✆ ✾✘❃✧✮✫✪✟✞ ▲❡✾✡✠✫❪ ✾❊❃❍▲✐✮✫✪☛✂◆❪ ✴P✾☎✶
✪❇✮✫◗❄●❭❈
✯✫✾❄✪✰✾✲✴ ✮✫❈ ❱ ☎✝✆ ✾❥❃✧✮✫✪ ✾✡✠✵❪❄✾❊❃❍▲❩❪ ✴P✾☎✶
❴
✾✌✠❂✮✫❘❥❪✫❈②✾✑❀✍❃❊✦✩❘ ✾❚●♦✪✰✶✫✾❄❪❄✾❄✪✌✍ ✶✫✾❄✪☎▲q❈✎✂ ❴ ❀ ✦✩❘ ✾❍▲✤●❭❘ ✾✑❀ ❱ ✏ ✾✲✴P✾❩❤❳✾❛❀❋▲q❫✰✶✑✂◆❪ ✴P✾☎✶
✮❊❀❋❀✑❫✫❘✇●❭✪✰✯
❱
SLIDE 4 ✆ ★☛✂✘❀ ▲❍❫✰✶ ✂◆❪❂✴✷✾❊✶
✂ ✁ ❯✵❱ ✹ ✾❍▲❬▲❋✾✲✴✛❘❞✾✑▲q★✰✦ ✶❄❀ ✱✳✦✵✴✛❈②✾✧✮❂✴③✪❄●❭✪✰✯✭✮✵✪✧✶✄✂✰✾❄✴
✂
❪ ✴P✾☎✶
✾ ✮✫◗❄●❭❈
❧♠❱ ❅ ✦ ✯ ✮❄●❭✪✎●♦✪❊❀❍●❉✯ ★☎▲
✴✺✪❄●♦✪✰✯ ❱ ✹ ✾❍▲❢▲❋✾❄✴✝✻✇✾❍▲q★✰✦ ✶❄❀ ✱✳✦✵✴t✬ ✾✧✮❂✴③✪❄●❭✪✰✯✝✆ ✞ ✾❄✴
❃✧✮☎▲✤●❉✦✩✪ ✟ ▲ ✮✫✪✰✶ ✮❂✴✷✶❇▲❋✾❊❃✲★✫✪❄●✡✠✩❫✰✾✫❙ ❯✵❱☞☛
- ✌✂❄●❉✶✫✾❛❀✤✮✵❘✘❪✫❈②✾✑❀
- ❭✪☎▲❋✦❇▲❍✴
✮❄●❭✪❚✮✫✪✰✶❇▲ ✾✑❀ ▲ ❀❁✾❍▲ ❧♠❱ ❅ ✴ ✮
✦✩✪✇▲❍✴ ✮❄●❭✪✘❀ ✾✑▲ s♠❱ ❅ ✾✑❀❋▲❡✦✩✪✘▲❋✾ ❀ ▲ ❀ ✾✑▲ ✆ ✾✇❃✰✮✫✪ ✶ ✦✈◗ ✾❍▲❢▲ ✾✲✴ ❱
SLIDE 5 ❅ ✦◆✯ ✮❄●♦✪✎●❭✪❊❀q●❉✯✩★☎▲✢●❭✪☎▲❋✦✈❈②✾✧✮ ✴✺✪❄●❭✪✰✯ ❯✵❱✁ ✂ ✾✲✴✔■ ▲❬▲✤●❭✪✰✯♠❙✼❀✤✮✫❘❥❪✫❈❏✾✘❃☎✦✩❘❥❪✫❈②✾✡✠❄●❏▲✄✂ ✠✩❫❂✮✫✪☎▲✤●❏■ ✾✑❀r✦ ✂ ✾✲✴✔■ ▲❢▲
❱ ❧♠❱ ✬ ✾✧✮❂✴③✪❄●❭✪✰✯◆✮✫❈②✯✫✦✵✴✳●❏▲q★✫❘ ✶✫✾ ❀q●❉✯✩✪ ❙ ✆ ★❂✮☎▲✍●②❀r✮✇✯✫✦ ✦ ✶ ❪ ✴③❫✫✪❄●❭✪✰✯✎❃✲✴✳●❏▲❋✾✲✴✳● ✮ ✁ ✆ ★☛✂ ✮ ✴P✾ ❈❉✮ ✴P✯✫✾ ❘✓✮❂✴✷✯
✦ ✶ ✁ ✆ ★❂✮☎▲◆✦✲▲q★✰✾✲✴✇✮✫❈②✯✫✦✵✴
✮ ✴P✾ ❈
✂✇▲ ✦ ✂
✦ ✶✈✴✷✾ ❀✑❫✫❈ ▲❬❀ ✁
❯✵❱ ❅ ★✰✾ ✹ ✮❊❀q●❉❃ ✻❛✦ ✶✫✾✲❈ ❧♠❱ ❅ ★✰✾ ❅ ✾✑❀❋▲ ✟ ✾❍▲✓✹ ✦✩❫✫✪✰✶ s♠❱✁ ❃❊❃✧✮✫❘ ✞ ❀❛✽❖✮❊①☎✦✵✴t✹ ✦✩❫✫✪✰✶ ✂ ❱ ▼☎✄☞❆ ✍q✹✿✮ ✂ ✾✑❀✘✹ ✦✩❫✫✪✰✶ ✆ ❱ ✟ ✮✵❘✘❪✫❈②✾ ❆✿✦✩❘❥❪ ✴P✾✑❀❋❀❍●❝✦✩✪✭✹ ✦✩❫✫✪✰✶
SLIDE 6 ✻❛✦ ✶✫✾✲❈ ❙ ☛ ✾❍■ ✪❄●❏▲✤●❉✦✩✪❊❀
❀✑❪❂✮✰❃❊✾ ✁✄✂ ☎✝✆✟✞✡✠☞☛ ✁ ✦✩❫☎▲q❪✫❫☎▲❡❀✑❪❂✮✰❃❊✾ ✌✎✍
✁ ✁ ❃✲❈❉✮❊❀❋❀❍● ■ ✾✲✴ ✻❛✦ ✶✫✾✲❈ ❙✍✹ ✮❊❀q●❉❃ ✄ ❀ ❀✑❫✫❘❥❪☎▲✤●❉✦✩✪ ✄t❈ ❈ ❀✤✮✫❘❥❪✫❈❏✾ ❀✐✮❂✴✷✾❛✶✩✴ ✮ ❤✐✪❇●❭✪✰✶✫✾✲❪ ✾✲✪✰✶✫✾❄✪☎▲q❈ ✂❛✱❢✴P✦✩❘ ❀ ✦✩❘ ✾❚❫✫✪✫❣❂✪✰✦❊❤✐✪ ✶
▲q✴✳● ✍ ◗✫❫☎▲✤●❝✦✩✪ ✑✓✒✕✔✖✞✘✗✚✙ ❱ ✛ ✂ ✒✕✔✖✞✘✗✚✙✢✜✤✣✥✑✦✜
✮✫❘❥❪✫❈❏✾✓❀ ✾✑▲ ❱
SLIDE 7 ✻❛✦ ✶✫✾✲❈ ❙ ☛ ✾✲✴✳●☎✂ ✾☎✶ ✠✩❫❂✮✫✪☎▲✤●❏▲✤●❉✾✑❀ ❅ ★✰✾✓▲❍★❄●♦✪✰✯♣❤❳✾✓❤✝✮✫✪☎▲ ▲❋✦✈❣❂✪✰✦❊❤❞❙ ✌✁✄✂ ☎✝✆ ✞✠✟☛✡✌☞
✌ ✒✕✔ ✙✎✍ ✂ ✗✚✙ ✂ ▲q✴✺❫✰✾✘✾✲✴✺✴✷✦ ✴ ✻❛✦ ✶✫✾✲❈ ❙ ☛ ✾✲✴✳●☎✂ ✾☎✶ ✠✩❫❂✮✫✪☎▲✤●❏▲✤●❉✾✑❀ ❅ ★✰✾✓▲❍★❄●♦✪✰✯♣❤❳✾✓❤✝✮✫✪☎▲ ▲❋✦✈❣❂✪✰✦❊❤❞❙ ✌✁✄✂ ☎✝✆ ✞✠✟☛✡✌☞
✌ ✒✕✔ ✙✎✍ ✂ ✗✚✙ ✂ ▲q✴✺❫✰✾✘✾✲✴✺✴✷✦ ✴ ❅ ★✰✾✓▲❍★❄●♦✪✰✯♣❤❳✾♣★❂✮ ✂ ✾✫❙ ✏ ✌✒✑✓✂ ☎✝✆ ✞✔✟☛✡✌☞ ✑ ✒ ✌ ✒ ✔ ✙✎✍ ✂ ✗✚✙ ✂ ✠ ✕ ✜ ✖ ✗✙✘✛✚✢✜✤✣ ✌ ✒✕✔ ✙✎✍ ✂ ✗✦✥ ✁ ✧ ▲❍✴ ✮❄●❭✪◆✾❄✴③✴P✦✵✴✩★❁❴ ✧ ▲❋✾ ❀ ▲❩✾❄✴③✴P✦✵✴✩★❁❴ ✦ ✴ ✧ ✦✩◗❊❀❁✾✲✴ ✂✰✾☎✶ ✾✲✴✺✴P✦✵✴✪★✤❴ ✶✫✾❄❪❄✾❄✪✰✶
❃☎✦✩✪☎▲❋✾✌✠☎▲ ❱ ❨❋✪✰✦✲▲❋✾✫❙✼❤❳✾❚●❉✶✫✾❄✪☎▲✤●❏✱ ✂✘▲❍★✰✾✓❀ ✾✑▲ ✛ ❤❡●❏▲q★✇▲q★✰✾♣❫✫✪❄●❏✱✳✦✵✴✺❘ ✶
▲❍✴
✦✩✪ ✛ ❜
SLIDE 8 ✻❛✦ ✶✫✾✲❈ ❙✍✹✿✮✧❀q●❉❃
✾❄✴ ✂✲✮☎▲✤●❉✦✩✪❊❀
✆ ★❂✮☎▲r●②❀❡▲q★✰✾✘✶
▲q✴✳●❭◗✫❫☎▲✤●❉✦✩✪ ✦✲✱ ✏ ✌✒✑ ✁ ✄ ❙ ✄ ✹❖●❭✪✰✦✩❘✇● ✮✫❈ ❱ ☎✝✆ ✑ ☞ ✂✁ ✄ ✏ ✌ ✑ ✂ ☎ ✕✝✆ ✆ ✆ ✆ ✌ ✟✞ ✂ ✠ ✕ ☎☛✡ ✌✌☞
✌
✜✑✏ ☞ ✁ ❪ ✴P✦✩◗❂✮✫◗❄●♦❈
✦✲✱ ☎ ★✰✾✧✮✰✶❄❀ ❨ ✾❄✴✺✴✷✦✵✴☛❀✤❜
✕ ✒
✦✲✱r✮✭❃❊✦
❤❡●❏▲q★✂◗❄● ✮❊❀ ✌✁ ❱
0.1 0.2 0.2 0.4 0.6 0.8 1 Probability Empirical Error Rate Possible Error distributions true error
SLIDE 9 ✻❛✦ ✶✫✾✲❈ ❙ ◗❂✮❊❀q●❉❃ ✠✩❫❂✮✫✪☎▲✤●❏▲✤●❉✾✑❀ ✆ ✾❇❫❊❀❁✾✓▲q★✰✾✘❃✲❫✫❘❥❫✫❈❉✮☎▲✤●✌✂✰✾✵❙ ✹
☞ ✜ ✞ ✌✁✄✂ ✂ ☎✝✆ ✑ ☞
✌✒✑✆☎ ☞ ✜ ✆ ✆ ✆ ✌✁✝✂ ✂ ✞ ☞ ✗✙✘✠✟ ✠ ✕☛✡ ✡ ✌ ✗
✠✎✍ ✌✁ ✙✢✜✑✏ ✗ ✁ ❪❂✴✷✦✩◗❂✮✫◗❄●❭❈
✦✲✱❛✦✩◗❊❀❁✾✲✴ ✂❄●❭✪✰✯ ☎ ✦✵✴✐✱✳✾❍❤ ✾✲✴ ✧ ★✰✾✧✮✰✶❄❀ ★ ❨ ✾✲✴✺✴P✦✵✴✔❀ ❜ ❤❡●❏▲q★ ✕ ❃☎✦
❱ ✻❛✦ ✶✫✾✲❈ ❙ ◗❂✮❊❀q●❉❃ ✠✩❫❂✮✫✪☎▲✤●❏▲✤●❉✾✑❀ ☞✡✾☎✾☎✶ ❃☎✦✩✪☎■ ✶✫✾✲✪✰❃❊✾
✾✲✴ ✂❂✮✫❈ ❀✍✌ ❫❊❀❁✾ ▲❍★✰✾ ❪❄●☎✂ ✦✲▲ ✦❂✱ ▲q★✰✾ ❃✲❫✫❘❥❫✫❈❉✮☎▲✤●✌✂✰✾
✹
✄ ☎ ✕ ✞✏✎ ✞ ✂ ✑✆✒✔✓✖✕✘✗ ✍ ✹
✄ ☎ ✕ ✞✙✗ ✞✛✚ ✎✢✜ ✁ ▲❍★✰✾❇❈❉✮ ✴P✯✫✾✑❀ ▲ ▲❍✴③❫✰✾✇✾❄✴③✴P✦✵✴ ❀ ❫✰❃✲★✘▲q★❂✮☎▲ ▲❍★✧✾♣❪ ✴P✦✩◗❂✮✫◗❄●♦❈
✦✲✱ ✦✩◗❊❀ ✾❄✴ ✂
☎ ✦✵✴✿✱✳✾❍❤ ✾✲✴ ✧ ★✰✾✧✮ ✶❄❀✒★❇❨ ✾❄✴③✴P✦✵✴☛❀✤❜✢●②❀✢✮❊▲ ❈❏✾✰✮❊❀ ▲ ✎ ❱
SLIDE 10
❯✵❱ ❅ ★✰✾ ✹ ✮❊❀q●❉❃ ✻❛✦ ✶✫✾✲❈ ❧♠❱ ❅ ★✰✾ ❅ ✾✑❀❋▲ ✟ ✾❍▲✓✹ ✦✩❫✫✪✰✶ s♠❱✁ ❃❊❃✧✮✫❘ ✞ ❀❛✽❖✮❊①☎✦✵✴t✹ ✦✩❫✫✪✰✶ ✂ ❱ ▼☎✄☞❆ ✍q✹✿✮ ✂ ✾✑❀✘✹ ✦✩❫✫✪✰✶ ✆ ❱ ✟ ✮✵❘✘❪✫❈②✾ ❆✿✦✩❘❥❪ ✴P✾✑❀❋❀❍●❝✦✩✪✭✹ ✦✩❫✫✪✰✶ ❅ ✾ ❀ ▲ ✟ ✾❍▲✓✹ ✦✩❫✫✪✰✶♠❙ ✟ ✾❍▲❬▲✤●❭✪✰✯ ✟ ▲ ✮✫✪✰✶ ✮❂✴✷✶❇▲❋✾❊❃✲★✫✪❄●✡✠✩❫✰✾✫❙ ❯✵❱ ❆✼❫☎▲ ▲❍★✰✾✘✶ ✮☎▲ ✮❇●❭✪☎▲❋✦♣▲q✴ ✮❄●❭✪❥❀ ✾✑▲✐✮✫✪✰✶❇▲❋✾ ❀ ▲ ❀❁✾❍▲ ❧♠❱ ❅ ✴ ✮
✦✩✪✇▲❍★✰✾✓▲q✴ ✮❄●❭✪✘❀ ✾✑▲ s♠❱ ❅ ✾✑❀❋▲❡✦✩✪✘▲q★✰✾✓▲❋✾ ❀ ▲ ❀❁✾❍▲ ✆ ★❂✮☎▲❡✶✫✦ ✾✑❀ ✟ ✮✫❘❥❪✫❈②✾ ❆✿✦✩❘❥❪ ❈②✾✌✠❄●❏▲☞✂✘❀✤✮ ✂❇✮✫◗❄✦✩❫☎▲ ▲❍★❄●❏❀❛❘ ✾❍▲❍★✰✦ ✶ ✁
SLIDE 11 ❅ ✾ ❀ ▲ ✟ ✾✑▲✓✹ ✦ ❫✫✪✰✶♠❙ ❅ ★✰✾☎✦✵✴P✾✲❘ ❅ ★✰✾❊✦✵✴P✾✲❘❚❙ ❨ ❅ ✾ ❀ ▲ ✟ ✾✑▲✐✹ ✦✩❫✫✪✰✶ ❜ ♥ ✦✵✴✿✮✫❈ ❈✲❃❄❈❉✮❊❀❋❀q●❏■ ✾✲✴☛❀ ✌ ❴ ✱✳✦ ✴✿✮✫❈ ❈ ✑✇❴ ✱✳✦✵✴ ✮✫❈ ❈ ✎✁ ✒ ✆✟✞ ✠ ✥ ❙ ☎✝✆ ✑ ☞
✹
✒ ✏ ✌ ✑ ✞✏✎ ✙ ✂✁✚ ✠ ✍ ✎ ✆ ✦ ✴③❈②✶ ✞ ❀✢✾✧✮❊❀❍●❝✾ ❀ ▲ ❪ ✴P✦ ✦✲✱❋❙❡❨❋◗ ✂ ❃❊✦✩✪☎▲q✴ ✮✰✶
❱ ✄ ❀❋❀ ❫ ❘ ✾ ✹❖●❭✪
✜ ✞ ✌
✚ ✎ ❨✳❤✐★❄●❉❃✲★✎●②❀❡▲q✴③❫✰✾✓❤✍● ▲❍★✎❪❂✴✷✦✩◗❂✮✫◗❄●❭❈
✠ ✍ ✎ ❜ ❱ ❅ ★✰✾❄✪ ◗ ✂ ✶✫✾❍■ ✪❄●❏▲✤●❝✦✩✪ ❴ ✹
✒ ✏ ✌ ✑ ✞ ✎ ✙ ✚ ✌
0.1 0.15 0.2 0.2 0.4 0.6 0.8 1 Probability Empirical Error Rate Observation and Possible Binomials empirical error
SLIDE 12
0.05 0.1 0.15 0.2 0.2 0.4 0.6 0.8 1 Probability Empirical Error Rate Observation and Consistent Binomials empirical error 0.05 0.1 0.15 0.2 0.2 0.4 0.6 0.8 1 Probability Empirical Error Rate True Error Bound empirical error true error bound
SLIDE 13 ❅ ✾ ❀ ▲ ✟ ✾✑▲✓✹✡✦✩❫✫✪✰✶ ☞✡✦✲▲❋✾✑❀ ▼♠✾✲✴✔✱✳✾☎❃✑▲q❈ ✂❞▲✤●❉✯✩★☎▲ ❙ ❅ ★✰✾✲✴P✾❞✾✌✠❄●②❀ ▲✛▲q✴✺❫✰✾ ✾✲✴✺✴✷✦ ✴✜✴ ✮☎▲❋✾✑❀❡✮✰❃✲★❄●❉✾ ✂
✦✩❫✫✪✰✶ ✬ ✦✧❤❳✾❄✴✛◗❄✦✩❫✫✪✰✶ ✦✲✱✜▲q★✰✾❛❀ ✮✫❘ ✾ ✱✳✦✵✴✺❘ ❱ ▼ ✴✳●❭❘✓✮ ✴ ✂♣❫❊❀❁✾✫❙ ✂ ✾✲✴✳●❏■❑❃✰✮☎▲✤●❉✦✩✪ ✦✲✱☞❀✑❫✰❃❊❃☎✾ ❀ ✱❢❫✫❈♠❈②✾✧✮❂✴③✪❄●❭✪✰✯ ✆ ★❂✮❊▲ ✶✫✦ ✾ ❀ ❅ ✾ ❀ ▲ ✟ ✾✑▲✓✹ ✦✩❫✫✪✰✶✈❘ ✾✧✮✫✪ ✁ ❆ ✦✵✴P✦✩❈ ❈❝✮❂✴ ✂ ❙ ♥ ✦ ✴☞✮✫❈ ❈ ❃✲❈❉✮❊❀ ❀q●❏■❑✾❄✴✔❀ ✌ ❴❑✱✳✦✵✴✼✮✫❈ ❈ ✑❛❴❑✱✳✦✵✴✼✮✫❈ ❈ ✎✁ ✒ ✆✟✞ ✠ ✥ ❙ ☎✝✆ ✑ ☞
✁ ✂ ✌✁ ☎ ✏ ✌✒✑☎✄ ✆✝ ✝ ✞ ✟✡✠ ✚ ☛ ☞ ✕ ✌✎✍ ✏ ✚ ✠✎✍ ✎ ▼ ✴P✦ ✦✲✱❋❙✒✑✟❀❁✾✓▲q★✰✾❚❆✼★✰✾✲✴✺✪✰✦✔✓ ✮✫❪✫❪ ✴P✦ ✠
❴ ✹
✒ ✏ ✌ ✑ ✞ ✎ ✙ ☎ ✏ ✌ ✑ ✄ ✆ ✝ ✝ ✞ ✟✡✠ ✚ ☛ ☞ ✕ ☞✡✦✲▲❋✾✫❙ ☞ ❩❅ ▲✤●❉✯✩★☎▲ ❤✐★✰✾✲✪ ✏ ✌✒✑ ✪✰✾✧✮❂✴ ✆ ❨ ✦✩❫✫✴✜✯✫✦ ✮✫❈✖✕❭❜
SLIDE 14 ❅ ✾✑❀❋▲ ✟ ✾❍▲✓✹ ✦✩❫✫✪✰✶ ❆✿✦✩❘❥❪❂✮ ✴✳●❏❀❁✦✩✪ ❙✁❖❘✘❪❄●❭✴✳●❝❃✰✮✫❈ ✧ ❃❊✦✩✪☎■❑✶✫✾❄✪✰❃☎✾✠★
✂❂✮✫❈ ❀ ☎ ✁ ✪✫❫✫❘❥◗ ✾✲✴ ✦✲✱✜▲❋✾ ❀ ▲❡✾❄✴③✴P✦✵✴☛❀☎❴ ✕ ✁ ✪✫❫✫❘❥◗ ✾✲✴ ✦✲✱ ✾✡✠✲✮✫❘❥❪✫❈❏✾ ❀ ✂ ✂ ☞ ✜ ✄✆☎ ✂ ✚ ✜✑✏ ✚ ✞ ✜ ✗ ✘✛✚ ✒ ✂ ✍ ✜ ✣ ✌ ✒✕✔ ✗ ✙ ✍ ✂ ✗ ✗ ✥ ✙ ☎ ❪❄●❝❃❄❣❚◗❄✦✩❫✫✪✰✶ ✁ ☞ ✜ ✄ ☞ ✄ ✏ ✦❊❤ ✶✫✦♣▲q★✰✾✌✂ ❃☎✦✩❘❥❪❂✮ ✴P✾ ✁
0.25 0.5 0.75 1 1.25 1.5 adult shroom audio balance car votes krkp lung nursery postop shuttle soybean yellow True error (bound) Learning Problem Test Set Bound vs. 2 Sigma Bound bound error
SLIDE 15 ❅ ✾ ❀ ▲ ✟ ✾✑▲✓✹ ✦✩❫✫✪✰✶✄✂❊❀
✦✩✪☎■ ✶✫✾✲✪✰❃❊✾❩✸✳✪ ▲ ✾✲✴ ✂❂✮✫❈ ❯✵❱ ✾❄❘✘❪❄●❭✴✳●❝❃✰✮✫❈ ❃☎✦✩✪☎■ ✶✫✾✲✪✰❃☎✾❚●❭✪☎▲❋✾❄✴ ✂✲✮✫❈ ❀✢✮ ✴P✾✓❀ ✦✩❘ ✾✑▲✤●❭❘❞✾ ❀ ❪ ✾✑❀ ❀q●❭❘✇●❏❀❋▲✤●❉❃ ❧♠❱ ✾❄❘✘❪❄●❭✴✳●❝❃✰✮✫❈ ❃☎✦✩✪☎■ ✶✫✾✲✪✰❃☎✾❚●❭✪☎▲❋✾❄✴ ✂✲✮✫❈ ❀✢✮ ✴P✾✓❀ ✦✩❘ ✾✑▲✤●❭❘❞✾ ❀❡✦✩❪☎▲
▲✤●❉❃ s♠❱ ▲q★✰✾✓▲ ✾✑❀ ▲ ❀❁✾❍▲ ◗ ✦✩❫✫✪✰✶✭✮✫❈ ❤✛✮ ✂❊❀❡❤ ✦✵✴✺❣❍❀ ✸ ✪☎▲ ✾✲✴✺❪ ✴P✾❍▲ ✮☎▲
❙✜✸ ✪☎▲❋✾❄✴ ✮ ❃❍▲✤●✌✂✰✾♣▼❖✴✷✦ ✦✲✱❳✦✲✱ ✬ ✾✧✮❂✴③✪❄●❭✪✰✯
Verifier Learner
Test Set Bound
Evaluate Bound Draw Examples
δ
Classifier C Choose C
SLIDE 16
❯✵❱ ❅ ★✰✾ ✹ ✮❊❀q●❉❃ ✻❛✦ ✶✫✾✲❈ ❧♠❱ ❅ ★✰✾ ❅ ✾✑❀❋▲ ✟ ✾❍▲✓✹ ✦✩❫✫✪✰✶ s♠❱
✞ ❀❛✽❖✮❊①☎✦✵✴t✹ ✦✩❫✫✪✰✶ ✂ ❱ ▼☎✄☞❆ ✍q✹✿✮ ✂ ✾✑❀✘✹ ✦✩❫✫✪✰✶ ✆ ❱ ✟ ✮✵❘✘❪✫❈②✾ ❆✿✦✩❘❥❪ ✴P✾✑❀❋❀❍●❝✦✩✪✭✹ ✦✩❫✫✪✰✶
✞ ❀✓✽❖✮❊①☎✦✵✴✛◗ ✦✩❫✫✪✰✶❄❀ ☎ ✟ ✦✩❘ ✾✑▲✤●❭❘❞✾ ❀ ▲❍★✰✾❇★✰✦✩❈②✶ ✦✩❫☎▲❡❀ ✾✑▲❞●❏❀ ✂✁☎✄✝✆✞✄✟✡✠☞☛ ✱✳✦✵✴✛❈②✾✰✮ ✴✺✪❄●♦✪✰✯ ❱ ☎ ✟ ✦✩❘ ✾✑▲✤●❭❘❞✾ ❀ ❤ ✾✓❤✛✮✫✪☎▲❩◗❄✦✩❫✫✪✰✶❄❀✍▲❋✦◆✯✩❫✲●❉✶✫✾♣❈②✾✧✮❂✴③✪❄●❭✪✰✯ ✌ ❅ ✴ ✮❄●♦✪✘❀ ✾✑▲ ◗ ✦✩❫ ✪✰✶❄❀
✞ ❀✓✽❖✮❊①☎✦ ✴ ◗ ✦ ❫✫✪✰✶
❀ ▲ ▲q✴ ✮❄●❭✪✘❀ ✾❍▲❩◗ ✦✩❫✫✪✰✶ ❱
SLIDE 17 Verifier Learner m examples Draw Training Examples Evaluate Bound "Prior", P(c) classifier, c Choose c δ
Occam’s Razor Bound Protocol
✞ ❀❛✽❖✮❊①☎✦✵✴✝✹ ✦✩❫✫✪✰✶ ❅ ★✰✾❊✦✵✴P✾✲❘❚❙t❨
✞ ❀✍✽❖✮❊①☎✦✵✴✜✹ ✦✩❫✫✪✧✶ ❜ ♥ ✦✵✴✟✮✵❈ ❈ ✧ ❪❂✴
✌ ✙✛✦ ✂ ✾✲✴❵▲q★✰✾ ❃✲❈❉✮❊❀❋❀q●❏■ ✾✲✴☛❀ ✌ ❴❑✱✳✦✵✴✼✮✫❈ ❈ ✑✇❴❑✱✳✦✵✴✼✮✫❈ ❈ ✎
✆✟✞ ✠ ✥ ❙ ☎✝✆ ✑ ☞
✄✂ ✌✎✍ ✌
✹
✒ ✏ ✌ ✑ ✞ ✎☎ ✒ ✌ ✙ ✙ ✂ ✚ ✠ ✍ ✎ ❆ ✦✩❘❥❪❂✮ ✴P✾ ❤❡●❏▲q★✘▲❋✾ ❀ ▲ ❀ ✾✑▲ ◗❄✦✩❫✫✪✰✶♠❙ ✎ ✏ ✎☎✦✒ ✌ ✙ ❱
SLIDE 18
✞ ❀❛✽ ✮❊①❊✦✵✴t✹ ✦✩❫✫✪✰✶♠❙✍▼❖✴P✦ ✦✲✱ ❅ ✾ ❀ ▲ ❀ ✾✑▲❩◗❄✦✩❫✫✪✰✶ ✌
☎✝✆ ✑ ☞
✹
✒ ✏ ✌ ✑ ✞ ✎☎✦✒ ✌ ✙ ✙ ✂ ✚ ✠ ✍ ✎ ✗ ✒ ✌ ✙
✞ ❀❛✽ ✮❊①❊✦✵✴t✹ ✦✩❫✫✪✰✶♠❙✍▼❖✴P✦ ✦✲✱ ❅ ✾ ❀ ▲ ❀ ✾✑▲❩◗❄✦✩❫✫✪✰✶ ✌
☎✝✆ ✑ ☞
☎ ✹
✒ ✏ ✌✒✑ ✞ ✎☎✦✒ ✌ ✙ ✙ ✂✁✚ ✠ ✍ ✎ ✗ ✒ ✌ ✙ ☞✡✾☎✯ ✮☎▲❋✾✓▲❋✦ ✯✫✾✑▲ ❙
☎✝✆ ✑ ☞
✹
✒ ✏ ✌✒✑ ✞✏✎☎✦✒ ✌ ✙ ✙ ✂☎✄ ✎ ✗✖✒ ✌ ✙
SLIDE 19
✞ ❀❛✽ ✮❊①❊✦✵✴t✹ ✦✩❫✫✪✰✶♠❙✍▼❖✴P✦ ✦✲✱ ❅ ✾ ❀ ▲ ❀ ✾✑▲❩◗❄✦✩❫✫✪✰✶ ✌
☎✝✆ ✑ ☞
✹
✒ ✏ ✌ ✑ ✞ ✎☎✦✒ ✌ ✙ ✙ ✂✁✚ ✠ ✍ ✎ ✗ ✒ ✌ ✙ ☞✡✾☎✯ ✮☎▲❋✾✓▲❋✦ ✯✫✾✑▲ ❙
☎✝✆ ✑ ☞
✹
✒ ✏ ✌ ✑ ✞✏✎☎✦✒ ✌ ✙ ✙ ✂ ✄ ✎ ✗✖✒ ✌ ✙ ✄t❪✫❪✫❈✎✂ ❫ ✪❄●❉✦✩✪◆◗ ✦✩❫✫✪✰✶♠❙ ☎✝✆ ✒✁ ✦✵✴✄✂ ✙ ☎ ☎✝✆ ✒✁ ✙ ✄ ☎✝✆ ✒☎✂ ✙ ✴✷✾❄❪❄✾✰✮☎▲❋✾❊✶✩❈✎✂ ❱ ☎✝✆ ✑ ☞
✌✎✍ ✌✁✂✁ ✹
✒ ✏ ✌✒✑ ✞ ✎☎✦✒ ✌ ✙ ✙ ✂☎✄ ✖ ✆ ✎☎✦✒ ✌ ✙ ✂ ✎
✞ ❀❛✽ ✮❊①❊✦✵✴t✹ ✦✩❫✫✪✰✶♠❙✍▼❖✴P✦ ✦✲✱ ❅ ✾ ❀ ▲ ❀ ✾✑▲❩◗❄✦✩❫✫✪✰✶ ✌
☎✝✆ ✑ ☞
☎ ✹
✒ ✏ ✌✒✑ ✞ ✎☎✦✒ ✌ ✙ ✙ ✂✁✚ ✠ ✍ ✎ ✗ ✒ ✌ ✙ ☞✡✾☎✯ ✮☎▲❋✾✓▲❋✦ ✯✫✾✑▲ ❙
☎✝✆ ✑ ☞
✹
✒ ✏ ✌✒✑ ✞✏✎☎✦✒ ✌ ✙ ✙ ✂ ✄ ✎ ✗✖✒ ✌ ✙ ✄t❪✫❪✫❈✎✂ ❫ ✪❄●❉✦✩✪◆◗ ✦✩❫✫✪✰✶♠❙ ☎✝✆ ✒✁ ✦✵✴✄✂ ✙ ☎ ☎✝✆ ✒✁ ✙ ✄ ☎✝✆ ✒☎✂ ✙ ✴✷✾❄❪❄✾✰✮☎▲❋✾❊✶✩❈✎✂ ❱ ☎✝✆ ✑ ☞
✌✎✍ ✌✁✂✁ ✹
✒ ✏ ✌✒✑ ✞ ✎☎✦✒ ✌ ✙ ✙ ✂☎✄ ✖ ✆ ✎☎✦✒ ✌ ✙ ✂ ✎ ☞✡✾☎✯ ✮☎▲❋✾ ✮✰✯ ✮❄●♦✪✇▲❋✦◆✯✫✾❍▲❩❪❂✴✷✦ ✦✲✱ ❱ ☞✡✾✡✠☎▲☎❙ ❲ ✴ ✮✫❪✫★❄●❉❃✧✮✫❈ ❪ ✴P✦ ✦✲✱
SLIDE 20 0.1 0.2 0.4 0.6 0.8 1 Probability Empirical Error Rate Occam’s Razor Tail Cuts cut
✟✮✰❃✲★ ❃✲❈❉✮❊❀ ❀q●❏■❑✾❄✴✼●②❀❞✮ ✹❖●❭✪✰✦✩❘✇● ✮✫❈ ❤❡●❏▲q★❇✮ ✶
❀q●②①☎✾✓▲ ✮❄●❭❈ ❃✲❫☎▲ ❱ ✆
★❄●❝✯✩★ ❪ ✴✷✦✩◗❂✮✵◗❄●♦❈
✴✿✱✺✮✫❈ ❈ ❀❩●❭✪❚✮✵✪☛✂✇▲ ✮❄●❭❈ ❱
0.1 0.2 0.2 0.4 0.6 0.8 1 Probability Empirical Error Rate Occam Bound Calculation empirical error
❅ ★✰✾✘❃❄★✰✦❄❀ ✾❄✪ ❃❄❈❝✮❊❀ ❀q●❏■❑✾❄✴✛★❂✮❊❀✢✮✫✪◆❫✫✪✫❣❂✪✰✦❊❤✐✪❥▲q✴✺❫✰✾✘✾✲✴✺✴✷✦✵✴✛✴ ✮☎▲ ✾ ❱
SLIDE 21 0.1 0.2 0.2 0.4 0.6 0.8 1 Probability Empirical Error Rate True Error Rate Bound empirical error true error bound
✹✡✦✩❫✫✪✰✶ ✁ ▲q★✰✾ ❈❉✮❂✴✷✯✫✾ ❀ ▲t▲q✴③❫✰✾❛✾❄✴③✴P✦✵✴✼✴ ✮☎▲❋✾❞✱✳✦✵✴ ❤✐★❄●❉❃✲★✓▲q★✰✾✓✦✩◗❊❀❁✾✲✴ ✂❂✮☎▲✤●❉✦✩✪❚●②❀ ✪✰✦✲▲✢●❭✪✘▲q★✰✾❩▲ ✮❄●❭❈ ❱
✞ ❀❛✽❖✮❊①☎✦✵✴✝✹ ✦✩❫✫✪✰✶✂✽✿✾ ❀✑❫✫❈ ▲❬❀ ☛ ✾☎❃❂●❏❀❍●❉✦✩✪ ❅ ✴✷✾❊✾✑❀ ☎ ✸ ☛✛s ✶✫✾☎❃❂●②❀q●❉✦✩✪✘▲q✴P✾☎✾✁ ❪❂✴③❫✫✪❄●❭✪✰✯ ☎ ❪ ✴P✦✩◗❂✮✫◗❄●❭❈
✦✲✱☞✱✺✮❄●❭❈ ❫✫✴P✾ ✁ ✎ ✂ ✆✄✂ ✠ ☎ ☛
❃❄✴✷✾✑▲❋✾✂❪ ✴P✦✩◗✫❈❏✾❄❘✢❀✇✱❢✴P✦✩❘ ✑✜❆ ✸t✶ ✮☎▲❁✮✫◗❂✮❊❀ ✾✭✦✲✱✘✻✘✮✰❃❄★❄●❭✪✰✾✂✬ ✾✰✮ ✴✺✪❄●♦✪✰✯ ❪ ✴P✦✩◗✫❈②✾✲❘✢❀ ❱ ☎ ✠ ✆ ✆✆☎ ✦✲✱❳✶ ✮❊▲ ✮ ❫❊❀ ✾☎✶✎✱✳✦✵✴✿▲q✴ ✮❄●❭✪❄●♦✪✰✯✎❀ ✾✑▲ ◗❄✦✩❫✫✪✰✶❄❀ ☎✞✝ ✆✆☎✠✟ ☞ ✆✆☎ ❅ ✴ ✮❄●❭✪☛✡ ❅ ✾✑❀ ▲ ❀ ❪✫❈
✱✳✦✵✴ ▲❋✾ ❀ ▲ ❀❁✾❍▲ ◗ ✦✩❫✫✪✰✶❄❀ ☎ ✻
❀❁✾✲❈②✾☎❃✑▲✤●❉✦✩✪ ◗❄● ✮❊❀
SLIDE 22 0.25 0.5 0.75 1 adult shroom audio balance car votes krkp lung nursery postop shuttle soybean yellow True error (bound) Learning Problem Test Set Bound vs. Occam’s Razor Bound
✬ ✾✑✱ ▲ ◗❂✮ ✴ ✁ ★✰✦✩❈②✶✫✦✩❫☎▲ ◗ ✦✩❫✫✪✰✶ ❴ ✴✳●❉✯✩★☎▲ ◗❂✮❂✴ ✁
✞ ❀✓✽❖✮❊①☎✦ ✴t✹ ✦✩❫✫✪✰✶
❯✵❱ ❅ ★✰✾ ✹ ✮❊❀q●❉❃ ✻❛✦ ✶✫✾✲❈ ❧♠❱ ❅ ★✰✾ ❅ ✾✑❀❋▲ ✟ ✾❍▲✓✹ ✦✩❫✫✪✰✶ s♠❱✁ ❃❊❃✧✮✫❘ ✞ ❀❛✽❖✮❊①☎✦✵✴t✹ ✦✩❫✫✪✰✶ ✂ ❱ ▼☎✄☞❆ ✍q✹✿✮ ✂ ✾✑❀✘✹ ✦✩❫✫✪✰✶ ✆ ❱ ✟ ✮✵❘✘❪✫❈②✾ ❆✿✦✩❘❥❪ ✴P✾✑❀❋❀❍●❝✦✩✪✭✹ ✦✩❫✫✪✰✶
SLIDE 23 Verifier Learner m examples Draw Training Examples Evaluate Bound
PAC−Bayes Bound
"Prior", P(c) "Posterior", Q(c) Choose Q(c) δ
▼☎✄☞❆ ✍q✹✿✮ ✂ ✾✑❀✘✹ ✦✩❫✫✪✰✶♠❙✐✹ ✮❊❀q●❉❃ ✠✩❫❂✮✫✪☎▲✤●❏▲✤●❉✾✑❀
✆ ☞☎✄ ✌
✮ ✂ ✾✲✴ ✮✰✯✫✾❩▲q✴✺❫✰✾✇✾❄✴③✴P✦✵✴ ✏
✂✂✁ ✆ ☞☎✄ ✏ ✌✒✑ ✁ ✮ ✂✰✾❄✴ ✮✰✯✫✾❩▲❍✴ ✮❄●❭✪ ✾✲✴✺✴✷✦ ✴
SLIDE 24 ▼ ✄✼❆ ✍ ✹ ✮ ✂ ✾ ❀✘✹✡✦✩❫✫✪✰✶♠❙ ❅ ★✰✾❊✦✵✴P✾✲❘ ❅ ★✰✾❊✦✵✴P✾✲❘❚❙ ❨ ▼☎✄☞❆ ✍ ✹ ✮ ✂✑✾ ❀ ✹✡✦✩❫✫✪✰✶ ❜ ♥ ✦ ✴ ✮✫❈ ❈ ✧ ❪❂✴
✦✒ ✌ ✙✈✦ ✂✰✾❄✴❛▲q★✰✾ ❃✲❈❉✮❊❀❋❀q●❏■ ✾✲✴☛❀ ✌ ❴❑✱✳✦✵✴✼✮✫❈ ❈ ✑✇❴❑✱✳✦✵✴✼✮✫❈ ❈ ✎
✆✟✞ ✠ ✥ ❙ ☎✝✆ ✑ ☞
✌ ✙ ✍✁ ✬
☎
✒
✎✙ ✄ ✟ ✠ ✜✝✆ ✚ ☛ ✕ ✌ ✏ ✚ ✠✎✍ ✎ ❤✐★✰✾✲✴P✾✫❙
✒
✎✙ ✂ ✁ ✆ ☞ ✄ ✟ ✠ ✄✟✞ ✆✡✠ ☛ ✞ ✆✡✠
✒✌☞ ✂☎✂ ✗ ✙ ✂ ☞ ✟✡✠✎✍ ✏ ✄ ✒✡✠✎✍✑☞ ✙ ✟✡✠ ✚ ✏ ✍ ✚ ✏ ✏ ✱ ✦ ✴✒☞ ✄ ✗ ❅ ★✰✾♣❪❂✴✷✦ ✦✲✱ ❫❊❀❁✾✑❀❡▲③❤ ✦✝✠✩❫✲●❉❃❄❣❚❈②✾✲❘❥❘✓✮❊❀ ✬ ✾❄❘❥❘❩✮ ❯ ❙ ♥ ✦ ✴☞✮✫❈ ❈ ✦✒ ✌ ✙❍❴ ✱ ✦ ✴✼✮✫❈ ❈ ✑✇❴❑✱ ✦ ✴☞✮✫❈ ❈ ✎
✠ ✥ ❙ ☎✝✆ ✑ ☞ ✂✁ ✠ ✁ ✆ ☞ ☛ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌ ✑ ✙ ☎ ✕ ✄ ✠ ✎ ✡ ✚ ✠✎✍ ✎
SLIDE 25 ✬ ✾❄❘❥❘❩✮ ❯ ❙ ♥ ✦ ✴☞✮✫❈ ❈ ✦✒ ✌ ✙❍❴ ✱ ✦ ✴✼✮✫❈ ❈ ✑✇❴❑✱ ✦ ✴☞✮✫❈ ❈ ✎
✠ ✥ ❙ ☎✝✆ ✑ ☞ ✂✁ ✠ ✁ ✆ ☞ ☛ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ☎ ✕ ✄ ✠ ✎ ✡ ✚ ✠✎✍ ✎ ▼ ✴P✦ ✦✲✱❋❙
✁ ✑ ☞
✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ✂ ✖
☎✝✆ ✑ ☞
✄ ✏ ✌ ✑ ✂ ☎ ✕ ✞ ✠ ☎✝✆ ✑ ☞
✌✒✑ ✂ ☞ ✜ ✂ ✂ ✕ ✄ ✠ ✬ ✾❄❘❥❘❩✮ ❯ ❙ ♥ ✦ ✴☞✮✫❈ ❈ ✦✒ ✌ ✙❍❴ ✱ ✦ ✴✼✮✫❈ ❈ ✑✇❴❑✱ ✦ ✴☞✮✫❈ ❈ ✎
✠ ✥ ❙ ☎✝✆ ✑ ☞ ✂✁ ✠ ✁ ✆ ☞ ☛ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ☎ ✕ ✄ ✠ ✎ ✡ ✚ ✠✎✍ ✎ ▼ ✴P✦ ✦✲✱❋❙
✁ ✑ ☞
✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ✂ ✖
☎✝✆ ✑ ☞
✄ ✏ ✌ ✑ ✂ ☎ ✕ ✞ ✠ ☎✝✆ ✑ ☞
✌ ✑ ✂ ☞ ✜ ✂ ✂ ✕ ✄ ✠ ✌ ✁✝✑ ☞
✁ ✆ ☞ ☛ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ✂ ✕ ✄ ✠
SLIDE 26 ✬ ✾❄❘❥❘❩✮ ❯ ❙ ♥ ✦ ✴☞✮✫❈ ❈ ✦✒ ✌ ✙❍❴ ✱ ✦ ✴✼✮✫❈ ❈ ✑✇❴❑✱ ✦ ✴☞✮✫❈ ❈ ✎
✠ ✥ ❙ ☎✝✆ ✑ ☞ ✂✁ ✠ ✁ ✆ ☞ ☛ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌ ✑ ✙ ☎ ✕ ✄ ✠ ✎ ✡ ✚ ✠✎✍ ✎ ▼ ✴P✦ ✦✲✱❋❙
✁ ✑ ☞
✠ ☎✝✆ ✑ ☞ ✂✁ ✒ ✏ ✌ ✑ ✙ ✂ ✖
☎✝✆ ✑ ☞
✄ ✏ ✌ ✑ ✂ ☎ ✕ ✞ ✠ ☎✝✆ ✑ ☞
✌✒✑ ✂ ☞ ✜ ✂ ✂ ✕ ✄ ✠ ✌ ✁✝✑ ☞
✁ ✆ ☞ ☛ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌ ✑ ✙ ✂ ✕ ✄ ✠ ✑✟❀ ✾❩▲q★✰✾ ✻❥✮ ✴✺❣✤✦ ✂♣●❭✪✰✾ ✠✩❫❂✮✫❈
❨
✆ ❴ ✁
✂ ❴ ✌ ☎✝✆ ✒✕ ✁✁ ☛ ✙ ☎ ✎ ❜ ❙
✑ ☞
✠ ✁ ✆ ☞ ☛ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ☎ ✕ ✄ ✠ ✎ ✡ ☎ ✎ ✌ ❈②✾✲❘❥❘✓✮ ✬ ✾❄❘❥❘❩✮ ❧ ❙ ♥ ✦ ✴☞✮✫❈ ❈
✌ ✙✑❙ ✂☎✄✝✆✟✞✡✠☞☛ ✌ ✍✏✎✒✑ ✆✔✓ ✁ ✞✖✕ ✄ ✑ ✠ ✜ ✚
✒ ✏
✂☎✂
SLIDE 27 ✬ ✾❄❘❥❘❩✮ ❧ ❙ ♥ ✦ ✴☞✮✫❈ ❈
✌ ✙✑❙ ✂☎✄✝✆✟✞✡✠☞☛ ✌ ✍✏✎✒✑ ✆✔✓ ✁ ✞ ✕ ✄ ✑ ✠ ✜ ✚
✒ ✏
✂☎✂
▼ ✴P✦ ✦✲✱❋❙ ✚ ✜ ✁ ✆ ☞ ✄ ✟✡✠ ✚ ✠ ✕ ✕ ✏ ✌✒✑ ✡ ✆ ✁ ✕ ✄ ✑ ✓ ✞ ✚ ✏ ✆ ✓ ✠ ✁✁ ✌✄✂ ✕ ✄ ✑✆☎ ✂ ✁ ✆ ☞☎✄ ✝ ✏ ✌✒✑ ✟✡✠ ✠ ✌✁ ✄ ✒ ✠ ✍ ✏ ✌✒✑ ✙ ✟✡✠ ✠ ✠✎✍ ✌✁✟✞ ✍ ✁ ✆ ☞☎✄ ✟✡✠ ✠ ✕ ✕ ✏ ✌✒✑ ✡ ✕ ✬ ✾❄❘❥❘❩✮ ❧ ❙ ♥ ✦ ✴☞✮✫❈ ❈
✌ ✙✑❙ ✂☎✄✝✆✟✞✡✠☞☛ ✌ ✍✏✎ ✑ ✆✔✓ ✁ ✞ ✕ ✄ ✑ ✠ ✜ ✚
✒ ✏
✂☎✂
▼ ✴P✦ ✦✲✱❋❙ ✚ ✜ ✁ ✆ ☞ ✄ ✟✡✠ ✚ ✠ ✕ ✕ ✏ ✌✒✑ ✡ ✆ ✁ ✕ ✄ ✑ ✓ ✞ ✚ ✏ ✆ ✓ ✠ ✁✁ ✌✄✂ ✕ ✄ ✑ ☎ ✂ ✁ ✆ ☞☎✄ ✝ ✏ ✌✒✑ ✟✡✠ ✠ ✌
✒ ✠ ✍ ✏ ✌✒✑ ✙ ✟✡✠ ✠ ✠✎✍ ✌
✍ ✁ ✆ ☞☎✄ ✟✡✠ ✠ ✕ ✕ ✏ ✌✒✑ ✡ ✕ ✥✧✾❄✪❊❀ ✾❄✪ ✞ ❀❩●❭✪✰✾ ✠✩❫❂✮✫❈
✠ ❃☎✦✩✪✰❃✧✮ ✂ ✾ ✌ ✁ ✠✖✒✕ ✙ ✚ ✠✖✒ ✁
❜✑❙ ✁ ✆ ☞☎✄ ✝ ✏ ✌✒✑ ✟✡✠ ✠ ✌
✒ ✠ ✍ ✏ ✌✒✑ ✙ ✟✡✠ ✠ ✠ ✍ ✌
✚ ✏
✟ ✠ ✠
✍ ✏
✂ ✟ ✠ ✠ ✠✎✍
SLIDE 28 ✬ ✾❄❘❥❘❩✮ ❧ ❙ ♥ ✦ ✴☞✮✫❈ ❈
✌ ✙✑❙ ✂☎✄✝✆✟✞✡✠☞☛ ✌ ✍✏✎ ✑ ✆✔✓ ✁ ✞✖✕ ✄ ✑ ✠ ✜ ✚
✒ ✏
✂☎✂
▼ ✴P✦ ✦✲✱❋❙ ✚ ✜ ✁ ✆ ☞ ✄ ✟✡✠ ✚ ✠ ✕ ✕ ✏ ✌✒✑ ✡ ✆ ✁ ✕ ✄ ✑ ✓ ✞ ✚ ✏ ✆ ✓ ✠ ✁✁ ✌✄✂ ✕ ✄ ✑✆☎ ✂ ✁ ✆ ☞☎✄ ✝ ✏ ✌✒✑ ✟✡✠ ✠ ✌
✒ ✠ ✍ ✏ ✌✒✑ ✙ ✟✡✠ ✠ ✠✎✍ ✌
✍ ✁ ✆ ☞☎✄ ✟✡✠ ✠ ✕ ✕ ✏ ✌✒✑ ✡ ✕ ✥✧✾❄✪❊❀ ✾❄✪ ✞ ❀❩●❭✪✰✾ ✠✩❫❂✮✫❈
✠ ❃☎✦✩✪✰❃✧✮ ✂ ✾ ✌ ✁ ✠✖✒✕ ✙ ✚ ✠✖✒ ✁
❜✑❙ ✁ ✆ ☞☎✄ ✝ ✏ ✌ ✑ ✟✡✠ ✠ ✌
✒ ✠ ✍ ✏ ✌ ✑ ✙ ✟✡✠ ✠ ✠ ✍ ✌
✚ ✏
✟ ✠ ✠
✍ ✏
✂ ✟ ✠ ✠ ✠✎✍
✁ ✆ ☞☎✄ ✟✡✠ ✠ ✕ ✕ ✏ ✌✒✑ ✡ ✕ ☎ ✁ ✆ ☞☎✄ ✟✡✠ ✁ ✜✄✂ ✞✆☎ ✆ ✑ ✠ ✕ ✂ ✁ ✆ ☞ ✄ ✕✞✝ ✒ ✏ ✌✒✑ ✙ ✕ ☎✟✝
✂ ✌ ❈②✾✲❘❥❘✓✮ ▼ ✄✼❆ ✍q✹ ✮ ✂ ✾ ❀✓◗ ✦✩❫✫✪✰✶♠❙✍▼❖✴P✦ ✦✲✱ ✬ ✾✑▲ ✡✠ ✒ ✌ ✙ ✂ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌ ✑ ✙ ✁ ✆ ☞ ☛ ✚ ☛✌☞ ✑ ✆✟✓ ✁ ✞ ☎ ✆ ✑ ✠ ✦✒ ✌ ✙
SLIDE 29 ▼ ✄✼❆ ✍q✹ ✮ ✂ ✾ ❀✓◗ ✦✩❫✫✪✰✶♠❙✍▼❖✴P✦ ✦✲✱ ✬ ✾✑▲
✒ ✌ ✙ ✂ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ✁ ✆ ☞ ☛ ✚ ☛✌☞ ✑ ✆✟✓ ✁ ✞ ☎ ✆ ✑ ✠ ✦✒ ✌ ✙ ✌ ✆ ☎
✒
✙ ✂ ✁ ✆ ☞ ✄ ✟ ✠
✌ ✙ ✦✒ ✌ ✙ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ✁ ✆ ☞ ☛ ✠ ☎ ✆ ✑ ☞
✒ ✏ ✌ ✑ ✙ ✂
✒
✎✙ ✍ ✁ ✆ ☞ ✄ ✟✡✠ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ✄ ✟✡✠ ✁ ✆ ☞ ☛ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ▼ ✄✼❆ ✍q✹ ✮ ✂ ✾ ❀✓◗ ✦✩❫✫✪✰✶♠❙✍▼❖✴P✦ ✦✲✱ ✬ ✾✑▲
✒ ✌ ✙ ✂ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ✁ ✆ ☞ ☛ ✚ ☛✌☞ ✑ ✆✟✓ ✁ ✞ ☎ ✆ ✑ ✠ ✦✒ ✌ ✙ ✌ ✆ ☎
✒
✙ ✂ ✁ ✆ ☞ ✄ ✟ ✠
✌ ✙ ✦✒ ✌ ✙ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ✁ ✆ ☞ ☛ ✠ ☎ ✆ ✑ ☞ ✂✁ ✒ ✏ ✌✒✑ ✙ ✂
✒
✎✙ ✍ ✁ ✆ ☞ ✄ ✟✡✠ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ✄ ✟✡✠ ✁ ✆ ☞ ☛ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ✌ ✁ ✆ ☞☎✄ ✟✡✠ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ☎
✒
✎✙ ✄ ✟✡✠ ✁ ✆ ☞ ☛ ✠ ☎✝✆ ✑ ☞
✒ ✏ ✌✒✑ ✙ ✬ ✾✲❘❥❘✓✮ ❯ ✆ ❧ ✌✂❪ ✴P✦ ✦✲✱
SLIDE 30 ▼ ✄✼❆ ✍q✹ ✮ ✂ ✾✑❀✘✹ ✦✩❫✫✪✰✶♠❙ ✄ ❪✫❪✫❈
✸✖❀❡▲q★✰✾♣▼☎✄☞❆ ✍ ✹ ✮ ✂ ✾✑❀❛◗ ✦ ❫✫✪✰✶✎▲✤●❉✯✩★☎▲❡✾❄✪✰✦✩❫✰✯✩★✘▲❋✦✈◗ ✾❇❫❊❀ ✾✑✱❦❫✫❈ ✁ ✄t❪✫❪✫❈
❙☞▲❍✴③❫✰✾✇✾❄✴③✴P✦✵✴✛◗ ✦✩❫✫✪✰✶❄❀✍✱✳✦ ✴ ✟ ❫✫❪✫❪ ✦✵✴✔▲ ✞✜✾☎❃✑▲❋✦✵✴ ✻✘✮✰❃✲★❄●❭✪✰✾✑❀ ❱ ❆☞❈❉✮❊❀❋❀❍● ■ ✾✲✴✿✱✳✦✵✴✺❘ ❙ ✌ ✒✕✔ ✙ ✂ ❀❍●❝✯✩✪ ✒✁ ✂☎✄
✙ ✄t❈ ❀ ✦ ✪✰✦✲▲❋✾✵❙ ✆ ✦ ✴③❣ ◗ ✂ ✻✘✮☎▲❬▲✤● ✮❊❀ ✟ ✾❊✾☎✯✫✾❄✴ ✮✫❪✫❪✫❈ ✂❄●❭✪✰✯ ▲❋✦ ❲ ✮✫❫❊❀ ❀q● ✮✫✪ ▼❖✴P✦ ✍ ❃☎✾✑❀ ❀ ✾ ❀ ❱ ▼ ✄✼❆ ✍q✹ ✮ ✂ ✾✑❀✘✻✘✮ ✴P✯
◗ ✦✩❫✫✪✰✶ ✆ ✝ ✒✕✔ ✙ ✂ ✞✠✟ ✞ ✚ ✡ ☎☞☛ ✁ ✏ ✞☞✌✎✍ ☎ ✁ ❃✲❫✫❘❥❫✫❈❉✮☎▲✤●✌✂✰✾❛✶
▲q✴✳●♦◗✫❫☎▲
❲ ✮✫❫❊❀ ❀q● ✮✫✪
✞ ✂ ✙ ✂ ✏ ✒ ✂ ✞ ✠ ✙✒✑✓✏ ✒ ✆✟✞ ✠ ✙✕✔ ✏ ✚ ❤✐★✰✾❄✴✷✾✢■ ✴☛❀ ▲ ✶
✮❂✴ ✮✵❈ ❈②✾✲❈ ▲ ✦
✖ ✒
✂ ✡✁✗ ✘✚✙✛✗ ✞ ✜✢✜ ✗ ✘ ✜✢✜✢✜✢✜ ✗ ✞ ✜✢✜ ✁ ✪✰✦✵✴✺❘❩✮✵❈
❘✓✮ ✴P✯
✏
✞ ✂ ✙ ✑ ✂ ✁ ✗ ✞✔✟☛✡✌☞ ✑ ✆ ✝ ✒ ✂✣✖ ✒
✗ ✙ ✙ ✁ ❀ ▲ ✦ ❃❄★❂✮❊❀ ▲✤●❉❃✇✾✲✴✺✴✷✦✵✴✝✴ ✮☎▲❋✾ ❆ ✦✵✴P✦✩❈ ❈❝✮❂✴ ✂ ❙ ❨ ▼ ✄✼❆ ✍ ✹ ✮ ✂ ✾ ❀ ✻✘✮ ✴P✯
✹ ✦✩❫✫✪✰✶ ❜ ♥ ✦✵✴ ✮✫❈ ❈✿✶
✑✇❴ ✱ ✦ ✴☞✮✫❈ ❈ ✎
✠ ✥ ❙ ☎✝✆ ✑ ☞ ✂✁ ✁ ✂
✞ ✂ ✁ ✆ ✍✁ ✬
✞ ✂ ✙ ✑ ✂☎✂
✞ ✂ ✙
☎
☎ ✄ ✟✡✠ ✜ ✆ ✚ ☛ ✕ ✌✎✍ ✏ ✚ ✠ ✍ ✎
SLIDE 31 ▼☎✄✼❆ ✍q✹✿✮ ✂ ✾✑❀✘✻✘✮❂✴✷✯
✹ ✦✩❫ ✪✰✶♠❙✐▼❖✴✷✦ ✦✲✱ ✟ ▲ ✮❂✴✉▲ ❤✍● ▲q★ ▼☎✄☞❆ ✍ ✹ ✮ ✂✑✾ ❀❛◗❄✦✩❫✫✪✰✶♠❙
✌ ✙ ☎✝✆ ✑ ☞
✌ ✙ ✍
✂☎✂
☎
✒
✎✙ ✄ ✟✡✠ ✜ ✆ ✚ ☛ ✕ ✌ ✏ ✚ ✠ ✍ ✎ ✟ ✾❍▲
✏ ✒ ✆✟✞ ✠ ✙✕✔
✞ ✂ ✙ ✂ ✏ ✒ ✂ ✞ ✠ ✙ ✑ ✏ ✒ ✆✟✞ ✠ ✙✕✔ ✏ ✚ ❤❡●❏▲q★✘■ ✴✔❀❋▲❡✶
❪❂✮❂✴ ✮✫❈ ❈❉✮✫❈ ▲ ✦
❲ ✮✫❫❊❀❋❀q● ✮✫✪✛✌ ❃❊✦ ✦ ✴✷✶
✂❊❀❋▲❋✾✲❘ ✴✷✾❊✦✵✴✳●❝✾❄✪☎▲ ✮✫◗✫❈②✾ ✌
✒
✂
✒ ✏ ✒✢✆✟✞ ✠ ✙ ✔ ✏ ✚ ✂☎✂ ✏ ✒ ✆✟✞ ✠ ✙ ✔ ✏ ✚ ✙ ✄✑ ✬ ✒ ✏ ✒ ✂ ✞✡✠ ✙ ✂☎✂ ✏ ✒ ✆✟✞ ✠ ✙ ✙ ✂ ✂ ☎ ☞
w ’ w ’ w ’ x x w ’ w ’ x x x w ’ x w ’ w ’ w . = . . + ∼Ν(0,1) µ ∼Ν( ,1) ~Q
✏
✞ ✂ ✙ ✑ ✂ ✁ ✗ ✞✠✟☛✡✌☞ ✑ ✟ ✗ ✘ ✁ ☞ ✄ ✞ ✗ ✘ ✟
✜
✍ ✂ ❀q●❉✯✩✪
✁ ✄
✂ ✂ ✂ ✁ ✗ ✞✠✟☛✡✌☞ ✑ ✁ ✘ ✁ ✂✄✂ ☞✆☎ ✞
✚ ✠ ✁ ✘ ✁✝ ☞✞☎ ✞ ✟ ✟ ✚ ✠ ✜
✒ ✂ ✁ ✜✢✜ ✔ ✜✢✜ ✄ ✂ ✁ ✟ ✔ ✟ ✙ ☎ ✆ ✂ ✑✟❀ ✾❇❪ ✴P✦✩❪ ✾✲✴✔▲✤●❉✾✑❀r✦✲✱ ❲ ✮✫❫❊❀❋❀q● ✮✫✪❊❀❡▲❋✦♣■ ✪✲●②❀ ★◆❪ ✴P✦ ✦✲✱
SLIDE 32 ▼☎✄✼❆ ✍q✹ ✮ ✂ ✾✑❀✘✻✘✮❂✴P✯
❪ ✴P✦ ✦❂✱❋❙❳▲q★✰✾✘✾❄✪✰✶ ✂ ✁ ✗ ✞✠✟☛✡✌☞ ✑ ✁✁ ✁ ☞✆☎ ✞ ✟ ✟ ✚ ✠ ✁ ✘ ✁✝ ☞✞☎ ✞ ✟ ✟ ✚ ✠ ✜
✗ ✂✛☎ ✍ ✗✄✂ ✁ ✍ ✗ ✂ ✁ ✟ ✔ ✟ ✔ ✜✢✜ ✌ ✏ ❅ ★✰✾❛❀ ❫✫❘ ✦✲✱☞▲③❤ ✦ ❲ ✮✫❫❊❀❋❀q● ✮✫✪❊❀❩●②❀❞✮ ❲ ✮✫❫❊❀❋❀❍● ✮✫✪ ✌ ✂ ✁ ✗ ✞✔✟☛✡✌☞ ✑ ✁ ☎ ☞✞☎ ✠ ✟ ✟ ✚ ✆ ✆ ✌ ✝ ✆ ✌ ✂ ✂ ✡ ✜ ✒ ✗ ✂ ☎ ✍ ✗✞✝ ✙ ✂ ✁ ✗ ✞✔✟ ✡✌☞ ✑ ✁ ☎ ☞✆☎
✟ ✌ ✟ ✡✠ ✆☞☛ ✌ ☎ ✌ ✂ ✜ ✒ ✗ ✂ ☎ ✍ ✗✄✝ ✙ ✂ ✁ ✗ ✞✔✟☛✡✌☞ ✑ ✆ ✝ ✒ ✂✣✖ ✒
✗ ✙ ✙ ✌ ❆✿✦✵✴✷✦✩❈ ❈❉✮ ✴ ✂ ▼☎✄✼❆ ✍q✹ ✮ ✂ ✾✑❀✧❙ ✄t❪✫❪✫❈
✟ ✞❡✻ ✟ ✞❡✻ ❃❄❈❝✮❊❀ ❀q●❏■❑✾❄✴ ❙ ✌ ✒✕✔ ✙ ✂ ❀q●❉✯✩✪
✜ ✖ ✗ ✘✛✚ ✍ ✗ ☎ ✒✕✔ ✗ ✞✕✔ ✙ ✌ ✏ ☎
❣ ✾✲✴✺✪✰✾✲❈ ✌ ✂
✍ ☎ ✒✕✔ ✗ ✞ ✔ ✙ ✂
✒✕✔ ✗ ✙ ✄
✒ ✔ ✙ ❀ ✦♠❙
✄
✂ ✞ ✜ ✗ ✘✛✚ ✍ ✗ ☎ ✒✕✔ ✗ ✞✕✔ ✙
✂ ✞ ✗ ✟ ✏ ✍ ✗ ✍ ✏ ☎ ✒✕✔ ✗ ✞ ✔ ✏ ✙ ✌ ✖ ✒✕✔✖✞ ✗ ✙ ✂ ✞ ✜ ✗ ✘✛✚ ✍ ✗ ☎ ✒✕✔ ✗ ✞✕✔ ✙ ✑ ☎ ✒ ✔✟✞✘✔ ✙ ✞ ✜ ✟ ✜ ✗ ✟ ✏ ✘✛✚ ✟ ✚ ✍ ✗ ✍ ✏ ☎ ✒✕✔ ✗ ✞ ✔ ✏ ✙ ✌ ✻✘✮❂✴✷✯
◗ ✦✩❫✫✪✰✶✭✮✫❪✫❪✫❈
✦✵✴✔▲ ✂✰✾❊❃❍▲❋✦ ✴✛❘❩✮ ❃✲★❄●❭✪✰✾✑❀ ❱ ❀
SLIDE 33 ▼☎✄✼❆ ✍q✹ ✮ ✂ ✾✑❀✘✻✘✮❂✴P✯
✦✩❫✫✪✰✶✂✽ ✾ ❀✑❫✫❈ ▲❬❀
0.2 0.4 0.6 0.8 1 liverbostonpima ion sonar dig1 dig2 adult error rate problem test set errors test set bound margin bound 7/10 margin
❯✵❱ ❅ ★✰✾ ✹ ✮❊❀q●❉❃ ✻❛✦ ✶✫✾✲❈ ❧♠❱ ❅ ★✰✾ ❅ ✾✑❀❋▲ ✟ ✾❍▲✓✹ ✦✩❫✫✪✰✶ s♠❱✁ ❃❊❃✧✮✫❘ ✞ ❀❛✽❖✮❊①☎✦✵✴t✹ ✦✩❫✫✪✰✶ ✂ ❱ ▼☎✄☞❆ ✍q✹✿✮ ✂ ✾✑❀✘✹ ✦✩❫✫✪✰✶ ✆ ❱ ✟ ✮✵❘✘❪✫❈②✾ ❆✿✦✩❘❥❪ ✴P✾✑❀❋❀❍●❝✦✩✪✭✹ ✦✩❫✫✪✰✶
SLIDE 34 ✟ ✮✫❘❥❪✫❈❏✾❚❆ ✦✩❘❥❪ ✴P✾✑❀ ❀q●❉✦✩✪ ✹ ✦✩❫✫✪✰✶♠❙✐✹ ✮❊❀❍●❝❃
✮✵✪☎▲✤●❏▲✤●❝✾ ❀
❈②✾✰✮ ✴✺✪❄●♦✪✰✯✭✮✫❈②✯✫✦✵✴✳● ▲q★✫❘ ✛✁✄✂ ✛ ✁ ❀✑❫✫◗❊❀❁✾❍▲✐✦✲✱✜▲q✴ ✮❄●❭✪❄●♦✪✰✯♣❀ ✾✑▲ ❱ ❅ ★✰✾✭●❝✶✫✾✰✮ ❙❛●❏✱✝❤ ✾ ❣❂✪✰✾✑❤ ✛✁
✮✰✶ ✂✲✮✫✪✰❃☎✾ ▲q★❂✮☎▲ ✛ ✍ ✛✁ ❤ ✦✩❫✫❈②✶✂✮✰❃✑▲✓✮❊❀✘✮ ▲❋✾✑❀❋▲ ❀ ✾❍▲ ❱ ✆ ✾✇✶✫✦✩✪✟✞ ▲✓❣❂✪✰✦❊❤ ✛
✂✲✮✫✪✰❃☎✾✓❀❁✦❇▲❍★✰✾♣◗❄✦✩❫✫✪✰✶
✦❄❀❁✾✲✴ ❱
Verifier Learner m examples Draw Training Examples Evaluate Bound δ Choose Subset S’, c=A(S’) Subset S’ For c=A(S’)
Sample Compression Bound
SLIDE 35 ✟ ✮✫❘❥❪✫❈❏✾❚❆ ✦✩❘❥❪❂✴✷✾ ❀❋❀q●❉✦✩✪ ✹ ✦ ❫✫✪✰✶♠❙ ❅ ★✰✾☎✦✵✴P✾✲❘ ❅ ★✰✾❊✦✵✴P✾✲❘❚❙ ❨ ✟ ✮✫❘❥❪✫❈②✾ ❆✿✦✩❘✘❪❂✴✷✾ ❀❋❀q●❉✦✩✪ ✹✡✦✩❫✫✪✰✶ ❜ ♥ ✦ ✴r✮✫❈ ❈✿✮✫❈②✯✫✦✵✴✳●❏▲q★✫❘✢❀
✱ ✦ ✴☞✮✫❈ ❈ ✶
▲❍✴
✑✇❴❑✱✳✦✵✴✼✮✫❈ ❈ ✎
✆✟✞ ✠ ✥ ❙ ☎✝✆ ✑ ☞
✁ ✂
✛ ❤❡●❏▲q★ ✌ ✂
✛
✍ ✌✁ ☎ ✹
✁ ✂ ✏ ✌ ✑ ✏ ✑ ✁ ✞ ✎ ✕
✜ ✑ ✁ ✜ ✂ ✌✎✍ ✏ ✌✎✍ ✏ ✚ ✠ ✍ ✎ ✟ ✮✫❘❥❪✫❈❏✾❚❆ ✦✩❘❥❪ ✴P✾✑❀ ❀q●❉✦✩✪ ✹ ✦✩❫✫✪✰✶♠❙❡▼❖✴P✦ ✦✲✱ ❨ ☞✡✦✲▲❋✾✓▲q★❂✮☎▲ ✛
- ②❀❛❫✫✪❂✮✫❘❥◗❄●❝✯✩❫✰✦✩❫❊❀❛◗
✾❍✱✳✦✵✴P✾ ✛
✮ ❤✐✪❂❜
✛ ❤❡●❏▲q★ ✌ ✂
✛
✍ ☎✝✆ ✑ ☞
✁ ✂ ✌✁ ☎ ✹
✁ ✂ ✏ ✌ ✑ ✏ ✑ ✁ ✞ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✌✎✍ ✏ ✌✎✍ ✏ ✚ ✠ ✍ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂
SLIDE 36 ✟ ✮✫❘❥❪✫❈❏✾❚❆ ✦✩❘❥❪ ✴P✾✑❀ ❀q●❉✦✩✪ ✹ ✦✩❫✫✪✰✶♠❙❡▼❖✴P✦ ✦✲✱ ❨ ☞✡✦✲▲❋✾✓▲q★❂✮☎▲ ✛✁
- ②❀❛❫✫✪❂✮✫❘❥◗❄●❝✯✩❫✰✦✩❫❊❀❛◗
✾❍✱✳✦✵✴P✾ ✛
✮ ❤✐✪❂❜
✛ ❤❡●❏▲q★ ✌ ✂
✛
✍ ☎✝✆ ✑ ☞ ✂✁ ✁ ✂ ✌
✹
✁ ✂ ✏ ✌ ✑ ✏ ✑ ✁ ✞ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✌✎✍ ✏ ✌✎✍ ✏ ✚ ✠ ✍ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ☞✡✾❊✯ ✮☎▲❋✾❩▲❋✦◆✯✫✾❍▲☎❙
✛ ❤❡●❏▲q★ ✌ ✂
✛
✍ ☎✝✆ ✑ ☞
✁ ✂ ✌
✹
✁ ✂ ✏ ✌ ✑ ✏ ✑ ✁ ✞ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✌✎✍ ✏ ✌✎✍ ✏ ✄ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✟ ✮✫❘❥❪✫❈❏✾❚❆ ✦✩❘❥❪ ✴P✾✑❀ ❀q●❉✦✩✪ ✹ ✦✩❫✫✪✰✶♠❙❡▼❖✴P✦ ✦✲✱ ❨ ☞✡✦✲▲❋✾✓▲q★❂✮☎▲ ✛✁
- ②❀❛❫✫✪❂✮✫❘❥◗❄●❝✯✩❫✰✦✩❫❊❀❛◗
✾❍✱✳✦✵✴P✾ ✛
✮ ❤✐✪❂❜
✛ ❤❡●❏▲q★ ✌ ✂
✛
✍ ☎✝✆ ✑ ☞ ✂✁ ✁ ✂ ✌
✹
✁ ✂ ✏ ✌ ✑ ✏ ✑ ✁ ✞ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✌✎✍ ✏ ✌✎✍ ✏ ✚ ✠ ✍ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ☞✡✾❊✯ ✮☎▲❋✾❩▲❋✦◆✯✫✾❍▲☎❙
✛ ❤❡●❏▲q★ ✌ ✂
✛
✍ ☎✝✆ ✑ ☞
✂ ✌✁✂✁ ✹
✂ ✏ ✌ ✑ ✏ ✑ ✁ ✞ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✌ ✍ ✏ ✌ ✍ ✏ ✄ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✑✟❀ ✾❇❫✫✪❄●❉✦✩✪◆◗ ✦✩❫✫✪✰✶ ❨ ☎✝✆ ✒✁ ✦ ✴✄✂ ✙ ☎ ☎✝✆ ✒✁ ✙ ✄ ☎✝✆ ✒☎✂ ✙ ❜✍✦ ✂ ✾✲✴ ✾✧✮✰❃❄★ ✛✁ ✌ ☎✝✆ ✑ ☞
✂ ✂✚✛
✛ ❤❡● ▲❍★ ✌ ✂
✛
✍ ✌✁✂✁ ✹
✂ ✏ ✌ ✑ ✏ ✑ ✁ ✞ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✌ ✍ ✏ ✌ ✍ ✏ ✄ ✎
SLIDE 37 ✟ ✮✫❘❥❪✫❈❏✾❚❆ ✦✩❘❥❪ ✴P✾✑❀ ❀q●❉✦✩✪ ✹ ✦✩❫✫✪✰✶♠❙❡▼❖✴P✦ ✦✲✱ ❨ ☞✡✦✲▲❋✾✓▲q★❂✮☎▲ ✛✁
- ②❀❛❫✫✪❂✮✫❘❥◗❄●❝✯✩❫✰✦✩❫❊❀❛◗
✾❍✱✳✦✵✴P✾ ✛
✮ ❤✐✪❂❜
✛ ❤❡●❏▲q★ ✌ ✂
✛
✍ ☎✝✆ ✑ ☞
✁ ✂ ✌
✹
✁ ✂ ✏ ✌ ✑ ✏ ✑ ✁ ✞ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✌✎✍ ✏ ✌✎✍ ✏ ✚ ✠ ✍ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ☞✡✾❊✯ ✮☎▲❋✾❩▲❋✦◆✯✫✾❍▲☎❙
✛ ❤❡●❏▲q★ ✌ ✂
✛
✍ ☎✝✆ ✑ ☞
✁ ✂ ✌✁✂✁ ✹
✁ ✂ ✏ ✌ ✑ ✏ ✑ ✁ ✞ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✌✎✍ ✏ ✌✎✍ ✏ ✄ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✑✟❀ ✾❇❫✫✪❄●❉✦✩✪◆◗ ✦✩❫✫✪✰✶ ❨ ☎✝✆ ✒✁ ✦ ✴✄✂ ✙ ☎ ☎✝✆ ✒✁ ✙ ✄ ☎✝✆ ✒☎✂ ✙ ❜✍✦ ✂ ✾✲✴ ✾✧✮✰❃❄★ ✛
☎✝✆ ✑ ☞ ✂✁ ✁ ✂ ✂✚✛
✛ ❤❡● ▲❍★ ✌ ✂
✛
✍ ✌
✹
✁ ✂ ✏ ✌ ✑ ✏ ✑ ✁ ✞ ✎ ✕
✜ ✑ ✏ ✑ ✁ ✜ ✂ ✌✎✍ ✏ ✌✎✍ ✏ ✄ ✎ ☞✡✾☎✯ ✮☎▲❋✾ ✮✰✯ ✮❄●♦✪✛✌ ▲❍★✰✾☎✦✵✴P✾✲❘ ✟ ✮✫❘❥❪✫❈❏✾❚❆ ✦✩❘❥❪❂✴✷✾ ❀❋❀q●❉✦✩✪ ✹ ✦✩❫✫✪✰✶ ✄t❪✫❪✫❈
❙ ✟ ❫✫❪✫❪ ✦✵✴✔▲ ✞ ✾❊❃❍▲❋✦ ✴ ✻✘✮✰❃❄★❄●♦✪✰✾ ❀ ✸ ✱ ✛
❀❁✾❍▲❡✦✲✱✼❀ ❫✫❪✫❪❄✦ ✴✉▲ ✂✰✾❊❃❍▲❋✦ ✴✔❀❡▲❍★❂✮✫✪
✛
✂
✛ ✙ ❱ ✏ ✦❊❤ ❤❳✾❄❈ ❈✩✶✫✦ ✾✑❀✐▲❍★✰✾✘❀✤✮✫❘❥❪✫❈②✾❥❃❊✦✩❘❥❪ ✴✷✾ ❀❋❀❍●❝✦✩✪✭◗ ✦✩❫✫✪✰✶◆❤ ✦✵✴✺❣❛❤❡● ▲❍★✎✮ ❀✑❫✫❪✌✍ ❪❄✦ ✴✉▲ ✂✰✾❊❃❍▲❋✦ ✴ ❘✓✮✰❃✲★❄●❭✪✰✾ ✁ ☞✡✦✲▲❋✾ ❤ ✦✵✴✺❣ ◗ ✂ ✻✘✮❂✴
✻✘✮❂✴✷❃❄★❂✮✫✪✰✶ ✮✫✪✰✶ ✥✰✦✩★✫✪ ✟ ★❂✮q❤❳✾ ✍ ❅ ✮ ✂✵❈②✦✵✴ ❫❊❀q●❭✪✰✯ ✟ ✮✫❘❥❪✫❈❏✾ ❆✿✦✩❘❥❪ ✴✷✾ ❀❋❀❍●❝✦✩✪ ◗ ✦✩❫✫✪✰✶ ✂✲✮ ✴✳● ✮✫✪☎▲ ✱✳✦✵✴ ✧ ✟ ✾✑▲✢❆✿✦ ✂✰✾✲✴✳●❭✪✰✯✈✻❥✮✰❃✲★❄●❭✪✰✾ ★ ❱
SLIDE 38 0.2 0.4 0.6 0.8 1 liverbostonpima ion sonar dig1 dig2 adult error rate problem test set errors test set bound compression bound
✟ ✮✫❘❥❪✫❈②✾ ❆✿✦ ❘❥❪❂✴✷✾ ❀❋❀q●❉✦✩✪✭✹✡✦✩❫✫✪✰✶✂✽✿✾ ❀✑❫✫❈ ▲❬❀ ✄t✪❊❀ ❤ ✾✲✴❦❙ ✟ ✮✫❘❥❪ ❈②✾❚❆ ✦✩❘❥❪ ✴P✾✑❀ ❀q●❉✦✩✪ ◗ ✦✩❫✫✪✰✶✈✪✰✦✲▲ ✂✰✾❄✴ ✂✘▲✤●❝✯✩★☎▲✍✦✩✪ ✟ ✞❡✻ ❱ ✆ ★☛✂ ✪✰✦✲▲ ✁ ❅ ★✰✾ ✟ ✞❡✻ ❈❏✾✰✮ ✴✺✪❄●❭✪✰✯❇✮✵❈❏✯✫✦ ✴
✮✰❃❄★❄●❝✾ ✂✰✾ ❀ ✞
✮✫❈ ✞ ❀✑❪❂✮❂✴✔❀❍● ▲✄✂❚✴ ✮☎▲q★✰✾❄✴ ▲q★❂✮✫✪ ✦✩❪☎▲✤●❭❘❛●②①
- ❭✪✰✯❇✱✳✦✵✴
- ❏▲❡✾✡✠✫❪✫❈
- ❉❃
- ❏▲q❈
✂◆❨❬●❭✪ ❃☎✦✩✪☎▲q✴ ✮❊❀ ▲ ▲❋✦♣▲q★✰✾♣❘✓✮ ✴P✯
❱
SLIDE 39 ❆✿✦✩✪✰❃✲❈ ❫❊❀q●❉✦✩✪ ❯✵❱ ✑✟❀❁✾♣✴✷✾✰✮✫❈ ❃❊✦✩✪☎■❑✶✫✾❄✪✰❃☎✾❚●❭✪☎▲❋✾✲✴ ✂❂✮✫❈ ❀ ▲ ✦ ❃❊✦✩❘✘❪❂✮❂✴✷✾✇❃✲❈❉✮❊❀❋❀❍● ■ ✾❄✴✔❀ ❱ ❧♠❱ ❅ ✾✑❀❋▲ ❀❁✾❍▲ ◗ ✦✩❫✫✪✰✶✄✂ ✾✲✴ ✂✘❀q●❭❘❥❪✫❈❏✾ ❱ s♠❱ ❅ ✴ ✮
✾✑▲ ◗❄✦✩❫✫✪✰✶❄❀✢✦✩✪✘▲q★✰✾✓▲q★✫✴✷✾ ❀✑★✰✦✩❈②✶◆✦✲✱ ✠✩❫❂✮✫✪☎▲✤●❏▲ ✮☎▲✤●✌✂✰✾❄❈✎✂ ❫❊❀ ✾✑✱❢❫✫❈ ❱ ❆ ✦ ✶✫✾✓✱✳✦✵✴✛◗ ✦✩❫✫✪✰✶◆❃✧✮✫❈②❃❄❫✫❈❝✮☎▲
❙ ★☎▲❢▲q❪ ❙ ✡ ✡ ❤✛❤✛❤ ✍ ❧♠❱ ❃ ❀ ❱ ❃❄❘❥❫ ❱ ✾☎✶✩❫☛✡✁✄✂❬❃✲❈ ✡ ❪ ✴P✦✫✯✩✴ ✮✫❘✢❀ ✡ ◗ ✦✩❫✫✪✰✶ ✡ ◗❄✦✩❫✫✪✰✶ ❱ ★☎▲q❘❥❈
