Evidence Finding with a Collec.on of Books Marc Cartright - - PowerPoint PPT Presentation

Evidence ¡Finding ¡

with ¡a ¡

Collec.on ¡of ¡Books ¡

Marc ¡Cartright ¡ Henry ¡Feild ¡ James ¡Allan ¡

[www.wikipedia.org] ¡

[h1p://en.wikipedia.org/wiki/American_Revolu=on] ¡

[h1p://en.wikipedia.org/wiki/American_Revolu=on] ¡

The ¡new ¡government ¡under ¡ President ¡George ¡Washington ¡ took ¡office ¡in ¡New ¡York ¡in ¡March ¡ 1789.[122] ¡

[h1p://en.wikipedia.org/wiki/American_Revolu=on] ¡

The ¡new ¡government ¡under ¡ President ¡George ¡Washington ¡ took ¡office ¡in ¡New ¡York ¡in ¡March ¡ 1789.[122] ¡

...legislature. ¡[121] ¡ ¡ANer ¡a ¡fierce ¡debate ¡in ¡the ¡states ¡over ¡the ¡nature ¡of ¡the ¡proposed ¡ new ¡government, ¡the ¡Cons.tu.on ¡was ¡ra.fied ¡in ¡1788. ¡The ¡new ¡government ¡under ¡ President ¡George ¡Washington ¡took ¡office ¡in ¡New ¡York ¡in ¡March ¡1789.[122] ¡As ¡ assurances ¡of ¡those ¡who ¡were ¡cau.ous ¡about ¡federal... ¡ Copy ¡ ¡ Search ¡for ¡ ¡ Find ¡evidence ¡

...legislature. ¡[121] ¡ ¡ANer ¡a ¡fierce ¡debate ¡in ¡the ¡states ¡over ¡the ¡nature ¡of ¡the ¡proposed ¡ new ¡government, ¡the ¡Cons.tu.on ¡was ¡ra.fied ¡in ¡1788. ¡The ¡new ¡government ¡under ¡ President ¡George ¡Washington ¡took ¡office ¡in ¡New ¡York ¡in ¡March ¡1789.[122] ¡As ¡ assurances ¡of ¡those ¡who ¡were ¡cau.ous ¡about ¡federal... ¡

"Harper's ¡encyclopaedia ¡of ¡United ¡States ¡history ¡from ¡458 ¡A. ¡D. ¡to ¡1909, ¡based ¡ upon ¡the ¡plan ¡of ¡Benson ¡John ¡Lossing." ¡New ¡York: ¡Harper, ¡1905: ¡pp ¡168. ¡ Eldridge, ¡Henry ¡and ¡Elbert ¡Jay ¡Benton. ¡"A ¡history ¡of ¡the ¡United ¡States." ¡ Boston, ¡New ¡York: ¡D.C. ¡Heath ¡and ¡company, ¡1913: ¡pp ¡242. ¡

Refuta,ve ¡ Suppor,ve ¡ Copy ¡ ¡ Search ¡for ¡ ¡ Find ¡evidence ¡

Overview ¡

• Mo=va=on ¡
• Evidence ¡finding ¡formalized ¡
• Experiments ¡& ¡analysis ¡
• Future ¡direc.ons ¡ ¡

Evidence ¡Finding ¡

Task: ¡ ¡

¡ Given ¡an ¡asser.on ¡a ¡and ¡a ¡context ¡c ¡surrounding ¡ a, ¡find ¡sources ¡that ¡support ¡or ¡refute ¡a. ¡

Evidence ¡Finding ¡& ¡Prove ¡It ¡

• ¡ ¡Asser.on ¡
• ¡ ¡Surrounding ¡context ¡(e.g., ¡

whole ¡wikipedia ¡page ¡) ¡

Given: ¡ Prove ¡It ¡ Evidence ¡Finding ¡

• ¡ ¡Fact ¡
• ¡ ¡Query ¡
• ¡ ¡Subject ¡
• ¡ ¡Wikiurl ¡(op.onal) ¡
• ¡ ¡Narra.ve ¡

Find: ¡

• ¡ ¡Books ¡pages ¡that: ¡
• ¡ ¡support ¡fact ¡
• ¡ ¡refute ¡fact ¡
• ¡ ¡Sources ¡that: ¡
• ¡ ¡support ¡asser.on ¡
• ¡ ¡refute ¡asser.on ¡

Our ¡focus ¡in ¡this ¡work ¡

• ¡ ¡Asser.on ¡from ¡Wikipedia ¡
• ¡ ¡Context: ¡
• ¡containing ¡paragraph ¡
• ¡containing ¡sec.on ¡
• ¡sec.on ¡& ¡ar.cle ¡.tle ¡

Given: ¡ Prove ¡It ¡ Evidence ¡Finding ¡

• ¡ ¡Fact ¡
• ¡ ¡Query ¡
• ¡ ¡Subject ¡
• ¡ ¡Wikiurl ¡(op.onal) ¡
• ¡ ¡Narra.ve ¡

Find: ¡

• ¡ ¡Books ¡pages ¡that: ¡
• ¡ ¡support ¡fact ¡
• ¡ ¡refute ¡fact ¡
• ¡ ¡Book ¡pages ¡that: ¡
• ¡ ¡support ¡asser.on ¡
• ¡ ¡refute ¡asser.on ¡

Overview ¡

• Mo=va=on ¡
• Evidence ¡finding ¡formalized ¡
• Experiments ¡& ¡analysis ¡
• Future ¡direc.ons ¡ ¡

Experiments ¡& ¡Analysis ¡

• 50k ¡books ¡(from ¡INEX ¡Prove ¡It) ¡
• Prevalent ¡topics ¡from ¡collec.on ¡

– most ¡published ¡years ¡~1910 ¡ – most ¡popular ¡.tle ¡terms ¡

• Manually ¡chosen ¡Wikipedia ¡ar.cles ¡

– American ¡revolu.on ¡ – Shakespeare ¡ – Bajle ¡of ¡Gejysburg ¡ – History ¡of ¡the ¡light ¡bulb ¡ – ... ¡

Genera.ng ¡an ¡evalua.on ¡set ¡

• Automa.cally ¡extract ¡asser.ons ¡

– find ¡sentences ¡that ¡end ¡in ¡a ¡footnote ¡ – randomly ¡choose ¡some ¡to ¡form ¡a ¡dataset ¡

• Analyze ¡manually ¡runs ¡

– how ¡would ¡a ¡human ¡formulate ¡a ¡query? ¡

• Generate ¡automa.c ¡runs ¡

– how ¡can ¡we ¡mimic ¡the ¡manual ¡runs? ¡

Manually ¡generated ¡queries ¡

• Three ¡humans ¡generated ¡manual ¡queries ¡for ¡

each ¡asser.on ¡

– given ¡anaphora ¡resolved ¡version ¡of ¡the ¡asser.ons ¡ – could ¡use ¡domain ¡knowledge ¡

This ¡event ¡became ¡known ¡as ¡the ¡Boston ¡Tea ¡Party ¡and ¡remains ¡a ¡ significant ¡part ¡of ¡American ¡patrio.c ¡lore. ¡ The ¡dumping ¡of ¡tea ¡from ¡Bri,sh ¡East ¡India ¡Company ¡ships ¡into ¡ the ¡Boston ¡harbor ¡became ¡known ¡as ¡the ¡Boston ¡Tea ¡Party ¡and ¡ remains ¡a ¡significant ¡part ¡of ¡American ¡patrio.c ¡lore. ¡ Original ¡asser,on: ¡ Anaphora ¡resolved ¡asser,on: ¡

Performance ¡gap ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ Runs ¡ P@10 ¡ BOW(Asser.on) ¡ BOW(Resolved ¡asser.on) ¡ Manual ¡1 ¡ Manual ¡2 ¡ Manual ¡3 ¡ Gap ¡to ¡ bridge ¡

Results ¡averaged ¡over ¡12 ¡asser=ons. ¡

Manually ¡generated ¡queries: ¡Ex. ¡1 ¡

#uw:10( boston harbor ) #od:1(boston tea party) tea british dump #od:4(boston tea party) american lore #od:1(boston tea party) harbor #od:1(east india company) Asser.on: ¡ The ¡dumping ¡of ¡tea ¡from ¡Bri=sh ¡East ¡India ¡Company ¡ships ¡into ¡the ¡Boston ¡harbor ¡ became ¡known ¡as ¡the ¡Boston ¡Tea ¡Party ¡and ¡remains ¡a ¡significant ¡part ¡of ¡ American ¡patrio=c ¡lore. ¡

Manually ¡generated ¡queries: ¡Ex. ¡2 ¡

1841 #od:1( frederick de moleyns ) frederick de moleyns #od:3( incondescent lamp ) incondescent #syn(lamp bulb) platinum #od:4(frederick moleyns) england patent incandescent lamp platinum moleyns #od:1( incandescent #syn( lamp light )) incandescent patent platinum vacuum Asser.on: ¡ In ¡1841, ¡Frederick ¡de ¡Moleyns ¡of ¡England ¡was ¡granted ¡the ¡first ¡patent ¡for ¡an ¡ incandescent ¡lamp, ¡with ¡a ¡design ¡using ¡pla=num ¡wires ¡contained ¡within ¡a ¡ vacuum ¡bulb. ¡

Issues ¡regarding ¡asser.ons ¡

• Anaphora ¡resolu.on ¡
• Highly ¡selec.ve ¡synonym ¡expansion ¡
• Noun ¡phrase ¡detec.on ¡
• Key ¡phrase ¡detec.on ¡

Automa.c ¡query ¡formula.on ¡

• Sequen.al ¡dependency ¡model ¡

– αUniGram ¡+ ¡βOrdered ¡+ ¡γUnorderedWindow ¡

e.g., ¡“the ¡boston ¡tea ¡party” ¡ ¡ #weight( ¡ ¡ ¡α ¡#combine( ¡the ¡boston ¡tea ¡party ¡) ¡ ¡ ¡β ¡#combine( ¡ ¡ ¡#od:1( ¡the ¡boston ¡) ¡ ¡#od:1( ¡boston ¡tea ¡) ¡ ¡#od:1( ¡tea ¡party ¡) ¡) ¡ ¡ ¡γ ¡#combine( ¡ ¡#uw:8( ¡the ¡boston ¡) ¡ ¡#uw:8( ¡boston ¡tea ¡) ¡ ¡#uw:8( ¡tea ¡party ¡) ¡) ¡ ) ¡

• Helps ¡extract ¡key ¡phrases ¡

[Metzler ¡& ¡CroR, ¡SIGIR’05] ¡

Automa.c ¡query ¡formula.on ¡

• expand ¡query ¡with ¡text ¡and ¡[[Wikiwords]] ¡

from ¡surrounding ¡context: ¡

– paragraph ¡ – sec.on ¡ – sec.on ¡.tle ¡ – ar.cle ¡.tle ¡

• Helps ¡resolve ¡anaphora ¡and ¡incorporate ¡

synonyms ¡implicitly ¡

Models ¡

• Context ¡SDM: ¡

– λ1SDM(asser.on) ¡+ ¡λ2SDM(context1) ¡+ ¡λ3SDM(context2)... ¡

• Four ¡condi.ons: ¡

– asser.on ¡+ ¡paragraph ¡SDM(A+P) ¡ – asser.on ¡+ ¡wikiwords ¡SDM(A+WW) ¡ – asser.on ¡+ ¡paragraph ¡+ ¡sec.on ¡SDM(A+P+S) ¡ – asser.on ¡+ ¡paragraph ¡+ ¡sec.on ¡+ ¡.tle ¡SDM(A+P+S+T) ¡

Performance ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ P@10 ¡ BOW(Asser.on) ¡ SDM(Asser.on) ¡ SDM(A+P) ¡ SDM(A+P+WW) ¡ SDM(A+P+S) ¡ SDM(A+P+S+T) ¡ BOW(Resolved ¡asser.on) ¡ Manual ¡1 ¡ Manual ¡2 ¡ Automa.c ¡ Manual ¡ Old ¡gap ¡ New ¡gap ¡

Overview ¡

• Mo=va=on ¡
• Evidence ¡finding ¡formalized ¡
• Experiments ¡& ¡analysis ¡
• Future ¡direc.ons ¡ ¡

Future ¡direc.ons ¡

• Automa.c ¡query ¡formula.on ¡

– anaphora ¡resolu.on ¡ – key ¡phrase ¡detec.on ¡and ¡weigh.ng ¡ – explicit ¡synonym ¡expansion ¡

• Evalua.on ¡

– dealing ¡with ¡complex ¡and ¡compound ¡asser.ons ¡ – levels ¡of ¡relevance: ¡more ¡than ¡only ¡

• suppor.ve ¡
• refuta.ve ¡
• relevant ¡

How ¡we ¡do ¡it ¡

In ¡1767, ¡the ¡Parliament ¡passed ¡the ¡Townshend ¡Acts, ¡which ¡placed ¡a ¡tax ¡on ¡a ¡number ¡of ¡essen,al ¡goods ¡including ¡paper, ¡glass, ¡and ¡

• tea. ¡Angered ¡at ¡the ¡tax ¡increases, ¡colonists ¡organized ¡a ¡boycoQ ¡of ¡Bri,sh ¡goods. ¡In ¡Boston ¡on ¡March ¡5, ¡1770, ¡a ¡large ¡mob ¡gathered ¡

around ¡a ¡group ¡of ¡Bri,sh ¡soldiers. ¡The ¡mob ¡grew ¡more ¡and ¡more ¡threatening, ¡throwing ¡snowballs, ¡rocks ¡and ¡debris ¡at ¡the ¡

• soldiers. ¡One ¡soldier ¡was ¡clubbed ¡and ¡fell. ¡All ¡but ¡one ¡of ¡the ¡soldiers ¡fired ¡into ¡the ¡crowd. ¡11 ¡people ¡were ¡hit; ¡three ¡civilians ¡were ¡

killed ¡at ¡the ¡scene ¡of ¡the ¡shoo,ng, ¡and ¡two ¡died ¡aWer ¡the ¡incident. ¡The ¡event ¡quickly ¡came ¡to ¡be ¡called ¡the ¡Boston ¡Massacre. ¡ Although ¡the ¡soldiers ¡were ¡tried ¡and ¡acquiQed ¡(defended ¡by ¡John ¡Adams), ¡the ¡widespread ¡descrip,ons ¡soon ¡became ¡propaganda ¡ to ¡turn ¡colonial ¡sen,ment ¡against ¡the ¡Bri,sh. ¡This ¡in ¡turn ¡began ¡a ¡downward ¡spiral ¡in ¡the ¡rela,onship ¡between ¡Britain ¡and ¡the ¡ Province ¡of ¡MassachuseQs.[32] ¡ This ¡1846 ¡lithograph ¡by ¡Nathaniel ¡Currier ¡was ¡en,tled ¡"The ¡Destruc,on ¡of ¡Tea ¡at ¡Boston ¡Harbor"; ¡the ¡phrase ¡"Boston ¡Tea ¡Party" ¡ had ¡not ¡yet ¡become ¡standard.[33] ¡ In ¡June ¡1772, ¡in ¡what ¡became ¡known ¡as ¡the ¡Gaspée ¡Affair, ¡a ¡Bri,sh ¡warship ¡that ¡had ¡been ¡vigorously ¡enforcing ¡unpopular ¡trade ¡ regula,ons ¡was ¡burned ¡by ¡American ¡patriots ¡including ¡John ¡Brown. ¡About ¡a ¡year ¡later, ¡private ¡leQers ¡were ¡published ¡in ¡which ¡ MassachuseQs ¡Governor ¡Thomas ¡Hutchinson ¡called ¡for ¡the ¡abridgement ¡of ¡colonial ¡rights, ¡and ¡Lieutenant ¡Governor ¡Andrew ¡Oliver ¡ called ¡for ¡the ¡direct ¡payment ¡of ¡colonial ¡officials ¡(un,l ¡then ¡the ¡purview ¡of ¡the ¡colonial ¡assembly, ¡and ¡a ¡means ¡by ¡which ¡it ¡ controlled ¡the ¡governor). ¡The ¡furor ¡over ¡the ¡affair ¡contributed ¡to ¡Hutchinson's ¡recall, ¡and ¡brought ¡a ¡conciliatory ¡Benjamin ¡Franklin ¡ firmly ¡to ¡the ¡side ¡of ¡the ¡colonists. ¡ On ¡December ¡16, ¡1773, ¡a ¡group ¡of ¡men, ¡led ¡by ¡Samuel ¡Adams ¡and ¡dressed ¡to ¡evoke ¡American ¡Indians, ¡boarded ¡the ¡ships ¡of ¡the ¡ government-­‑favored ¡Bri.sh ¡East ¡India ¡Company ¡and ¡dumped ¡an ¡es.mated ¡£10,000 ¡worth ¡of ¡tea ¡from ¡its ¡holds ¡(approximately ¡ £636,000 ¡in ¡2008) ¡into ¡the ¡harbor. ¡This ¡event ¡became ¡known ¡as ¡the ¡Boston ¡Tea ¡Party ¡and ¡remains ¡a ¡significant ¡part ¡of ¡American ¡ patrio,c ¡lore.[34] ¡

#weight( 1.0 #seqdep( <fact> ) 0.1 #seqdep( <paragraph> ) 0.01 #seqdep( <section> ) )