Evidence ¡Finding ¡ with ¡a ¡ Collec.on ¡of ¡Books ¡ Marc ¡Cartright ¡ Henry ¡Feild ¡ James ¡Allan ¡
[www.wikipedia.org] ¡
[h1p://en.wikipedia.org/wiki/American_Revolu=on] ¡
The ¡new ¡government ¡under ¡ President ¡George ¡Washington ¡ took ¡office ¡in ¡New ¡York ¡in ¡March ¡ 1789. [122] ¡ [h1p://en.wikipedia.org/wiki/American_Revolu=on] ¡
The ¡new ¡government ¡under ¡ President ¡George ¡Washington ¡ took ¡office ¡in ¡New ¡York ¡in ¡March ¡ 1789. [122] ¡ [h1p://en.wikipedia.org/wiki/American_Revolu=on] ¡
...legislature. ¡[121] ¡ ¡ANer ¡a ¡fierce ¡debate ¡in ¡the ¡states ¡over ¡the ¡nature ¡of ¡the ¡proposed ¡ new ¡government, ¡the ¡Cons.tu.on ¡was ¡ra.fied ¡in ¡1788. ¡The ¡new ¡government ¡under ¡ President ¡George ¡Washington ¡took ¡office ¡in ¡New ¡York ¡in ¡March ¡1789. [122] ¡As ¡ assurances ¡of ¡those ¡who ¡were ¡cau.ous ¡about ¡federal... ¡ Copy ¡ ¡ Search ¡for ¡ ¡ Find ¡evidence ¡
...legislature. ¡[121] ¡ ¡ANer ¡a ¡fierce ¡debate ¡in ¡the ¡states ¡over ¡the ¡nature ¡of ¡the ¡proposed ¡ new ¡government, ¡the ¡Cons.tu.on ¡was ¡ra.fied ¡in ¡1788. ¡The ¡new ¡government ¡under ¡ President ¡George ¡Washington ¡took ¡office ¡in ¡New ¡York ¡in ¡March ¡1789. [122] ¡As ¡ assurances ¡of ¡those ¡who ¡were ¡cau.ous ¡about ¡federal... ¡ Copy ¡ ¡ Search ¡for ¡ ¡ Suppor,ve ¡ Refuta,ve ¡ Find ¡evidence ¡ Eldridge, ¡Henry ¡and ¡Elbert ¡Jay ¡Benton. ¡"A ¡history ¡of ¡the ¡United ¡States." ¡ "Harper's ¡encyclopaedia ¡of ¡United ¡States ¡history ¡from ¡458 ¡A. ¡D. ¡to ¡1909, ¡based ¡ Boston, ¡New ¡York: ¡D.C. ¡Heath ¡and ¡company, ¡1913: ¡pp ¡242. ¡ upon ¡the ¡plan ¡of ¡Benson ¡John ¡Lossing." ¡New ¡York: ¡Harper, ¡1905: ¡pp ¡168. ¡
Overview ¡ • Mo=va=on ¡ • Evidence ¡finding ¡formalized ¡ • Experiments ¡& ¡analysis ¡ • Future ¡direc.ons ¡ ¡
Evidence ¡Finding ¡ Task: ¡ ¡ ¡ Given ¡an ¡asser.on ¡ a ¡and ¡a ¡context ¡ c ¡surrounding ¡ a , ¡find ¡sources ¡that ¡support ¡or ¡refute ¡ a . ¡
Evidence ¡Finding ¡& ¡Prove ¡It ¡ Prove ¡It ¡ Evidence ¡Finding ¡ • ¡ ¡Fact ¡ • ¡ ¡Asser.on ¡ Given: ¡ • ¡ ¡Query ¡ • ¡ ¡Surrounding ¡context ¡(e.g., ¡ • ¡ ¡Subject ¡ whole ¡wikipedia ¡page ¡) ¡ • ¡ ¡Wikiurl ¡(op.onal) ¡ • ¡ ¡Narra.ve ¡ • ¡ ¡Books ¡pages ¡that: ¡ • ¡ ¡Sources ¡that: ¡ Find: ¡ ¡ ¡support ¡fact ¡ ¡ ¡support ¡asser.on ¡ ¡ ¡refute ¡fact ¡ ¡ ¡refute ¡asser.on ¡
Our ¡focus ¡in ¡this ¡work ¡ Prove ¡It ¡ Evidence ¡Finding ¡ • ¡ ¡Fact ¡ • ¡ ¡Asser.on ¡from ¡Wikipedia ¡ Given: ¡ • ¡ ¡Query ¡ • ¡ ¡Context: ¡ • ¡ ¡Subject ¡ ¡containing ¡paragraph ¡ • ¡ ¡Wikiurl ¡(op.onal) ¡ ¡containing ¡sec.on ¡ • ¡ ¡Narra.ve ¡ ¡sec.on ¡& ¡ar.cle ¡.tle ¡ • ¡ ¡Books ¡pages ¡that: ¡ • ¡ ¡Book ¡pages ¡that: ¡ Find: ¡ ¡ ¡support ¡fact ¡ ¡ ¡support ¡asser.on ¡ ¡ ¡refute ¡fact ¡ ¡ ¡refute ¡asser.on ¡
Overview ¡ • Mo=va=on ¡ • Evidence ¡finding ¡formalized ¡ • Experiments ¡& ¡analysis ¡ • Future ¡direc.ons ¡ ¡
Experiments ¡& ¡Analysis ¡ • 50k ¡books ¡(from ¡INEX ¡Prove ¡It) ¡ • Prevalent ¡topics ¡from ¡collec.on ¡ – most ¡published ¡years ¡~1910 ¡ – most ¡popular ¡.tle ¡terms ¡ • Manually ¡chosen ¡Wikipedia ¡ar.cles ¡ – American ¡revolu.on ¡ – Shakespeare ¡ – Bajle ¡of ¡Gejysburg ¡ – History ¡of ¡the ¡light ¡bulb ¡ – ... ¡
Genera.ng ¡an ¡evalua.on ¡set ¡ • Automa.cally ¡extract ¡asser.ons ¡ – find ¡sentences ¡that ¡end ¡in ¡a ¡footnote ¡ – randomly ¡choose ¡some ¡to ¡form ¡a ¡dataset ¡ • Analyze ¡manually ¡runs ¡ – how ¡would ¡a ¡human ¡formulate ¡a ¡query? ¡ • Generate ¡automa.c ¡runs ¡ – how ¡can ¡we ¡mimic ¡the ¡manual ¡runs? ¡
Manually ¡generated ¡queries ¡ • Three ¡humans ¡generated ¡manual ¡queries ¡for ¡ each ¡asser.on ¡ – given ¡anaphora ¡resolved ¡version ¡of ¡the ¡asser.ons ¡ – could ¡use ¡domain ¡knowledge ¡ Original ¡asser,on: ¡ This ¡event ¡ became ¡known ¡as ¡the ¡Boston ¡Tea ¡Party ¡and ¡remains ¡a ¡ significant ¡part ¡of ¡American ¡patrio.c ¡lore. ¡ Anaphora ¡resolved ¡asser,on: ¡ The ¡dumping ¡of ¡tea ¡from ¡Bri,sh ¡East ¡India ¡Company ¡ships ¡into ¡ the ¡Boston ¡harbor ¡ became ¡known ¡as ¡the ¡Boston ¡Tea ¡Party ¡and ¡ remains ¡a ¡significant ¡part ¡of ¡American ¡patrio.c ¡lore. ¡
Performance ¡gap ¡ 0.7 ¡ 0.6 ¡ Gap ¡to ¡ 0.5 ¡ bridge ¡ BOW(Asser.on) ¡ 0.4 ¡ BOW(Resolved ¡asser.on) ¡ P@10 ¡ Manual ¡1 ¡ 0.3 ¡ Manual ¡2 ¡ 0.2 ¡ Manual ¡3 ¡ 0.1 ¡ 0 ¡ Runs ¡ Results ¡averaged ¡over ¡12 ¡asser=ons. ¡
Manually ¡generated ¡queries: ¡Ex. ¡1 ¡ Asser.on: ¡ The ¡dumping ¡of ¡tea ¡from ¡Bri=sh ¡East ¡India ¡Company ¡ships ¡into ¡the ¡Boston ¡harbor ¡ became ¡known ¡as ¡the ¡Boston ¡Tea ¡Party ¡and ¡remains ¡a ¡significant ¡part ¡of ¡ American ¡patrio=c ¡lore. ¡ #uw:10( boston harbor ) #od:1(boston tea party) tea british dump #od:4(boston tea party) american lore #od:1(boston tea party) harbor #od:1(east india company)
Manually ¡generated ¡queries: ¡Ex. ¡2 ¡ Asser.on: ¡ In ¡1841, ¡Frederick ¡de ¡Moleyns ¡of ¡England ¡was ¡granted ¡the ¡first ¡patent ¡for ¡an ¡ incandescent ¡lamp, ¡with ¡a ¡design ¡using ¡pla=num ¡wires ¡contained ¡within ¡a ¡ vacuum ¡bulb. ¡ 1841 #od:1( frederick de moleyns ) frederick de moleyns #od:3( incondescent lamp ) incondescent #syn(lamp bulb) platinum #od:4(frederick moleyns) england patent incandescent lamp platinum moleyns #od:1( incandescent #syn( lamp light )) incandescent patent platinum vacuum
Issues ¡regarding ¡asser.ons ¡ • Anaphora ¡resolu.on ¡ • Highly ¡selec.ve ¡synonym ¡expansion ¡ • Noun ¡phrase ¡detec.on ¡ • Key ¡phrase ¡detec.on ¡
Automa.c ¡query ¡formula.on ¡ • Sequen.al ¡dependency ¡model ¡ – αUniGram ¡+ ¡βOrdered ¡+ ¡γUnorderedWindow ¡ e.g., ¡“the ¡boston ¡tea ¡party” ¡ • Helps ¡extract ¡key ¡phrases ¡ ¡ #weight( ¡ ¡ ¡α ¡#combine( ¡the ¡boston ¡tea ¡party ¡) ¡ ¡ ¡β ¡#combine( ¡ ¡ ¡#od:1( ¡the ¡boston ¡) ¡ ¡#od:1( ¡boston ¡tea ¡) ¡ ¡#od:1( ¡tea ¡party ¡) ¡) ¡ ¡ ¡γ ¡#combine( ¡ ¡#uw:8( ¡the ¡boston ¡) ¡ ¡#uw:8( ¡boston ¡tea ¡) ¡ ¡#uw:8( ¡tea ¡party ¡) ¡) ¡ ) ¡ [Metzler ¡& ¡CroR, ¡SIGIR’05] ¡
Automa.c ¡query ¡formula.on ¡ • expand ¡query ¡with ¡text ¡and ¡[[Wikiwords]] ¡ from ¡surrounding ¡context: ¡ – paragraph ¡ – sec.on ¡ – sec.on ¡.tle ¡ – ar.cle ¡.tle ¡ • Helps ¡resolve ¡anaphora ¡and ¡incorporate ¡ synonyms ¡implicitly ¡
Models ¡ • Context ¡SDM: ¡ – λ 1 SDM(asser.on) ¡+ ¡λ 2 SDM(context1) ¡+ ¡λ 3 SDM(context2)... ¡ • Four ¡condi.ons: ¡ – asser.on ¡+ ¡paragraph ¡SDM(A+P) ¡ – asser.on ¡+ ¡wikiwords ¡SDM(A+WW) ¡ – asser.on ¡+ ¡paragraph ¡+ ¡sec.on ¡SDM(A+P+S) ¡ – asser.on ¡+ ¡paragraph ¡+ ¡sec.on ¡+ ¡.tle ¡SDM(A+P+S+T) ¡
Performance ¡ 0.7 ¡ BOW(Asser.on) ¡ 0.6 ¡ SDM(Asser.on) ¡ New ¡gap ¡ Old ¡gap ¡ 0.5 ¡ SDM(A+P) ¡ SDM(A+P+WW) ¡ 0.4 ¡ P@10 ¡ SDM(A+P+S) ¡ 0.3 ¡ SDM(A+P+S+T) ¡ BOW(Resolved ¡asser.on) ¡ 0.2 ¡ Manual ¡1 ¡ 0.1 ¡ Manual ¡2 ¡ 0 ¡ Automa.c ¡ Manual ¡
Overview ¡ • Mo=va=on ¡ • Evidence ¡finding ¡formalized ¡ • Experiments ¡& ¡analysis ¡ • Future ¡direc.ons ¡ ¡
Recommend
More recommend
