Supervised Learning for Linking Named En55es to KB Entries - - PowerPoint PPT Presentation

Supervised ¡Learning ¡for ¡Linking ¡ Named ¡En55es ¡to ¡KB ¡Entries ¡

2 ¡

Informa*on ¡ ¡ Extrac*on ¡

Unstructured ¡Data ¡ Semi-­‑Structured ¡Data ¡ Structured ¡Data ¡

3 ¡

ID: ¡1 ¡ ¡ ID: ¡9 ¡ ID: ¡23 ¡ ¡ ID: ¡55 ¡ ¡ ID: ¡NIL ¡ ¡

Bush ¡

4 ¡

Problem ¡Defini5on: ¡ ¡ Given ¡a ¡name ¡(query) ¡and ¡a ¡background ¡document, ¡provide ¡the ¡ID ¡

• f ¡the ¡KB ¡entry ¡to ¡which ¡the ¡name ¡refers, ¡or ¡NIL ¡if ¡there ¡is ¡no ¡such ¡
• entry. ¡Also, ¡cluster ¡NIL ¡queries ¡referring ¡to ¡the ¡same ¡en==es. ¡

¡ Our ¡Goals: ¡ ¡

• Develop ¡a ¡baseline ¡system ¡based ¡on ¡supervised ¡learning ¡

principles ¡and ¡simple ¡to ¡compute ¡features; ¡

• Study ¡the ¡importance ¡of ¡different ¡features ¡and ¡learning ¡
• algorithms. ¡

5 ¡

Referent ¡ Nil ¡Resolu*on ¡ Candidate ¡Valida*on ¡ Candidate ¡Ranking ¡ Candidate ¡Generator ¡ Query ¡Expansion ¡ Query ¡ Knowledge ¡ Base ¡

6 ¡

• Regular ¡expressions ¡for ¡acronym ¡queries ¡
• The ¡American ¡Broadcast ¡Company ¡(ABC) ¡is ¡an ¡… ¡ ¡
• Apple ¡(AAPL) ¡sold ¡1.7 ¡million ¡in ¡the ¡first ¡weekend ¡… ¡
• NEW ¡YORK ¡(CNN) ¡-­‑-­‑ ¡Finance ¡ministers ¡from ¡… ¡
• The ¡US ¡(United ¡States ¡of ¡America) ¡are ¡currently ¡… ¡

¡

• Named ¡en55es ¡containing ¡the ¡query ¡
• As ¡president, ¡Barack ¡Obama ¡signed ¡an ¡economic ¡s*mulus ¡… ¡
• The ¡United ¡States ¡Secretary ¡of ¡State ¡is ¡the ¡head ¡of ¡the ¡… ¡

• Candidates ¡selected ¡based ¡on ¡the ¡n-­‑gram ¡similarity ¡between ¡

query ¡and ¡KB ¡entry ¡name. ¡ ¡n ¡= ¡[1,4] ¡

• KB ¡entries ¡expanded ¡with ¡alterna5ve ¡names ¡taken ¡from: ¡
• Wikipedia’s ¡redirect ¡pages ¡
• Wikipedia’s ¡disambigua*on ¡Pages ¡
• Wikipedia’s ¡anchors ¡

¡

8 ¡

Learning ¡to ¡Rank ¡(L2R) ¡approach ¡

10 ¡

Considered ¡features ¡ ¡

• Popularity ¡
• Text-­‑length, ¡# ¡alterna*ve ¡names ¡
• Text ¡similarity ¡
• E.g., ¡TF-­‑IDF ¡cosine ¡similarity ¡ ¡
• Topic ¡similarity ¡
• E.g., ¡LDA ¡cosine ¡similarity ¡
• Named ¡en**es ¡similarity ¡
• E.g., ¡type-­‑match, ¡common ¡en**es ¡
• String ¡similarity ¡
• E.g., ¡Levenstein ¡distance, ¡exact-­‑match ¡
• Page ¡type ¡
• E.g., ¡web, ¡newswire ¡

40+ ¡ranking ¡features ¡

11 ¡

Considered ¡L2R ¡algorithms ¡

• Coordinate ¡Ascent ¡ ¡
• ListNet ¡
• AdaRank ¡
• Ranking ¡Perceptron ¡
• SVMrank ¡
• We ¡also ¡experimented ¡with ¡models ¡trained ¡specifically ¡for ¡the ¡

es*mated ¡query ¡type. ¡ ¡

12 ¡

Supervised ¡Learning ¡approach ¡ ¡

• Algorithms ¡
• SVM ¡(RBF ¡kernel) ¡
• Random ¡Forest ¡
• Query-­‑specific ¡models ¡
• Nil-­‑only ¡features ¡
• Ranking ¡score ¡
• Ranking ¡score ¡sta*s*cs ¡
• E.g., ¡mean, ¡standard ¡devia*on ¡
• Ranking ¡score ¡test ¡for ¡outliers ¡
• E.g., ¡Dixon’s ¡Q ¡test, ¡Grubb’s ¡test ¡

¡

13 ¡

Find ¡Pairs ¡ Compute ¡ Pairwise ¡ Features ¡ Assign ¡Labels ¡ Train ¡Classifier ¡

Step ¡1: ¡

14 ¡

Find ¡Pairs ¡ Compute ¡ Pairwise ¡ Features ¡ Apply ¡ Classifier ¡ Build ¡Query ¡ Graph ¡ Compute ¡ Transi*ve ¡ Closure ¡

Step ¡2: ¡

15 ¡

PER ¡ ORG ¡ GPE ¡ ALL ¡ NIL ¡ 2009 ¡ Train ¡ 627 ¡ 2710 ¡ 567 ¡ 3904 ¡ 57.1% ¡ Test ¡ 500 ¡ 500 ¡ 500 ¡ 1500 ¡ 28.4% ¡ 2010 ¡ Train ¡ 1127 ¡ 3210 ¡ 1067 ¡ 5404 ¡ 49.1% ¡ Test ¡ 750 ¡ 750 ¡ 750 ¡ 2250 ¡ 54.7% ¡ 2011 ¡ Train ¡ 1877 ¡ 3960 ¡ 1817 ¡ 7654 ¡ 50.8% ¡ Test ¡ 750 ¡ 750 ¡ 750 ¡ 2250 ¡ 50.0% ¡

Datasets ¡

16 ¡

Best ¡accuracy: ¡82.2% ¡(2009), ¡85.8% ¡(2010), ¡??% ¡(2011) ¡

0.817 ¡ 0.817 ¡ 0.783 ¡ 0.802 ¡ 0.823 ¡ 0.835 ¡ 0.846 ¡ 0.833 ¡ 0.832 ¡ 0.848 ¡ 0.793 ¡ 0.79 ¡ 0.76 ¡ 0.768 ¡ 0.788 ¡ SVMrank ¡ Ranking ¡ Perceptron ¡ AdaRank ¡ ListNet ¡ Coordinate ¡Ascent ¡ 2009 ¡ 2010 ¡ 2011 ¡

17 ¡

Query ¡es5mate ¡accuracy: ¡87% ¡(2009), ¡82% ¡(2010), ¡79% ¡(2011) ¡

• ­‑1.40% ¡
• ­‑2.00% ¡
• ­‑0.40% ¡

0.20% ¡

• ­‑3.30% ¡

1.40% ¡ 1.30% ¡ 0.10% ¡ 1.10% ¡

• ­‑0.60% ¡

0.00% ¡ 0.60% ¡

• ­‑1.50% ¡

0.00% ¡

• ­‑1.20% ¡

2009 ¡ 2010 ¡ 2011 ¡

19 ¡

Results ¡for ¡SVMrank ¡+ ¡Random ¡Forests ¡

0.864 ¡ 0.906 ¡ 0.817 ¡ 0.847 ¡ 0.897 ¡ 0.835 ¡ 0.779 ¡ 0.892 ¡ 0.793 ¡ ranking ¡ valida*on ¡

• verall ¡

2009 ¡ 2010 ¡ 2011 ¡

20 ¡

72.0% ¡ 73.0% ¡ 74.0% ¡ 75.0% ¡ 76.0% ¡ 77.0% ¡ 78.0% ¡ Text ¡ NER ¡ Name ¡ Popularity ¡ LDA ¡ Page ¡type ¡

21 ¡

74.0% ¡ 75.0% ¡ 76.0% ¡ 77.0% ¡ 78.0% ¡ 79.0% ¡ 80.0% ¡ All ¡ Name ¡ Text ¡ NER ¡ LDA ¡ Popularity ¡ Page ¡type ¡

22 ¡

¡

• Developed ¡a ¡fully ¡func*onal, ¡and ¡data-­‑driven, ¡en*ty-­‑linking ¡ ¡

system ¡with ¡state-­‑of-­‑the-­‑art ¡results ¡for ¡many ¡cases; ¡ ¡

• Compared ¡different ¡algorithm ¡and ¡feature ¡contribu*ons; ¡
• Studied ¡the ¡impact ¡of ¡query-­‑specific ¡models, ¡with ¡mixed ¡results ¡

but ¡an ¡overall ¡poor ¡impact ¡on ¡performance; ¡ ¡

• Resolve ¡full-­‑documents ¡using ¡rela*onal ¡learning ¡techniques. ¡

¡