Steven Minton, InferLink Corporation Sofus Macskassy, Fetch - PowerPoint PPT Presentation

Steven ¡Minton, ¡InferLink ¡Corporation ¡ Sofus ¡Macskassy, ¡Fetch ¡Technologies ¡ Peter ¡LaMonica, ¡Air ¡Force ¡Research ¡Laboratories ¡ Kane ¡See, ¡InferLink ¡Corporation ¡ Craig ¡Knoblock, ¡USC/Information ¡Sciences ¡Inst. ¡ Greg ¡Barish, ¡Fetch ¡Technologies ¡ Matthew ¡Michelson, ¡Fetch ¡Technologies ¡ Ray ¡Liuzzi, ¡Raymond ¡Technologies ¡

Steve ¡Minton, ¡InferLink ¡ Steven ¡Minton, ¡Stanford ¡University ¡ Stephen ¡Minton, ¡Brain ¡Surgeon ¡ Steve ¡Minton, ¡Fetch ¡Technologies ¡ Steven ¡Minton, ¡convicted ¡felon ¡ Steven ¡Minton, ¡ ¡Jonosboro ¡High ¡School ¡ Steven ¡Minton, ¡JAIR ¡

¡ Application ¡domain: ¡Arms ¡trafficking ¡ ¡ Entity ¡Intelligence ¡Portal ¡(ENTEL) ¡ ¡ Entity ¡resolution ¡process ¡ ¡ Mistakes: ¡Maintaining ¡referential ¡integrity ¡

JAIR ¡ AIJ ¡ ¡ ICML ¡ ¡ ¡ ¡ AAAI ¡ IEEE ¡Intelligent ¡Systems ¡ Grants.gov ¡ Web ¡Monitoring ¡System ¡

US ¡Forest ¡Service ¡ NASA ¡ ¡ ¡ Twitter ¡ National ¡Interagency ¡Fire ¡Center ¡ InciWeb.org ¡ Web ¡Monitoring ¡System ¡

Airliners.net ¡ Banned ¡Airlines ¡ ¡ ¡ ¡ ¡ Twitter ¡ Aviation ¡Week ¡ ATWonline ¡ Air ¡Cargo ¡News ¡ Aviation ¡Safety ¡Network ¡ Web ¡Monitoring ¡System ¡

Charged ¡with ¡conspiracy ¡to ¡support ¡a ¡terrorist ¡organization, ¡money ¡laundering, ¡…., ¡

Omega ¡Aircompany ¡ Irbis ¡Air ¡ ¡ Ishtar ¡Airlines ¡ Aerocom ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Mega ¡Airlines ¡ WING ¡AIR ¡ Norse ¡Air ¡Charter ¡ Air ¡Cess ¡ Galaxy ¡Air ¡ Air ¡Foyle ¡ ¡ Click ¡Airways ¡ Centrafricain ¡Airlines ¡ ¡ ¡Air ¡Bas ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Air ¡Pass ¡ Anikay ¡(Anikai) ¡Airlines ¡ ¡ Pietersberg ¡Aviation ¡Services ¡Systems ¡ Santa ¡Cruz ¡Imperial ¡ Great ¡Lake ¡Business ¡Company ¡ Balkh ¡Airlines ¡ Phoenix ¡Aviation ¡ Air ¡Zory ¡ JetLine ¡International ¡ ¡Dolphin ¡Air ¡ ¡ Flying ¡Dolphin ¡ Sitrat ¡Air ¡ MaxAvia ¡ San ¡Air ¡General ¡Trading ¡ Air ¡Mero ¡ African ¡Express ¡ Air ¡Leone ¡ Inter ¡Transavia ¡

Construction ¡ Registration ¡ Aircraft ¡Type ¡ Previous ¡Reg. ¡ Sighting ¡ Markings ¡ Nbr ¡ SHJ ¡11May03 ¡ no ¡markings ¡ UN-­‑75002 ¡ Ilyushin ¡18E ¡ 185008603 ¡ 3C-­‑KKR ¡ SHJ ¡04Nov03 ¡ a/w, ¡n/t ¡ ¡ ¡ ¡ ¡ UN-­‑75003 ¡ Ilyushin ¡18V ¡ 184006903 ¡ 3C-­‑KKJ ¡ SHJ ¡12Oct03 ¡ blue ¡tail, ¡no ¡m/s ¡ ¡ ¡ ¡ ¡ ¡ green ¡cheatline ¡ SHJ ¡14Sep02 ¡ and ¡blue ¡tail ¡ UN-­‑75004 ¡ Ilyushin ¡18D ¡ 186009202 ¡ 3C-­‑KKK ¡ SHJ ¡04Nov03 ¡ No ¡t/t, ¡blue ¡tail ¡ SHJ ¡28Dec03 ¡ all ¡white ¡ UN-­‑75005 ¡ Ilyushin ¡18D ¡ 187010204 ¡ 3C-­‑KKL ¡ SHJ ¡04Nov03 ¡ SHJ ¡Oct02 ¡ No ¡m/s ¡ SHJ ¡11May03 ¡ all ¡white ¡c/s ¡ UN-­‑11007 ¡ Antonov ¡12B ¡ 9346509 ¡ 3C-­‑OOZ ¡ DXB ¡12Oct03 ¡ no ¡titles ¡ [From ¡Ruudleeuw.com] ¡

¡ Web ¡ GUI ¡ 3 Entitybase™ ¡ ¡ 5 Source ¡A ¡ Source ¡B ¡ (entity ¡resolution) ¡ Source ¡C ¡ Source ¡D ¡ 1 Entity ¡IDs ¡ Facts ¡ Analytics ¡Engine ¡and ¡ Fetch ¡Agent ¡Platform™ ¡ Entity-­‑Resolved ¡ (web ¡harvesting) ¡ 4 Content ¡Store ¡ Text ¡ Facts ¡ 2 ¡ ¡ Fact ¡Extraction ¡ Text ¡ ¡ (entities, ¡facts, ¡relations ¡ from ¡unstructured ¡text) ¡ Social ¡Network ¡ ¡ ¡ WatchLists ¡ ¡ OpenCalais ¡ Semantex ¡

¡ Entity ¡resolution: ¡ ¡Link ¡incoming ¡records ¡describing ¡the ¡same ¡ entity ¡from ¡multiple ¡sources ¡ ¡ ¡ ¡ ¡ ¡R. ¡Landis, ¡President, ¡Fetch ¡Technologies ¡ Robert ¡Landes, ¡CEO, ¡Fetch ¡Software ¡ R. ¡Land, ¡CEO, ¡French ¡ ¡Alliance ¡Technologies ¡ ¡ ¡ Many ¡“common ¡sense” ¡issues, ¡for ¡instance: ¡ ▪ Multiple ¡formats ¡for ¡names, ¡addresses, ¡etc. ¡ ▪ R.L. ¡Landes ¡vs. ¡Robert ¡Landes ¡ ▪ Noisy, ¡incorrect ¡values ¡ ▪ Landes ¡vs. ¡Landis ¡ ▪ Multi-­‑valued ¡attributes ¡ ▪ Landes ¡can ¡be ¡both ¡President ¡and ¡CEO ¡ ▪ Aliases ¡and ¡Deception ¡

Cluster ¡is ¡a ¡ ¡ Composed ¡of ¡ single ¡entity ¡ multiple ¡data ¡records ¡ Confidence ¡Threshold ¡ ¡ New ¡Record ¡ E1 ¡ E5 ¡ E4 ¡ E3 ¡ E6 ¡ E2 ¡ E7 ¡

Transformations Initial: Robert → R. ¡ ¡ ¡ ¡ ¡ ¡ Robert ¡Landes, ¡ ¡ Spelling: Landes → Landis ¡ ¡ ¡ ¡ ¡ ¡ ¡CEO, ¡Fetch ¡Tech ¡ Title alias: CEO → President ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡R. ¡Landis, ¡ ¡ President, ¡Fetch ¡Tech ¡ E1 ¡ E5 ¡ E4 ¡ E3 ¡ E6 ¡ Transformations E2 ¡ Spelling: Land → Landis ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ R. ¡Land, ¡ Spelling: French → Fetch E7 ¡ ¡ ¡ ¡President, ¡French ¡Tech ¡ ¡ ¡ ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ Robert ¡Landes, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CEO, ¡Fetch ¡Tech ¡ P(E1 ¡|D) ¡ ¡= ¡ ¡P(E1) ¡P(D ¡| ¡E2 ¡) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡P(D) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡R. ¡Landis, ¡ ¡ President, ¡Fetch ¡Tech ¡ E1 ¡ E5 ¡ E4 ¡ E3 ¡ E6 ¡ P(E2 ¡|D) ¡= ¡P(E2) ¡P(D ¡| ¡E2 ¡) ¡ E2 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡P(D) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ R. ¡Land, ¡ ¡ E7 ¡ ¡ ¡ ¡President, ¡French ¡Tech ¡ ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡R. ¡Landis, ¡ ¡ President, ¡Fetch ¡Tech ¡ E1 ¡ E5 ¡ E4 ¡ ¡ E3 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡P(E new ) ¡P(D ¡| ¡E new ¡) ¡ E6 ¡ ? ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡P(D) ¡ E2 ¡ ¡ E7 ¡ E new ¡

New ¡Record ¡

New ¡Record ¡

New ¡Record ¡

¡ Merge ¡example: ¡ § Air ¡Cess ¡and ¡Air ¡Bas ¡aircraft ¡ ¡ Split ¡example: ¡ § George ¡H. ¡W. ¡Bush ¡and ¡George ¡W. ¡Bush ¡ ¡

EntityBase ¡ E1 ¡ E3 ¡ E10 ¡ E5 ¡ E2 ¡ E6 ¡ E4 ¡

EntityBase ¡ E2 ¡? ¡ E3 ¡ E10 ¡ E5 ¡ E6 ¡ E4 ¡

EntityBase ¡ E3 ¡ E10 ¡ E5 ¡ E6 ¡ E4 ¡

EntityBase ¡ D2 D1 D10 D6 E3 ¡ D3 D4 E10 ¡ D9 D5 D6 E5 ¡ D7 D11 E6 ¡ D13 D8 D12 E4 ¡

EntityBase ¡ Analytics ¡ ¡ WatchList ¡ D2 D1 ¡ D10 Kartiga Air (D9) E3 ¡ D3 D4 Merpati Airlines (D11) E10 ¡ Air Cess (D138) D9 …. ¡ D5 D6 E5 ¡ ¡ ¡ D7 ¡ D11 E6 ¡ ¡ D13 D8 D12 E4 ¡

EntityBase ¡ Analytics ¡ ¡ “Social” ¡Network ¡ ¡ E1 ¡ Publish ¡ E1 ¡ ¡ E3 ¡ E200 ¡ Merges/Splits ¡ ¡ E10 ¡ ¡ E91 ¡ E2 ¡ ¡ E5 ¡ E9 ¡ E2 ¡ ¡ E15 ¡ ¡ E6 ¡ E6 ¡ ¡ E34 ¡ ¡ ¡ E4 ¡ ¡

EntityBase ¡ Analytics ¡ ¡ “Social” ¡Network ¡ ¡ Publish ¡ E1 ¡ ¡ E3 ¡ E200 ¡ Merges/Splits ¡ ¡ E10 ¡ E10 ¡ ¡ E91 ¡ E2 ¡ ¡ E5 ¡ E9 ¡ ¡ E15 ¡ ¡ E6 ¡ E6 ¡ ¡ E34 ¡ ¡ ¡ E4 ¡ ¡

¡ Two ¡approaches: ¡ § Refer-­‑by-­‑Description ¡ ▪ Indirect ¡reference: ¡Point ¡to ¡a ¡cluster ¡member ¡ ▪ Advantage: ¡Easy, ¡no ¡synchronization ¡necessary ¡ ▪ …But ¡limits ¡information ¡that ¡client ¡can ¡cache ¡ § Refer-­‑by-­‑Identifier ¡ ▪ Direct ¡reference: ¡Cluster ¡ID ¡ ▪ Advantage: ¡Client ¡can ¡cache ¡arbitrary ¡information ¡ ▪ …But ¡ ¡client ¡must ¡synch ¡with ¡EntityBase ¡and ¡maintain ¡ consistency ¡ ¡ ¡