A Touch-panel based User Interface and U6liza6on of - PowerPoint PPT Presentation

A ¡Touch-­‑panel ¡based ¡User ¡Interface ¡ and ¡ ¡ U6liza6on ¡of ¡User’s ¡Memories ¡for ¡ ¡ Known-­‑item ¡Search ¡(KIS) ¡Task ¡in ¡ TRECVID ¡2011 ¡ Yuan ¡Zhou ¡and ¡Takashi ¡Yukawa ¡ Nagaoka ¡University ¡of ¡Technology ¡ 2011-­‑12-­‑05 ¡ 1 ¡

Goal InteracRve ¡KIS ¡Task Query: output 1 ¡single ¡video 391 ¡Queries ¡in ¡test: Evaluate Find ¡the ¡video ¡of ¡a ¡man ¡in ¡white ¡T-­‑shirt, ¡ Mean ¡Elapsed ¡Time ¡ blond ¡hair, ¡talking ¡about ¡FBI (<5mins) Mean ¡ ¡ Average ¡Precision Find ¡the ¡video ¡of ¡a ¡baby ¡in ¡stroller ¡being ¡ User ¡SaRsfacRon ¡ pushed ¡by ¡a ¡woman ¡in ¡blue ¡pants ¡in ¡a ¡ (1-­‑-­‑-­‑7) ¡ house ¡with ¡hardwood ¡floors. Data ¡CollecRon: … Test ¡Data Training ¡Data (with ¡XML) (with ¡XML) Find ¡the ¡video ¡showing ¡a ¡hand ¡next ¡to ¡a ¡ computer ¡keyboard ¡and ¡a ¡cat's ¡tail ¡and ¡ paw ~8000 ¡videos ¡ ~3200 ¡videos ¡ 50 ¡GB ¡ 47.2 ¡GB ¡ 200 ¡hours ¡ 200 ¡hours ¡ 10s ¡– ¡4.1mins/video ¡ 3.6 ¡– ¡4.1mins/video ¡ 2

System ¡Structure Long ¡ index Indexing Title& ¡ Mid ¡ DescripRon ¡ Index ¡Process ¡ Metadata &IdenRfier ¡ index index Short ¡ index Search ¡Process ¡ Parsing Request ¡ Long ¡ (Query) index Salient ¡ Fusion Words ¡ Mid ¡ index Term ¡weighted ¡by ¡user Short ¡ index Length-­‑check Result 3

Feature(1): ¡User ¡Interface • DescripRon: ¡ ¡ – Efficient ¡and ¡User-­‑friendly ¡Interface. ¡ • SoluRon: ¡ ¡ – iPad ¡as ¡UI ¡ – IntuiRve, ¡Easy ¡to ¡use ¡ • Goal: ¡ ¡ – Beker ¡mean ¡elapsed ¡Rme ¡and ¡user ¡saRsfacRon. ¡ 4

Feature(2): ¡ ¡ ¡ ¡ Visualizing ¡Weighted ¡Terms • DescripRon: ¡ ¡ – Salient ¡Term, ¡Computer ¡Only, ¡NOT ¡EffecRve. ¡ • SoluRon: ¡ ¡ ¡ ¡ ¡ ¡ – Let ¡user ¡decide ¡query ¡terms’ ¡weight, ¡In ¡Visual. ¡ • Goal: ¡ ¡ ¡ ¡ ¡ – Beker ¡Engine ¡Performance ¡& ¡User ¡SaRsfacRon. 5

Visual ¡Level ¡ 6

Feature(3): ¡Length-­‑check • DescripRon: ¡ ¡ – User ¡remember ¡video’s ¡length ¡roughly. ¡ • SoluRon: ¡ ¡ – Add ¡“short”, ¡“medium”, ¡“long” ¡funcRons. ¡ • Goal: ¡ ¡ – Beker ¡Engine ¡Performance. 7

Visual ¡Level Short: ¡less ¡ than ¡20 ¡ seconds ¡ ¡ Medium: ¡ 21-­‑59 ¡ seconds ¡ ¡ Long: ¡more ¡ than ¡1 ¡min 8

Index ¡Process ¡ XML ¡ idenRfier ¡ idenRfier ¡ Rtle ¡ Rtle ¡ descripRon ¡ descripRon ¡ Lucene ¡ Index ¡ 9 ¡

Search ¡Process ¡ Server ¡ Long ¡ query ¡ index ¡ video ¡ Video ¡ mid ¡ + Length ¡ index ¡ data ¡ Lucene ¡ ¡ Salient ¡ info ¡ Word Search ¡Engine ¡ (refined) ¡ Short ¡ (server) ¡ index ¡ Salient ¡ Word ¡ ¡ ¡10 ¡ Client ¡(iPad) ¡

Network ¡ Video ¡ Data ¡ Hkp(Post) ¡ Tomcat ¡ (Java ¡Servlet) ¡ Index ¡ Client ¡ Server ¡ 11 ¡

iPad ¡User ¡Interface… ¡ Video ¡ 12 ¡

InteresRng ¡Issue ¡ 10/25 ¡have ¡keywords ¡ Salient ¡word: ¡ Children ¡ ¡ 8/10 ¡by ¡Default ¡Lucene ¡ Video ¡length ¡ à ¡short ¡ Video ¡Length ¡ à ¡long ¡ 501 ¡ 502 ¡ 507 ¡ 508 ¡ 510 ¡ 512 ¡ 514 ¡ 523 ¡ 517 ¡ 519 ¡ Rank ¡ Topic ¡No. ¡ change ¡ 501 ¡ 502 ¡ 507 ¡ 508 ¡ 510 ¡ 512 ¡ 514 ¡ 523 ¡ 517 ¡ 519 ¡ Pre. ¡ 2 ¡ 5 ¡ 1 ¡ 1 ¡ 4 ¡ 3 ¡ 1 ¡ 8 ¡ * ¡ * ¡ Av. ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 3 ¡ 13 ¡

Result: ¡ Index ¡& ¡ 25 ¡Test ¡Topics ¡ Methods ¡ Mean ¡Precision ¡ Mean ¡Elapsed ¡ Mean ¡User ¡ combinaRon ¡ Time ¡ SaRsfacRon ¡ XML ¡ 0.320 ¡ ¡ ¡ 3.544 ¡ 4.000 ¡ + ¡Salient ¡Word ¡ ¡ Refining ¡& ¡Length ¡ 0.400 ¡ VerificaRon ¡ MP ¡& ¡MIR ¡comparison: ¡ Index ¡& ¡Methods ¡ 25 ¡Test ¡Topics ¡ combinaRon ¡ Mean ¡Precision ¡ Mean ¡Inverted ¡Rank ¡ XML ¡ 0.320 ¡ 0.176 ¡ + ¡Salient ¡Word ¡Refining ¡& ¡ ¡ 0.400 ¡ 0.373 ¡ Length ¡VerificaRon ¡ 14 ¡

Summary ¡ • TRECVID ¡2011: ¡ ¡ – InteracRve ¡KIS ¡task ¡ • Index ¡data: ¡only ¡metadata ¡ • 3 ¡issues: ¡ – iPad ¡ – Salient ¡word ¡refining ¡ – Video ¡Length ¡Check ¡ • Index ¡and ¡Search ¡process ¡ • Results. ¡ 15 ¡

Future ¡Work ¡ • Performance ¡enhancement: ¡ – OCR, ¡ASR ¡index ¡implementaRon. ¡ – Voice-­‑aid ¡Query ¡Input. ¡ 16 ¡

Thank ¡You ¡ ¡ QuesRon? ¡ 2011-­‑12-­‑05 17