Re-presen(ng Art Collec(ons Joon Son Chung, Relja - - PowerPoint PPT Presentation

Re-­‑presen(ng ¡Art ¡Collec(ons ¡

University ¡of ¡Oxford ¡ VISART, ¡6th ¡September ¡2014 ¡

Joon ¡Son ¡Chung, ¡Relja ¡Arandjelović, ¡Giles ¡Bergel, ¡ ¡ Alex ¡Franklin ¡and ¡Andrew ¡Zisserman ¡

Dataset: ¡The ¡Bodleian ¡Broadside ¡Ballads ¡

§ Photographs ¡of ¡around ¡900 ¡broadside ¡ballad ¡sheets ¡ § Broadside ¡ballad ¡sheets ¡are: ¡ ¡ § Cheap ¡printed ¡ballad ¡sheets ¡ § Printed ¡from ¡the ¡16th ¡to ¡the ¡20th ¡century ¡ § The ¡illustraSons ¡are ¡printed ¡with ¡woodblocks ¡

2 ¡

Dataset: ¡The ¡Bodleian ¡Broadside ¡Ballads ¡

3 ¡

Dataset: ¡The ¡Bodleian ¡Broadside ¡Ballads ¡

4 ¡

Dataset: ¡The ¡Bodleian ¡Broadside ¡Ballads ¡

5 ¡

Problem ¡statement ¡

l MoSvaSon: ¡ l Art ¡historians ¡now ¡have ¡huge ¡

digital ¡collecSons ¡for ¡study ¡

l Manual ¡analysis ¡inadequate ¡

for ¡collecSons ¡of ¡this ¡scale ¡

l Computer ¡vision ¡methods ¡can ¡generate ¡new ¡representaSons ¡

• f ¡the ¡data ¡that ¡are ¡beXer ¡suited ¡to ¡their ¡research ¡problems ¡

6 ¡

ObjecSves ¡

• 1. ¡ ¡IdenSfying ¡woodcut ¡illustraSons ¡

7 ¡

ObjecSves ¡

• 2. ¡ ¡Clustering ¡by ¡semanSc ¡similarity ¡

8 ¡

ObjecSves ¡

• 3. ¡ ¡Clustering ¡by ¡exact ¡copies ¡(from ¡the ¡same ¡woodblock) ¡

9 ¡

Outline ¡

• 1. IdenSfying ¡woodcut ¡illustraSons ¡

a.

Finding ¡candidate ¡regions ¡

• b. Matching ¡the ¡illustraSons ¡across ¡the ¡collecSon ¡to ¡

refine ¡the ¡regions ¡

• 2. Clustering ¡by ¡semanSc ¡similarity ¡
• 3. Clustering ¡by ¡exact ¡copies ¡
• 4. ApplicaSon: ¡temporal ¡ordering ¡

10 ¡

IdenSfying ¡woodcut ¡illustraSons ¡

§ First, ¡idenSfy ¡the ¡areas ¡of ¡text ¡ ¡

11 ¡

IdenSfying ¡woodcut ¡illustraSons ¡

12 ¡

IdenSfying ¡woodcut ¡illustraSons ¡

§ Areas ¡of ¡text ¡highlighted ¡

13 ¡

IdenSfying ¡woodcut ¡illustraSons ¡

§ Remove ¡the ¡areas ¡of ¡text ¡from ¡the ¡image ¡ ¡

14 ¡

IdenSfying ¡woodcut ¡illustraSons ¡

§ Remove ¡all ¡details ¡that ¡are ¡outside ¡the ¡page ¡boundary ¡

15 ¡

IdenSfying ¡woodcut ¡illustraSons ¡

§ Find ¡the ¡bounding ¡boxes ¡of ¡the ¡remaining ¡objects ¡

16 ¡

Outline ¡

• 1. IdenSfying ¡woodcut ¡illustraSons ¡

a.

Finding ¡candidate ¡regions ¡

• b. Matching ¡the ¡illustraSons ¡across ¡the ¡collecSon ¡to ¡

refine ¡the ¡regions ¡

• 2. Clustering ¡by ¡semanSc ¡similarity ¡
• 3. Clustering ¡by ¡exact ¡copies ¡
• 4. ApplicaSon: ¡temporal ¡ordering ¡

17 ¡

[Lowe04, ¡Philbin07] ¡

Hessian-­‑Affine ¡regions ¡+ ¡ RootSIFT ¡descriptors ¡ visual ¡words ¡

querying ¡

sparse ¡frequency ¡vector ¡ Inverted ¡ file ¡ ranked ¡image ¡ short-­‑list ¡ Set ¡of ¡RootSIFT ¡ descriptors ¡ query ¡input ¡

Geometric ¡ verifica(on ¡

[Lowe04, ¡Mikolajczyk07] ¡ [Sivic03] ¡

R-­‑idf ¡weigh(ng ¡

ImageMatch ¡

Philbin ¡et ¡al. ¡(2007), ¡Arandjelović ¡and ¡Zisserman ¡(2012) ¡

18 ¡

ImageMatch ¡

query ¡input ¡

19 ¡

Boundary ¡refinement ¡

§ Generate ¡ImageMatch ¡queries ¡from ¡all ¡candidate ¡illustraSons ¡ § Record ¡all ¡returns ¡

20 ¡

Boundary ¡refinement ¡

2614 illustrations

21 ¡

§ Cluster ¡the ¡matches ¡from ¡other ¡candidates ¡that ¡overlap ¡the ¡

• riginal ¡boundary ¡

Outline ¡

• 1. IdenSfying ¡woodcut ¡illustraSons ¡
• 2. Clustering ¡by ¡semanSc ¡similarity ¡
• 3. Clustering ¡by ¡exact ¡copies ¡
• 4. ApplicaSon: ¡temporal ¡ordering ¡

22 ¡

Clustering ¡by ¡semanSc ¡similarity ¡

§ Similarity ¡of ¡two ¡illustraSons ¡is ¡computed ¡as ¡a ¡weighted ¡

similariSes ¡of: ¡

§ The ¡GIST ¡descriptor ¡provides ¡a ¡holisSc ¡descripSon ¡of ¡the ¡scene

¡

§ The ¡VLAD ¡summarizes ¡the ¡distribuSon ¡of ¡local ¡SIFT ¡descriptors ¡

in ¡an ¡image ¡ ¡

§ SpaSally ¡pooled ¡VLAD ¡encodes ¡the ¡spaSal ¡informaSon ¡

! P0 P1 P2 P3 P4 P5

23 ¡

Clustering ¡by ¡semanSc ¡similarity ¡

§ Similarity ¡of ¡two ¡illustraSons ¡is ¡computed ¡as ¡a ¡weighted ¡

similariSes ¡of ¡the ¡GIST, ¡the ¡VLAD ¡and ¡spaSally-­‑pooled ¡VLAD. ¡

§ The ¡pairwise ¡dissimilariSes ¡are ¡thresholded, ¡and ¡a ¡graph ¡is ¡formed

¡

§ Undirected ¡edges ¡represent ¡sufficient ¡similarity ¡

1.8 ¡ 2.2 ¡ 3.4 ¡ 3.5 ¡ 3.1 ¡ 2.9 ¡ Threshold ¡is ¡3.0 ¡

24 ¡

Clustering ¡by ¡semanSc ¡similarity ¡

§ Similarity ¡of ¡two ¡illustraSons ¡is ¡computed ¡as ¡a ¡weighted ¡

similariSes ¡of ¡the ¡GIST, ¡the ¡VLAD ¡and ¡spaSally-­‑pooled ¡VLAD. ¡

§ The ¡pairwise ¡similariSes ¡are ¡thresholded, ¡and ¡a ¡graph ¡is ¡formed ¡ § Extract ¡connected ¡components ¡to ¡find ¡the ¡clusters ¡

1.8 ¡ 2.2 ¡ 3.4 ¡ 3.5 ¡ 3.1 ¡ 2.9 ¡

25 ¡

Clustering ¡by ¡semanSc ¡similarity ¡

§ Similarity ¡of ¡two ¡illustraSons ¡is ¡computed ¡as ¡a ¡weighted ¡

similariSes ¡of ¡the ¡GIST, ¡the ¡VLAD ¡and ¡spaSally-­‑pooled ¡VLAD. ¡

§ The ¡pairwise ¡similariSes ¡are ¡thresholded, ¡and ¡a ¡graph ¡is ¡formed ¡ § Extract ¡connected ¡components ¡to ¡find ¡the ¡clusters ¡ § We ¡find ¡and ¡break ¡up ¡clusters ¡with ¡large ¡intra-­‑cluster ¡variability ¡

1.8 ¡ 2.2 ¡ 3.4 ¡ 3.5 ¡ 3.1 ¡ 2.9 ¡

26 ¡

Clustering ¡by ¡semanSc ¡similarity ¡

740 clusters

27 ¡

Outline ¡

• 1. IdenSfying ¡woodcut ¡illustraSons ¡
• 2. Clustering ¡by ¡semanSc ¡similarity ¡
• 3. Clustering ¡by ¡exact ¡copies ¡
• 4. ApplicaSon: ¡temporal ¡ordering ¡

28 ¡

Clustering ¡by ¡exact ¡copies ¡

§ VLAD ¡descriptors ¡for ¡these ¡illustraSons ¡are ¡almost ¡the ¡same. ¡ § But, ¡are ¡these ¡from ¡the ¡same ¡woodblock? ¡

Frequency ¡of ¡visual ¡words ¡ Frequency ¡of ¡visual ¡words ¡

29 ¡

Clustering ¡by ¡exact ¡copies ¡

§ A ¡linear ¡SVM ¡is ¡trained ¡to ¡disSnguish ¡between ¡a ¡pair ¡of ¡same

¡ and ¡similar ¡illustraSons. ¡Useful ¡features ¡are: ¡

§ The ¡number ¡of ¡putaSve ¡SIFT ¡matches, ¡ § The ¡raSo ¡of ¡spaSally ¡consistent ¡SIFT ¡matches, ¡ § The ¡density ¡of ¡matches, ¡ § The ¡spaSal ¡distribuSon ¡of ¡the ¡matches, ¡and ¡… ¡

30 ¡

Clustering ¡by ¡exact ¡copies ¡

§ The ¡minimum ¡of ¡fine-­‑level ¡differences ¡in ¡image ¡details. ¡ ¡

Difference ¡images ¡

• From ¡the ¡same ¡woodblock. ¡ ¡
• The ¡differences ¡are ¡damages ¡to ¡the ¡
• woodblock. ¡

¡ Difference ¡images ¡

• From ¡different ¡woodblocks ¡
• The ¡image ¡differences ¡are ¡due ¡to ¡spaSal ¡
• inconsistencies. ¡

¡

31 ¡

Max ¡( ¡I1 ¡– ¡I2 ¡, ¡0 ¡) ¡ Max ¡( ¡I2 ¡– ¡I1 ¡, ¡0 ¡) ¡ Max ¡( ¡I1 ¡– ¡I2 ¡, ¡0 ¡) ¡ Max ¡( ¡I2 ¡– ¡I1 ¡, ¡0 ¡) ¡

Clustering ¡by ¡exact ¡copies ¡

942 woodblocks

32 ¡

Summary ¡staSsScs ¡

§ 918 ¡broadside ¡ballad ¡sheets ¡ § 2614 ¡illustraSons ¡ § 740 ¡semanScally ¡similar ¡clusters ¡ § 942 ¡different ¡woodblocks ¡used ¡to ¡print ¡the ¡illustraSons ¡

33 ¡

Outline ¡

• 1. IdenSfying ¡woodcut ¡illustraSons ¡
• 2. Clustering ¡by ¡semanSc ¡similarity ¡
• 3. Clustering ¡by ¡exact ¡copies ¡
• 4. ApplicaSon: ¡temporal ¡ordering ¡

34 ¡

ApplicaSon: ¡temporal ¡ordering ¡of ¡the ¡prints ¡ ¡

§ Woodblocks ¡get ¡damaged ¡over ¡Sme. ¡ § We ¡use ¡the ¡visual ¡cues ¡apparent ¡on ¡the ¡illustraSons ¡to ¡find ¡

the ¡temporal ¡ordering ¡of ¡the ¡ballad ¡sheets. ¡

35 ¡

ApplicaSon: ¡temporal ¡ordering ¡of ¡the ¡prints ¡ ¡

Cues ¡of ¡woodblock ¡damage ¡

§ Woodblocks ¡get ¡damaged ¡over ¡Sme. ¡ § We ¡use ¡the ¡visual ¡cues ¡apparent ¡on ¡the ¡illustraSons ¡to ¡find ¡

the ¡temporal ¡ordering ¡of ¡the ¡ballad ¡sheets. ¡

36 ¡

ApplicaSon: ¡temporal ¡ordering ¡of ¡the ¡prints ¡ ¡

37 ¡

ApplicaSon: ¡temporal ¡ordering ¡of ¡the ¡prints ¡ ¡

38 ¡

1 3 4 2 5

ApplicaSon: ¡temporal ¡ordering ¡of ¡the ¡prints ¡ ¡

4 1 1 3 3 5 5 2

§ We ¡combine ¡the ¡cues ¡from ¡all ¡woodblocks ¡

39 ¡

ApplicaSon: ¡temporal ¡ordering ¡of ¡the ¡prints ¡ ¡

40 ¡

1 3 4 2 5

Conclusion ¡

§ The ¡three ¡contribuSons ¡of ¡this ¡presentaSon: ¡ § AutomaSc ¡cropping ¡of ¡illustraSons ¡ § SemanSc ¡clustering ¡ § Exact ¡clustering ¡ § The ¡illustraSons ¡are: ¡ § From ¡the ¡same ¡source, ¡ § Or ¡near ¡copies, ¡ ¡ § Or ¡different ¡depicSons. ¡ § Applicable ¡to ¡any ¡collecSon ¡with ¡some ¡commonality ¡in ¡

illustraSons ¡(e.g. ¡The ¡Book ¡of ¡Hours). ¡

41 ¡

Catalogue ¡of ¡woodblocks ¡

¡ hXp://www.robots.ox.ac.uk/~vgg/demo/ballads/ ¡ ¡

42 ¡