T o w a r d s a P i p e l i n e f o r M e t a - - PowerPoint PPT Presentation

T

• w

a r d s a P i p e l i n e f

• r

M e t a d a t a E x t r a c t i

• n

f r

• m

H i s t

• r

i c a l M a p s

Benedikt Budig, Universität Würzburg

O v e r v i e w

• H

i s t

• r

i c a l M a p s : w h a t a n d w h y ?

• S

k e t c h

• f

a P i p e l i n e

– f

r

• m

b i t m a p i m a g e t

• g

e

• r

e f e r e n c e d m e t a d a t a

• O

p e n Q u e s t i

• n

s & F u t u r e W

• r

k

S t u d y h i s t

• r

i c a l m a p s : w h y ?

• M

a n y l i b r a r i e s h a v e l a r g e c

• l

l e c t i

• n

s

• f

h i s t

• r

i c a l m a p s

• R

e l e v a n t f

• r

t h e ( d i g i t a l ) h u m a n i t i e s

– H

i s t

• r

y

• f

c a r t

• g

r a p h y

– G

e n e r a l h i s t

• r

y

– S

p e c i f i c e x a m p l e :

• n
• m

a s t i c s

Wh a t h a p p e n s w i t h h i s t

• r

i c a l m a p s ?

• S

t

• r

e d i n a l i b r a r y b a s e m e n t

– R

e t r i e v a b l e b y b i b l i

• g

r a p h i c i n f

• r

m a t i

• n
• H

i g h

• q

u a l i t y b i t m a p s c a n s ,

• n

l i n e c a t a l

• g

u e

– B

r

• w

s a b l e b y b i b l i

• g

r a p h i c i n f

• r

m a t i

• n
• U

s e f u l q u e r i e s ?

– I

n a c t u a l r e s e a r c h p r a c t i c e

– B

y i n t e r e s t e d l a y p e

• p

l e n

• t

b i b l i

• g

r a p h i c i n f

• r

m a t i

• n

, b u t m e t a d a t a

• n

a c t u a l c

• n

t e n t s →

M e t a d a t a : w h a t ?

• C
• n

t a i n e d s e t t l e m e n t s

• L

a n d s c a p e t

• p
• g

r a p h y

• G

e

• p
• l

i t i c a l f e a t u r e s

• …

M e t a d a t a : h

• w

?

• D
• i

t b y h a n d

• S
• f

t w a r e : u s a b i l i t y i m p r

• v

e m e n t s

e . g . [ S i m

• n

e t a l . 2 1 1 , 2 1 5 ]

– G

a i n s i n e f f i c i e n c y a r e l i m i t e d

• S
• f

t w a r e : c

• m

p u t e r v i s i

• n

[ C h i a n g 2 1 4 ]

– N

• p

a n a c e a , b u t c a n w

• r

k w e l l f

• r

r e s t r i c t e d c

• r

p

• r

a

– S

i g n i f i c a n t c u s t

• m

R & D e f f

• r

t e v e r y t i m e

F

• r

e x a m p l e . . .

• F
• r

e s t

• c
• v

e r a n a l y s i s

• f

t h e “ S i e g f r i e d M a p ” [ L e y k , B

• e

s c h , W e i b e l 2 6 ]

• 6

s h e e t s , p r

• d

u c e d 1 8 7 t

• 1

9 2 2

O u r s c

• p

e

• W

e c

• n

s i d e r m a p s f r

• m

e a r l y m

• d

e r n p e r i

• d

f

• r

w a r d

• U

n i q u e g r a p h i c a l s t y l e s , d i f f e r e n t f

• n

t s , h a n d w r i t i n g

• D

i f f e r e n t c a r t

• g

r a p h i c c

• n

v e n t i

• n

s , h e a v y d i s t

• r

t i

• n

s G

• a

l : e x t r a c t a n d g e

• r

e f e r e n c e m e t a d a t a N

• t

e : g e

• r

e f e r e n c e m e t a d a t a , n

• t

j u s t m a p s h e e t s

D e e p G e

• r

e f e r e n c i n g

• G

e

• r

e f e r e n c e i n d i v i d u a l e l e m e n t s c

• n

t a i n e d i n a m a p

• E

x t r a c t i

• n

s t r a t e g y :

– L

• c

a t e m a p e l e m e n t a n d i t s c

• r

r e s p

• n

d i n g l a b e l

– R

e a d l a b e l t

• i

d e n t i f y a n d g e

• r

e f e r e n c e e l e m e n t

V

• l

k a c h 4 9 ° 5 2 N , 1 ° 1 4 E ′ ′

S

• w

h a t n

• w

?

• S

p l i t p r

• b

l e m i n t

• s

m a l l e r g

• a

l s

• D

e s i g n a m

• d

u l a r p i p e l i n e

S e g m e n t a t i

• n

C l u s t e r i n g a n d M a t c h i n g U n d e r s t a n d i n g T e x t G e

• r

e f e r e n c i n g

S e g m e n t a t i

• n

C l u s t e r i n g a n M a t c h i n

S e g m e n t a t i

• n
• S

m a l l e r g

• a

l s

• L
• k

f

• r
• n

e p a r t i c u l a r e l e m e n t

• n
• n

e m a p

[ B u d i g a n d V a n D i j k 2 1 5 ]

S e g m e n t a t i

• n

: t w

• i

n g r e d i e n t s

I n g r e d i e n t 1 : T e m p l a t e M a t c h i n g

• F

i n d a p p r

• x

i m a t e r e p e a t

• c

c u r r e n c e s

• f

a n e x a m p l e i m a g e

• H

e r e : b l a c k

• a

n d

• w

h i t e ,

• n

l y t r a n s l a t i

• n

S e g m e n t a t i

• n

: t w

• i

n g r e d i e n t s

I n g r e d i e n t 1 : T e m p l a t e M a t c h i n g

• F

i n d a p p r

• x

i m a t e r e p e a t

• c

c u r r e n c e s

• f

a n e x a m p l e i m a g e

• H

e r e : b l a c k

• a

n d

• w

h i t e ,

• n

l y t r a n s l a t i

• n

I n g r e d i e n t 2 : A c t i v e L e a r n i n g

• D

i s t i n g u i s h m a t c h e s t h a t a r e s e m a n t i c a l l y c

• r

r e c t f r

• m

t h e r e s t

• E

f f i c i e n t u s e r i n t e r a c t i

• n

S e g m e n t a t i

• n

:

• p

e n q u e s t i

• n

s

• H
• w

t

• l
• c

a t e l a n d s c a p e t

• p
• g

r a p h y ?

– T

e m p l a t e m a t c h i n g w

• r

k s f

• r

s

• m

e f e a t u r e s (

• n

s

• m

e m a p s )

• H
• w

t

• l
• c

a t e g e

• p
• l

i t i c a l f e a t u r e s ?

S e g m e n t a t i

• n

C l u s t e r i n g a n M a t c h i n g

C l u s t e r i n g a n d M a t c h i n g :

• p

e n q u e s t i

• n
• G

i v e n m a t c h e s

• f

c h a r a c t e r s , h

• w

c a n w e g e t l a b e l s ?

– U

s e c l u s t e r i n g a l g

• r

i t h m s l i k e D B S C A N ?

– T

a k e t h e i m a g e i n t

• a

c c

• u

n t ( u s i n g a p p r

• a

c h e s f r

• m

c

• m

p u t e r v i s i

• n

) ?

M a t c h i n g L a b e l s a n d P l a c e M a r k e r s

• A

s s u m p t i

• n

: l a b e l s a n d m a r k e r s a l r e a d y d e t e c t e d

• M

a t c h t h e c

• r

r e s p

• n

d i n g

• n

e s

[ B u d i g , V a n D i j k , W

• l

f f , 2 1 4 ]

W a n t e d : a M a t c h i n g

• F

i n d a m a t c h i n g

• f

l a b e l s a n d p l a c e m a r k e r s

• N
• 1
• t
• 1

a s s i g n m e n t p

• s

s i b l e

• B

a s i c a s s u m p t i

• n

: l a b e l s a r e n e a r t h e i r c

• r

r e s p

• n

d i n g m a r k e r s

• G

r e e d y s t r a t e g y ? → d

• e

s n

• t

w

• r

k w e l l !

• M
• d

e l a s

• p

t i m i z a t i

• n

p r

• b

l e m

E x p e r i m e n t a l R e s u l t s

• F

r a n c k e n l a n d t ( 1 5 3 3 )

– 5

3 9 m a r k e r s , 5 2 4 l a b e l s

– o

u r a l g

• r

i t h m : e r r

• r

r a t e 3 . 5 %

– g

r e e d y a l g

• r

i t h m : e r r

• r

r a t e 1 7 . 8 %

• C

i r c u l u s F r a n c

• n

i c u s ( 1 7 6 )

– 1

6 6 3 m a r k e r s , 1 6 6 9 l a b e l s

– o

u r a l g

• r

i t h m : e r r

• r

r a t e 1 . 3 %

– g

r e e d y a l g

• r

i t h m : e r r

• r

r a t e 5 . 9 %

Wh a t n

• w

?

• E

r r

• r

r a t e s i n e x p e r i m e n t s : 1 . 3 % a n d 3 . 5 %

• U

n c l e a r s i t u a t i

• n

s :

• M

a n u a l v e r i f i c a t i

• n
• r

c

• r

r e c t i

• n

n e c e s s a r y

S e n s i t i v i t y

• C

a l c u l a t e s e n s i t i v i t y a n a l y s i s f

• r

t h e m a t c h i n g

• O

n l y s h

• w

a s s i g n m e n t s

• u

r a l g

• r

i t h m i s u n c e r t a i n a b

• u

t

S e g m e n t a t i

• n

C l u s t e r i n g a n d M a t c h i n g U n d e r s t a n d T e x t

U n d e r s t a n d i n g T e x t

C h a l l e n g e s :

• H

a n d w r i t t e n

• P
• r

c

• n

s e r v a t i

• n

s t a t e

• D

i f f i c u l t l a y

• u

t , b a c k g r

• u

n d n

• i

s e → O f f

• t

h e

• s

h e l f O C R s

• f

t w a r e n

• t

s u i t a b l e

U n d e r s t a n d i n g T e x t :

• p

e n q u e s t i

• n

s

• T

r a i n O C R e n g i n e , e . g . T e s s e r a c t

• r

O C R

• p

u s ?

–

B u t l i m i t e d t r a i n i n g d a t a , u n l e s s g e n e r a t e d s y n t h e t i c a l l y

• D

e r i v e t e x t d i r e c t l y f r

• m

t e m p l a t e m a t c h e s ?

[ C a l u

• r

i a n d S i m

• n

2 1 3 ]

• U

s e g a z e t t e e r s ( w i t h h i s t

• r

i c s p e l l i n g s ) ?

C l u s t e r i n g a n d M a t c h i n g U n d e r s t a n d i n g T e x t G e

• r

e f e r e n

G e

• r

e f e r e n c i n g :

• p

e n q u e s t i

• n

s

C h a l l e n g e s :

• S

p e l l i n g v a r i a t i

• n

s

• P
• t

e n t i a l e r r

• r

s i n t h e p r e v i

• u

s s t e p s

• U

s e g a z e t t e e r s ? P h

• n

e t i c a l g

• r

i t h m s ?

[ H

öh

n e t a l . 2 1 3 ]

• U

s e m

• d

e r n m a p s ?

• G

e

• m

e t r i c r e a s

• n

i n g ?

C

• n

c l u s i

• n
• H

i s t

• r

i c a l m a p s a r e r e l e v a n t , b u t h a r d t

• s

e a r c h

• N

e e d f

• r

a p i p e l i n e f

• r

d e e p g e

• r

e f e r e n c i n g

• H

u m a n e f f

• r

t i s n e c e s s a r y s m a r t i n t e r a c t i

• n

s ! →

• T

e m p l a t e m a t c h i n g & a c t i v e l e a r n i n g w

• r

k w e l l

• S

e n s i t i v i t y a n a l y s i s f

• r

e f f i c i e n t i n t e r a c t i

• n

s

O p e n Q u e s t i

• n

s & F u t u r e W

• r

k

• S
• l

v e m

• r

e s m a l l g

• a

l s f r

• m

t h e p i p e l i n e , t h e n i n t e g r a t e

– C

l u s t e r t e m p l a t e m a t c h e s ( e . g . i n t

• l

a b e l s )

– U

s e a l r e a d y c

• l

l e c t e d i n f

• r

m a t i

• n

f

• r

O C R

– G

e

• r

e f e r e n c i n g , . . .

• S

h

• u

l d t h e p i p e l i n e r e a l l y b e s e q u e n t i a l ?

• C

r

• w

d s

• u

r c i n g ?

S e g m e n t a t i

• n

C l u s t e r i n g a n d M a t c h i n g O p t i c a l C h a r a c t e r R e c

• g

n i t i

• n

G e

• r

e f e r e n c i n g

S m a r t p h

• n

e

O p e n Q u e s t i

• n

s & F u t u r e W

• r

k

• D

e v e l

• p

r e m a i n i n g m

• d

u l e s i n e x t r a c t i

• n

p i p e l i n e

– C

l u s t e r t e m p l a t e m a t c h e s ( e . g . i n t

• l

a b e l s )

– U

s e a l r e a d y c

• l

l e c t e d i n f

• r

m a t i

• n

f

• r

O C R

– G

e

• r

e f e r e n c i n g , . . .

• S

h

• u

l d t h e p i p e l i n e r e a l l y b e s e q u e n t i a l ?

• C

r

• w

d s

• u

r c i n g ! Y e s , b u t h

• w

e x a c t l y ?

• Wh

a t

• t

h e r a l g

• r

i t h m i c a l l y

• g

u i d e d u s e r i n t e r a c t i

• n

s ?