G l y p h M i n e r : A S y s t e m f o r E f - PowerPoint PPT Presentation

G l y p h M i n e r : A S y s t e m f o r E f f i c i e n t l y E x t r a c t i n g G l y p h s f r o m E a r l y P r i n t s i n t h e C o n t e x t o f O C R Benedikt Budig Thomas C. van Dijk Felix Kirchner

I n c u n a b l e s : Wh a t a r e t h e y ? ● E a r l y p r i n t s ( b e f o r e 1 5 0 0 ) ● M o v a b l e t y p e ● D e s i g n r e s e m b l e s m e d i e v a l h a n d w r i t i n g s ● C i r c a 3 0 , 0 0 0 e d i t i o n s

T h e S h i p o f F o o l s ● I n c u n a b l e s o f S e b a s t i a n B r a n t ' s N a r r e n s c h i f f ● O n e o f t h e m o s t p o p u l a r b o o k s i n t h e e a r l y m o d e r n p e r i o d ü r N n b e r g 1 4 9 4 B a s e l 1 4 9 4 B a s e l 1 4 9 8 P a r i s 1 4 9 7 L o n d o n 1 5 0 9 G e r m a n G e r m a n L a t i n F r e n c h E n g l i s h

C h a l l e n g e s f o r O C R ● M a n y d i f f e r e n t g l y p h s : a b b r e v i a t i o n s , l i g a t u r e s , d i a c r i t i c s ● V a r i a n c e i n p r i n t i n g , p o o r c o n s e r v a t i o n s t a t e r e q u i r e s ● O f f - t h e - s h e l f O C R s o f t w a r e f a i l s t r a i n i n g d a t a → T r a i n g e n e r a l p u r p o s e O C R s o f t w a r e ( e . g . T e s s e r a c t o r O C R o p u s )

I n t r o d u c i n g G l y p h M i n e r ● O b j e c t i v e : o b t a i n t r a i n i n g d a t a f o r O C R s o f t w a r e ● E x i s t i n g p r a c t i c e : e . g . A l e t h e i a , F r a n k e n + , G a m e r a ● M a r k e x a m p l e g l y p h o n a r b i t r a r y p a g e → g e t o c c u r r e n c e s f r o m a l l p a g e s o f t h e p r i n t ● U s e o c c u r r e n c e s t o c r e a t e r e a l i s t i c t r a i n i n g i m a g e s

G l y p h M i n e r : T w o I n g r e d i e n t s I n g r e d i e n t 1 : T e m p l a t e M a t c h i n g ● F i n d a p p r o x i m a t e r e p e a t - o c c u r r e n c e s o f a n e x a m p l e i m a g e ● H e r e : b l a c k - a n d - w h i t e , o n l y t r a n s l a t i o n I n g r e d i e n t 2 : A c t i v e L e a r n i n g ● D i s t i n g u i s h m a t c h e s t h a t a r e s e m a n t i c a l l y c o r r e c t f r o m t h e r e s t ● E f f i c i e n t u s e r i n t e r a c t i o n

P r e l i m i n a r y C a s e S t u d y ● O n 2 0 o u t o f 3 2 0 p a g e s f r o m L a t i n N a r r e n s c h i f f ● E x p e r i m e n t 1 : p r e c i s i o n / r e c a l l / F 1 s c o r e > 9 4 % ● E x p e r i m e n t 2 : G l y p h M i n e r v s . m a n u a l l y c o l l e c t i n g g l y p h s b y O C R e n g i n e e r ( f o r 4 5 m i n u t e s e a c h ) A l e t h e i a G l y p h M i n e r d e t e c t e d o c c u r r e n c e s 1 , 2 5 1 1 7 , 4 2 6 d i f f e r e n t g l y p h s 6 5 2 6 o c c u r e n c e s p e r g l y p h ( m e d i a n ) 7 4 9 8 g l y p h s w i t h s u p p o r t > 1 0 2 5 2 6

U s e r S t u d y a t p h i l t a g 2 0 1 6 ● P a r t i c i p a n t s f r o m D i g i t a l H u m a n i t i e s , O C R a n d l i n g u i s t i c s ● H a n d s - o n s e s s i o n , f i v e p a g e s f r o m G e r m a n N a r r e n s c h i f f ● 3 0 m i n u t e s t o p r o c e s s , , , ,

U s e r S t u d y : O u t c o m e s T e m p l a t e ● 5 9 t e m p l a t e s , 5 0 0 0 l a b e l s , 1 7 q u e s t i o n n a i r e s ● U s e r e v a l u a t i o n : – e n j o y a b l e t o w o r k w i t h – w o u l d u s e i t i n d a i l y w o r k ● R e l i a b i l i t y : – l a b e l c o n s i s t e n c y i s h i g h – c l a s s i f i e r c o n s i s t e n c y i s h i g h

C o n c l u s i o n & F u t u r e W o r k ● I n c u n a b l e s a r e i n t e r e s t i n g , b u t h a r d t o O C R → ● H u m a n e f f o r t i s n e c e s s a r y s m a r t i n t e r a c t i o n s ! ● N e e d f o r g o o d t r a i n i n g d a t a ● C r o w d s o u r c i n g ?

C o n c l u s i o n & F u t u r e W o r k ● I n c u n a b l e s a r e i n t e r e s t i n g , b u t h a r d f o r O C R → ● H u m a n e f f o r t i s n e c e s s a r y s m a r t i n t e r a c t i o n s ! ● N e e d f o r g o o d t r a i n i n g d a t a ● C r o w d s o u r c i n g ! B u t h o w e x a c t l y ? ● I n - d e p t h e v a l u a t i o n w i t h T e s s e r a c t a n d O C R o p u s

C o n c l u s i o n & F u t u r e W o r k ● I n c u n a b l e s a r e i n t e r e s t i n g , b u t h a r d f o r O C R → ● H u m a n e f f o r t i s n e c e s s a r y s m a r t i n t e r a c t i o n s ! ● N e e d f o r g o o d t r a i n i n g d a t a ● C r o w d s o u r c i n g ! B u t h o w e x a c t l y ? ● I n - d e p t h e v a l u a t i o n w i t h T e s s e r a c t a n d O C R o p u s ● C h e c k o u r d e m o v i d e o o n Y o u T u b e :