G e t t i n g t h e M o s t O u t o f W i k i - PowerPoint PPT Presentation

G e t t i n g t h e M o s t O u t o f W i k i d a t a S e m a n t i c T e c h n o l o g y U s a g e i n W i k i p e d i a ’ s K n o w l e d g e G r a p h S t a s Ma l y s h e v , Ma r k u s K r ö t z s c h , L a r r y G o n z á l e z , J u l i u s G o n s i o r , A d r i a n B i e l e f e l d t Wi k i m e d i a F o u n d a t i o n T U D r e s d e n All slides CC-BY 3.0 P r e s e n t a t i o n o f p a p e r p u b l i s h e d a t t h e I n t e r n a t i o n a l S e m a n t i c We b C o n f e r e n c e 2 0 1 8 D o w n l o a d : Markus Krötzsch: Wikidata Toolkit Kickoff h t t p s : / / i c c l . i n f . t u - d r e s d e n . d e / w e b / I n p r o c e e d i n g s 3 0 4 4 / e n

T i m e l i n e o f t r o p i c a l c y c l o n e s

N u m b e r o f t r o p i c a l c y c l o n e s p e r y e a r

T h e W i k i d a t a Q u e r y S e r v i c e www.wikidata.org Relational Database (MySQL) Wi k i We b s i t e

T h e W i k i d a t a Q u e r y S e r v i c e www.wikidata.org query.wikidata.org Load balancing/caching Relational Database Graph (MySQL) Database (BlazeGraph) Wi k i We b s i t e Q u e r y S e r v i c e

T h e W i k i d a t a Q u e r y S e r v i c e www.wikidata.org query.wikidata.org Load balancing/caching Linked data export Relational Database Graph Change monitoring (MySQL) Database (BlazeGraph) L i f e S y n c h . Wi k i We b s i t e Q u e r y S e r v i c e

“ W h e r e a r e p e o p l e b o r n w h o t r a v e l t o s p a c e ? ” ( C o l o u r - c o d e d b y g e n d e r )

t h “ W h i c h 1 9 c e n t u r y p a i n t i n g s s h o w t h e m o o n ? ”

“ W h i c h d a y s o f t h e w e e k d o d i s a s t e r s o c c u r o n ? ”

“ T h e f r e e k n o w l e d g e b a s e t h a t a n y o n e c a n e d i t ” E n t i t i e s : 5 0 M S t a t e me n t s : 5 7 0 M L a b e l s : 2 6 0 M D e s c r i p t i o n s : 1 . 5 B L i n k s t o Wi k i s : 6 5 M

“ T h e f r e e k n o w l e d g e b a s e t h a t a n y o n e c a n e d i t ” E d i t o r s : > 2 3 0 K

F r o m W i k i d a t a t o R D F ( r i c h g r a p h s ) ( p l a i n g r a p h s ) [ E r x l e b e n e t a l . , I S W C 2 0 1 4 ] Q4273323 Q80 label label “Queen Elizabeth Prize “Tim Berners-Lee”@en for Engineering”@en “ - ילסרנרבםיט ” @he “Тим Бернерс-Ли”@ru “ 提姆 · 柏納 - 李” @zh “ يلزرنريبميت ” @ar

F r o m W i k i d a t a t o R D F ( r i c h g r a p h s ) ( p l a i n g r a p h s ) [ E r x l e b e n e t a l . , I S W C 2 0 1 4 ] Q4273323 Q80 label label p:P166 ps:P166 “Queen Elizabeth Prize “Tim Berners-Lee”@en for Engineering”@en “ - ילסרנרבםיט ” @he “Тим Бернерс-Ли”@ru wds:Q80-... “ 提姆 · 柏納 - 李” @zh “ يلزرنريبميت ” @ar

F r o m W i k i d a t a t o R D F ( r i c h g r a p h s ) ( p l a i n g r a p h s ) [ E r x l e b e n e t a l . , I S W C 2 0 1 4 ] Q4273323 Q80 label label p:P166 ps:P166 “Queen Elizabeth Prize “Tim Berners-Lee”@en for Engineering”@en “ - ילסרנרבםיט ” @he “Тим Бернерс-Ли”@ru pq:P1706 wds:Q80-... “ 提姆 · 柏納 - 李” @zh pq:P585 p “ يلزرنريبميت ” @ar 6 pq:P1706 q 0 : 7 P Q62882 1 1 P 7 0 : q 6 p Q3083180 “2013”^^xsd:gYear Q92743 Q214129

F r o m W i k i d a t a t o R D F ( r i c h g r a p h s ) ( p l a i n g r a p h s ) [ E r x l e b e n e t a l . , I S W C 2 0 1 4 ] wdt:P166 Q4273323 Q80 label label p:P166 ps:P166 “Queen Elizabeth Prize “Tim Berners-Lee”@en for Engineering”@en “ - ילסרנרבםיט ” @he “Тим Бернерс-Ли”@ru pq:P1706 wds:Q80-... “ 提姆 · 柏納 - 李” @zh pq:P585 p “ يلزرنريبميت ” @ar 6 pq:P1706 q 0 : 7 P Q62882 1 1 P 7 0 : q 6 p Q3083180 “2013”^^xsd:gYear Q92743 Q214129

W i k i d a t a R D F E x p o r t s  We e k l y f u l l d u mp s C u r r e n t l y 6 . 2 b i l l i o n t r i p l e s ( 4 2 G B T u r t l e g z i p c o mp r e s s e d )  A t h t t p s : / / d u mp s . w i k i me d i a . o r g / w i k i d a t a w i k i / e n t i t i e s /   L i n k e d D a t a E x p o r t s L i v e d a t a i n ma n y f o r ma t s  E . g . , h t t p : / / w w w . w i k i d a t a . o r g / w i k i / S p e c i a l : E n t i t y D a t a / Q 4 2 . n t 

W i k i d a t a S P A R Q L Q u e r y S e r v i c e O f fj c i a l q u e r y s e r v i c e s i n c e mi d 2 0 1 5  U s e r i n t e r f a c e a t h t t p s : / / q u e r y . w i k i d a t a . o r g /  A l l t h e d a t a ( 6 . 2 B t r i p l e s ) , l i v e ( l a t e n c y < 6 0 s )  N o l i mi t s ( w e l l , a l mo s t ) :  6 0 s e c t i me o u t  N o l i mi t o n r e s u l t s i z e ( ! )  N o l i mi t o n p a r a l l e l q u e r i e s , b u t C P U - t i me b u d g e t p e r c l i e n t  E x t r a S E R V I C E s i n S P A R Q L ( g e o , Wi k i p e d i a A P I , l a b e l s , …)  22

A s i m p l e S P A R Q L q u e r y

A s i m p l e S P A R Q L q u e r y

A n a d v a n c e d S P A R Q L q u e r y

“ I t ’ s t o o c o m p l i c a t e d ! ”

“ I t ’ s n o t t o o c o m p l i c a t e d ! ” S P A R Q L i s w i d e l y u s e d  > 1 0 0 M r e q u e s t s p e r  mo n t h ( 3 . 8 M p e r d a y ) i n 2 0 1 8 I t ’ s a n A P I – mo s t u s e r s  a r e n o t i n d i r e c t c o n t a c t T h e c o mmu n i t y o f f e r s  t u t o r i a l s , w o r k s h o p s a n d s u p p o r t s e r v i c e s

“ I t d o e s n o t s c a l e ! ”

“ I t d o e s n o t s c a l e ! ” E x c e l l e n t a v a i l a b i l i t y a n d p e r f o r ma n c e  5 0 % o f q u e r i e s a n s w e r e d i n < 4 0 ms ( 9 5 % i n < 4 4 0 ms ; 9 9 % i n < 4 0 s )  L e s s t h a n 0 . 0 5 % o f q u e r i e s t i me o u t  S e r v i c e h a s n e v e r b e e n d o w n s o f a r  A f f o r d a b l e s y s t e m s e t u p :  T h r e e c o mmo d i t y s e r v e r s ( + t h r e e f o r g e o - r e d u n d a n c y )  S t a n d a r d L i n u x l o a d b a l a n c i n g + s t a n d a r d H T T P c a c h e  A l l s o f t w a r e / c u s t o mi s a t i o n s f r e e & o p e n s o u r c e  S e e h t t p s : / / g i t h u b . c o m/ w i k i me d i a / w i k i d a t a - q u e r y - r d f –

S o w h a t a r e t h o s e 1 0 0 M s o f q u e r i e s ? We l o o k e d a t 4 8 1 , 7 1 6 , 2 8 0 q u e r i e s l o g g e d d u r i n g 2 4 w e e k s  A n a l y s i n g S P A R Q L q u e r y a c t i v i t y i s h a r d  E x t r e me i n fm u e n c e o f s c r i p t s a n d b o t s  D o e s n o t a v e r a g e o u t o v e r t i me , e a c h mo n t h l o o k s  r a t h e r d i f f e r e n t ! → C l a s s i f y ma j o r s o u r c e s ( b o t s ) a n d i s o l a t e “ o r g a n i c ” p a r t o f t h e t r a f fj c