B I G C R I S I S D A T A Twitter: @BigCrisisData - - PowerPoint PPT Presentation
B I G C R I S I S D A T A Twitter: @BigCrisisData - - PowerPoint PPT Presentation
B I G C R I S I S D A T A Twitter: @BigCrisisData CARLOS CASTILLO Director of Research for Data Science at Eurecat Data for Good Workshop Turin, October 2016 T o p i c o f t h i s s h o r t t a l k : S O C
T
- p
i c
- f
t h i s s h
- r
t t a l k : S O C I A L M E D I A I N D I S A S T E R S
P a t r i c k M e i e r
Q C R I →
M u h a mma d I mr a n
Q C R I
I r i n a T e mn i k
- v
a
Q C R I
A d i t i G u p t a
I I I T D e l h i →
P . K . K u ma r a g u r u
I I I T D e l h i
A l e x a n d r a O l t e a n u
E P F L →
J i L u c a s
Q C R I
F e r d a O f l i
Q C R I
H e ma n t P u r
- h
i t
Wr i g h t S t a t e G e
- r
g e M a s
- n
→
B
- k
( J u l y 2 1 6 ) f r
- m
C a mb r i d g e U n i v e r s i t y P r e s s Wo r k d
- n
e ( 2 1 2
- 2
1 5 ) b y C r i s i s C
- mp
u t i n g t e a m a t Q C R I
S a r a h V i e w e g
Q C R I
F e r n a n d
- D
i a z
M i c r
- s
- f
t
B I G C R I S I S D A T A
. O R G
K e y m e s s a g e s
- S
- c
i a l me d i a i s a h u g e f
- r
c e d u r i n g c r i s e s , e me r g e n c i e s , a n d d i s a s t e r s
–
Y
- u
c a n n
- t
c
- n
t r
- l
t h e w i n d , b u t y
- u
c a n h a r n e s s i t s p
- w
e r
- S
- c
i a l me d i a c
- n
t a i n s h i g h l y r e l e v a n t i n f
- r
ma t i
- n
s u r r
- u
n d e d b y t
- n
s
- f
n
- i
s e
–
M i n i n g i s a n i n d u s t r i a l p r
- c
e s s ,
- r
a t t h e v e r y l e a s t
- n
e t h a t r e q u i r e s s p e c i a l t
- l
s
- D
i g i t a l v
- l
u n t e e r s w i l l h e l p y
- u
i f y
- u
l e t t h e m
–
C r i s i s m a p p i n g i s j u s t t h e f i r s t
- f
m a n y p a r a d i g m s f
- r
p a r t i c i p a t
- r
y d a t a m i n i n g
S
- c
i a l M e d i a i s a h u g e f
- r
c e d u r i n g c r i s e s , e m e r g e n c i e s , a n d d i s a s t e r s
5
T w
- m
- n
t h s a g
- (
M a r c h 2 2 , 2 1 6 )
P
- l
i c e a s k s t h e p u b l i c : 1 ) t
- u
s e s
- c
i a l me d i a , n
- t
p h
- n
e ; 2 ) t
- r
e d u c e v i d e
- /
a u d i
- s
t r e a mi n g ; 3 ) t
- a
v
- i
d s h a r i n g r e a l
- t
i me i n f
- r
ma t i
- n
a b
- u
t p
- l
i c e a c t i
- n
s A t t a c k s i n t h e a i r p
- r
t a n d a me t r
- s
t a t i
- n
i n B r u s s e l s k i l l 3 5 a n d i n j u r e 3 4
6
2 , 8
- w
- r
d s Wi k i p e d i a a r t i c l e
I n t h e f i r s t 8 h
- u
r s a f t e r t h e a t t a c k s . . .
R e d d i t p
- s
t w i t h 1 7 , c
- mme
n t s 7 + Y
- u
T u b e v i d e
- s
p e r h
- u
r F a c e b
- k
p a g e s a n d S a f e t y C h e c k T w e e t s a n d p h
- t
- s
7
B I G C R I S I S D A T A
. O R G
A C
- m
m
- n
P a t t e r n
Disaster or mass-convergence event People have increased communication needs People are familiar with social media Internet is not bullet-proof but fairly resilient Emergency agencies encourage social media usage
Intensive usage of social media by the public for emergency communications
8
B I G C R I S I S D A T A
. O R G
E x a m p l e S f r
- m
# S M E M p a p e r s
“ O M G ! T h e f i r e s e e ms
- u
t
- f
c
- n
t r
- l
: I t ’ s r u n n i n g d
- w
n t h e h i l l s ! ” B u s h f i r e n e a r M a r s e i l l e s , F r a n c e , i n 2 9 [ L
- n
g u e v i l l e e t a l . 2 9 ] “ R e d R i v e r a t E a s t G r a n d F
- r
k s i s 4 8 . 7 f e e t , + 2 . 7 f e e t
- f
f l
- d
s t a g e . . . # f l
- d
9 ” R e d R i v e r V a l l e y f l
- d
s i n 2 9 [ S t a r b i r d e t a l . 2 1 ] “ M y mo ms b a c k y a r d i n H a t t e r a s . T h a t d
- c
k i s u s u a l l y a b
- u
t 3 f e e t a b
- v
e w a t e r [ p h
- t
- ]
” H u r r i c a n e S a n d y 2 1 3 [ L e a v i t t a n d C l a r k 2 1 4 ] “ S i r e n s g
- i
n g
- f
f n
- w
! ! T a k e c
- v
e r . . . b e s a f e ! ” M
- r
e T
- r
n a d
- 2
1 3 [ B l a n f
- r
d e t a l . 2 1 4 ] . “ T h e r e i s s h
- t
i n g a t U t ø y a , my l i t t l e s i s t e r i s t h e r e a n d j u s t c a l l e d h
- me
! ” 2 1 1 a t t a c k s i n N
- r
w a y [ P e r n g e t a l . 2 1 3 ]
9
B I G C R I S I S D A T A
. O R G
P r
- b
l e m 1 : S c a l e
1
B I G C R I S I S D A T A
. O R G
P r
- b
l e m 2 : N
- i
s e
- T
h e I n t e r n e t i s s t r
- n
g b e c a u s e i t i s d e c e n t r a l i z e d
- S
- ,
a s t h e y s a y . . .
DEAL WITH IT
S
- c
i a l m e d i a c
- n
t a i n s r e l e v a n t i n f
- r
m a t i
- n
s u r r
- u
n d e d b y n
- i
s e
1 2
B I G C R I S I S D A T A
. O R G
T h e t e n s i
- n
: F a m i l i a r t
- l
s v s n e w u s e s
- “
I n t i me s
- f
d i s a s t e r a n d c r i s i s , p e
- p
l e t e n d t
- g
r a v i t a t e t
- w
a r d s t h e s y s t e ms a n d n e t w
- r
k s t h a t a r e mo s t f a mi l i a r t
- t
h e m. T h e y s h u n t h e s p e c i a l i z e d s i t e s s e t u p b y a i d w
- r
k e r s f
- r
t h e c
- mf
- r
t
- f
a l r e a d y
- e
s t a b l i s h e d s y s t e ms t h e y k n
- w
w e l l f r
- m
p r i
- r
e x p e r i e n c e . ”
- “
F a mi l i a r s i t e s f
- r
s h a r i n g p h
- t
- s
- f
w e d d i n g s b e c
- me
l
- c
a t i
- n
s f
- r
s h a r i n g b r e a k i n g n e w s … P a r t i c i p a n t s a r e u s i n g s
- c
i a l w e b t
- l
s i n w a y s t h e d e s i g n e r s
- f
s u c h s y s t e ms h a d n e i t h e r a n t i c i p a t e d n
- r
c
- n
s i d e r e d . A s a r e s u l t , t h e v a s t ma j
- r
i t y
- f
t
- d
a y ' s t e c h n
- l
- g
i e s a r e w
- e
f u l l y i l l
- e
q u i p p e d f
- r
c r i s i s s i t u a t i
- n
s ”
1 3
B I G C R I S I S D A T A
. O R G
m i n i n g i s n
- t
t h i s
1 4
B I G C R I S I S D A T A
. O R G
m i n i n g i s m
- r
e l i k e t h i s
1 5
B I G C R I S I S D A T A
. O R G
D a t a M i n i n g i s n
- t
t h i s
1 6
B I G C R I S I S D A T A
. O R G
D a t a M i n i n g i s m
- r
e l i k e t h i s
1 7
B I G C R I S I S D A T A
. O R G
D
- n
' t d
- i
t e n t i r e l y b y h a n d
- M
a n y t
- l
s a n d s y s t e ms , s
- me
- f
t h e m f r e e , a r e a v a i l a b l e f
- r
:
–
O r g a n i z i n g y
- u
r c
- mmu
n i c a t i
- n
s w i t h t h e p u b l i c t h r
- u
g h s
- c
i a l me d i a
–
M
- n
i t
- r
i n g t h e r e s p
- n
s e
- f
p e
- p
l e t
- s
- c
i a l me d i a a c t i v i t y
–
M
- n
i t
- r
i n g s
- c
i a l me d i a a c t i v i t y
- Y
- u
p r
- b
a b l y d
- n
' t n e e d “ b i g s y s t e ms , ” b u t mo s t l i k e l y a c
- l
l e c t i
- n
- f
s p e c i a l i z e d t
- l
s
–
E a c h t
- l
d
- e
s
- n
e j
- b
w e l l
–
T
- l
s ma y
- v
e r l a p a b i t , s
- me
t i me s a l
- t
–
I f a t
- l
c e a s e s t
- b
e r e l e v a n t , s t
- p
u s i n g i t a n d f i n d a n e w
- n
e
- B
i g t i g h t l y
- i
n t e g r a t e d s y s t e ms b r i n g s
- me
c
- mf
- r
t b u t y
- u
p a y a l
- t
a n d l
- s
e f l e x i b i l i t y
1 8
B I G C R I S I S D A T A
. O R G
D a t a m i n e r r e f l e x : t
- c
l a s s i f y a n d c l u s t e r
Caution & Advice Information Sources Damage & Casualties Donations Gov Eyewitness Media NGO Outsider ... ...
1 9
B I G C R I S I S D A T A
. O R G
A s t u d y
- f
T w i t t e r
- n
2 6 c r i s e s
R e s u l t s f r
- m
O l t e a n u e t a l . C S C W 2 1 5 . D a t a a v a i l a b l e a t h t t p : / / c r i s i s l e x .
- r
g /
2
B I G C R I S I S D A T A
. O R G
i n f
- r
m a t i
- n
s
- u
r c e s
R e s u l t s f r
- m
O l t e a n u e t a l . C S C W 2 1 5 . D a t a a v a i l a b l e a t h t t p : / / c r i s i s l e x .
- r
g /
- 3m
2 1
B I G C R I S I S D A T A
. O R G
T e m p
- r
a l p r
- g
r e s s i
- n
P e a k 1 2 h r 2 4 h r 3 6 h r 4 8 h r . . .s e v e r a l d a y s
C a u t i
- n
a n d a d v i c e S y mp a t h y a n d s u p p
- r
t A f f e c t e d i n d i v i d u a l s I n f r a s t r u c t u r e a n d u t i l i t i e s O t h e r s p e c i f i c i n f
- r
ma t i
- n
D
- n
a t i
- n
s a n d v
- l
u n t e e r i n g
R e s u l t s f r
- m
O l t e a n u e t a l . C S C W 2 1 5 . D a t a a v a i l a b l e a t h t t p : / / c r i s i s l e x .
- r
g /
2 2
I n f
- r
m a t i
- n
E x t r a c t i
- n
+ d
- n
a t i
- n
s m a t c h i n g
...
C l a s s i f i e d t w e e t s @TheNGO looking for blood donors at the Riverside Stadium @APerson do you know where can I donate blood near Middlesbrough?
S e e P u r
- h
i t e t a l . 2 1 3 f
- r
a u t
- ma
t i c d
- n
a t i
- n
s ma t c h i n g .
D i g i t a l v
- l
u n t e e r s w i l l h e l p y
- u
, i f y
- u
l e t t h e m
B I G C R I S I S D A T A
. O R G
P h y s i c a l a n d d i g i t a l c
- n
v e r g e n c e
- D
i s a s t e r s i n v
- l
v e t h e c
- n
v e r g e n c e
- f
p e
- p
l e , r e s
- u
r c e s , a n d i n f
- r
ma t i
- n
.
–
S
- m
e
- f
t h e p e
- p
l e , s
- m
e
- f
t h e r e s
- u
r c e s , a n d s
- m
e
- f
t h e i n f
- r
ma t i
- n
a r e a c t u a l l y h e l p f u l i n t h e d i s a s t e r r e s p
- n
s e [ F r i t z a n d M a t h e w s
- n
1 9 7 5 ]
- S
- c
i a l me d i a a n d mo b i l e p h
- n
e c a me r a s e v a p
- r
a t e t r a d i t i
- n
a l s c e n e c
- n
t r
- l
[ C r
- w
e 2 1 2 ] , y e l l
- w
t a p e d
- e
s n
- t
w
- r
k s
- w
e l l
- n
l i n e
–
N
- t
e : r e s c u e p e r s
- n
n e l , i n c l u d i n g f i r e f i g h t e r s , p
- l
i c e
- f
f i c e r s , a n d
- t
h e r s w h
- p
h y s i c a l l y c
- n
v e r g e
- n
t h e s c e n e h a v e r e s p
- n
s i b i l i t y a n d l e g a l c
- d
e s t
- r
e s p e c t . A s t h e p u b l i c a l s
- e
n t e r s t h e s c e n e ( p h y s i c a l l y
- r
v i r t u a l l y ) , t h e y mu s t a d h e r e t
- e
t h i c a l s t a n d a r d s t h e y ma y b e u n f a mi l i a r w i t h . T e c h n
- l
- g
y c a n b e u s e d t
- w
e a k e n
- r
t
- s
t r e n g t h e n t h
- s
e s t a n d a r d s .
2 5
F a c e b
- k
: V i s u a l i z i n g C r i s i s R e l i e f i n N e p a l ( S e p t e mb e r 2 1 5 ) . .
T h e g e
- g
r a p h y
- f
a n e v e n t
2 1 5 N e p a l e a r t h q u a k e
2 6
Patrick Meier – http://irevolution.net/
“What can speed humanitarian response to tsunami-ravaged coasts? Expose human rights atrocities? Launch helicopters to rescue earthquake victims? Outwit corrupt regimes?
A map.”
2 7
B I G C R I S I S D A T A
. O R G
C
- m
m u n i t y
- p
- w
e r e d c r i s i s m a p p i n g
2 8
B I G C R I S I S D A T A
. O R G
C r
- w
d s
- u
r c e d M a p p i n g
- f
w i l d l i f e i n N a m i b i a
S e e O f l i e t a l . 2 1 6 f
- r
d e t a i l s .
2 9
B I G C R I S I S D A T A
. O R G
A u t
- m
a t i c m a p p i n g
F l
- d
s i n G e r ma n y D e A l b u q u e r q u e e t a l . 2 1 5 D e n g u e i n B r a z i l G
- mi
d e e t a l . 2 1 5 E a r t h q u a k e s i n I t a l y C r e s c i e t a l . 2 1 4
3
B I G C R I S I S D A T A
. O R G
h y b r i d m a p p i n g : A I D R + M I C R O M A P P E R S
M a n u a l p r
- c
e s s i n g : c r
- w
d s
- u
r c i n g A u t
- ma
t i c p r
- c
e s s i n g : ma c h i n e l e a r n i n g
S e e I mr a n e t a l . 2 1 4 f
- r
d e t a i l s
- n
A I D R . F i n d
- u
t mo r e a t h t t p : / / a i d r . q c r i .
- r
g /
3 1
S e e I mr a n e t a l . 2 1 4 f
- r
d e t a i l s
- n
A I D R . F i n d
- u
t mo r e a t h t t p : / / a i d r . q c r i .
- r
g /
3 2
B I G C R I S I S D A T A
. O R G
C
- n
t e n t C r e d i b i l i t y
- I
n t e r n e t c
- n
t e n t i s c
- n
s i d e r e d a s l e s s t r u t h f u l
- r
v a l i d t h a n
- t
h e r c
- n
t e n t s
–
R e a l i t y i s mo r e n u a n c e d ,
- t
h e r w i s e n
- b
- d
y w
- u
l d u s e Wi k i p e d i a
- r
G
- g
l e
–
A r e e me r g e n c y ma n a g e r s u s e d t
- w
- r
k w i t h p e r f e c t i n f
- r
ma t i
- n
?
- L
e a r n t
- d
e a l w i t h i mp e r f e c t i n f
- r
ma t i
- n
, e . g . , t h e A d mi r a l t y c
- d
e : A R e l i a b l e B U s u a l l y r e l i a b l e C F a i r l y r e l i a b l e D N
- t
u s u a l l y r e l i a b l e E U n r e l i a b l e F C a n n
- t
b e j u d g e d 1 C
- n
f i r me d 2 P r
- b
a b l y t r u e 3 P
- s
s i b l y t r u e 4 D
- u
b t f u l l y t r u e 5 I mp r
- b
a b l e 6 C a n n
- t
b e j u d g e d
3 3
B I G C R I S I S D A T A
. O R G
T h e r e a r e n
- e
a s y a n s w e r s , b u t t
- l
s c a n h e l p a b i t
http://twitdigest.iiitd.edu.in/TweetCred/
3 4
B I G C R I S I S D A T A
. O R G
C r
- w
d s
- u
r c e d t
- l
s c a n a l s
- h
e l p
O n e c a n c r e a t e t
- l
s t h a t e n c
- u
r a g e a b e h a v i
- r
, e . g . , w e d
- n
' t w a n t p e
- p
l e t
- u
p v
- t
e / d
- w
n v
- t
e c
- n
t e n t , b u t i n s t e a d t
- p
r
- v
i d e e v i d e n c e . https://veri.ly/
3 5
B I G C R I S I S D A T A
. O R G
T h e f u t u r e : R e a l
- T
i m e C r
- w
d s
- u
r c e d M i n i n g
- M
a p p i n g d i s a s t e r
- a
f f e c t e d a r e a s u s i n g U A V s
- I
s c r
- w
d s
- u
r c e d s t r e a m mi n i n g p
- s
s i b l e ?
S e e P a t r i c k M e i e r ' s b l
- g
p
- s
t f r
- m
N
- v
. 2 1 5 f
- r
d e t a i l s .
3 6
V i s i t t h e U A V i a t
- r
s c
- mmu
n i t y f
- r
mo r e i n f
- r
ma t i
- n
- n
v i d e
- c
l i c k e r s .
B I G C R I S I S D A T A
. O R G
T O R E
- C
A P
- S
- c
i a l me d i a i s a h u g e f
- r
c e d u r i n g c r i s e s , e me r g e n c i e s , a n d d i s a s t e r s
–
Y
- u
c a n n
- t
c
- n
t r
- l
t h e w i n d , b u t y
- u
c a n h a r n e s s i t s p
- w
e r
- S
- c
i a l me d i a c
- n
t a i n s h i g h l y r e l e v a n t i n f
- r
ma t i
- n
s u r r
- u
n d e d b y t
- n
s
- f
n
- i
s e
–
M i n i n g i s a n i n d u s t r i a l p r
- c
e s s ,
- r
a t t h e v e r y l e a s t
- n
e t h a t r e q u i r e s s p e c i a l t
- l
s
- D
i g i t a l v
- l
u n t e e r s w i l l h e l p y
- u
i f y
- u
l e t t h e m
–
C r i s i s m a p p i n g i s j u s t t h e f i r s t
- f
m a n y p a r a d i g m s f
- r
p a r t i c i p a t
- r
y d a t a m i n i n g
B I G C R I S I S D A T A
. O R G
G
- d
p r
- j
e c t s i n t h i s s p a c e
C
- mp
u t a t i
- n
a l l y f e a s i b l e S u p p
- r
t e d b y d a t a U s e f u l
T e mp t a t i
- n
! D a n g e r ! P
- r
l y p l a n n e d p r
- j
e c t s :
- (
A I
- c
- mp
l e t e p r
- b
l e ms
T h a n k Y O U !
P a t r i c k M e i e r
Q C R I →
M u h a mma d I mr a n
Q C R I
I r i n a T e mn i k
- v
a
Q C R I
A d i t i G u p t a
I I I T D e l h i →
P . K . K u ma r a g u r u
I I I T D e l h i
A l e x a n d r a O l t e a n u
E P F L →
J i L u c a s
Q C R I
F e r d a O f l i
Q C R I
H e ma n t P u r
- h
i t
Wr i g h t S t a t e G e
- r
g e M a s
- n
→
S a r a h V i e w e g
Q C R I
F e r n a n d
- D
i a z
M i c r
- s
- f
t