Ad Hoc Monitoring of Vocabulary Shifts over Time Tom Kenter, Melvin - - PowerPoint PPT Presentation

▶
ad hoc monitoring of vocabulary shifts over time
SMART_READER_LITE
LIVE PREVIEW

Ad Hoc Monitoring of Vocabulary Shifts over Time Tom Kenter, Melvin - - PowerPoint PPT Presentation

May 05, 2023 344 likes •542 views

Ad Hoc Monitoring of Vocabulary Shifts over Time Tom Kenter, Melvin Wevers, Pim Huijnen, Maarten de Rijke CIKM 2015 - October 2015 - Melbourne Ad hoc monitoring of vocabulary shi5s over 7me walkman

slide-1
SLIDE 1

Ad Hoc Monitoring of Vocabulary Shifts over Time

Tom Kenter, Melvin Wevers, Pim Huijnen, Maarten de Rijke

CIKM 2015 - October 2015 - Melbourne

slide-2
SLIDE 2

Ad ¡hoc ¡monitoring ¡of ¡vocabulary ¡shi5s ¡

  • ver ¡7me ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

walkman ¡ ¡ ¡ ¡ iPod ¡ underlying ¡concept ¡portable ¡audio ¡player ¡ 1986 ¡ 2000 ¡

slide-3
SLIDE 3

Overview ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

Ini7al ¡seed ¡set ¡ Our ¡system ¡ ¡ 1986-­‑1990 ¡

  • ­‑ ¡walkman, ¡
  • ­‑ ¡walkmanII ¡

... ¡ 1991-­‑1995 ¡

  • ­‑ ¡discman ¡
  • ­‑ ¡walkman ¡

... ¡ 1996-­‑2000 ¡

  • ­‑ ¡mp3-­‑player ¡
  • ­‑ ¡discman ¡

... ¡ 2001-­‑2005 ¡

  • ­‑ ¡iPod ¡
  • ­‑ ¡mp3-­‑player ¡

... ¡ iPod ¡(2001) ¡

10 ¡word ¡ vocabularies ¡

slide-4
SLIDE 4

Overview ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

Ini7al ¡seed ¡set ¡ Our ¡system ¡ ¡ 1986-­‑1990 ¡

  • ­‑ ¡walkman, ¡
  • ­‑ ¡walkmanII ¡

... ¡ 1991-­‑1995 ¡

  • ­‑ ¡discman ¡
  • ­‑ ¡walkman ¡

... ¡ 1996-­‑2000 ¡

  • ­‑ ¡mp3-­‑player ¡
  • ­‑ ¡discman ¡

... ¡ 2001-­‑2005 ¡

  • ­‑ ¡iPod ¡
  • ­‑ ¡mp3-­‑player ¡

... ¡ iPod ¡(2001) ¡

10 ¡word ¡ vocabularies ¡

  • Monitoring ¡vocabularies, ¡

not ¡literal ¡words ¡

  • Ad ¡hoc ¡fashion ¡
  • Substan7al ¡7me ¡span ¡

(1950-­‑1990) ¡

  • Joint ¡work ¡with ¡historians ¡
slide-5
SLIDE 5

Challenges ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡ Ini7al ¡seed ¡set ¡ Our ¡system ¡ ¡ 1986-­‑1990 ¡

  • ­‑ ¡walkman, ¡
  • ­‑ ¡walkmanII ¡

... ¡ 1991-­‑1995 ¡

  • ­‑ ¡discman ¡
  • ­‑ ¡walkman ¡

... ¡ 1996-­‑2000 ¡

  • ­‑ ¡mp3-­‑player ¡
  • ­‑ ¡discman ¡

... ¡ 2001-­‑2005 ¡

  • ­‑ ¡iPod ¡
  • ­‑ ¡mp3-­‑player ¡

... ¡ iPod ¡(2001) ¡

  • The ¡original ¡seed ¡word ¡does ¡not ¡necessarily ¡survive ¡over ¡

7me ¡

  • The ¡underlying ¡concept ¡— ¡portable ¡audio ¡player ¡— ¡might ¡

never ¡be ¡men7oned ¡ Concept ¡dri5 ¡

¡

  • You ¡have ¡to ¡to ¡adapt ¡
  • You ¡should ¡not ¡adapt ¡too ¡much ¡
slide-6
SLIDE 6

Vocabularies ¡from ¡sliding ¡7me ¡ windows ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

1960 ¡ 1970 ¡ 1980 ¡ 1990 ¡

1980-­‑1989 ¡ word1, ¡ word2, ¡ .... ¡

seed ¡word ¡ 1980-­‑1989 ¡ word2vec ¡model ¡ ¡ Document ¡collec7on ¡

slide-7
SLIDE 7

Vocabularies ¡from ¡sliding ¡7me ¡ windows ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

1960 ¡ 1970 ¡ 1980 ¡ 1990 ¡

1979-­‑1988 ¡ word1, ¡ word2, ¡ .... ¡

1979-­‑1988 ¡ word2vec ¡model ¡ ¡

1980-­‑1989 ¡ word1, ¡ word2, ¡ .... ¡

slide-8
SLIDE 8

Vocabularies ¡from ¡sliding ¡7me ¡ windows ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

expand to semantic graph with semantic space for time t+1 vocabulary at time t prune t = t + 1

slide-9
SLIDE 9

Vocabularies ¡from ¡sliding ¡7me ¡ windows ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

1960 ¡ 1970 ¡ 1980 ¡ 1990 ¡

slide-10
SLIDE 10

Aggregate ¡over ¡vocabularies ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

1960 ¡ 1970 ¡ 1980 ¡ 1990 ¡

1960-­‑1964 ¡ word1, ¡ word2, ¡ .... ¡ 1980-­‑1984 ¡ word1, ¡ word2, ¡ .... ¡ 1985-­‑1989 ¡ word1, ¡ word2, ¡ .... ¡

Final ¡output ¡vocabularies ¡ ... ¡

slide-11
SLIDE 11

Adap7ve ¡method ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

1960 ¡ 1970 ¡ 1980 ¡ 1990 ¡

1980-­‑1989 ¡ word1, ¡ word2, ¡ .... ¡

seed ¡word ¡ 1980-­‑1989 ¡ word2vec ¡model ¡ ¡

slide-12
SLIDE 12

Adap7ve ¡method ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

1960 ¡ 1970 ¡ 1980 ¡ 1990 ¡

1979-­‑1988 ¡ word1, ¡ word2, ¡ .... ¡

1979-­‑1988 ¡ word2vec ¡model ¡ ¡

1980-­‑1989 ¡ word1, ¡ word2, ¡ .... ¡

slide-13
SLIDE 13

Non-­‑adap7ve ¡method ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

1960 ¡ 1970 ¡ 1980 ¡ 1990 ¡

1980-­‑1989 ¡ word1, ¡ word2, ¡ .... ¡

seed ¡word ¡ 1980-­‑1989 ¡ word2vec ¡model ¡ ¡

slide-14
SLIDE 14

Non-­‑adap7ve ¡method ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

1960 ¡ 1970 ¡ 1980 ¡ 1990 ¡

1979-­‑1988 ¡ word1, ¡ word2, ¡ .... ¡

1979-­‑1988 ¡ word2vec ¡model ¡ ¡ seed ¡word ¡

slide-15
SLIDE 15

download ¡

Evalua7on ¡

  • Corpus ¡

4 ¡decades ¡digi7zed ¡Dutch ¡newspapers ¡

  • 21 ¡seed ¡sets ¡
  • Pooling ¡approach ¡
  • Manually ¡annotated ¡data ¡set ¡

Annotated ¡by ¡historians ¡

  • Dataset ¡is ¡publicly ¡available ¡

h_p://ilps.science.uva.nl/resources/shi5s/ ¡ ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

slide-16
SLIDE 16

Evalua7on ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

slide-17
SLIDE 17

Example: ¡holocaust ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡

slide-18
SLIDE 18

Conclusion ¡

  • This ¡task ¡is ¡new ¡
  • This ¡task ¡is ¡hard ¡
  • A ¡system ¡has ¡to ¡adapt, ¡but ¡concept ¡dri5 ¡is ¡

hard ¡to ¡avoid ¡

  • There ¡is ¡room ¡for ¡improvement ¡
slide-19
SLIDE 19

Thank ¡you! ¡ ¡ ¡

www.tomkenter.nl ¡ tom.kenter@uva.nl ¡ @TomKenter ¡

Ad ¡Hoc ¡Monitoring ¡of ¡Vocabulary ¡Shi5s ¡over ¡Time ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Tom ¡Kenter, ¡Melvin ¡Wevers, ¡Pim ¡Huijnen, ¡Maarten ¡de ¡Rijke ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡CIKM ¡2015, ¡Melbourne, ¡Australia ¡ ¡