The details: training and valida1ng big models on big data - - PowerPoint PPT Presentation

1

The ¡details: ¡training ¡and ¡ valida1ng ¡big ¡models ¡on ¡big ¡data

David ¡Mimno Princeton, ¡Computer ¡Science

Saturday, November 3, 12

2

Saturday, November 3, 12

George ¡Dyson, ¡Turing’s ¡Cathedral

• “The ¡reac*on ¡of ¡most ¡meteorologists ¡

towards ¡computer-­‑assisted ¡forecas*ng ¡ paralleled ¡that ¡of ¡the ¡Ins*tute ¡ mathema*cians ¡towards ¡computer-­‑assisted ¡ mathema*cs: ¡skep*cism ¡that ¡a ¡machine ¡ could ¡improve ¡upon ¡what ¡they ¡were ¡doing ¡ with ¡brains ¡alone.”

3

Saturday, November 3, 12

George ¡Dyson, ¡Turing’s ¡Cathedral

• “The ¡reac*on ¡of ¡most ¡meteorologists ¡

towards ¡computer-­‑assisted ¡forecas*ng ¡ paralleled ¡that ¡of ¡the ¡Ins*tute ¡ mathema*cians ¡towards ¡computer-­‑assisted ¡ mathema*cs: ¡skep*cism ¡that ¡a ¡machine ¡ could ¡improve ¡upon ¡what ¡they ¡were ¡doing ¡ with ¡brains ¡alone.”

4

Saturday, November 3, 12

5

Outline

• Training ¡topic ¡models
• Modeling ¡choices
• Diagnos*cs

Saturday, November 3, 12

6

Outline

• Training ¡topic ¡models
• Modeling ¡choices
• Diagnos*cs

Saturday, November 3, 12

Library-­‑scale ¡topic ¡models

7

Input: ¡1.2M ¡pre-­‑1922 ¡books (33 ¡billion ¡non-­‑stopwords) Output: ¡2000 ¡“topics” (distribu*ons ¡over ¡words) Random ¡examples, ¡each ¡row ¡is ¡a ¡topic

Saturday, November 3, 12

Latent ¡Dirichlet ¡Alloca1on

8

D Nd K θ w z β α η Book-­‑topic ¡propor*ons

Saturday, November 3, 12

9

Etruscan trade price temple market

An ¡example ¡document

Saturday, November 3, 12

10

3 2 1 3 1 Etruscan trade price temple market

Assign ¡topics

w z

Saturday, November 3, 12

11

3 2 1 3 1 Etruscan trade price temple market

Assign ¡topics

w z

3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 2 3 2 1 1 trade temple ship trade market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 2 3 2 1 1 ship temple ship trade market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 3 2 1 3 1 Etrusca n trade price temple market 2 3 2 1 1 Italy temple ship trade market

Saturday, November 3, 12

12

1 2 3 Etruscan 1 35 market 50 1 price 42 1 temple 20 trade 10 8 1 ... 3 2 1 3 1 Etruscan trade price temple market

Global ¡sta1s1cs

Total ¡ counts ¡ from ¡all ¡ docs

Saturday, November 3, 12

Algorithm

• Ini*alize ¡topic ¡assignments ¡randomly
• For ¡each ¡itera*on:

– For ¡each ¡document:

• For ¡each ¡word:

– Resample ¡topic ¡for ¡word, ¡given ¡all ¡other ¡words ¡and ¡their ¡ current ¡topic ¡assignments

• Produce ¡reports

13

Saturday, November 3, 12

Algorithm

• Ini*alize ¡topic ¡assignments ¡randomly
• For ¡each ¡itera*on:

– For ¡each ¡document:

• For ¡each ¡word:

– Resample ¡topic ¡for ¡word, ¡given ¡all ¡other ¡words ¡and ¡their ¡ current ¡topic ¡assignments

• Produce ¡reports

14

Saturday, November 3, 12

15

1 2 3 Etruscan 1 35 market 50 1 price 42 1 temple 20 trade 10 8 1 ... 3 2 1 3 1 Etruscan trade price temple market

Sample ¡topic ¡for ¡“trade”

Saturday, November 3, 12

16

1 2 3 Etruscan 1 35 market 50 1 price 42 1 temple 20 trade 10 8 1 ... 3 2 1 3 1 Etruscan trade price temple market

Remove ¡current ¡assignment

Saturday, November 3, 12

17

1 2 3 Etruscan 1 35 market 50 1 price 42 1 temple 20 trade 10 7 1 ... 3 ? 1 3 1 Etruscan trade price temple market

Remove ¡current ¡assignment

Saturday, November 3, 12

18

3 ? 1 3 1 Etruscan trade price temple market

Pick ¡a ¡topic ¡for ¡“trade”

Saturday, November 3, 12

19

Topic 1 Topic 2 Topic 3

3 ? 1 3 1 Etruscan trade price temple market

Which ¡topics ¡occur ¡in ¡this ¡doc?

Saturday, November 3, 12

20

Topic 1 Topic 2 Topic 3

3 ? 1 3 1 Etruscan trade price temple market 1 2 3 trade 10 7 1

Which ¡topics ¡like ¡the ¡word ¡“trade”?

Saturday, November 3, 12

Which ¡topics ¡like ¡the ¡word ¡“trade”?

21

Topic 1 Topic 2 Topic 3

3 ? 1 3 1 Etruscan trade price temple market

Saturday, November 3, 12

Pick ¡a ¡topic ¡for ¡“trade”

22

Topic 1 Topic 2 Topic 3

3 ? 1 3 1 Etruscan trade price temple market

Saturday, November 3, 12

Pick ¡a ¡topic ¡for ¡“trade”

23

Topic 1 Topic 2 Topic 3

3 ? 1 3 1 Etruscan trade price temple market

Saturday, November 3, 12

Pick ¡a ¡topic ¡for ¡“trade”

24

1 2 3 Etruscan 1 35 market 50 1 price 42 1 temple 20 trade 10 7 1 ... 3 ? 1 3 1 Etruscan trade price temple market

Saturday, November 3, 12

Pick ¡a ¡topic ¡for ¡“trade”

25

1 2 3 Etruscan 1 35 market 50 1 price 42 1 temple 20 trade 11 7 1 ... 3 1 1 3 1 Etruscan trade price temple market

Saturday, November 3, 12

Increase ¡counts ¡for ¡1 ¡and ¡“trade”|1

26

Topic 1 Topic 2 Topic 3

3 1 1 3 1 Etruscan trade price temple market

Saturday, November 3, 12

Varia1onal ¡inference

27

Etruscan trade price temple market

Topic 1 Topic 2 Topic 3

Saturday, November 3, 12

28

Outline

• Training ¡topic ¡models
• Modeling ¡choices
• Diagnos*cs

Saturday, November 3, 12

Things ¡people ¡didn’t ¡know ¡they ¡ had ¡to ¡think ¡about

• What ¡is ¡a ¡document?
• Which ¡words ¡are ¡interes*ng?
• What ¡is ¡a ¡word, ¡anyway?
• Knobs:

– Number ¡of ¡topics – Hyper-­‑parameters

29

Saturday, November 3, 12

Pick ¡a ¡topic ¡for ¡“trade”

30

Topic 1 Topic 2 Topic 3

3 ? 1 3 1 Etruscan trade price temple market

Saturday, November 3, 12

Which ¡topics ¡like ¡the ¡word ¡“trade”?

31

Topic 1

Saturday, November 3, 12

Which ¡topics ¡like ¡the ¡word ¡“trade”?

32

Topic 1 price α market

Saturday, November 3, 12

Pick ¡a ¡topic ¡for ¡“trade”

33

Topic 1 Topic 2 Topic 3

3 ? 1 3 1 Etruscan trade price temple market

Saturday, November 3, 12

Pick ¡a ¡topic ¡for ¡“trade”

34

Topic 1 Topic 2 Topic 3

3 ? 1 3 1 Etruscan trade price temple market

Saturday, November 3, 12

Pick ¡a ¡topic ¡for ¡“trade”

35

Topic 1 Topic 2 Topic 3

3 ? 1 3 1 Etruscan trade price temple market

Saturday, November 3, 12

Pick ¡a ¡topic ¡for ¡“trade”

36

Topic 1 Topic 2 Topic 3

3 ? 1 3 1 Etruscan trade price temple market

Saturday, November 3, 12

Hyper-­‑parameters: ¡learn ¡or ¡fix?

37

Pros Cons Fixed ¡ All ¡topics ¡ similar ¡size, ¡ quality Duplicate ¡ topics, ¡frequent ¡ words ¡repeated Learned Some ¡topics ¡ big, ¡others ¡ small Small ¡topics ¡ may ¡be ¡low ¡ quality

Saturday, November 3, 12

38

Outline

• Training ¡topic ¡models
• Modeling ¡choices
• Diagnos8cs

Saturday, November 3, 12

What ¡makes ¡topics ¡bad?

• Random, ¡unrelated ¡words
• One ¡or ¡two ¡“intruder” ¡words
• Boring, ¡overly ¡general ¡words
• Two ¡or ¡more ¡good ¡topics ¡combined, ¡

some*mes ¡with ¡a ¡general ¡word ¡in ¡common ¡ (chimaeras)

39

Saturday, November 3, 12

40

Example ¡topic

• aging, ¡lifespan, ¡globin, ¡age ¡related, ¡

longevity, ¡human, ¡age, ¡erythroid, ¡sickle ¡ cell, ¡beta ¡globin, ¡hb, ¡senescence, ¡ adult, ¡older, ¡lcr

Saturday, November 3, 12

41

Example ¡topic

• aging, ¡lifespan, ¡globin, ¡age ¡related, ¡

longevity, ¡human, ¡age, ¡erythroid, ¡ sickle ¡cell, ¡beta ¡globin, ¡hb, ¡senescence, ¡ adult, ¡older, ¡lcr

Saturday, November 3, 12

42

@benschmidt

Saturday, November 3, 12

43

Evalua1ons ¡of ¡topic ¡quality

• 1. Size ¡(# ¡of ¡tokens ¡assigned)
• 2. Within-­‑doc ¡rank
• 3. Similarity ¡to ¡corpus-­‑wide ¡distribu*on
• 4. Locally-­‑frequent ¡words
• 5. Co-­‑doc ¡Coherence

All ¡of ¡these ¡are ¡in ¡ Mallet ¡2.0.7!

Saturday, November 3, 12

Topic ¡size

• How ¡many ¡words ¡in ¡the ¡corpus ¡are ¡

assigned ¡to ¡this ¡topic?

• Fewer ¡words, ¡lower ¡quality ¡topics.

44

Saturday, November 3, 12

Within-­‑doc ¡rank

• For ¡every ¡doc, ¡rank ¡topics ¡by ¡frequency.
• In ¡what ¡propor*on ¡of ¡documents ¡is ¡a ¡topic ¡

the ¡most ¡prominent ¡topic?

• General ¡topics: ¡small ¡propor*on ¡of ¡many ¡

documents.

• Focused ¡topics: ¡large ¡propor*on ¡of ¡few ¡
• documents. ¡

45

Saturday, November 3, 12

Similarity ¡to ¡corpus ¡dist’n

• Rank ¡all ¡words ¡in ¡corpus ¡in ¡order.
• Measure ¡similarity ¡of ¡each ¡topic ¡to ¡this ¡

global ¡ranking.

• Topics ¡with ¡high ¡similarity ¡to ¡the ¡whole ¡

corpus ¡are ¡usually ¡uninteres*ng.

46

Saturday, November 3, 12

Locally ¡frequent ¡words

• If ¡a ¡rare ¡word ¡occurs ¡in ¡a ¡document, ¡it ¡will ¡
• ccur ¡ojen.
• In ¡long ¡documents ¡unusual ¡words ¡can ¡have ¡

high ¡frequency.

• Compare ¡“topics” ¡generated ¡by ¡word ¡token ¡

count ¡to ¡“topics” ¡generated ¡by ¡document ¡ count.

47

Saturday, November 3, 12

48

Co-­‑doc ¡“coherence”

• Use ¡the ¡training ¡document ¡set
• Create ¡binarized ¡co-­‑document ¡frequencies
• Compare ¡condi*onal ¡probability ¡of ¡each ¡

word ¡to ¡all ¡higher-­‑ranked ¡words

log P(‘erythroid’ ¡| ¡‘aging’)

Saturday, November 3, 12

49

Co-­‑document ¡frequencies

aging lifespan erythroid aging 100 25 lifespan 25 50 erythroid 25

Saturday, November 3, 12

40 30 20 10

• convent

abbess nun hermit monastery nuns monks confessor veil cell

• rder

walls chapel hermitage heaven cloister vows novice sisterhood recluse sisters nunnery community habit prioress penance seclusion retreat brotherhood prayers cloisters refuge hour solitude cowl abode protection religion convents sanctuary

50

Saturday, November 3, 12