My Background 1991-1995 B.Tech IIT-Bombay - - PowerPoint PPT Presentation

The ¡Big ¡Data ¡Algorithmic ¡Toolkit ¡

Moses ¡Charikar ¡ ¡ Stanford ¡University ¡

My ¡Background ¡

• 1991-­‑1995 ¡ ¡B.Tech ¡IIT-­‑Bombay ¡
• 1995-­‑2000 ¡ ¡Stanford ¡PhD ¡ ¡
• 2000-­‑2001 ¡ ¡Google ¡Research ¡
• 2001-­‑2015 ¡ ¡Princeton ¡
• 2015-­‑ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Stanford ¡

2 ¡

My ¡background ¡

• ApproximaKon ¡Algorithms ¡

– heurisKcs ¡with ¡provable ¡guarantees ¡for ¡hard ¡

• pKmizaKon ¡problems ¡

– mathemaKcal ¡programming ¡techniques ¡ linear ¡programs, ¡etc ¡

• Algorithmic ¡techniques ¡for ¡Massive ¡Data ¡Sets ¡

– dimension ¡reducKon ¡ – similarity ¡search ¡

Scenarios ¡

• Google ¡search ¡log ¡ ¡
• ¡ ¡

Scenarios ¡

• Facebook ¡social ¡network ¡

Scenarios ¡

• Sequencing ¡human ¡genome ¡

¡

• What ¡discoveries ¡can ¡come ¡from ¡more ¡

sequencing? ¡

Theorists’ ¡Methodology ¡

• Strip ¡away ¡applicaKon ¡specific ¡details ¡
• Focus ¡on ¡core ¡problem ¡
• What ¡can ¡we ¡do? ¡
• What ¡corner ¡cuUng ¡needed? ¡
• What ¡is ¡impossible? ¡

Sketching ¡

¡

• Replace ¡original ¡data ¡by ¡compact ¡summary ¡

(sketch) ¡ ¡

• Problems ¡of ¡interest ¡can ¡be ¡solved ¡using ¡
• sketches. ¡

approximated ¡

0 ¡ 1 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ sketch ¡ complex ¡ ¡

• bject ¡

Streaming ¡Algorithms ¡

• Compute ¡in ¡one ¡pass ¡over ¡data ¡using ¡limited ¡

storage ¡

But ¡isn’t ¡this ¡old ¡hat? ¡

Caveats ¡

• Very ¡high ¡level ¡
• A ¡flavor ¡of ¡the ¡quesKons ¡and ¡results ¡

¡ BASIC ¡PRIMITIVES ¡

Basic ¡StaKsKcs ¡

• DisKnct ¡Elements ¡
• Frequency ¡Moments ¡
• (1+ε) ¡approximaKon ¡in ¡O(1/ε2) ¡space ¡

Fp = X

i

f p

i

X

i

(fi − gi)p

ConnecKons ¡

• DerandomizaKon: ¡hash ¡funcKons ¡
• Impossibility ¡results ¡

Document ¡Similarity: ¡MinHash ¡

• [Broder, ¡‘97] ¡

[Broder, ¡Manasse, ¡Glassman, ¡Zweig, ¡’97] ¡

Locality ¡SensiKve ¡Hashing ¡

• [Indyk, ¡Motwani ¡‘98] ¡
• Hash ¡funcKons ¡that ¡disKnguish ¡ ¡

between ¡near ¡and ¡far ¡points ¡

• Building ¡block ¡for ¡ ¡

Nearest ¡Neighbor ¡Search ¡ ¡

Vector ¡representaKon ¡

• Associate ¡vector ¡with ¡each ¡data ¡point ¡
• Distance ¡between ¡data ¡points ¡

= ¡angle ¡between ¡vectors ¡

• Compact ¡sketch ¡for ¡esKmaKng ¡angular ¡

distances? ¡

θ ¡ u ¡ v ¡

cos(θ) = u · v ||u|| · ||v||

• Hash ¡value ¡is ¡one ¡bit ¡
• Concatenate ¡bits ¡from ¡many ¡hash ¡funcKons ¡to ¡

get ¡compact ¡representaKon ¡

Hash ¡FuncKon: ¡SimHash ¡

r ¡ u ¡ v ¡

s(u) = sign(u · r)

Pr[s(u) 6= s(v)] = θ(u, v) π

Frequent ¡Items ¡

• Most ¡frequent ¡queries ¡in ¡Google ¡query ¡log ¡

Approximate ¡CounKng ¡

• Hash ¡table: ¡counter ¡for ¡each ¡bucket ¡
• elements ¡mapped ¡with ¡random ¡signs ¡

1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ 9 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 8 ¡ 9 ¡ esKmate ¡= ¡counter ¡x ¡sign ¡

• Noisy ¡esKmator ¡
• Many ¡independent ¡copies ¡

return ¡median ¡

fi

sP

j>k f 2 j

k

¡ GRAPH ¡ALGORITHMS ¡

Model ¡

• Stream ¡of ¡edges ¡on ¡n ¡nodes ¡added/deleted ¡
• Run ¡algorithm ¡using ¡O(n ¡log(n)) ¡space ¡

Problems ¡

• ConnecKvity ¡
• Distances ¡
• Clustering ¡
• Dense ¡subgraphs ¡
• ParKKoning ¡
• Random ¡walks ¡
• Matching ¡

Tools ¡

• Spanners ¡
• Sparsifiers ¡
• Sketches ¡

¡ LINEAR ¡ALGEBRA ¡

• Least ¡squares ¡regression ¡
• matrix ¡mulKplicaKon ¡
• polynomial ¡fiUng ¡
• low ¡rank ¡approximaKon ¡
• graph ¡sparsificaKon ¡

¡ SAMPLING ¡

Sequencing ¡Human ¡Genome ¡

• What ¡discoveries ¡can ¡come ¡from ¡more ¡

sequencing? ¡ ¡

Course ¡

• cs369g.stanford.edu ¡