Algorithms for Lipschitz Learning on Graphs Sushant Sachdeva Yale - - PowerPoint PPT Presentation

Algorithms for Lipschitz Learning on Graphs

Sushant Sachdeva

Yale Institute of Network Sciences

Rasmus Kyng Anup Rao Dan Spielman

Learning on Graphs

Learning on Graphs

Learning on Graphs

Learning on Graphs

Learning on Graphs

Learning on Graphs

Methods ¡for ¡smooth ¡(Lipschitz) ¡learning ¡ ¡

Learning on Graphs

Methods ¡for ¡smooth ¡(Lipschitz) ¡learning ¡ ¡ ¡Theore8cally ¡interes8ng ¡ ¡

Learning on Graphs

Methods ¡for ¡smooth ¡(Lipschitz) ¡learning ¡ ¡ ¡Theore8cally ¡interes8ng ¡ ¡ ¡Quickly ¡computable ¡ ¡

Learning on Graphs

Methods ¡for ¡smooth ¡(Lipschitz) ¡learning ¡ ¡ ¡Theore8cally ¡interes8ng ¡ ¡ ¡Quickly ¡computable ¡ ¡ ¡Noise ¡tolerant ¡ ¡

Learning on Graphs

Methods ¡for ¡smooth ¡(Lipschitz) ¡learning ¡ ¡ ¡Theore8cally ¡interes8ng ¡ ¡ ¡Quickly ¡computable ¡ ¡ ¡Noise ¡tolerant ¡ ¡ ¡Performs ¡well ¡on ¡real-­‑world ¡data ¡

THE

HE B

BASICS

ASICS

Preliminaries

Graph ¡G(V,E, ¡) ¡ ¡ ¡ ¡ ¡ ¡

Preliminaries

Graph ¡G(V,E, ¡) ¡ ¡ ¡ ¡ ¡ ¡ ¡

Preliminaries

Graph ¡G(V,E, ¡) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡edge ¡lengths ¡

Preliminaries

Graph ¡G(V,E, ¡) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡edge ¡lengths ¡ ¡ ¡ ¡Undirected ¡(for ¡now) ¡

Preliminaries

¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡terminals ¡ ¡ ¡ ¡

Preliminaries

1 ¡

• ­‑1 ¡

0.3 ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡terminals ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡labels ¡ ¡

Preliminaries

1 ¡

• ­‑1 ¡

0.3 ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡terminals ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡labels ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡A ¡(par8al) ¡assignment ¡

Preliminaries

1 ¡

• ­‑1 ¡

0.3 ¡

Guess ¡labels ¡ ¡ ¡ ¡ ¡ ¡at ¡all ¡ver8ces: ¡

Preliminaries

1 ¡

• ­‑1 ¡

0.3 ¡

Guess ¡labels ¡ ¡ ¡ ¡ ¡ ¡at ¡all ¡ver8ces: ¡ ¡

• 1. ¡ ¡ ¡ ¡agrees ¡with ¡ ¡ ¡ ¡

¡ ¡on ¡terminals ¡ ( ¡ ¡ ¡ ¡extends ¡ ¡ ¡ ¡) ¡

Preliminaries

1 ¡

• ­‑1 ¡

0.3 ¡

Guess ¡labels ¡ ¡ ¡ ¡ ¡ ¡at ¡all ¡ver8ces: ¡ ¡

• 1. ¡ ¡ ¡ ¡agrees ¡with ¡ ¡ ¡ ¡

¡ ¡on ¡terminals ¡ ( ¡ ¡ ¡ ¡extends ¡ ¡ ¡ ¡) ¡

• 2. ¡ ¡ ¡ ¡is ¡smooth ¡across ¡edges ¡

Preliminaries

Goal: ¡Compute ¡a ¡smooth ¡extension ¡of ¡ ¡x ¡ ¡ ¡ ¡ ¡

1 ¡

• ­‑1 ¡

0.3 ¡

Preliminaries

Goal: ¡Compute ¡a ¡smooth ¡extension ¡of ¡ ¡x ¡ ¡ ¡ ¡ ¡

1 ¡

• ­‑1 ¡

0.3 ¡

What ¡is ¡smooth? ¡

Preliminaries

Goal: ¡Compute ¡a ¡smooth ¡extension ¡of ¡ ¡x ¡ ¡ ¡ ¡ ¡

1 ¡

• ­‑1 ¡

0.3 ¡

What ¡is ¡smooth? ¡ ¡ For ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ Define ¡gradient ¡

Two Smooth Extensions

Inf-­‑minimizer ¡

Two Smooth Extensions

Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ Inf-­‑minimizer ¡

Two Smooth Extensions

Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ ¡ ¡and ¡minimizes ¡ Inf-­‑minimizer ¡

Two Smooth Extensions

Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ ¡ ¡and ¡minimizes ¡ Lipschitz ¡constant ¡ Inf-­‑minimizer ¡

Two Smooth Extensions

Not ¡necessarily ¡unique! ¡ Inf-­‑minimizer ¡

1 ¡

• ­‑1 ¡

1 ¡

• ­‑1 ¡

Best ¡Lipschitz ¡constant ¡= ¡1 ¡

Two Smooth Extensions

Not ¡necessarily ¡unique! ¡ Inf-­‑minimizer ¡

1 ¡

• ­‑1 ¡

0 ¡ 1 ¡

• ­‑1 ¡

0 ¡

Best ¡Lipschitz ¡constant ¡= ¡1 ¡

Two Smooth Extensions

Not ¡necessarily ¡unique! ¡ Inf-­‑minimizer ¡

1 ¡

• ­‑1 ¡

0 ¡ 0 ¡ 0 ¡ 1 ¡

• ­‑1 ¡

1 ¡ 0 ¡ 0 ¡

Best ¡Lipschitz ¡constant ¡= ¡1 ¡

Two Smooth Extensions

Two Smooth Extensions

Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ minimize ¡the ¡largest ¡gradient ¡

Two Smooth Extensions

Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ minimize ¡the ¡largest ¡gradient ¡ ¡ then, ¡minimize ¡the ¡second ¡largest ¡gradient ¡

Two Smooth Extensions

Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ minimize ¡the ¡largest ¡gradient ¡ ¡ then, ¡minimize ¡the ¡second ¡largest ¡gradient ¡ ¡ then, ¡the ¡third ¡largest ¡gradient, ¡etc. ¡

Two Smooth Extensions

Lex-­‑minimizer ¡ Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ minimize ¡the ¡largest ¡gradient ¡ ¡ then, ¡minimize ¡the ¡second ¡largest ¡gradient ¡ ¡ then, ¡the ¡third ¡largest ¡gradient, ¡etc. ¡

Two Smooth Extensions

Lex-­‑minimizer ¡ Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ minimize ¡the ¡largest ¡gradient ¡ ¡ then, ¡minimize ¡the ¡second ¡largest ¡gradient ¡ ¡ then, ¡the ¡third ¡largest ¡gradient, ¡etc. ¡ Lex-­‑minimizer ¡is ¡unique! ¡

Two Smooth Extensions

Lex-­‑minimizer ¡ Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ minimize ¡the ¡largest ¡gradient ¡ ¡ then, ¡minimize ¡the ¡second ¡largest ¡gradient ¡ ¡ then, ¡the ¡third ¡largest ¡gradient, ¡etc. ¡

1 ¡

• ­‑1 ¡

1/3 ¡

• ­‑1/3 ¡

0 ¡

Lex-­‑minimizer ¡is ¡unique! ¡

Other Smooth Extensions

Other Smooth Extensions

2-­‑minimizer ¡ [Zhu ¡et ¡al. ¡‘03] ¡ ¡

Other Smooth Extensions

Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ ¡ ¡and ¡minimizes ¡ ¡ ¡ ¡ ¡ 2-­‑minimizer ¡ [Zhu ¡et ¡al. ¡‘03] ¡ ¡

Other Smooth Extensions

Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ ¡ ¡and ¡minimizes ¡ ¡ ¡ ¡ ¡ ¡ ¡minimizes ¡ ¡ 2-­‑minimizer ¡ [Zhu ¡et ¡al. ¡‘03] ¡ ¡

Other Smooth Extensions

Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ ¡ ¡and ¡minimizes ¡ ¡ ¡ ¡ ¡ ¡ ¡minimizes ¡ ¡ 2-­‑minimizer ¡ Fast ¡algorithms ¡via ¡ Laplacian ¡Solvers ¡ [Zhu ¡et ¡al. ¡‘03] ¡ ¡

Concern with 2-Minimizer

[Nadler ¡et ¡al. ¡‘09] ¡Large ¡geometric ¡graphs ¡with ¡few ¡terminals ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡2-­‑minimizer ¡collapses ¡to ¡a ¡constant ¡ ¡ ¡

Concern with 2-Minimizer

[Nadler ¡et ¡al. ¡‘09] ¡Large ¡geometric ¡graphs ¡with ¡few ¡terminals ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡2-­‑minimizer ¡collapses ¡to ¡a ¡constant ¡ ¡ Simple ¡example: ¡2-­‑D ¡grids, ¡with ¡2 ¡terminals ¡ ¡ ¡

1 ¡

• ­‑1 ¡

2-Minimizer vs Lex

2-Minimizer vs Lex

2-Minimizer vs Lex

Other Smooth Extensions

Other Smooth Extensions

p-­‑minimizer ¡ [Alamgir ¡et ¡al. ¡‘11] ¡

Other Smooth Extensions

Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡minimizes ¡ ¡ ¡ ¡ ¡ ¡minimizes ¡ ¡ p-­‑minimizer ¡ [Alamgir ¡et ¡al. ¡‘11] ¡

Other Smooth Extensions

Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡minimizes ¡ ¡ ¡ ¡ ¡ ¡minimizes ¡ ¡ p-­‑minimizer ¡ [Alamgir ¡et ¡al. ¡‘11] ¡ Don’t ¡flacen ¡out ¡for ¡large ¡p. ¡Very ¡costly ¡to ¡compute. ¡

p-Minimizer and Lex

¡= ¡p-­‑minimizer ¡amongst ¡extensions ¡of ¡

p-Minimizer and Lex

¡= ¡p-­‑minimizer ¡amongst ¡extensions ¡of ¡ Follows ¡from ¡[Egger ¡et ¡al. ¡’90] ¡

More Connections

A ¡local ¡defini8on ¡for ¡lex ¡

¡Analogous ¡to ¡2-­‑minimizers ¡

¡ Studied ¡in ¡Func8onal ¡Analysis ¡/ ¡PDE ¡theory ¡

¡ [Jensen ¡‘93, ¡Crandall ¡et ¡al. ¡‘01, ¡Barles ¡et ¡al. ¡’01, ¡Aronsson ¡et ¡al. ¡‘04, ¡ Milman ¡‘99, ¡Peres ¡et ¡al. ¡‘11, ¡Naor ¡et ¡al. ¡‘10, ¡Sheffield ¡et ¡al. ¡‘10, ¡etc] ¡

ALG

LGORITHM HMS

How should we compute it?

Some Definitions

y ¡ x ¡

Some Definitions

Given ¡2 ¡terminals ¡x,y, ¡define ¡

y ¡ x ¡

Some Definitions

Given ¡2 ¡terminals ¡x,y, ¡define ¡

y ¡ x ¡

Metric ¡defined ¡by ¡ ¡

Some Definitions

Given ¡2 ¡terminals ¡x,y, ¡define ¡

1 ¡

• ­‑1 ¡

Metric ¡defined ¡by ¡ ¡

Some Definitions

Given ¡2 ¡terminals ¡x,y, ¡define ¡

1 ¡

• ­‑1 ¡

Metric ¡defined ¡by ¡ ¡

Steepest Terminal Pair

Goal: ¡Find ¡a ¡terminal ¡pair ¡(x,y) ¡with ¡maximum ¡gradient ¡ ¡ ¡ ¡

Steepest Terminal Pair

Goal: ¡Find ¡a ¡terminal ¡pair ¡(x,y) ¡with ¡maximum ¡gradient ¡ ¡ ¡ ¡ Lex-­‑minimizer ¡ n ¡calls ¡to ¡Steepest ¡ Terminal ¡Pair ¡

Steepest Terminal Pair

Goal: ¡Find ¡a ¡terminal ¡pair ¡(x,y) ¡with ¡maximum ¡gradient ¡ ¡ ¡ ¡ Lex-­‑minimizer ¡ n ¡calls ¡to ¡Steepest ¡ Terminal ¡Pair ¡ Inf-­‑minimizer ¡ 1 ¡call ¡to ¡Steepest ¡ Terminal ¡Pair ¡

Finding a Steepest Pair

Goal: ¡Find ¡a ¡steepest ¡terminal ¡pair ¡

Finding a Steepest Pair

Goal: ¡Find ¡a ¡steepest ¡terminal ¡pair ¡ First ¡A>empt ¡ ¡ ¡Compute ¡distances ¡between ¡all ¡terminals ¡ ¡ 8me ¡

Finding a Steepest Pair

Goal: ¡Find ¡a ¡steepest ¡terminal ¡pair ¡ First ¡A>empt ¡ ¡ ¡Compute ¡distances ¡between ¡all ¡terminals ¡ ¡ 8me ¡ ¡ ¡ ¡algorithm ¡for ¡lex ¡ [Lazarus ¡et ¡al. ¡‘99] ¡

Finding a Steepest Pair

Goal: ¡Find ¡a ¡steepest ¡terminal ¡pair ¡

Finding a Steepest Pair

Goal: ¡Find ¡a ¡steepest ¡terminal ¡pair ¡ [Theorem] ¡ ¡ Algorithm ¡to ¡find ¡a ¡steepest ¡terminal ¡pair ¡in ¡expected ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 8me ¡ ¡

Finding a Steepest Pair

Goal: ¡Find ¡a ¡steepest ¡terminal ¡pair ¡ [Theorem] ¡ ¡ Algorithm ¡to ¡find ¡a ¡steepest ¡terminal ¡pair ¡in ¡expected ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 8me ¡ ¡ [Theorem] ¡ ¡ Can ¡compute ¡the ¡lex-­‑minimizer ¡in ¡expected ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡8me ¡ ¡ Can ¡compute ¡an ¡inf-­‑minimizer ¡in ¡expected ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡8me ¡ ¡

Simple Case : Star Graph

Goal: ¡Find ¡a ¡steepest ¡terminal ¡pair ¡in ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡8me ¡ Simple ¡case ¡: ¡a ¡star ¡graph ¡

2.5 ¡ 0 ¡ 1 ¡ 3 ¡ 4 ¡ 6 ¡ 1 ¡ 1 ¡ 8 ¡ 6 ¡ u ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡terminal ¡pairs ¡

Simple Case : Star Graph

Goal: ¡Find ¡a ¡steepest ¡terminal ¡pair ¡in ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡8me ¡ Simple ¡case ¡: ¡a ¡star ¡graph ¡

2.5 ¡ 0 ¡ 1 ¡ 3 ¡ 4 ¡ 6 ¡ 1 ¡ 1 ¡ 8 ¡ 6 ¡ u ¡

Directed Graphs

Surprisingly, ¡the ¡theory/algorithms ¡extend ¡to ¡directed ¡graphs ¡ ¡ Consider ¡difference ¡only ¡along ¡edge ¡direc8on ¡ ¡ ¡ ¡

Directed Graphs

Surprisingly, ¡the ¡theory/algorithms ¡extend ¡to ¡directed ¡graphs ¡ ¡ Consider ¡difference ¡only ¡along ¡edge ¡direc8on ¡ ¡ ¡ ¡ ¡ Lex-­‑minimizer ¡not ¡necessarily ¡unique! ¡ ¡

Directed Graphs

Surprisingly, ¡the ¡theory/algorithms ¡extend ¡to ¡directed ¡graphs ¡ ¡ Consider ¡difference ¡only ¡along ¡edge ¡direc8on ¡ ¡ ¡ ¡ ¡ Lex-­‑minimizer ¡not ¡necessarily ¡unique! ¡ ¡[Theorem] ¡ ¡ Can ¡compute ¡a ¡directed ¡lex-­‑minimizer ¡in ¡expected ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 8me ¡ Can ¡compute ¡a ¡directed ¡inf-­‑minimizer ¡in ¡expected ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 8me ¡

STABILI

LITY AND AND REGULA LARIZATION

Can we handle noise?

Noise Stability

1±ε ¡ 0.3±ε ¡

• ­‑1±ε ¡

What ¡if ¡the ¡original ¡labels ¡are ¡noisy? ¡

Noise Stability

1±ε ¡ 0.3±ε ¡

• ­‑1±ε ¡

What ¡if ¡the ¡original ¡labels ¡are ¡noisy? ¡ [Theorem] ¡ ¡ Suppose ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡are ¡s.t. ¡for ¡all ¡terminals ¡t ¡ ¡

¡ ¡

Then, ¡ ¡

¡ ¡

¡

Regularization

¡ ¡ ¡ ¡Regulariza@on ¡: ¡Allowed ¡to ¡relax ¡lengths ¡by ¡total ¡budget ¡B ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Find ¡best ¡possible ¡inf-­‑minimizer ¡

Regularization

¡ ¡ ¡ ¡Regulariza@on ¡: ¡Allowed ¡to ¡relax ¡lengths ¡by ¡total ¡budget ¡B ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Find ¡best ¡possible ¡inf-­‑minimizer ¡ [Theorem] ¡ ¡ Can ¡solve ¡ ¡ ¡regulariza8on ¡in ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡8me ¡ Uses ¡interior ¡point ¡methods ¡& ¡fast ¡Laplacian ¡solvers ¡

Regularization

Outlier ¡Removal ¡: ¡Allowed ¡to ¡discard ¡any ¡k ¡terminals ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Find ¡best ¡possible ¡inf-­‑minimizer ¡

Regularization

Outlier ¡Removal ¡: ¡Allowed ¡to ¡discard ¡any ¡k ¡terminals ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Find ¡best ¡possible ¡inf-­‑minimizer ¡ [Theorem] ¡ ¡ Can ¡perform ¡outlier ¡removal ¡for ¡inf-­‑minimizer ¡in ¡poly-­‑8me ¡ ¡

Regularization

Outlier ¡Removal ¡: ¡Allowed ¡to ¡discard ¡any ¡k ¡terminals ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Find ¡best ¡possible ¡inf-­‑minimizer ¡ [Theorem] ¡ ¡ Can ¡perform ¡outlier ¡removal ¡for ¡inf-­‑minimizer ¡in ¡poly-­‑8me ¡ ¡ Analogous ¡problem ¡for ¡ ¡ ¡ ¡ ¡ ¡-­‑minimizer ¡is ¡NP-­‑hard ¡

EXPERIMENTS

XPERIMENTS

How well does this work?

Fast Implementations

Lex-­‑minimizer ¡has ¡a ¡lot ¡of ¡structure ¡ Leads ¡to ¡faster ¡implementa8ons ¡

Fast Implementations

Lex-­‑minimizer ¡has ¡a ¡lot ¡of ¡structure ¡ Leads ¡to ¡faster ¡implementa8ons ¡ ¡ Code ¡available ¡on ¡GitHub ¡

• 1. Theore8cally ¡correct ¡
• 2. Run ¡fast ¡in ¡prac8ce ¡

Fast Implementations

Lex-­‑minimizer ¡has ¡a ¡lot ¡of ¡structure ¡ Leads ¡to ¡faster ¡implementa8ons ¡ ¡ Code ¡available ¡on ¡GitHub ¡

• 1. Theore8cally ¡correct ¡
• 2. Run ¡fast ¡in ¡prac8ce ¡

Tested ¡on ¡grid ¡graphs, ¡random ¡graphs, ¡random ¡regular ¡graphs, ¡ real ¡world ¡network ¡graphs ¡from ¡SNAP ¡etc... ¡ ¡

250k ¡ 500k ¡ 1m ¡ Random ¡regular/ ¡ Random ¡Delauney ¡ 12 ¡s ¡ ~30 ¡s ¡ 80-­‑90 ¡s ¡

Detecting Spam Webpages

Objec@ve: ¡Detect ¡spam ¡webpages ¡ ¡ Data ¡Set: ¡ ¡webspam-­‑uk2006-­‑2.0 ¡[Cas8llo ¡et ¡al. ¡‘06] ¡ ¡ ¡ Comparison: ¡Random ¡walk ¡based ¡methods ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡[Zhou ¡et ¡al. ¡‘07] ¡

Detecting Spam Webpages

Objec@ve: ¡Detect ¡spam ¡webpages ¡ ¡ Data ¡Set: ¡ ¡webspam-­‑uk2006-­‑2.0 ¡[Cas8llo ¡et ¡al. ¡‘06] ¡ ¡ ¡ Comparison: ¡Random ¡walk ¡based ¡methods ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡[Zhou ¡et ¡al. ¡‘07] ¡

Trusted ¡ Spam ¡

Detecting Spam Webpages

Objec@ve: ¡Detect ¡spam ¡webpages ¡ ¡ Data ¡Set: ¡ ¡webspam-­‑uk2006-­‑2.0 ¡[Cas8llo ¡et ¡al. ¡‘06] ¡ ¡ ¡ Comparison: ¡Random ¡walk ¡based ¡methods ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡[Zhou ¡et ¡al. ¡‘07] ¡

Evidence ¡of ¡ trust ¡ Evidence ¡of ¡ being ¡spam ¡ Trusted ¡ Spam ¡

Detecting Spam Webpages

Label ¡samples ¡with ¡trust ¡values ¡-­‑ ¡0/1 ¡ ¡

1 ¡ 0 ¡

Detecting Spam Webpages

Label ¡samples ¡with ¡trust ¡values ¡-­‑ ¡0/1 ¡ ¡ Compute ¡lex-­‑minimizer ¡to ¡extend ¡observa8ons ¡to ¡all ¡nodes ¡

1 ¡ 0 ¡ 0.5 ¡

Detecting Spam Webpages

Label ¡samples ¡with ¡trust ¡values ¡-­‑ ¡0/1 ¡ ¡ Compute ¡lex-­‑minimizer ¡to ¡extend ¡observa8ons ¡to ¡all ¡nodes ¡ ¡ Flag ¡all ¡below ¡a ¡threshold ¡as ¡‘Spam’ ¡

1 ¡ 0 ¡ 0.5 ¡

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

RandWalk DirectedLex

Frac8on ¡of ¡all ¡spam ¡flagged ¡(RECALL) ¡ Frac8on ¡correctly ¡flagged ¡ as ¡spam ¡(PRECISION) ¡

Comparison

5% ¡labels ¡used ¡for ¡training ¡

Conclusion

ü Suggest ¡using ¡lex ¡and ¡inf ¡minimizer ¡for ¡graph ¡inference ¡ ¡ ü Fast ¡and ¡prac8cal ¡algorithms ¡for ¡compu8ng ¡them ¡ ü Efficient ¡algorithms ¡for ¡regulariza8on, ¡and ¡robustness ¡to ¡noise ¡ ¡ ¡

Conclusion

ü Suggest ¡using ¡lex ¡and ¡inf ¡minimizer ¡for ¡graph ¡inference ¡ ¡ ü Fast ¡and ¡prac8cal ¡algorithms ¡for ¡compu8ng ¡them ¡ ü Efficient ¡algorithms ¡for ¡regulariza8on, ¡and ¡robustness ¡to ¡noise ¡ ¡ ? Can ¡we ¡prove ¡theore8cal ¡learning ¡guarantees? ¡ ? More ¡interes8ng ¡data-­‑sets ¡to ¡test ¡performance ¡ ¡ ¡(Looking ¡for ¡sugges8ons) ¡ ¡ ¡

Conclusion

ü Suggest ¡using ¡lex ¡and ¡inf ¡minimizer ¡for ¡graph ¡inference ¡ ¡ ü Fast ¡and ¡prac8cal ¡algorithms ¡for ¡compu8ng ¡them ¡ ü Efficient ¡algorithms ¡for ¡regulariza8on, ¡and ¡robustness ¡to ¡noise ¡ ¡ ? Can ¡we ¡prove ¡theore8cal ¡learning ¡guarantees? ¡ ? More ¡interes8ng ¡data-­‑sets ¡to ¡test ¡performance ¡ ¡ ¡(Looking ¡for ¡sugges8ons) ¡ ¡ ¡

Thanks!