Problem Most current mutual informa2on (MI) based feature - - PowerPoint PPT Presentation

Problem ¡

• Most ¡current ¡mutual ¡informa2on ¡(MI) ¡based ¡

feature ¡selec2on ¡techniques ¡are ¡greedy ¡in ¡ nature ¡thus ¡are ¡prone ¡to ¡sub-­‑op2mal ¡

• decisions. ¡ ¡

Current ¡Solu+on ¡: ¡ ¡

• Quadra2c ¡Programming ¡Feature ¡Selec2on ¡

(QPFS) ¡

selected ¡features ¡cannot ¡be ¡deselected ¡at ¡a ¡later ¡stage ¡ (subop2mal ¡solu2on) ¡

Represents ¡rela2ve ¡feature ¡weights ¡

¡ ¡ Issues ¡of ¡QPFS: ¡

• Posi2ve ¡definiteness ¡of ¡H ¡(approxima2on ¡of ¡H ¡) ¡
• ¡How ¡to ¡treat ¡self-­‑redundancy? ¡

– H_ii ¡= ¡0 ¡then ¡H ¡will ¡be ¡indefinite. ¡ – H_ii ¡= ¡H(X_i) ¡penalizeing ¡features ¡for ¡their ¡intrinsic ¡ entropy ¡

• Sub-­‑selec2on ¡
• ¡quadra2c ¡integer ¡programming ¡problem ¡

Hard ¡combinatorial ¡problem ¡ NP-­‑hard ¡problem ¡

Paper ¡Page ¡3 ¡

¡ ¡

The ¡extended ¡MRMR ¡family ¡

• Page ¡3 ¡

How ¡to ¡properly ¡treat ¡self-­‑redundancy? ¡

• H_ii ¡= ¡0 ¡

The ¡op2mal ¡solu2on ¡will ¡be ¡changed ¡with ¡different ¡parameter ¡seRng. ¡

Spectral ¡relaxa2on ¡

Global ¡MI-­‑based ¡feature ¡selec2on ¡via ¡ semi-­‑definite ¡programming ¡

Complexity ¡analysis ¡

• compu2ng ¡the ¡similarity ¡matrix ¡+ ¡ranking ¡the ¡

features ¡

• Similarity ¡matrix ¡: ¡O(n^2.d) ¡

Global ¡feature ¡selec2on ¡for ¡large ¡data ¡

EXPERIMENTAL ¡EVALUATION ¡

What ¡is ¡ac2ve ¡semi-­‑supervised ¡ learning ¡

• labeled ¡data ¡is ¡scarce ¡but ¡unlabeled ¡data ¡is ¡

easily ¡available. ¡ ¡

• A ¡semi-­‑supervised ¡learning ¡technique ¡must ¡

not ¡only ¡learn ¡from ¡the ¡labeled ¡data ¡but ¡also ¡ from ¡the ¡inherent ¡clustering ¡present ¡in ¡the ¡ unlabeled ¡

• Ac2ve ¡learning ¡try ¡to ¡achieve ¡the ¡maximum ¡

gain ¡in ¡terms ¡of ¡learning ¡ability ¡for ¡a ¡given, ¡ and ¡small, ¡number ¡of ¡label ¡queries. ¡

• The ¡authors ¡focus ¡on ¡the ¡problem ¡of ¡pool-­‑

based ¡batch-­‑mode ¡ac2ve ¡semi-­‑supervised ¡ learning ¡ (large ¡sta2c ¡collec2on ¡of ¡unlabeled ¡data ¡from ¡ which ¡a ¡very ¡small ¡percentage ¡of ¡data ¡points ¡ have ¡to ¡be ¡selected ¡in ¡order ¡to ¡be ¡labeled) ¡

Graph ¡representa2on ¡

• Nodes ¡: ¡data ¡points ¡
• Edge ¡Weights ¡: ¡Similari2es ¡between ¡the ¡
• nodes. ¡
• Membership ¡func2on ¡of ¡Class ¡‘C’ ¡is ¡a ¡graph ¡

signal ¡(0 ¡or ¡1) ¡

• Membership ¡func2on ¡is ¡smooth. ¡

• The ¡semi-­‑supervised ¡learning ¡problem ¡can ¡be ¡

viewed ¡as ¡a ¡problem ¡of ¡interpola2ng ¡a ¡smooth ¡ graph ¡signal. ¡

• Most ¡of ¡the ¡previous ¡works ¡of ¡semi-­‑

supervised ¡methods ¡are ¡global ¡(they ¡require ¡ inversion ¡or ¡eigen ¡decomposi2on ¡of ¡large ¡ matrices ¡associated ¡with ¡the ¡underlying ¡ Graph) ¡

• Not ¡scalable ¡

• A ¡key ¡challenge ¡in ¡graph ¡signal ¡processing ¡is ¡to ¡

design ¡localized ¡algorithms ¡that ¡scale ¡well ¡ with ¡graph ¡sizes. ¡(the ¡output ¡at ¡each ¡vertex ¡ should ¡only ¡depend ¡on ¡its ¡local ¡ neighborhood.) ¡

Goal ¡

• Analyzing ¡and ¡improving ¡upon ¡the ¡mul2fractal ¡

network ¡generator ¡(MFNG) ¡introduced ¡by ¡Palla ¡et ¡

• al. ¡
• Pros: ¡MFNG ¡is ¡more ¡flexible ¡than ¡the ¡SKG ¡
• Cons: ¡ ¡

– only ¡matches ¡a ¡single ¡graph ¡property, ¡such ¡as ¡the ¡ number ¡of ¡nodes ¡with ¡degree ¡d. ¡ – all ¡MFNG ¡sampling ¡techniques ¡are ¡O(|V ¡|^2) ¡ algorithms, ¡making ¡the ¡genera2on ¡of ¡large ¡graphs ¡

• infeasible. ¡

• Decompose ¡a ¡genera2ng ¡measure ¡W_k ¡with ¡k ¡

recursive ¡levels ¡in ¡k ¡measures ¡with ¡depth ¡one. ¡

New ¡Problem ¡

• Given ¡a ¡graph ¡G, ¡we ¡are ¡interested ¡in ¡finding ¡a ¡

probability ¡matrix ¡‘P’, ¡a ¡set ¡of ¡lengths ¡`l’, ¡and ¡a ¡ recursion ¡depth ¡‘k’, ¡such ¡that ¡graphs ¡ generated ¡from ¡the ¡measure ¡W_k(P,l) ¡are ¡ similar ¡to ¡G. ¡

Experiments ¡

• Synthe2c ¡data ¡set ¡
• Real ¡world ¡data ¡(All ¡data ¡sets ¡are ¡from ¡the ¡

SNAP ¡collec2on.) ¡