Un imageur compress utilisant les milieux multiplement diffusants - - PowerPoint PPT Presentation

▶
un imageur compress utilisant les milieux multiplement
SMART_READER_LITE
LIVE PREVIEW

Un imageur compress utilisant les milieux multiplement diffusants - - PowerPoint PPT Presentation

Sep 03, 2023 548 likes •1.32k views

Prsentation IFPEN, 30 mars 2015 Un imageur compress utilisant les milieux multiplement diffusants Laurent Daudet Universit Paris Diderot - Paris 7 Institut Langevin Ondes et Images Prsentation IFPEN, 30 mars 2015 Un imageur

slide-1
SLIDE 1

Un imageur compressé utilisant les milieux multiplement diffusants

Présentation IFPEN, 30 mars 2015

Laurent Daudet

Université Paris Diderot - Paris 7 Institut Langevin «Ondes et Images»

slide-2
SLIDE 2

Un imageur compressé utilisant les milieux multiplement diffusants

  • u “La vérité si je m’embrouille"

Laurent Daudet

Présentation IFPEN, 30 mars 2015 et I. Carron, G. Chardon, S. Gigan, O. Katz,

  • G. Lerosey, A. Liutkus, D. Martina, S. Popoff
slide-3
SLIDE 3

Notion de mesure

Mesurer : Déterminer une quantité ou une grandeur en la comparant à une quantité ou une grandeur de même nature prise comme référence.

Dictionnaire Académie (9è Ed)

slide-4
SLIDE 4

Notion de mesure

Mesurer : Déterminer une quantité ou une grandeur en la comparant à une quantité ou une grandeur de même nature prise comme référence.

Dictionnaire Académie (9è Ed)

Notion relative a une référence, quantitative : on obtient un nombre

slide-5
SLIDE 5

Notion de mesure en physique

Tous les objets physiques se laissent-ils décrire par des nombres ? Décrire un objet: posséder un modèle (a priori) puis mesurer le ou les paramètre(s) de ce modèle Plus on a d’a priori, moins on a besoin de mesurer. Exemple : les moutons de Dirac

slide-6
SLIDE 6

Echantillonnage : pour mesurer le continu

Problème des objets dépendant de paramètres continus : exemple temps, espace Ex température = T(latitude, longitude, temps)

http://www.sciencedirect.com/science/article/pii/S1631071307002015 www.infoclimat.fr

slide-7
SLIDE 7

Echantillonnage : pour mesurer le continu

Comment connaitre la T partout en France alors que l’on n’est pas capable de la mesurer partout ? Problème théorique d’échantillonnage (notion utile aussi en satistique : connaitre le tout en ne mesurant qu’une partie) Problème concret de numérisation :

  • n peut pas manipuler une infinité de

nombres sur un ordinateur (par ex pour images, sons, etc ...)

slide-8
SLIDE 8

Si les variations ne sont pas trop rapides, la courbe est entièrement déterminée par des échantillons régulièrement espacés

Echantillonnage version 40’s - 50’s

slide-9
SLIDE 9

Echantillonnage version 40’s - 50’s

Lien entre distance entre échantillons et variations du signal : fe > 2 fmax

Shannon-Nyquist-Whittaker-Kotelnikov-Raabe

Reconstruction linéaire à partir des échantillons Si les variations ne sont pas trop rapides, la courbe est entièrement déterminée par des échantillons régulièrement espacés

slide-10
SLIDE 10

Par changement de base (ou dans une base redondante), la plupart des signaux naturels sont « parcimonieux » : peu de gros coefficients, beaucoup de très petits Permet le débruitage, le codage, etc ... Nécessite un a priori sur quelle est la base appropriée

Traitement des signaux version 80’s - 90’s

calcul

a priori

slide-11
SLIDE 11

Exemple : la musique

0101001101001010101110011100 0101010101011100111001001010 1110000101010001010100111000 0001100100010101110011101010 1100111011001010111001100100 1100111011001010111001100100 1100111011001010111001100100 01010011010010 10101110011100 01010101010111

p(t)

analogique CD MP3

slide-12
SLIDE 12

Exemple : les images

0101001101001010101110011100 0101010101011100111001001010 1110000101010001010100111000 0001100100010101110011101010 1100111011001010111001100100 1100111011001010111001100100 1100111011001010111001100100 01010011010010 10101110011100 01010101010111

I(x,y)

argentique numérique RAW numérique JPG

slide-13
SLIDE 13

01010011010010 10101110011100 01010101010111

p(t)

Les années 2000-2010: Echantillonnage compressé

Peut-on acquérir directement dans le domaine compressé ?

Candès, Donoho (2006) : OUI si le sigal est parcimonieux dans une base B1 ET si on acquiert dans une base B2 incohérente avec B1

Bonne manière d’obtenir l’incohérence : le hasard !

slide-14
SLIDE 14

Echantillonnage compressé

Exemple : la bataille navale !

slide-15
SLIDE 15

Echantillonnage compressé

Exemple : la bataille navale !

slide-16
SLIDE 16

Echantillonnage compressé

Exemple : la bataille navale

x x x x x

Retrouver la position des 5 bateaux en posant le moins de questions possibles (ici en moyenne il faut en 85 questions)

slide-17
SLIDE 17

Echantillonnage compressé

Exemple : la bataille navale

* .

slide-18
SLIDE 18

Echantillonnage compressé

Exemple : la bataille navale

* .

2

slide-19
SLIDE 19

Echantillonnage compressé

Exemple : la bataille navale

* .

3

slide-20
SLIDE 20

Echantillonnage compressé

Exemple : la bataille navale

* .* . ∑

= m1

slide-21
SLIDE 21

Echantillonnage compressé

Exemple : la bataille navale

* .* . ∑

= m2

slide-22
SLIDE 22

Echantillonnage compressé

5 10 15 20 25 30 35 40 45 50 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

X: 1 Y: 0

Nb of measurements Probability of success (average on 50 trials) Battleship phase transition (5 ships, 10x10 grid) Binary Gaussian

Probability of successful reconstruction

slide-23
SLIDE 23

Echantillonnage compressé

Exemple : la bataille navale

* .

slide-24
SLIDE 24

Echantillonnage compressé

Exemple : la bataille navale

* .

échantillonnage standard, nombre questions ~ nb cases

slide-25
SLIDE 25

Echantillonnage compressé

Exemple : la bataille navale

* .

échantillonnage standard, nombre questions ~ nb cases échantillonnage compressif, nombre bateaux << nb cases

slide-26
SLIDE 26

Echantillonnage compressé

Exemple : la bataille navale

* .

échantillonnage standard, nombre questions ~ nb cases

avec dépendance en log(N) sur le nombre de cases

échantillonnage compressif, nombre bateaux << nb cases

slide-27
SLIDE 27

Echantillonnage compressé

  • Démocratique : Chaque mesure donne de l’information sur la totalité du

signal (toutes les mesures sont également informatives)

  • Universel : avec des mesures aléatoires, on mesure de façon incohérente

quelle que soit la base de parcimonie.

Lien avec le «group testing»

slide-28
SLIDE 28

Echantillonnage compressé

  • Démocratique : Chaque mesure donne de l’information sur la totalité du

signal (toutes les mesures sont également informatives)

  • Universel : avec des mesures aléatoires, on mesure de façon incohérente

quelle que soit la base de parcimonie.

Lien avec le «group testing»

slide-29
SLIDE 29

Holographie Acoustique en Champ Proche

But : comprendre les modes de vibration de plaques vibrantes (tables d’harmonie de guitare par ex).

Echantillonnage compressé en acoustique

slide-30
SLIDE 30

... suggère d’utiliser une antennes à positions de micros aléatoires La parcimonie des vibrations dans une base approprié ...

Echantillonnage compressé en acoustique

slide-31
SLIDE 31

Réduction drastique du nombre de mesures nécessaires !

Echantillonnage compressé en acoustique

slide-32
SLIDE 32

The one-pixel camera

If natural images are sparse, are there better sampling schemes than 20 Mpixel regular sensors as in digital cameras ? (where 99% of images end up as JPEGs)

slide-33
SLIDE 33

The one-pixel camera

If natural images are sparse, are there better sampling schemes than 20 Mpixel regular sensors as in digital cameras ? (where 99% of images end up as JPEGs)

(Baraniuk team, Rice Univ.)

slide-34
SLIDE 34

Beyond the single-pixel camera

  • Information scrambling by randomness is provided

by carefully-engineered hardware (as are other similar schemes based on coded aperture)

  • Measurements are performed sequentially (slow)
slide-35
SLIDE 35

Beyond the single-pixel camera

  • Information scrambling by randomness is provided

by carefully-engineered hardware (as are other similar schemes based on coded aperture)

  • Measurements are performed sequentially (slow)

Can we make it simpler / faster ?

slide-36
SLIDE 36

Beyond the single-pixel camera

  • Information scrambling by randomness is provided

by carefully-engineered hardware (as are other similar schemes based on coded aperture)

  • Measurements are performed sequentially (slow)

Can we make it simpler / faster ? Use randomness provided by Nature in multiply scattering materials

slide-37
SLIDE 37

Scattering : a coherent process

slide-38
SLIDE 38

Scattering : a coherent process

Volume scattering:

Speckle results from multiple interference between a multiplicity of random paths

Coherent light (laser)

thin layer (about 300 µm)

  • f white paint

(particle size ≤ 1 µm)

slide-39
SLIDE 39

Optimization for focusing through complex media

IM Vellekoop and AP Mosk, Optics Letters, 32(16) 2007

Re Im Re Im

E1 E2 Etot E3 E4

Re Im Re Im

E1 E2 Etot E3 E4 E1 E2 E3 E4 E1 E2 E3 E4 Etot Etot

1 3 4 2 incident wave

  • utput modes

2 4 3 1

IM Vellekoop and AP Mosk, Optics Letters, 32(16) 2007

slide-40
SLIDE 40

Optimization for focusing through complex media

IM Vellekoop and AP Mosk, Optics Letters, 32(16) 2007

Re Im Re Im

E1 E2 Etot E3 E4

Re Im Re Im

E1 E2 Etot E3 E4 E1 E2 E3 E4 E1 E2 E3 E4 Etot Etot

1 3 4 2 incident wave

  • utput modes

2 4 3 1

It is possible to shape these modes in phase to obtain a constructive interference on a single speckle grain (Equivalent to phase-conjugation)

IM Vellekoop and AP Mosk, Optics Letters, 32(16) 2007

slide-41
SLIDE 41

A more general approach : the transmission matrix

Popoff et al. Nat. Commun. 1:81 doi: 10.1038/ncomms1078 (2010)

slide-42
SLIDE 42

A more general approach : the transmission matrix

SLM: array of pixels

=

N complex-valued amplitudes

Popoff et al. Nat. Commun. 1:81 doi: 10.1038/ncomms1078 (2010)

slide-43
SLIDE 43

A more general approach : the transmission matrix

Linear system

=

MxN complex-valued matrix SLM: array of pixels

=

N complex-valued amplitudes

Popoff et al. Nat. Commun. 1:81 doi: 10.1038/ncomms1078 (2010)

slide-44
SLIDE 44

A more general approach : the transmission matrix

Linear system

=

MxN complex-valued matrix CCD camera: arrays of pixels

=

M modulus of complex-valued coefficients SLM: array of pixels

=

N complex-valued amplitudes

Popoff et al. Nat. Commun. 1:81 doi: 10.1038/ncomms1078 (2010)

slide-45
SLIDE 45

A more general approach : the transmission matrix

free field

slide-46
SLIDE 46

A more general approach : the transmission matrix

free field

slide-47
SLIDE 47

A more general approach : the transmission matrix

Output k Identity Matrix Input k

free field

slide-48
SLIDE 48

A more general approach : the transmission matrix

Output k Identity Matrix Input k

free field

slide-49
SLIDE 49

A more general approach : the transmission matrix

Output k Identity Matrix Input k

free field Scattering material

slide-50
SLIDE 50

A more general approach : the transmission matrix

Output k Identity Matrix Input k

free field Scattering material

slide-51
SLIDE 51

A more general approach : the transmission matrix

Output k Identity Matrix Input k Seemingly Random Matrix Output k Input k

free field Scattering material

slide-52
SLIDE 52

A more general approach : the transmission matrix

Output k Identity Matrix Input k Seemingly Random Matrix Output k Input k

free field Scattering material

slide-53
SLIDE 53

A more general approach : the transmission matrix

Output k Identity Matrix Input k Seemingly Random Matrix Output k Input k

Gaussian iid measurements : “optimal” for CS !

free field Scattering material

slide-54
SLIDE 54

Linear ¡Reconstruc*on

Tikhonov

Exploiting H for imaging

Popoff et al., 2010

slide-55
SLIDE 55

Linear ¡Reconstruc*on

Tikhonov

Exploiting H for imaging

Popoff et al., 2010

Sparse image

1

H

Sparse ¡reconstruc3on ¡(l1 or l0)

Non-­‑linear ¡Reconstruc*on

slide-56
SLIDE 56

Linear ¡Reconstruc*on

Exploiting H for imaging

Popoff et al., 2010

At least as many measurement pixels as input pixels

Sparse image

Number of measurement pixels driven by sparsity ( << input pixels)

Non-­‑linear ¡Reconstruc*on

H H

slide-57
SLIDE 57

Linear ¡Reconstruc*on

Exploiting H for imaging

Popoff et al., 2010

At least as many measurement pixels as input pixels

Sparse image

Number of measurement pixels driven by sparsity ( << input pixels)

Non-­‑linear ¡Reconstruc*on

H H

slide-58
SLIDE 58

Compressive imaging with scattering media

number of pixels M used for reconstruction

  • riginal image

1024 pixels

slide-59
SLIDE 59

Compressive imaging with scattering media

number of pixels M used for reconstruction

  • riginal image

1024 pixels

slide-60
SLIDE 60

Compressive imaging with scattering media

number of pixels M used for reconstruction

  • riginal image

1024 pixels

slide-61
SLIDE 61

Compressive imaging with scattering media

number of pixels M used for reconstruction

  • riginal image

1024 pixels Each pixel provides information about the whole image

slide-62
SLIDE 62

Compressive imaging with scattering media

undersampling ratio M/N relative sparsity k/M

Probability of success for recovery (MMV with 3 observations)

slide-63
SLIDE 63

Compressive imaging with scattering media

undersampling ratio M/N relative sparsity k/M

Probability of success for recovery (MMV with 3 observations)

about 105 experiments needed !

(measurements are fast ! medium is stable only for ~ 30 min)

slide-64
SLIDE 64

Compressive imaging with scattering media

undersampling ratio M/N relative sparsity k/M

Probability of success for recovery (MMV with 3 observations)

Why is it different from the standard «a la Donoho-Tanner» phase transition ?

about 105 experiments needed !

(measurements are fast ! medium is stable only for ~ 30 min)

slide-65
SLIDE 65

Compressive imaging with scattering media

undersampling ratio M/N relative sparsity k/M

Probability of success for recovery (MMV with 3 observations)

Why is it different from the standard «a la Donoho-Tanner» phase transition ?

  • algorithm used is SOMP (group-l0), not a l1 minimizer

about 105 experiments needed !

(measurements are fast ! medium is stable only for ~ 30 min)

slide-66
SLIDE 66

Compressive imaging with scattering media

undersampling ratio M/N relative sparsity k/M

Probability of success for recovery (MMV with 3 observations)

Why is it different from the standard «a la Donoho-Tanner» phase transition ?

  • algorithm used is SOMP (group-l0), not a l1 minimizer
  • noise in the measurement and in the calibration (estimation of H)

about 105 experiments needed !

(measurements are fast ! medium is stable only for ~ 30 min)

slide-67
SLIDE 67

Compressive imaging with scattering media

undersampling ratio M/N relative sparsity k/M

Probability of success for recovery (MMV with 3 observations)

Transition curve obtained by numerical simulation with y = M x + e with M and e with gaussian iid entries variance of e = 3% of variance of M same procedure : error added at calibration and measurement

slide-68
SLIDE 68

Compressive imaging with scattering media

slide-69
SLIDE 69

Compressive imaging with scattering media

Liutkus et al., Scientific reports (4) (2014)

slide-70
SLIDE 70

Compressive imaging with scattering media

Liutkus et al., Scientific reports (4) (2014)

slide-71
SLIDE 71

Compressive imaging with scattering media

  • From imaging through scattering media (challenge)

to using scattering media to better image (opportunity)

Liutkus et al., Scientific reports (4) (2014)

slide-72
SLIDE 72

Compressive imaging with scattering media

  • From imaging through scattering media (challenge)

to using scattering media to better image (opportunity)

  • Randomness helps ! “optimal” scrambling of information

Liutkus et al., Scientific reports (4) (2014)

slide-73
SLIDE 73

Compressive imaging with scattering media

  • From imaging through scattering media (challenge)

to using scattering media to better image (opportunity)

  • Randomness helps ! “optimal” scrambling of information
  • Trade hardware for calibration

Liutkus et al., Scientific reports (4) (2014)

slide-74
SLIDE 74

Compressive imaging with scattering media

  • From imaging through scattering media (challenge)

to using scattering media to better image (opportunity)

  • Randomness helps ! “optimal” scrambling of information
  • Trade hardware for calibration
  • A deep connection between sensing and sampling

Liutkus et al., Scientific reports (4) (2014)

slide-75
SLIDE 75

Compressively Sensing acoustic fields

  • Compressed sensing is a way to put prior information about the

signal at the acquisition stage (sparse regularization) and a way to design corresponding efficient measurements

slide-76
SLIDE 76

Compressively Sensing acoustic fields

  • Compressed sensing is a way to put prior information about the

signal at the acquisition stage (sparse regularization) and a way to design corresponding efficient measurements