Experimental Implementation of Compressed Terahertz Imaging Dr. - - PowerPoint PPT Presentation

Experimental Implementation of Compressed Terahertz Imaging

• Dr. Yao-Chun Shen

Department of Electrical Engineering and Electronics, The University of Liverpool, Liverpool L69 3GJ United Kingdom (y.c.shen@liverpool.ac.uk)

In collaboration with Dr. Gan, Brunel University, UK

My ¡talk ¡today ¡

• Introduc/on ¡

– THz ¡radia/ons ¡ – THz ¡cw ¡and ¡pulsed ¡imaging ¡ – Compressed ¡sensing ¡

• Compressed ¡THz ¡imaging ¡

– Simula/ons ¡and ¡sensing ¡matrix ¡design ¡ – Op/mised ¡mask ¡for ¡THz ¡spectroscopic ¡imaging ¡ – A ¡spinning ¡disk ¡approach ¡

• Summary ¡

2

" # H = J + $D

$t

Maxwell's Equations

1861-1862

waves particles/ray

What are THz radiations

electromagnetic wave at frequency of 0.1—10 THz

Why THz radiation?

(0.1—10 THz, 3.3-333 cm-1)

• THz radiation has unique combination of attractive

features – Spectral signatures at THz frequency: material characterization (explosives, drugs  stand-off detection?) – Penetration capability of THz radiation: image at depths (see through packaging and clothing materials  security screening?) – Safety: THz photon energy (4 meV @ 1THz) is

• ne million times smaller than x-ray, and will not

cause harmful photo-ionization to biological samples.

IM

Polymorph screening and quantification

Pharmaceutical application

(Y.C. Shen, Int. J. Pharm., 417(2011) 48-60 )

Pharmaceu/cal ¡applica/on ¡

6

Key findings: (1) Coating uniformity/integrity (2) top/bottom coating is thicker (3) top/bottom reflects more THz radiation (after surface curvature compensation)

(Y.C. Shen, Int. J. Pharm., 417(2011) 48-60 )

Stand-­‑off ¡detec/on ¡of ¡explosives? ¡

15:39 Any standoff detection of explosives will have to use a reflection configuration. We were the first to demonstrate that spectral signatures could be recovered from reflection terahertz measurements. Transmission Reflection

M.C. ¡Kemp ¡et ¡al, ¡Proc. ¡SPIE ¡5070(2003)44 ¡ Y.C. ¡Shen, ¡et ¡al, ¡Semicond ¡Sci ¡& ¡Tech, ¡20 ¡(2005) ¡254; ¡ ¡Appl. ¡

• Phys. ¡LeV., ¡86 ¡(2005) ¡241116 ¡

AG ¡Davies, ¡Material ¡Today, ¡11(2008)18 ¡

Security Applications

(see through and detect concealed objects)

ThruVision, UK (now Smith Detection?) SynView, Germany & Uni. Siegen, 900 GHz active imaging

Passive THz imaging at 35 GHz (94 GHz), real-time (QinetiQ)

THz ¡imaging ¡

• cw ¡THz ¡imaging ¡
• Sensor ¡array: ¡real ¡/me ¡image ¡acquisi/on ¡
• Limited ¡contrast ¡mechanism ¡as ¡there ¡is ¡liVle ¡spectral ¡

informa/on ¡

• Driven ¡by ¡security ¡applica/on: ¡can ¡detect ¡concealed ¡

subject ¡but ¡no ¡iden/fica/on ¡ ¡

• Terahertz ¡pulsed ¡imaging ¡
• Spectral ¡informa/on? ¡

15:39

Terahertz ¡Pulsed ¡Imaging ¡

Shen et al., Appl. Phys. Lett. 85 (2004) 164-166 Shen et al., Appl. Phys. Lett., 82 (2003) 2350-52

11

TPI instrumentation

TPI imaga 2000: TeraView Ltd, Cambridge, UK

Y.C. Shen, P.F. Taday, J. Selected Topics in Quantum Electronics, 14 (2008) 407-415

THz ¡waveforms ¡and ¡maps ¡

Y.C. Shen, P.F. Taday, J. Selected Topics in Quantum Electronics, 14 (2008) 407-415

THz B-scan cross- section map.

TPI ¡data: ¡3D ¡data ¡cube ¡

• Raw ¡measurement ¡data ¡(3D ¡data ¡cube): ¡
• Each ¡file ¡has ¡MxN ¡pixel ¡number ¡(x, ¡y) ¡
• Each ¡pixel ¡has ¡a ¡THz ¡waveform ¡
• Each ¡waveform ¡has ¡512 ¡data ¡point ¡(t or z) ¡
• Spectral ¡calcula/on ¡(4th ¡dimensions) ¡(λ ¡or ¡ν) ¡

) ( / ) ( 1 ) ( / ) ( 1 4 ) ( ) ( ν ν ν ν πν ν α ν ε

r s r s

E E E E c j n + − = + ≡

+2D +1D +1D

THz ¡imaging: ¡cw ¡vs ¡pulsed ¡

• cw ¡THz ¡imaging ¡(single ¡frequency) ¡
• Sensor ¡array: ¡real ¡/me ¡image ¡acquisi/on ¡
• Limited ¡contrast ¡mechanism ¡as ¡there ¡is ¡liVle ¡spectral ¡

informa/on ¡

• Driven ¡by ¡security ¡applica/on: ¡can ¡detect ¡concealed ¡

subject ¡but ¡no ¡iden/fica/on ¡ ¡

• Terahertz ¡pulsed ¡imaging ¡
• Spectral ¡informa/on ¡for ¡spectroscopic ¡imaging ¡
• Phase ¡informa/on ¡allows ¡/ght-­‑of-­‑flight ¡thus ¡3D ¡structural ¡

imaging ¡

• Image ¡acquisi/on ¡is ¡very ¡slow: ¡Point-­‑by-­‑point ¡scan ¡
• Large ¡3D ¡data ¡cube: ¡ ¡
• this ¡is ¡where ¡compressed ¡sensing ¡could ¡help ¡most ¡

15:39

15

¡Compressed ¡Sensing ¡

• Measurement: ¡linear, ¡non-­‑adap/ve ¡random ¡projec/ons ¡

[Candes-­‑Romberg-­‑Tao-­‑2006]: ¡ ¡

– x: ¡N×1 ¡signal ¡vector ¡ – y: ¡M×1 ¡sampling ¡vector ¡(M ¡<< ¡N) ¡ – Φ: ¡M×N ¡sensing ¡matrix; ¡ ¡

• Reconstruc:on: ¡x ¡can ¡be ¡calculated ¡from ¡y ¡and ¡Φ ¡if ¡

the ¡image ¡x ¡is ¡sparse. ¡

1 1 × × ×

Φ =

N N M M

x y

Compressed ¡Sensing: ¡ ¡

THz ¡data ¡is ¡compressible ¡in ¡/me-­‑domain ¡

Y.C. Shen, etc., SPIE Proceedings 5727 (2005) 24

2.5% !

Compressed ¡sensing: ¡ ¡ THz ¡data ¡is ¡compressible ¡in ¡pixel-­‑domain ¡

17

256x256=65536 pixels Reconstructed from 4096 measurements 6.5% !

Ideally for compressed sensing: 2.5%*6.5%= <0.2%

• Compressed ¡imaging: ¡ ¡

– Simultaneous ¡sampling ¡and ¡compression ¡ ¡ – Under ¡sparsity ¡condi/ons, ¡an ¡image ¡can ¡be ¡precisely ¡ reconstructed ¡from ¡a ¡small ¡set ¡of ¡random ¡projec/ons ¡(much ¡ lower ¡than ¡Nyquist ¡rate);this ¡could ¡lead ¡to ¡leading ¡to ¡ drama/c ¡reduc/on ¡in ¡sampling ¡rates ¡and ¡power ¡ consump/on ¡at ¡the ¡imaging ¡site; ¡ ¡ – Apart ¡from ¡pixel-­‑domain, ¡THz ¡data ¡is ¡also ¡sparse ¡in ¡/me-­‑ domain ¡and/or ¡frequency-­‑domain ¡for ¡many ¡samples. ¡ Therefore ¡compressed ¡sensing ¡concept ¡is ¡expected ¡to ¡work ¡ very ¡well ¡for ¡THz ¡imaging ¡ – Implementa:on? ¡

Compressed ¡terahertz ¡imaging ¡

Compressive ¡THz ¡imaging: ¡ Hardware ¡Implementa/on ¡

Shen et al., Appl. Phys. Lett., 95 (2009) 231112

Sensing Matrix

20

Sensing ¡Matrix

¡

• Sensing ¡matrix: ¡

¡

• Incoherence ¡[Candes-­‑Romberg-­‑Tao-­‑2006]: ¡ ¡

– Ψ ¡cannot ¡sparsely ¡represent ¡each ¡row ¡vector ¡of ¡Φ ¡and ¡vice ¡versa; ¡ ¡

• Examples: ¡

– Full ¡random ¡matrix, ¡Toeplitz ¡and ¡circulant ¡matrix ¡

– Vandemonde ¡matrix, ¡uniform ¡spherical ¡matrix, ¡random ¡signs ¡matrix, ¡ par/al ¡Fourier ¡matrix, ¡par/al ¡Hadamard ¡matrix, ¡sparse ¡projec/on ¡ matrix ¡and ¡very ¡sparse ¡projec/on ¡matrix, ¡and ¡structurally ¡random ¡

• matrix. ¡

1 1 × × ×

Φ =

N N M M

x y

!M"N

21

Sensing ¡Matrix ¡

• Fully ¡random ¡matrix ¡ ¡

– Simple ¡and ¡image ¡reconstruc/on ¡is ¡guaranteed ¡ – Most ¡of ¡exis/ng ¡works ¡use ¡a ¡random ¡Bernoulli ¡

• perator, ¡in ¡which ¡the ¡entries ¡of ¡Φ ¡are ¡randomly ¡

selected ¡as ¡0 ¡and ¡1 ¡with ¡equal ¡probability. ¡ ¡ – High ¡computa/onal ¡complexity ¡and ¡huge ¡memory, ¡ especially ¡for ¡high-­‑resolu/on ¡imaging ¡(1024x1024 ¡

pixel1024*1024*1024*1024=8*1Gbyte) ¡

– Each ¡mask ¡is ¡independent, ¡imaging ¡speed ¡is ¡limited ¡ by ¡the ¡slow ¡transla/on ¡of ¡one ¡random ¡paVern ¡to ¡

• another. ¡

Simula/ons ¡in ¡live ¡(128x128 ¡pixels) ¡

128x128x10%=1638

CS-­‑THz ¡system ¡using ¡a ¡set ¡of ¡40 ¡independent ¡

• p/mized ¡masks

Figure Optimized mask set for CS-THz system.

Shen et al., Appl. Phys. Lett., 95 (2009) 231112

Simulated ¡results

• Figure. 4.2 Simulated results demonstrating the universality of the proposed mask. (a)

Original image and reconstructed images using (b) 40 optimized masks, (c) 40 random masks, and (d) 120 random masks.

Experimental ¡results: ¡/me-­‑domain

• Figure. ¡4.4 ¡Simulated ¡results ¡for ¡linear ¡measurements. ¡The ¡leo-­‑hand ¡inset ¡image ¡is ¡the ¡simulated

¡ results ¡and ¡the ¡right-­‑hand ¡inset ¡image ¡is ¡the ¡reconstructed ¡image ¡using ¡40 ¡op/mized ¡masks.

Experimental ¡results: ¡frequency-­‑domain

• Figure. ¡4.8 ¡(a) ¡Original ¡20.0 ¡mm×20.0 ¡mm ¡image ¡of ¡a ¡Chinese ¡character ¡“big”.

¡ (b) ¡reconstructed ¡peak ¡amplitude ¡image. ¡(c)-­‑(f) ¡Reconstructed ¡image ¡at ¡0.15, ¡ 0.3, ¡ 1.0 ¡ and ¡ 2.0 ¡ THz. ¡ All ¡ image ¡ have ¡ 20×20 ¡ pixels ¡ and ¡ the ¡ pixel ¡ size ¡ is ¡ 2.0 ¡ mm×2.0 ¡mm.

Experimental ¡results: ¡chemical ¡map

• Figure. ¡ 4.9 ¡ (a)-­‑(c) ¡ Reconstructed ¡ THz

¡ images ¡of ¡the ¡sample ¡at ¡0.50, ¡0.54, ¡and ¡ 1.38 ¡ THz, ¡ respec/vely. ¡ Each ¡ image ¡ is ¡ 40.0 ¡ mm×40.0 ¡ mm. ¡ (d) ¡ RGB ¡ chemical ¡ map ¡ of ¡ the ¡ sample ¡ where ¡ red ¡ is ¡ assigned ¡to ¡lactose, ¡green ¡to ¡polythene, ¡ and ¡blue ¡to ¡regions ¡of ¡no ¡transmission ¡ (copper ¡ areas). ¡ (e) ¡ THz ¡ spectra ¡ of ¡ polyethylene ¡ (upper ¡ trace) ¡ and ¡ lactose ¡ (lower ¡ trace). ¡ The ¡ inset ¡ shows ¡ a ¡ photograph ¡of ¡the ¡sample ¡that ¡is ¡made ¡

• f ¡ copper ¡ tape ¡ with ¡ two ¡ square ¡ holes

¡ (each ¡ 20.0 ¡ mm×20.0 ¡ mm). ¡ A ¡ 3.0-­‑mm-­‑ thick ¡polyethylene ¡pellet ¡is ¡placed ¡at ¡the ¡ top-­‑leo ¡ square ¡ while ¡ a ¡ 3.2-­‑mm-­‑thick ¡ lactose ¡ pellet ¡ is ¡ placed ¡ at ¡ the ¡ boVom-­‑ right ¡square.

Shen et al., Appl. Phys. Lett., 95 (2009) 231112

CS-­‑THz ¡imaging

• THz ¡images ¡of ¡400 ¡pixels ¡could ¡be ¡reconstructed ¡from ¡40 ¡
• p/mized ¡masks ¡of ¡binary ¡paVerns. ¡
• 40 ¡masks: ¡copper ¡tape ¡with ¡cut-­‑through ¡holes ¡thus ¡it ¡did ¡not ¡

introduce ¡any ¡THz ¡absorp/on, ¡ideal ¡for ¡THz ¡spectroscopic ¡

• imaging. ¡
• Very ¡slow ¡to ¡manually ¡change ¡one ¡mask ¡to ¡another ¡(Rice ¡

group ¡studied ¡THz ¡spa/al ¡modulator…) ¡

• A ¡spinning ¡disk ¡ ¡

Why ¡spinning ¡disk ¡configura/on?

• Main ¡advantages: ¡
• ¡Φ ¡can ¡be ¡approximated ¡as ¡a ¡random ¡block ¡Toeplitz ¡
• perator ¡
• Low ¡storage ¡space; ¡
• ¡electrical ¡motor: ¡Low ¡cost, ¡con/nouse ¡and ¡automa/c ¡

measurement; ¡

• Good ¡performance; ¡
• Video-­‑rate ¡sampling ¡rate ¡could ¡be ¡achieved; ¡

30

Sensing ¡Matrix ¡

• Toeplitz ¡matrix ¡

– Similar ¡performance ¡as ¡fully ¡random ¡matrix ¡ – reduced ¡implementa/on ¡cost ¡(s/w ¡and ¡h/w) ¡

• J. Haupt,et al, IEEE Trans. Inf. Theory 56, 5862 (2010).
• F. Sebert, et al., in Proceedings of International Conference on Information

Technology and Application and Biomedicine (IEEE, 2008), pp. 47–50.

• H. Rauhut, in Theoretical Foundations and Numerical Methods for Sparse Recovery,
• Vol. 9 of Radon Series for Computational and Applied Mathematics, M. Fornasier,
• ed. (de Gruyter, 2010), pp. 1–92.

31

Sensing ¡Matrix ¡

Toeplitz matrix 1024x(1024+1000) 1024x1024x1000

CS-­‑THz ¡system ¡using ¡a ¡spinning ¡disk

• Figure. ¡ 5.1 ¡ Schema/c ¡ diagram ¡ of ¡ the

¡ spinning ¡ disk. ¡ When ¡ spinning ¡ the ¡ disk, ¡ each ¡effec/ve ¡mask ¡is ¡obtained ¡from ¡the ¡ rectangular ¡ window ¡ in ¡ green ¡ with ¡ different ¡ binary ¡ paVerns ¡ (i.e., ¡ the ¡ area ¡ between ¡ two ¡ red ¡ dashed ¡ lines ¡ is ¡ the ¡ actual ¡imaging ¡area).

CS-­‑THz ¡experimental ¡using ¡IR ¡light ¡source

• Figure. ¡ 5.5 ¡ Schema/c ¡ diagram ¡ of ¡ a

¡ spinning ¡disk ¡based ¡compressive ¡imaging ¡

• system. ¡The ¡square ¡enclosed ¡by ¡the ¡solid

¡ red ¡line ¡represents ¡the ¡"effec/ve ¡image ¡ window". ¡ In ¡ our ¡ experiment, ¡ the ¡ spinning ¡disk ¡has ¡a ¡radius ¡of ¡R=95.0 ¡mm ¡ and ¡ the ¡ image ¡ window ¡ is ¡ placed ¡ l=35.0 ¡ mm ¡from ¡the ¡center ¡of ¡the ¡disk. ¡A ¡hole ¡

• f ¡ 0.5 ¡ mm ¡ diameter ¡ at ¡ the ¡ edge ¡ of ¡ the

¡ spinning ¡ disk ¡ is ¡ used ¡ for ¡ synchronizing ¡ the ¡ mask ¡ posi/on ¡ and ¡ the ¡ measured ¡

• signal. ¡ (LED: ¡ light ¡ emivng ¡ diode, ¡ PD1:

¡ photodiode, ¡DAQ: ¡data ¡acquisi/on). Shen et al., Optics Letters, 37 (2012) 46-48

• Figure. ¡5.9 ¡Photo ¡of ¡the ¡compressed

¡ T H z ¡ / m e -­‑ d o m a i n ¡ ( p u l s e d ) ¡ spectroscopic ¡ imaging ¡ system. ¡ A ¡ photoconduc/ve ¡emiVer ¡is ¡used ¡for ¡ THz ¡genera/on ¡and ¡an ¡EO ¡crystal ¡is ¡ used ¡ for ¡ THz ¡ detec/on. ¡ (BS: ¡ beam ¡ s p l i V e r , ¡ P C ¡ T H z ¡ e m i V e r : ¡ photoconduc/ve ¡ THz ¡ emiVer, ¡ and ¡ EO: ¡electro-­‑op/c).

Sychronisa/on ¡using ¡IR ¡light ¡source

• Figure. ¡ 5.5 ¡ Synchronizing ¡ the

¡ d i s k ¡ r o t a / o n ¡ w i t h ¡ d a t a ¡ measurement ¡by ¡comprising ¡the ¡ measured ¡ data ¡ from ¡ detector ¡ and ¡ the ¡ feedback ¡ signal ¡ from ¡ photodiode ¡(PD1). ¡(a) ¡Measured ¡ data ¡ for ¡ reconstruc/on. ¡ (b) ¡ F e e d b a c k ¡ s i g n a l ¡ f o r ¡ synchroniza/on ¡

Experimental ¡results

• Figure. ¡ 5.6 ¡ (a) ¡ Photographs ¡ of ¡ the ¡ samples ¡ used ¡ in ¡ IR ¡ imaging ¡ experiment, ¡ and ¡ their

¡ corresponding ¡ IR ¡ images ¡ reconstructed ¡ using ¡ (b) ¡ MMSE ¡ linear ¡ es/ma/on ¡ and ¡ (c) ¡ the ¡ TV-­‑min ¡ nonlinear ¡reconstruc/on ¡algorithm. ¡Each ¡image ¡has ¡32×32 ¡pixels ¡and ¡was ¡reconstructed ¡from ¡240 ¡ measurements.

Experimental ¡results

• Figure. ¡5.8 ¡(a) ¡Photograph ¡of ¡samples, ¡and ¡the ¡corresponding ¡THz ¡images ¡reconstructed ¡using ¡(b) ¡simulated

¡ signals ¡and ¡(c) ¡measured ¡signals. ¡The ¡samples ¡used ¡are ¡copper ¡tape ¡with ¡a ¡cut-­‑through ¡paVern ¡of ¡"T", ¡"H" ¡ and ¡"z", ¡which ¡is ¡concealed ¡in ¡fiber ¡reinforced ¡epoxy ¡resin. ¡The ¡spinning ¡disk ¡was ¡used, ¡and ¡the ¡images ¡were ¡ reconstructed ¡from ¡100 ¡measurements. ¡Each ¡image ¡has ¡a ¡32×32 ¡pixels ¡with ¡a ¡pixel ¡size ¡of ¡1.0 ¡mm×1.0 ¡mm. ¡ A ¡ BWO ¡ source ¡ at ¡ 0.14 ¡ THz ¡ was ¡ used ¡ to ¡ illuminate ¡ the ¡ sample ¡ and ¡ the ¡ transmiVed ¡ THz ¡ radia/on ¡ was ¡ measured ¡using ¡a ¡single-­‑element ¡pyroelectric ¡sensor.

Summary and future work

• THz ¡radia/on ¡and ¡THz ¡imaging ¡

 0.3—10 ¡THz; ¡1mm—30 ¡µm: ¡safe ¡to ¡use ¡  Spectral ¡signatures ¡& ¡Penetra/on ¡capability ¡  Many ¡applica/ons ¡but ¡currently ¡limited ¡by ¡the ¡imaging ¡speed ¡(and ¡ the ¡cost) ¡ ¡

• Compressed ¡THz ¡imaging ¡
• 10 ¡/me ¡reduc/on ¡in ¡the ¡required ¡number ¡of ¡measurements ¡thus ¡

poten/ally ¡10 ¡/me ¡faster ¡

• Preserve ¡the ¡spectral ¡signatures ¡for ¡THz ¡spectrosocpic ¡imaging. ¡
• Further ¡development ¡
• Implemta/on ¡of ¡the ¡new ¡spinning ¡desk ¡for ¡spectrosocpic ¡imaging ¡
• Super-­‑resolu/on ¡THz ¡imaging ¡(Nuqiest-­‑theory) ¡
• 3D ¡compressed ¡imaging ¡(explore ¡/me-­‑domain ¡sparsity). ¡A ¡

combined ¡pixel-­‑domain ¡and ¡/me-­‑domain ¡implementa/on ¡could ¡ lead ¡to ¡over ¡100 ¡/mes ¡improveent ¡

Acknowledgement ¡

• Mr. ¡H ¡Shen, ¡

¡ ¡Liverpool ¡University ¡

• Mr. ¡L ¡Liu ¡

¡ ¡Liverpool ¡University ¡ Miss ¡N ¡Khiabani ¡ ¡ ¡Liverpool ¡University ¡

• Prof. ¡Y ¡Huang

¡ ¡Liverpool ¡University ¡

• Prof. ¡P ¡Wightman ¡

¡Liverpool ¡University ¡ ¡

• Dr. ¡L. ¡Gan, ¡

¡ ¡Brunel ¡University ¡

• Dr. ¡JA ¡Zeitler, ¡

¡ ¡Cambridge ¡University ¡

• Prof. ¡LF ¡Gladden ¡

¡ ¡Cambridge ¡University ¡

• Prof. ¡EH ¡Linfield

¡ ¡Leeds ¡University ¡

• Prof. ¡AD ¡Davies ¡

¡ ¡Leeds ¡University ¡

• Dr. ¡JE ¡Cunningham ¡ ¡

¡Leeds ¡University ¡

• Dr. ¡PF ¡Taday

¡ ¡TeraView ¡Ltd., ¡Cambridge ¡ ¡

Thank you for your attention!