High Dynamic Range (HDR) Video for Cultural Heritage - - PowerPoint PPT Presentation

High ¡Dynamic ¡Range ¡(HDR) ¡Video ¡ ¡ for ¡Cultural ¡Heritage ¡Documenta9on ¡ and ¡Experimental ¡Archaeology ¡

Jassim ¡Happa1, ¡Alessandro ¡Artusi2, ¡ ¡ Silvester ¡Czanner1 ¡and ¡Alan ¡Chalmers1 ¡ ¡ 1 ¡-­‑ ¡Interna9onal ¡Digital ¡Laboratory, ¡University ¡of ¡Warwick ¡ 2 ¡– ¡CaSToRC, ¡The ¡Cyprus ¡Ins9tute ¡

Overview ¡

• Introduc9on ¡ ¡

– High ¡Dynamic ¡Range ¡Imaging ¡(HDRI) ¡ – Our ¡Goals ¡

• Challenges ¡ ¡and ¡Limita9on ¡
• Examples ¡-­‑ ¡Applica9ons ¡
• Conclusion ¡

High ¡Dynamic ¡Range ¡Imaging ¡

Capturing ¡/ ¡ Synthesising ¡ Storing ¡ Delivering ¡ HDR ¡Display ¡ LDR ¡Display ¡ Renderer ¡ Acquisi9on ¡

Demo ¡

5 ¡a.m. ¡ 12 ¡a.m. ¡ 8 ¡p.m. ¡

• J. ¡Happa, ¡A. ¡Artusi, ¡P. ¡Dubla, ¡T. ¡Bashford-­‑Rogers, ¡K, ¡DebaZsta, ¡V. ¡Hulusic ¡ ¡and ¡A. ¡Chalmers ¡“The ¡

Virtual ¡ Reconstruc9on ¡ and ¡ ¡ Daylight ¡ Illumina9on ¡ of ¡ the ¡ Panagia ¡ Angelok9s9”, ¡ Proceedings ¡ Eurographics ¡VAST ¡2009. ¡

• Data ¡Acquisi9on ¡

– Mul9-­‑exposure ¡using ¡SLR ¡Digital ¡camera ¡

• Mann ¡and ¡Pickard ¡1995 ¡-­‑ ¡Debevec ¡and ¡Malik ¡1997 ¡

– Spherical ¡cameras ¡– ¡automa9c ¡mul9-­‑exposure ¡ ¡

• Spheron ¡VR, ¡Civeaa ¡(Weiss ¡AG) ¡and ¡Panonscan ¡Ltd ¡

– HDR ¡Video ¡Camera ¡

• HDR ¡sensors ¡for ¡automo9ve ¡applica9ons ¡(see ¡Omron) ¡
• Unger ¡ ¡and ¡Gustavson ¡2007 ¡
• Data ¡Storage ¡

– File ¡Format ¡

• RGBE/XYZE, ¡LogLuv ¡(Ward ¡1991, ¡1998), ¡OpenEXR ¡2003 ¡

– Compression ¡

• JPEG-­‑HDR, ¡HDR-­‑JPEG2000, ¡MPEG-­‑HDR ¡
• Data ¡Visualisa9on ¡

– Tradi9onal ¡Display ¡

• Tone ¡Mapping ¡(mapping ¡HDR ¡content ¡to ¡LDR ¡displays) ¡

– Tumblin ¡and ¡Rushmeier ¡1991 ¡ – Other ¡solu9ons ¡have ¡been ¡presented ¡ ¡

– HDR ¡Display ¡

• Seetzen ¡et ¡al. ¡2004 ¡

• What ¡We ¡Want ¡to ¡Do? ¡ ¡

– Record, ¡ Store, ¡ Process ¡ and ¡ Display ¡ real ¡ world ¡ light ¡ informa9on ¡making ¡use ¡of ¡a ¡video ¡camera. ¡

• Why? ¡

– More ¡informa9on ¡about ¡light ¡means ¡more ¡accurate ¡ data ¡collec9on. ¡

• Challenges ¡

Technological ¡and ¡Applica9ons ¡

• Why ¡is ¡this ¡important? ¡

– Capture ¡more ¡informa9on ¡about ¡real ¡world ¡light ¡

LDR ¡ ¡ ¡ ¡-­‑ ¡ ¡ ¡ ¡Fading ¡ HDR ¡ ¡ ¡ ¡-­‑ ¡ ¡ ¡ ¡Visible ¡

• Why ¡is ¡this ¡important? ¡

– High ¡exposures: ¡Excess ¡informa9on ¡ ¡

¡

• ­‑5 ¡stops ¡

¡ ¡ ¡

• ­‑2 ¡stops ¡

¡ ¡ 0 ¡stops ¡ ¡ ¡ ¡ +2 ¡stops ¡

¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡HDRV ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡LDRV ¡(gamma ¡2.2) ¡

How ¡to ¡Acquire ¡these ¡Data? ¡

• HDR ¡Video ¡Camera ¡(Spheron ¡VR ¡and ¡Warwick ¡Digital ¡

Laboratory) ¡

• Fiber ¡coupled ¡storage ¡unit ¡
• 24 ¡Terrabyte ¡Array ¡(~5h ¡of ¡footage) ¡
• 30 ¡Frames-­‑per-­‑Second ¡
• 20 ¡f-­‑stops ¡
• Full ¡HD ¡(1920x1080) ¡

Challenges ¡

• Data ¡Acquisi9on ¡

– Sta9c ¡ ¡vs. ¡Temporal ¡content ¡

• Data ¡Storage ¡

– Huge ¡amount ¡of ¡data ¡

• 1 ¡min ¡data: ¡15.8MB ¡per ¡frame ¡x ¡30FPS ¡x ¡60 ¡seconds ¡= ¡28.44GB ¡

– Compression ¡

• Dealing ¡with ¡data ¡in ¡more ¡manageable ¡chunks ¡
• Data ¡Visualisa9on ¡

– Tradi9onal ¡Display ¡

• Tone ¡Mapping ¡(mapping ¡HDR ¡content ¡to ¡LDR ¡displays) ¡

– Good, ¡but ¡limited ¡-­‑ ¡Difficult ¡to ¡recommend ¡for ¡CH ¡representa9on ¡ » Unless ¡you ¡have ¡sufficient ¡understanding ¡of ¡Tone ¡Mapping. ¡

– HDR ¡Display ¡

• Son ¡Tone ¡Mapping ¡
• Costly, ¡not ¡easily ¡available ¡

– Decompression ¡on ¡the ¡fly ¡is ¡needed ¡

Tone ¡Mapping ¡Issues ¡

Under ¡Exposed ¡ ¡ ¡ ¡Middle ¡Exposed ¡ ¡Over ¡Exposed ¡

¡

¡ Tone ¡Mapped ¡using ¡three ¡different ¡TMOs ¡ ¡

Examples ¡-­‑ ¡Applica9ons ¡

Documenta9on ¡and ¡ ¡ Experimental ¡Archaeology ¡

What ¡can ¡HDRV ¡be ¡used ¡for? ¡

• Recrea9ng ¡and ¡documen9ng ¡ancient ¡ligh9ng ¡

condi9ons ¡to ¡HDR ¡digital ¡video: ¡

– Flames ¡ – Interplay ¡of ¡light ¡(dark ¡and ¡light): ¡

• Smoke/Incense ¡(Par9cipa9ng ¡Media) ¡
• Translucent ¡objects ¡
• Major ¡benefit: ¡

– Examine ¡a ¡richer ¡set ¡of ¡data ¡

• Through ¡more ¡data ¡on ¡luminance. ¡

• When ¡is ¡HDR ¡photography ¡sa9sfactory? ¡

– Documenta9on ¡of ¡sta9c ¡interplay ¡of ¡light ¡

• E.g. ¡Non/slow-­‑moving ¡fog/dust ¡

¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡LDR ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡HDR ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Different ¡exposures. ¡(D-­‑SLR ¡camera) ¡ ¡ ¡

Sta9c ¡vs. ¡Temporal ¡Data ¡

• When ¡is ¡HDR ¡photography ¡sa9sfactory? ¡

– Documenta9on ¡of ¡sta9c ¡interplay ¡of ¡light ¡

• E.g. ¡Sunlight ¡at ¡specific ¡9mes ¡of ¡day ¡

¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡LDR ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡HDR ¡

• When ¡does ¡HDR ¡photography ¡alone ¡fail? ¡

– Documenta9on ¡of ¡dynamic ¡interplay ¡of ¡light ¡

• Moving ¡Caus9cs ¡(Concentra9on ¡of ¡light) ¡, ¡Flame ¡light, ¡

Fast ¡moving ¡Smoke/Fog ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡LDR ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡HDR ¡ ¡

• Problems: ¡banding ¡and ¡ghos9ng ¡artefacts. ¡ ¡(Tone ¡

mapped ¡HDR ¡photograph ¡from ¡D-­‑SLR ¡Camera) ¡

Limita9ons ¡-­‑ ¡Today ¡

• Data ¡Acquisi9on ¡(at ¡the ¡moment) ¡

– High ¡End, ¡Prototype ¡Camera ¡Equipment ¡ – Demands ¡post-­‑process ¡ – Costly ¡technology ¡ – Not ¡especially ¡portable ¡

• Data ¡Storage ¡

– Fiber ¡coupled ¡unit: ¡ ¡

• Fragile ¡and ¡expensive ¡cable ¡
• Demands ¡terabyte ¡array ¡for ¡footage ¡

¡

Conclusion ¡

• We ¡have ¡presented: ¡

– “Proof-­‑of-­‑concept” ¡for ¡HDRV ¡in ¡the ¡CH ¡domain ¡

• Illustrated ¡how ¡HDRV ¡can ¡be ¡employed ¡for ¡CH ¡research ¡
• HDRV ¡allows ¡for ¡acquisi9on ¡of: ¡

– Moving ¡light ¡sources ¡ – Greater ¡documenta9on/measurement ¡of ¡dynamic ¡ ranges ¡of ¡light ¡

Acknowledgements ¡

• Thanks ¡to ¡Spheron ¡for ¡collabora9on. ¡
• Thanks ¡to ¡The ¡Byzan9ne ¡Art ¡Gallery ¡in ¡Nicosia ¡for ¡

permission ¡to ¡visit ¡Panagia ¡Angelok9s9 ¡and ¡ record ¡video ¡and ¡HDR ¡photography ¡inside. ¡

• Thanks ¡to ¡the ¡American ¡Research ¡Center ¡in ¡Egypt ¡

(ARCE) ¡and ¡Elizabeth ¡Bolman ¡for ¡permission ¡to ¡ use ¡the ¡Red ¡Monastary ¡photographs. ¡

• Thanks ¡to ¡Paul ¡A. ¡Wilson, ¡Vibhor ¡Aggarwal, ¡Alena ¡

Petrasova ¡for ¡useful ¡comments. ¡