Light Field Structure Analysis With material courtesy of - - PowerPoint PPT Presentation

▶
light field structure analysis
SMART_READER_LITE
LIVE PREVIEW

Light Field Structure Analysis With material courtesy of - - PowerPoint PPT Presentation

Feb 08, 2023 335 likes •623 views

Light Field Structure Analysis With material courtesy of Jaakko Lehtinen Key observation Light rays are highly coherent Rays originating from same surface point

slide-1
SLIDE 1

Light ¡Field ¡Structure ¡ Analysis

With ¡material ¡courtesy ¡of ¡ Jaakko ¡Lehtinen

slide-2
SLIDE 2

Key ¡observation

  • Light ¡rays ¡are ¡highly ¡coherent

− Rays ¡originating ¡from ¡same ¡surface ¡point ¡vary ¡smoothly ¡over ¡ angle

  • Represent ¡light ¡rays ¡in ¡light ¡field ¡parameterization

− Rays ¡correspond ¡to ¡points ¡in ¡a ¡4D ¡position-­‑direction ¡space

  • Exploit ¡coherent, ¡anisotropic ¡structure ¡of ¡light ¡fields

2

slide-3
SLIDE 3

Motion ¡blur ¡and ¡depth ¡of ¡field

3

  • Requires ¡lots ¡of ¡samples

5D ¡integration: ¡2D ¡pixels, ¡2D ¡aperture, ¡1D ¡time

slide-4
SLIDE 4

Depth ¡of ¡field ¡(defocus ¡blur)

4

slide-5
SLIDE 5

Depth ¡of ¡field ¡(defocus ¡blur)

5

slide-6
SLIDE 6

Depth ¡of ¡field ¡(defocus ¡blur)

6

slide-7
SLIDE 7

Light ¡field ¡parameterization

7

u x

slide-8
SLIDE 8

Anisotropy

8

Slopes ¡depend ¡on ¡depth!

slide-9
SLIDE 9

Defocus ¡blur: ¡integration ¡over ¡lens

9

slide-10
SLIDE 10

Naive ¡approach

10

One ¡pixel

slide-11
SLIDE 11

Exploiting ¡anisotropy

11

  • Input: ¡sparse ¡sampling
slide-12
SLIDE 12

Exploiting ¡anisotropy

12

  • Input: ¡sparse ¡sampling
  • Upsampling

− Extrapolation ¡along ¡ known ¡slopes

slide-13
SLIDE 13

Exploiting ¡anisotropy

13

  • Input: ¡sparse ¡sampling
  • Upsampling

− Extrapolation ¡along ¡ known ¡slopes

  • Core ¡challenge: ¡visibility
slide-14
SLIDE 14

Exploiting ¡anisotropy

14

  • Input: ¡sparse ¡sampling
  • Upsampling

− Extrapolation ¡along ¡ known ¡slopes

  • Core ¡challenge: ¡visibility
  • Visibility ¡events ¡produce ¡ ¡

intersections

− Detect ¡by ¡locally ¡ triangulating ¡foreground ¡ samples

slide-15
SLIDE 15

Summary

15

  • Input: ¡sparse ¡sampling
  • Upsampling

− Extrapolation ¡along ¡ known ¡slopes − Resolve ¡visibility

  • For ¡each ¡pixel, ¡usual ¡

Monte ¡Carlo ¡integration ¡

  • f ¡upsampled ¡data
slide-16
SLIDE 16

Results ¡(depth ¡of ¡field, ¡motion ¡blur)

16

slide-17
SLIDE 17

Results ¡(depth ¡of ¡field, ¡motion ¡blur)

17

slide-18
SLIDE 18

Extension ¡to ¡indirect ¡illumination

  • Challenge: ¡at ¡each ¡

pixel, ¡compute ¡ incident ¡indirect ¡ illumination ¡over ¡ hemisphere ¡

18

slide-19
SLIDE 19

Extension ¡to ¡indirect ¡illumination

19

  • Challenge: ¡at ¡each ¡

pixel, ¡compute ¡ incident ¡indirect ¡ illumination ¡over ¡ hemisphere ¡

  • Key ¡idea: ¡interpolate ¡

incident ¡rays ¡from ¡ sparsely ¡sampled, ¡ scattered ¡ray ¡ segments

slide-20
SLIDE 20

Light ¡field ¡parameterization

  • Represent ¡incident ¡

rays ¡using ¡light ¡field ¡ parameterization

20

slide-21
SLIDE 21

Approach

  • Input: ¡path ¡tracing ¡

with ¡sparse ¡samples

  • Store ¡path ¡segments

for ¡indirect ¡ illumination

  • Query ¡incident ¡ray ¡

by ¡interpolating ¡in ¡ light-­‑field ¡ parameterization

21

slide-22
SLIDE 22

Interpolation

22

  • Reproject ¡input ¡sample ¡

rays ¡into ¡light ¡field ¡ parameterization ¡at ¡ query ¡location

  • Interpolate ¡at ¡query ¡

ray

  • Challenges

− Visibility − Non-­‑diffuse ¡surfaces

slide-23
SLIDE 23

Visibility

  • Detect ¡occlusions ¡using ¡

a ¡coarse ¡point-­‑based ¡ scene ¡representation

23

slide-24
SLIDE 24

Glossy ¡surfaces

24

  • Store ¡glossy ¡BRDF ¡

lobe

  • Use ¡as ¡weight ¡when ¡

extrapolating ¡sample

slide-25
SLIDE 25

Results: ¡diffuse ¡indirect ¡illumination

25

Input ¡8spp PBRT ¡512spp Reconstruction

slide-26
SLIDE 26

Results: ¡ambient ¡occlusion

26

Input ¡4spp Reconstruction

slide-27
SLIDE 27

Conclusions

  • Light ¡field ¡parameterization ¡reveals ¡anisotropic ¡

structure ¡of ¡incident ¡light

  • Convenient ¡representation ¡for ¡upsampling ¡and ¡

interpolation

− Easy ¡to ¡preserve ¡light ¡field ¡structure

  • Good ¡results ¡from ¡very ¡sparse ¡input
  • Challenges

− Visibility − Glossy ¡surfaces − Memory ¡requirements

27