super resolution
play

Super-Resolution Shai Avidan Tel-Aviv University Slide Credits - PowerPoint PPT Presentation

Super-Resolution Shai Avidan Tel-Aviv University Slide Credits (partial list) Rick Szeliski Steve Seitz Alyosha Efros Yacov Hel-Or Yossi Rubner Miki Elad Marc Levoy Bill Freeman Fredo Durand


  1. Super-Resolution Shai Avidan Tel-Aviv University �

  2. Slide Credits � (partial list) • Rick Szeliski • Steve Seitz • Alyosha Efros • Yacov Hel-Or • Yossi Rubner • Miki Elad • Marc Levoy • Bill Freeman • Fredo Durand • Sylvain Paris

  3. Basic Super�Resolution Idea ������ A set of low�quality ���������� Fusion of images: these images into a higher resolution image How? Comment: This is an actual super� resolution reconstruction result

  4. Example – Surveillance 40 images ratio 1:4 �

  5. Example – Enhance Mosaics �

  6. Super-Resolution - Agenda • The basic idea • Image formation process • Formulation and solution • Special cases and related problems • Limitations of Super-Resolution • SR in time �

  7. Intuition ������������������������� D ������������������ ����������������� ������������������������� ������������������������ � ≥ � ����������� ������������������ ��������� D �

  8. Intuition ������������������� ���������������������� 2D ���������������� ������������� ������ 2D �

  9. Intuition !����������������"���� ���������������� 2D �������������������� #���������������������$ ���������% 2D ��

  10. Intuition &������������� ����������������� �����������������% 2D 2D ��

  11. Intuition '��������������� ������������������ �������������������� ����������������% 2D 2D ��

  12. Intuition (������������������������� ��������������������� �������������������� ����������������������� ���������������������� �������� ������������������ ����������� ��

  13. Rotation/Scale/Disp. )������������������ ���������������� '���������*� )������������������ �������*�+�������������� ������,�����-����* ��

  14. Rotation/Scale/Disp. ������������ ��������� �������� �������������� ���� ��

  15. ������ � Modeling the Super�Resolution Problem Defining the relation between the given and the desired images � The Maximum�Likelihood Solution A simple solution based on the measurements � Bayesian Super�Resolution Reconstruction Taking into account behavior of images � Some Results and Variations Examples, Robustifying, Handling color � Super�Resolution: A Summary The bottom line

  16. ��������������������������������������������� ������������������������������������������ ������������������������

  17. The Model Blur Decimation Geometric Warp Y 1 High� �� ! � " 1 Low� Resolution 1 1 Resolution Image Images V 1 X Additive Noise Y N � N � " N N V N { } Assumed N D H F = + Y X V known k k k k k = k 1

  18. The Model as One Equation { } N D H F = + Y X V k k k k k = k 1 D H F Y    V    1 1 1 1 1       D H F Y V       H = = + = + Y 2 2 2 2 X 2 X V       � � �       D H F Y V       N N N N N

  19. A Rule of Thumb D H F  Y    1 1 1 1 In the noiseless     D H F Y case we have     H = = = Y 2 2 2 2 X X     � �     D H F Y     N N N N Clearly, this linear system of equations should have more ��������� than ��#��$�� in order to make it possible to have a unique Least�Squares solution. Example: Assume that we have N images of 100�by�100 pixels, and we would like to produce an image X of size 300� by�300. Then, we should require N≥9.

  20. ��������%��������������������������������������������� &�����'�����(�#���������������������� ��������

  21. Super-Resolution - Model +������������� 0���������� ���������� 3 1 !���� ���� � � 1 4��� /��������� 1 1 /��������� (���� 56������� 2 1 . '������������� 3 � � � � � � � 2 � N   { } D H F N = + σ Y X V V 2   , ~ 0 , k k k k k k n   �� = k 1

  22. Simplified Model +������������� 0���������� ���������� 3 1 !���� ���� � � 4��� /��������� 1 /��������� (���� 56������� 2 1 . '������������� 3 � � � � � 2 � N   { } DHF N = + σ Y X V V 2   , ~ 0 , k k k k n   �� = k 1

  23. The Super-Resolution Problem { } DHF N = + σ Y X V V 2 , ~ 0 , k k k k n • Given Y k – The measured images (noisy, blurry, down-sampled ..) H – The blur can be extracted from the camera characteristics D – The decimation is dictated by the required resolution ratio F k – The warp can be estimated using motion estimation σ n – The noise can be extracted from the camera / image σ σ σ • Recover X – HR image ��

  24. The Model as One Equation D H F  Y     V  1 1 1 1 1       D H F Y V       G = = + = + Y 2 2 2 2 X 2 X V       � � �       D H F Y V       N N N N N ��7������������������ ��7�������������������7�9 8.8�7���-��������������� 8.8�7���-����������������7�1:::.1::: ��7����������������� ��7������������������7�1: [ ] 7;1:8 × 1< × Y NM 2 of size 1 [ ] 7;1:8 × 1=8< G × NM r M 2 2 2 of size [ ] 7;1=8 × 1< 4�������������������������� × X V r M 2 2 , of size 1 ������������������������� ��������� ��

  25. SR - Solutions • Maximum Likelihood (ML): N ∑ DHF 2 = − X X Y arg min k k X = k 1 >����������������������? • Maximum Aposteriori Probability (MAP) N { } ∑ DHF 2 = − + λ X X Y A X arg min k k X = 1 k &�������������������� ��������-����� ��

  26. ML Reconstruction (LS) N ) ∑ ( 8�����-�% DHF 2 ε = − X X Y 2 ML k k = k 1 ( ) ( ) 0 ∂ ε X N 2 @������������% ∑ F H D DHF = T T T ˆ − = X Y ML 2 k k k ∂ X = k 1 N N X ∑ ∑ F H D DHF F H D ˆ T T T ⋅ = T T T Y k k k k = = k k 1 1 B A A ˆ B = X ��

Download Presentation
Download Policy: The content available on the website is offered to you 'AS IS' for your personal information and use only. It cannot be commercialized, licensed, or distributed on other websites without prior consent from the author. To download a presentation, simply click this link. If you encounter any difficulties during the download process, it's possible that the publisher has removed the file from their server.

Recommend


More recommend