performance optimization for cluster computing
play

Performance Optimization for Cluster Computing - PDF document

Myrinet User's Group Conference 12-14 May 2002 Vienna, Austria Performance Optimization for Cluster Computing


  1. Myrinet User's Group Conference 12-14 May 2002 Vienna, Austria Performance Optimization for Cluster Computing ������������� ������������������������������� ��������������������������� ����������������������� 1 Overview � ���������������������������� ���� !����"�#����� � ��$��%������������� � $�$� ����������������������������� ��������������������������� � &�����������������' ������������������������������ 2 Page 1

  2. � $���������������� � ��������������� � (���)**��������+���,--+���� � .���(�����/--����������01�����2������ 3 Where Does the Performance Go? or Why Should I Care About the Memory Hierarchy? Processor-DRAM Memory Gap (latency) µProc 1000 CPU 60%/yr. “Moore’s Law” Performance (2X/1.5yr) 100 10 DRAM 9%/yr. DRAM 1 (2X/10 yrs) 2001 _ 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 _ Time 4 Page 2

  3. Where Does the Performance Go? or Why Should I Care About the Memory Hierarchy? Processor-DRAM Memory Gap (latency) µProc 1000 CPU 60%/yr. “Moore’s Law” Performance (2X/1.5yr) 100 Processor-Memory Performance Gap: (grows 50% / year) 10 DRAM 9%/yr. DRAM 1 (2X/10 yrs) 2001 _ 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 _ Time 5 Optimizing Computation and Memory Use � ��������������������3������ � �(��������������)!4�����"5!�����*�����"�5�2(3 � $����������)�!/����"5!/�����*�����"5!6,-�2(3"�����7��6,-�28�.$*� � $�������9)�!/����"5!:������*�����"5!:+,0�;(3"�����7�,-1-�28�.$*� � ��(���)�!:����"5!/����*�����"5!1--�2(3"������������7�/:--�28�.$*� � $� ��0)�!:����"5!:������*�����"5!0<,�2(3"���������7�/,--�28�.$*� 6 Page 3

  4. Optimizing Computation and Memory Use � ��������������������3������ � �(��������������)!4�����"5!�����*�����"�5�2(3 � $����������)�!/����"5!/�����*�����"5!6,-�2(3"�����7��6,-�28�.$*� � $�������9)�!/����"5!:������*�����"5!:+,0�;(3"�����7�,-1-�28�.$*� � ��(���)�!:����"5!/����*�����"5!1--�2(3"������������7�/:--�28�.$*� � $� ��0)�!:����"5!:������*�����"5!0<,�2(3"���������7�/,--�28�.$*� � .��������������) α 7�= � � )� � α α α :����������!/1�>����"������������:������?��������������� ���6,-�2����*�� ������@������/<--�2&*������ ���( � ��7� α α =�A���) 0����������!:9�>����"������������:������?��������������� α α ���6,-�2����*�� ������@������:,,-�2&*������ ���( 7 Optimizing Computation and Memory Use � ��������������������3������ � �(��������������)!4�����"5!�����*�����"�5�2(3 � $����������)�!/����"5!/�����*�����"5!6,-�2(3"�����7��6,-�28�.$*� � $�������9)�!/����"5!:������*�����"5!:+,0�;(3"�����7�,-1-�28�.$*� � ��(���)�!:����"5!/����*�����"5!1--�2(3"������������7�/:--�28�.$*� � $� ��0)�!:����"5!:������*�����"5!0<,�2(3"���������7�/,--�28�.$*� � .��������������) α 7�= � � )� � α α α :����������!/1�>����"������������:������?��������������� ���6,-�2����*�� ������@������/<--�2&*������ ���( � ��7� α α =�A���) 0����������!:9�>����"������������:������?��������������� α α ���6,-�2����*�� ������@������:,,-�2&*������ ���( � 2������������3����� � �(��������������)�!���� ���("�5�!���������" � $����������)�!0:�����"5!/00�2(3"�7�,0:�2>*�������7�11+,�2&*� � $�������9)�!0:�����"5!,00�2(3"�7�:/0:�2>*��������7�:11�2&*� � ��(���)�!19�����"5!/00�2(3"�7�/-19�2>*������������7�/00�2&*� 8 � $� ��0)�!/:6�����"5!/--�2(3"�7�/1--�2>*����������7�:--�2&*� Page 4

  5. Memory Hierarchy � >�����������������������(�����������������������) � $��������(������� ��(�������(����������������������������(�� �(����������(������+ � $������������������(��������������������(�������������(������+ Processor Tertiary Storage Secondary (Disk/Tape) Storage Control (Disk) Level Main On-Chip Registers Remote 2 and 3 Memory Distributed Cache Datapath Cluster Cache (DRAM) Memory Memory (SRAM) 10,000,000s Speed (ns): 1s 10s 100s 10,000,000,000s (10s ms) (10s sec) Size (bytes): 100s 100,000 s Ks Ms 10,000,000 s (.1s ms) (10s ms) Gs Ts Motivation Self Adapting Numerical Software (SANS) Effort � .�����3�������� ��������=�������(����������� ���������������������(���(�������������������� �=����������(�����������3�����+� � ��������������������������� � B������������������������������������������� � ;�� ��������������������������� � 2���������������������������(��������������������� � ������������(���������������������(�������� � >�����������(���������������������C��������� ���������������������������D����+ � ���������������(����������������������(����������� �@�������� � ���������@����*����������������������������3��� �������� + 10 Page 5

Download Presentation
Download Policy: The content available on the website is offered to you 'AS IS' for your personal information and use only. It cannot be commercialized, licensed, or distributed on other websites without prior consent from the author. To download a presentation, simply click this link. If you encounter any difficulties during the download process, it's possible that the publisher has removed the file from their server.

Recommend


More recommend