1. 2. - PDF document

���� 1. ��“������������������� 2. �������������������������� 3. ��������������� 4. Big Data ���“��������� 5. ������ Google � Baidu ��������������� 6. ������������� ���������� Beihang �� 1��0���2��� ������“���� ������� � 2016 � 09 � 23 �

���� • ��”����� • �������� • �������� ���������� Beihang �� �������� ( �� ) � � • Evaluation � – ����������� – ��������������� ���������� Beihang ��

��“������ (1) • ����� – ������������ • ������ • ������ • ����� • ����� – ����� • ������������� ���������� Beihang �� ��“������ (2) • ����� – ��� v.s. ��� • Indexing structures • Interaction with OS • Communication delays • Other overheads – “������ retrieval performance evaluation �� • IR ����� : Relevance ���������� Beihang ��

��� : Relevance • �����“�����������������“ ����������� ���� – Answer precise question precisely. – Partially answer question. – Suggest a source for more information. – Give background information. – Remind the user of other knowledge. ���������� Beihang �� ��� • �����“�������������� ���“����������� ���� – ���������� • 0 ����� 1 ����� – ���������� • 0 ������� 1 ������� 2 ���������� 3 ������ 4 ������� – ���������� • 1994 ���� Stefana Mizzaro ��� 4 ������� • < ��������������� > • http://www.psy.gla.ac.uk/~steve/stefano.html ���������� Beihang ��

“�������� • “���� – ����� Batch mode • ������� • ������� – ���“�� Interactive retrieval • ����������������� • ����� – ����������������� – ����� ���������� Beihang �� ���� • ��”����� • �������� • �������� ���������� Beihang ���

���������� Beihang ��� ���������� Beihang ���

���������� Beihang ��� ���������� Beihang ���

��������� • ���� / ��� (Recall rate) – “��������������������� Ra Recall = Ra Precision = A R • ��� / ���� (Precision) – “���������“��������� ���� ������C R a �C�� C �����C R ����C A ���������� Beihang ��� ��� - ����� • ���������→����������� q ��� – ������ R q ={d 3 ,d 5 ,d 9 ,d 25 ,d 44 ,d 56 ,d 71 ,d 89 ,d 123 ,d 23 } – “���������� { d 123 , d 84 , d 56 , d 6 , d 8 , d 9 , d 511 , d 129 , d 187 , d 25 , d 38 , d 48 ,d 250 , d 113 ,d 3 } �61027254���7�.10�33��86�1� �%�� ���� ���� �61027254 ��� ��� ))��� )�� (�� ��� ��� ����� %�� �� ��� %�� ��� ��� (�� .10�33 ��� • 11 ����������� (11 standard recall levels) � 0%,10%, 20%...90%, 100% ���������� Beihang ���

A problem • �������� 11 ���� – ����������� 11 ��������� � – ��� R q ={d 3 , d 56 , d 129 } – “���������� { d 123 , d 84 , d 56 , d 6 , d 8 , d 9 , d 511 , d 129 , d 187 , d 25 , d 38 , d 48 ,d 250 , d 113 ,d 3 } ���.05032�7�5����.�11��6�7� �� �� ���.05032� �� %� Recall : 33.3%, 66.7%, 100% %� �� Precision : 33.3%, 25%, 20% �� � � ���� ((�) ��� ��.�11 �� ���������� Beihang ��� �� : Interpolation • r j �� j ������� j=0,1,…,10 P ( r ) max P ( r ) = r r r ≤ ≤ j j j 1 + ���.05032�7�5����.�11��6�7� �� �� .72138365���8���21044��97�2 ���.05032� �� %� %� �( �� �� �� � .72138365� �� %( � ���� ((�) ��� %� ��.�11 �� �( �� ( � � �� %� �� �� (� )� �� �� �� ��� �21044 �� ���������� Beihang ���

����� • ����� Average Precision – ����“���� – ���������� Nq P (r) i P (r) ∑ = N q i 1 = N q ������ P i (r) ����� r ������ ���������� Beihang ��� ROC/AUC � 63 � 37 � 28 � 72 � TPR: True Positive Rate, Recall/Sensitivity FPR: Fall-out FNR: Missing rate TNR: Specificity � Precision v.s. Accuracy � ROC: Receiver Operating Curve AUC: Area Under the Curve � ���������� Beihang ���

������ � • ���������������� ����������������� ���������� • �����������“����� �������������� �� ������������ • ���������“����� ���������� Beihang ��� ��������→���� � • P@5/P@10/P@N – ���������� 5/10 �������� • R ���� (R-precision) – “� R ����������� R ���������� R � ���������� � R Precision − = R ���������� Beihang ���

��������→���� � • �������� (Mean Average Precision) �� � � � � ∑ ∑ × � � � �������� � ��� � � � � = = = � � – AP ��������� r i , ������������� ���� – MAP: �������������� AP ���� – ���������������� , �� MAP • A(q1): d 1 ,d 2 ,d 3 ,d 4 ,d 5 • A(q2): d 1 ,d 3 ,d 4 ,d 2 ,d 5 ���������� Beihang ��� • ������� – �����������“������� 0652���40-3.� ��� ��� ��� ��� 0-34.� � � � � � � � ���� � ���� ���� ���� �� ���� 061� ���������� Beihang ���

������ • ������������ – ������ 2 2 pr F = = p r 1 1 + ⎛ ⎞ ⎜ + ⎟ ⎜ ⎟ p r ⎝ ⎠ ( ) 2 1 b + E 1 = − – E ����� 2 b 1 ⎛ ⎞ ⎜ + ⎟ ⎜ ⎟ • � b=1 �� E=1-F, E � F ��� r p ⎝ ⎠ • � b>1 �� p ����� r • � b<1 �� r ����� p ���������� Beihang ��� ���������� Beihang ���

���������� Beihang ��� • ������ Discounted Cumulated Gain – CG – DCG – NDCG • ����� BPREF – ��������������� / ���� ������ – ������������������� ���������� Beihang ���

���������� Beihang ��� ���������� Beihang ���

��������� �� �� • ���� �C A �C R – C=R k /U • ���� – novelty=R u /(R k +R u ) ������ �������� ��C U �������� • ������ (relative recall) ��C R k ��C R u – “��������������������� ������ • ������ (recall effort) – ���������������������� ���“����������� ���������� Beihang ��� ���� • ��”����� • �������� • �������� ���������� Beihang ���