Characteriza*on of Melodic Mo*fs in Raag Music with - - PowerPoint PPT Presentation

Characteriza*on ¡of ¡Melodic ¡Mo*fs ¡ in ¡Raag ¡Music ¡ ¡ with ¡Time-­‑series ¡Matching ¡

Contributors: ¡ Joe ¡Ross ¡ Kaustuv ¡Ganguli ¡ Vedhas ¡Pandit ¡ ¡ Under ¡guidance ¡of: ¡

• Dr. ¡Pree* ¡Rao ¡

1 ¡

Outline ¡

• Mo*va*on

¡(Why?) ¡

• Understanding ¡The ¡Challenges

¡(What?) ¡

• Solu*ons

¡(How?) ¡

• Performance ¡

– Training ¡ – Tes*ng ¡ – Configura*on ¡comparisons ¡

• Future ¡Work ¡

2 ¡

MOTIVATION ¡

3 ¡

Mo:va:on ¡

• Raag ¡iden*fica*on ¡
• Raag ¡classifica*on ¡

– Thaat ¡system ¡

• What ¡can ¡we ¡pick ¡up ¡as ¡characteris*c ¡of ¡Raag? ¡
• Mo*f ¡iden*fica*on ¡
• Mo*f ¡classifica*on ¡

4 ¡

Raag ¡101 ¡ ¡

• What ¡is ¡Raag? ¡

– Literal ¡meaning ¡

• Color/hue ¡(relevance ¡to ¡moods, ¡seasons, ¡day-­‑*mes) ¡

– Framework ¡comprising ¡of ¡set ¡of ¡Swaras ¡(notes) ¡ – Let’s ¡not ¡forget ¡rules ¡

• Sequence-­‑level: ¡Aroha ¡(ascent), ¡Avaroha ¡(descent), ¡

Pakad ¡(grip), ¡Chalan ¡(gait) ¡

• Swara-­‑level: ¡

¡Vadi ¡(speaking), ¡Samvadi(responding) ¡ Varjit ¡(exclusions) ¡

– Scale ¡v/s ¡Raag ¡v/s ¡Tune ¡ – Classifica*ons ¡(Jaa*, ¡Thaat) ¡

– Alankaras ¡(ornamenta*ons) ¡

5 ¡

As ¡an ¡example... ¡

Raga ¡ ¡Characteris:cs ¡ Alhaiya ¡Bilawal ¡ Samay ¡(Time) ¡ Morning, ¡well ¡before ¡noon ¡(6AM-­‑9AM) ¡ Moods ¡ Sringar ¡(joy ¡and ¡love), ¡Karuna ¡(pathos,compassion) ¡ Swaras* ¡in ¡use ¡(Tone ¡material) ¡ S ¡R ¡G ¡m ¡P ¡D ¡n ¡N ¡ Vadi: ¡D ¡ Samvadi: ¡G ¡ Aroha ¡(Ascent) ¡ S ¡R ¡GR ¡G ¡P ¡D ¡ND ¡N ¡S’ ¡(m ¡varjit/omi`ed) ¡ Avaroha ¡(Descent) ¡ S’ ¡ND ¡P ¡D ¡n ¡D ¡P ¡m ¡G ¡mR ¡S ¡ Classifica*ons ¡ Jaa*: ¡Shadav ¡Sampurna ¡ Thaat: ¡Bilawal ¡ Pakad ¡ (Characteris*c ¡Phrases) ¡ G~ ¡R ¡G ¡/P ¡ ¡ ¡ (GRGP) ¡ D~ ¡n ¡D ¡\P ¡ ¡ ¡ (DnDP) ¡ D ¡\G ¡ G ¡m ¡R ¡G ¡P ¡m ¡G ¡ Comments ¡ 'n' ¡is ¡used ¡only ¡in ¡the ¡descent, ¡and ¡always ¡in ¡ between ¡the ¡two ¡'D'-­‑s ¡as ¡D ¡n ¡D ¡P ¡

6 ¡

UNDERSTANDING ¡THE ¡CHALLENGES ¡

So, ¡we ¡have ¡an ¡ancient ¡framework ¡for ¡music ¡which ¡is ¡pre`y ¡gripping, ¡ but… ¡

7 ¡

DnDP ¡Phrase ¡Varia:ons ¡

¡0 ¡(Time ¡in ¡sec) ¡2 ¡

8 ¡

Dura:ons ¡

¡(Inter-­‑phrase ¡variability) ¡

9 ¡

¡0 ¡(Time ¡in ¡sec) ¡2 ¡ DnDP ¡Phrases ¡ 0.8 ¡sec ¡ 2 ¡sec ¡

Contour ¡shapes ¡

¡(Inter-­‑phrase ¡variability) ¡

10 ¡

¡0 ¡(Time ¡in ¡sec) ¡2 ¡ DnDP ¡Phrases ¡ Kan ¡swara ¡

Rela:ve ¡dura:ons ¡

¡(Intra-­‑phrase ¡variability) ¡

11 ¡

¡0 ¡(Time ¡in ¡sec) ¡2 ¡ DnDP ¡Phrases ¡

SOLUTIONS: ¡

Summary: ¡

• 1. Solve ¡‘unequal ¡dura*ons’ ¡ ¡problem ¡first. ¡

¡(Equilength) ¡

• 2. Shape ¡varia*ons ¡s*ll. ¡If ¡we ¡observe ¡closely, ¡some ¡shapes ¡repeat.

¡(K-­‑means) ¡3. Within ¡group, ¡intra-­‑phrase ¡dura*ons ¡vary. ¡

(DTW) ¡

12 ¡

For ¡varying ¡phrase ¡dura:ons ¡ ¡

¡(Inter-­‑phrase ¡variability) ¡

¡0 ¡(Time ¡in ¡sec) ¡2 ¡

13 ¡

Original ¡signal ¡ Signals ¡made ¡equilength ¡

For ¡varying ¡phrase ¡dura:ons ¡

¡(Inter-­‑phrase ¡variability) ¡

¡0 ¡(Time ¡in ¡sec) ¡2 ¡

14 ¡

For ¡Note ¡Dura:on ¡Varia:ons ¡

¡(Intra-­‑phrase ¡variability) ¡

15 ¡

Representa*ve ¡ ¡ Phrase ¡Genera*on ¡

Euclidean ¡averaging ¡ Time-­‑shiPs ¡taken ¡into ¡account ¡

16 ¡

Representa*ve ¡ Phrase ¡Genera*on ¡

Euclidean ¡averaging ¡ Time-­‑shiPs ¡taken ¡into ¡account ¡

17 ¡

Dynamic ¡Time ¡Warping ¡ (DTW) ¡

Elena ¡Tsiporkova: ¡ ¡ h`p://www.psb.ugent.be/cbd/papers/gentxwarper/DTWAlgorithm.ppt ¡ ¡

18 ¡

DTW ¡Implementa*on ¡

19 ¡

DTW ¡Implementa*on ¡

20 ¡

Step ¡Pa`erns ¡

Fundamentals ¡of ¡Speech ¡Recogni*on ¡by ¡L. ¡Rabiner, ¡B. ¡Juang, ¡B. ¡Yegnanarayana ¡

21 ¡

Slope ¡Weights ¡

Fundamentals ¡of ¡Speech ¡Recogni*on ¡by ¡L. ¡Rabiner, ¡B. ¡Juang, ¡B. ¡Yegnanarayana ¡

22 ¡

Global ¡Constraints ¡

Similarity ¡Measures ¡and ¡Dimensionality ¡Reduc*on ¡Techniques ¡for ¡Time ¡Series ¡Data ¡Mining ¡ by ¡C. ¡Cassisi, ¡P. ¡Montalto, ¡M. ¡Alio`a, ¡A. ¡Cannata, ¡A. ¡Pulviren* ¡

Sakoe-­‑Chiba ¡Band ¡ Itakura ¡Parallelogram ¡

23 ¡

Threshold ¡DTW ¡(LCB) ¡

Distribu*on ¡of: ¡Distances ¡between ¡corresponding ¡pitch ¡values ¡upon ¡warping ¡ Database: ¡DnDP ¡and ¡mnDP ¡phrase ¡pitch ¡signals ¡(Ashwini ¡Bhide ¡+ ¡Manjiri ¡Asnare ¡concerts) ¡ Indica*ve ¡ ¡of: ¡Varia*on/Error ¡in ¡tracking ¡ ¡any ¡specific ¡note ¡(origins: ¡expression/post-­‑processing) ¡

24 ¡

DTW ¡Shortcomings ¡

• Shape ¡is ¡ignored ¡
• DC ¡ ¡Offset ¡
• Noise ¡
• Amplitude ¡Scaling ¡

25 ¡

For ¡shape ¡varia:ons ¡ ¡(Inter-­‑phrase ¡variability) ¡

Contours ¡

(as ¡we ¡saw ¡earlier) ¡

Contours ¡individually ¡ ¡

(for ¡the ¡sake ¡of ¡clarity) ¡

26 ¡

For ¡shape ¡varia:ons ¡ ¡(Inter-­‑phrase ¡variability) ¡

K-­‑Means ¡algorithm ¡

27 ¡

K-­‑means ¡Algorithm ¡

28 ¡

K-­‑means ¡Shortcomings ¡

• ‘K’ ¡needs ¡to ¡be ¡known ¡before-­‑hand ¡
• Different ¡ini*al ¡par**ons ¡can ¡result ¡in ¡different ¡

clusters ¡i.e. ¡local ¡minima ¡found ¡

• Does ¡not ¡work ¡well ¡with ¡clusters ¡of ¡different ¡size ¡

and ¡density ¡

• When ¡used ¡in ¡conjunc*on ¡with ¡DTW-­‑based ¡

distance ¡measure: ¡

– Objec*ve ¡func*on ¡no ¡longer ¡monotonically ¡ decreasing, ¡can ¡run ¡into ¡a ¡loop. ¡ – Triangle ¡inequality ¡not ¡sa*sfied ¡(DTW ¡shortcoming), ¡ visual ¡representa*on ¡of ¡the ¡data ¡not ¡possible. ¡

29 ¡

TRAINING ¡RESULTS ¡

Training ¡Results ¡

30 ¡

Database ¡

Song ID Artiste Tala Laya Bandish Tempo (bpm) Dur. (min) Phrase Class DnDP mnDP GRGP Char. Seq. AB Ashwini Bhide Tintal Madhya Kavana Batariyaa 128 8.85 13 2 31 5 MA Manjiri Asanare Tintal Vilambit Dainyaa Kaahaan 33 6.9 12 1 13 6 SS Shruti Sadolikar Tintal Madhya Kavana Batariyaa 150 4.15 3 14 3 ARK Abdul Rashid Khan Jhaptal Madhya Kahe Ko Garabh 87 11.9 44 14 DV Dattatreya Velankar Tintal Vilambit Dainyaa Kaahaan 35 18.3 14 4 4 10 JA Jasraj Ektal Vilambit Dainyaa Kaahaan 13 22.25 19 18 29 AK-1 Aslam Khan Jhumra Vilambit Mangta Hoon Tere 19 8.06 10 8 6 AK-2 Aslam Khan Jhaptal Madhya E Ha Jashoda 112 5.7 7 3 AC Ajoy Chakrabarty Jhumra Vilambit Jago Man Laago 24 30.3

• 27
• Total no. of phrases

122 52 70 76 31 ¡

K-­‑Means ¡Clusters ¡

(DnDP ¡Clustering) ¡

Non-­‑kan ¡phrases ¡ Kan ¡phrases ¡

32 ¡

K-­‑Means ¡Clusters ¡

(DnDP ¡Clustering) ¡

Non-­‑kan ¡phrases ¡ Kan ¡phrases ¡

33 ¡

K-­‑Means ¡Clusters ¡

(with ¡behind-­‑the-­‑scenes ¡warping) ¡

34 ¡

Non-­‑kan ¡phrases ¡ Kan ¡phrases ¡

K-­‑means ¡Centroids ¡

35 ¡

Respec*ve ¡windows ¡

(phrase ¡variabili*es) ¡

36 ¡

Non-­‑kan ¡phrases ¡ Kan ¡phrases ¡

TESTING ¡RESULTS ¡

Tes*ng ¡Results ¡

37 ¡

Distribu*on ¡of ¡Distances ¡

(DnDP) ¡

38 ¡

ROC ¡

39 ¡

CONFIGURATIONS ¡EVALUATION ¡

A ¡compara*ve ¡Study ¡

40 ¡

Effect ¡of ¡Global ¡Constraints ¡

41 ¡

FA ¡rate ¡ (Nega*ves: ¡ 594) ¡ Hit ¡rate ¡(Total ¡posi*ves: ¡366) ¡ No ¡ ¡ Constraints ¡ Learned ¡ ¡ Sakoe-­‑Chiba ¡ Learned ¡ constraints ¡ 6.06% ¡ 36 ¡ 70.22% ¡ 257 ¡ 71.86% ¡ 263 ¡ 71.04% ¡ 260 ¡ 11.95% ¡ 71 ¡ 89.62% ¡ 328 ¡ 89.34% ¡ 327 ¡ 87.16% ¡ 319 ¡ 18.01% ¡ 107 ¡ 95.63% ¡ 350 ¡ 95.36% ¡ 349 ¡ 92.35% ¡ 338 ¡ 24.07% ¡ 143 ¡ 97.81% ¡ 358 ¡ 97.54% ¡ 357 ¡ 99.18% ¡ 363 ¡

Effect ¡of ¡Pitch ¡Quan*za*on ¡

42 ¡

FA ¡rate ¡ (Nega*ves: ¡ 594) ¡ Hit ¡rate ¡(Total ¡posi*ves: ¡366) ¡ Unquan:zed ¡ (threshold ¡dtw) ¡ Q24 ¡ Q12 ¡ 6.06% ¡ 36 ¡ 70.22% ¡ 257 ¡ 69.67% ¡ 255 ¡ 67.76% ¡ 248 ¡ 11.95% ¡ 71 ¡ 89.62% ¡ 328 ¡ 89.07% ¡ 326 ¡ 86.61% ¡ 317 ¡ 18.01% ¡ 107 ¡ 95.63% ¡ 350 ¡ 95.08% ¡ 348 ¡ 93.99% ¡ 344 ¡ 24.07% ¡ 143 ¡ 97.81% ¡ 358 ¡ 98.36% ¡ 360 ¡ 97.81% ¡ 358 ¡

Future ¡work ¡

• Larger ¡database ¡
• Use ¡of ¡D-­‑DTW ¡
• Different ¡step ¡pa`erns ¡and ¡slope-­‑weights ¡
• Different ¡pa`ern ¡recogni*on ¡techniques ¡
• Extend ¡work ¡to ¡Mukhda ¡level ¡
• Mo*f ¡search ¡
• Automa*c ¡segmenta*on ¡

43 ¡

Thank ¡You! ¡

धयवाद! ¡ Teşekkür ¡ederim! ¡ நன௎றீ! ¡ ¡Gracias! ¡

44 ¡

Appendix ¡

45 ¡

Raag ¡101 ¡ ¡

• Alankars ¡(Ornamenta*ons) ¡
• a. Meend ¡(glide) ¡
• b. Kan ¡(grace ¡notes): ¡Sparsh(i), ¡Krintan(i) ¡
• c. Kampit ¡(vibra*ng) ¡
• d. Andolan ¡(oscilla*ons) ¡
• e. Gamaka ¡(shadow ¡notes) ¡
• f. Khatka/Gitkari ¡ ¡(note ¡cluster ¡in ¡gusto) ¡
• g. Zamzama ¡(addi*on ¡of ¡notes) ¡
• h. Murki ¡(short ¡subtle ¡taan, ¡less ¡forceful ¡than ¡f, ¡g) ¡

46 ¡

DTW ¡

47 ¡

DTW ¡

48 ¡

DTW ¡

49 ¡

DTW ¡

50 ¡

Representa*ve ¡ ¡ Phrase ¡Genera*on ¡

51 ¡

K-­‑means ¡Clusters ¡

(Warped ¡phrases) ¡

52 ¡

Effect ¡of ¡Global ¡Constraints ¡

53 ¡

Effect ¡of ¡Pitch ¡Quan*za*on ¡

54 ¡

Future ¡work ¡

(Mukhda-­‑level) ¡

• Extend ¡the ¡work ¡to ¡

mukhda-­‑level ¡

Ka va n Ba ta ri y a G R G G m n D P G ¡ G ¡ G ¡ m ¡ R ¡ n ¡ D ¡P ¡

55 ¡

Future ¡work ¡

(Concert-­‑level) ¡

• Mo*f ¡search ¡
• Automa*c ¡raga ¡iden*fica*on ¡

56 ¡