Characteriza*on of Melodic Mo*fs in Raag Music with - PowerPoint PPT Presentation

Characteriza*on ¡of ¡Melodic ¡Mo*fs ¡ in ¡Raag ¡Music ¡ ¡ with ¡Time-­‑series ¡Matching ¡ Contributors : ¡ Joe ¡Ross ¡ Kaustuv ¡Ganguli ¡ Vedhas ¡Pandit ¡ ¡ Under ¡guidance ¡of : ¡ Dr. ¡Pree* ¡Rao ¡ 1 ¡

Outline ¡ • Mo*va*on ¡ ( Why ?) ¡ • Understanding ¡The ¡Challenges ¡ ( What ?) ¡ • Solu*ons ¡ ( How ?) ¡ • Performance ¡ – Training ¡ – Tes*ng ¡ – Configura*on ¡comparisons ¡ • Future ¡Work ¡ 2 ¡

MOTIVATION ¡ 3 ¡

Mo:va:on ¡ • Raag ¡iden*fica*on ¡ • Raag ¡classifica*on ¡ – Thaat ¡system ¡ • What ¡can ¡we ¡pick ¡up ¡as ¡characteris*c ¡of ¡Raag? ¡ • Mo*f ¡iden*fica*on ¡ • Mo*f ¡classifica*on ¡ 4 ¡

Raag ¡101 ¡ ¡ • What ¡is ¡Raag? ¡ – Literal ¡meaning ¡ • Color/hue ¡(relevance ¡to ¡moods, ¡seasons, ¡day-­‑*mes) ¡ – Framework ¡comprising ¡of ¡set ¡of ¡Swaras ¡ (notes) ¡ – Let’s ¡not ¡forget ¡rules ¡ • Sequence-­‑level: ¡Aroha ¡(ascent), ¡Avaroha ¡(descent), ¡ Pakad ¡(grip), ¡Chalan ¡(gait) ¡ • Swara-­‑level: ¡ ¡Vadi ¡(speaking), ¡Samvadi(responding) ¡ Varjit ¡(exclusions) ¡ – Scale ¡v/s ¡Raag ¡v/s ¡Tune ¡ – Classifica*ons ¡ (Jaa*, ¡Thaat) ¡ – Alankaras ¡(ornamenta*ons) ¡ 5 ¡

As ¡an ¡example... ¡ Raga ¡ ¡Characteris:cs ¡ Alhaiya ¡Bilawal ¡ Samay ¡(Time) ¡ Morning, ¡well ¡before ¡noon ¡(6AM-­‑9AM) ¡ Moods ¡ Sringar ¡(joy ¡and ¡love), ¡Karuna ¡(pathos,compassion) ¡ Swaras* ¡in ¡use ¡(Tone ¡material) ¡ S ¡R ¡G ¡m ¡P ¡D ¡n ¡N ¡ Vadi: ¡D ¡ Samvadi: ¡G ¡ Aroha ¡(Ascent) ¡ S ¡R ¡ G R ¡G ¡P ¡D ¡ N D ¡N ¡S’ ¡(m ¡varjit/omi`ed) ¡ Avaroha ¡(Descent) ¡ S’ ¡ N D ¡P ¡D ¡n ¡D ¡P ¡m ¡G ¡ m R ¡S ¡ Classifica*ons ¡ Jaa*: ¡Shadav ¡Sampurna ¡ Thaat: ¡Bilawal ¡ Pakad ¡ G~ ¡R ¡G ¡/P ¡ ¡ ¡ D~ ¡n ¡D ¡\P ¡ ¡ ¡ D ¡\G ¡ G ¡m ¡R ¡G ¡P ¡m ¡G ¡ (Characteris*c ¡Phrases) ¡ (GRGP) ¡ (DnDP) ¡ Comments ¡ 'n' ¡is ¡used ¡only ¡in ¡the ¡descent, ¡and ¡always ¡in ¡ between ¡the ¡two ¡'D'-­‑s ¡as ¡D ¡n ¡D ¡P ¡ 6 ¡

UNDERSTANDING ¡THE ¡CHALLENGES ¡ So, ¡we ¡have ¡an ¡ancient ¡framework ¡for ¡music ¡which ¡is ¡pre`y ¡gripping, ¡ but… ¡ 7 ¡

DnDP ¡Phrase ¡Varia:ons ¡ ¡0 ¡(Time ¡in ¡sec) ¡2 ¡ 8 ¡

Dura:ons ¡ ¡(Inter-­‑phrase ¡variability) ¡ 2 ¡sec ¡ 0.8 ¡sec ¡ ¡0 ¡(Time ¡in ¡sec) ¡2 ¡ DnDP ¡Phrases ¡ 9 ¡

Contour ¡shapes ¡ ¡(Inter-­‑phrase ¡variability) ¡ Kan ¡swara ¡ ¡0 ¡(Time ¡in ¡sec) ¡2 ¡ DnDP ¡Phrases ¡ 10 ¡

Rela:ve ¡dura:ons ¡ ¡(Intra-­‑phrase ¡variability) ¡ ¡0 ¡(Time ¡in ¡sec) ¡2 ¡ DnDP ¡Phrases ¡ 11 ¡

SOLUTIONS: ¡ Summary: ¡ 1. Solve ¡‘unequal ¡dura*ons’ ¡ ¡problem ¡first. ¡ ¡ (Equilength) ¡ 2. Shape ¡varia*ons ¡s*ll. ¡If ¡we ¡observe ¡closely, ¡some ¡shapes ¡repeat. ¡ (K-­‑means) ¡ 3. Within ¡group, ¡intra-­‑phrase ¡dura*ons ¡vary. ¡ (DTW) ¡ 12 ¡

For ¡varying ¡phrase ¡dura:ons ¡ ¡ ¡(Inter-­‑phrase ¡variability) ¡ ¡0 ¡(Time ¡in ¡sec) ¡2 ¡ 13 ¡

For ¡varying ¡phrase ¡dura:ons ¡ ¡(Inter-­‑phrase ¡variability) ¡ Original ¡signal ¡ Signals ¡made ¡equilength ¡ ¡0 ¡(Time ¡in ¡sec) ¡2 ¡ 14 ¡

For ¡Note ¡Dura:on ¡Varia:ons ¡ ¡(Intra-­‑phrase ¡variability) ¡ 15 ¡

Representa*ve ¡ ¡ Phrase ¡Genera*on ¡ Euclidean ¡averaging ¡ Time-­‑shiPs ¡taken ¡into ¡account ¡ 16 ¡

Representa*ve ¡ Phrase ¡Genera*on ¡ Euclidean ¡averaging ¡ Time-­‑shiPs ¡taken ¡into ¡account ¡ 17 ¡

Dynamic ¡Time ¡Warping ¡ (DTW) ¡ Elena ¡Tsiporkova: ¡ ¡ h`p://www.psb.ugent.be/cbd/papers/gentxwarper/DTWAlgorithm.ppt ¡ ¡ 18 ¡

DTW ¡Implementa*on ¡ 19 ¡

DTW ¡Implementa*on ¡ 20 ¡

Step ¡Pa`erns ¡ Fundamentals ¡of ¡Speech ¡Recogni*on ¡by ¡L. ¡Rabiner, ¡B. ¡Juang, ¡B. ¡Yegnanarayana ¡ 21 ¡

Slope ¡Weights ¡ Fundamentals ¡of ¡Speech ¡Recogni*on ¡by ¡L. ¡Rabiner, ¡B. ¡Juang, ¡B. ¡Yegnanarayana ¡ 22 ¡

Global ¡Constraints ¡ Sakoe-­‑Chiba ¡Band ¡ Itakura ¡Parallelogram ¡ Similarity ¡Measures ¡and ¡Dimensionality ¡Reduc*on ¡Techniques ¡for ¡Time ¡Series ¡Data ¡Mining ¡ 23 ¡ by ¡C. ¡Cassisi, ¡P. ¡Montalto, ¡M. ¡Alio`a, ¡A. ¡Cannata, ¡A. ¡Pulviren* ¡

Threshold ¡DTW ¡(LCB) ¡ Distribu*on ¡of: ¡Distances ¡between ¡corresponding ¡pitch ¡values ¡upon ¡warping ¡ Database: ¡DnDP ¡and ¡mnDP ¡phrase ¡pitch ¡signals ¡(Ashwini ¡Bhide ¡+ ¡Manjiri ¡Asnare ¡concerts) ¡ Indica*ve ¡ ¡of: ¡Varia*on/Error ¡in ¡tracking ¡ ¡any ¡specific ¡note ¡(origins: ¡expression/post-­‑processing) ¡ 24 ¡

DTW ¡Shortcomings ¡ • Shape ¡is ¡ignored ¡ • DC ¡ ¡Offset ¡ • Noise ¡ • Amplitude ¡Scaling ¡ 25 ¡

For ¡shape ¡varia:ons ¡ ¡ (Inter-­‑phrase ¡variability) ¡ Contours ¡ Contours ¡individually ¡ ¡ (as ¡we ¡saw ¡earlier) ¡ (for ¡the ¡sake ¡of ¡clarity) ¡ 26 ¡

For ¡shape ¡varia:ons ¡ ¡ (Inter-­‑phrase ¡variability) ¡ K-­‑Means ¡algorithm ¡ 27 ¡

K-­‑means ¡Algorithm ¡ 28 ¡

K-­‑means ¡Shortcomings ¡ • ‘K’ ¡needs ¡to ¡be ¡known ¡before-­‑hand ¡ • Different ¡ini*al ¡par**ons ¡can ¡result ¡in ¡different ¡ clusters ¡i.e. ¡local ¡minima ¡found ¡ • Does ¡not ¡work ¡well ¡with ¡clusters ¡of ¡different ¡size ¡ and ¡density ¡ • When ¡used ¡in ¡conjunc*on ¡with ¡DTW-­‑based ¡ distance ¡measure: ¡ – Objec*ve ¡func*on ¡no ¡longer ¡monotonically ¡ decreasing, ¡can ¡run ¡into ¡a ¡loop. ¡ – Triangle ¡inequality ¡not ¡sa*sfied ¡(DTW ¡shortcoming), ¡ visual ¡representa*on ¡of ¡the ¡data ¡not ¡possible. ¡ 29 ¡

TRAINING ¡RESULTS ¡ Training ¡Results ¡ 30 ¡

Database ¡ Phrase Class Tempo Dur. Song ID Artiste Tala Laya Bandish DnDP mnDP GRGP (bpm) (min) Char. Seq. Kavana AB Ashwini Bhide Tintal Madhya 128 8.85 13 2 31 5 Batariyaa Dainyaa MA Manjiri Asanare Tintal Vilambit 33 6.9 12 1 13 6 Kaahaan Kavana SS Shruti Sadolikar Tintal Madhya 150 4.15 3 0 14 3 Batariyaa Abdul Rashid Kahe Ko ARK Jhaptal Madhya 87 11.9 44 0 0 14 Khan Garabh Dattatreya Dainyaa DV Tintal Vilambit 35 18.3 14 4 4 10 Velankar Kaahaan Dainyaa JA Jasraj Ektal Vilambit 13 22.25 19 18 0 29 Kaahaan Mangta AK-1 Aslam Khan Jhumra Vilambit 19 8.06 10 0 8 6 Hoon Tere E Ha AK-2 Aslam Khan Jhaptal Madhya 112 5.7 7 0 0 3 Jashoda Ajoy Jago Man AC Jhumra Vilambit 24 30.3 --- 27 0 --- Chakrabarty Laago Total no. of phrases 122 52 70 76 31 ¡

K-­‑Means ¡Clusters ¡ (DnDP ¡Clustering) ¡ Non-­‑kan ¡phrases ¡ Kan ¡phrases ¡ 32 ¡

K-­‑Means ¡Clusters ¡ (DnDP ¡Clustering) ¡ Non-­‑kan ¡phrases ¡ Kan ¡phrases ¡ 33 ¡

K-­‑Means ¡Clusters ¡ (with ¡behind-­‑the-­‑scenes ¡warping) ¡ Non-­‑kan ¡phrases ¡ Kan ¡phrases ¡ 34 ¡

K-­‑means ¡Centroids ¡ 35 ¡

Respec*ve ¡windows ¡ (phrase ¡variabili*es) ¡ Non-­‑kan ¡phrases ¡ Kan ¡phrases ¡ 36 ¡

TESTING ¡RESULTS ¡ Tes*ng ¡Results ¡ 37 ¡

Distribu*on ¡of ¡Distances ¡ (DnDP) ¡ 38 ¡

ROC ¡ 39 ¡

CONFIGURATIONS ¡EVALUATION ¡ A ¡compara*ve ¡Study ¡ 40 ¡

Effect ¡of ¡Global ¡Constraints ¡ Hit ¡rate ¡ (Total ¡posi*ves: ¡366) ¡ FA ¡rate ¡ (Nega*ves: ¡ No ¡ ¡ Learned ¡ ¡ Learned ¡ 594) ¡ Constraints ¡ Sakoe-­‑Chiba ¡ constraints ¡ 6.06% ¡ 70.22% ¡ 71.86% ¡ 71.04% ¡ 36 ¡ 257 ¡ 263 ¡ 260 ¡ 11.95% ¡ 89.62% ¡ 89.34% ¡ 87.16% ¡ 71 ¡ 328 ¡ 327 ¡ 319 ¡ 18.01% ¡ 95.63% ¡ 95.36% ¡ 92.35% ¡ 107 ¡ 350 ¡ 349 ¡ 338 ¡ 24.07% ¡ 97.81% ¡ 97.54% ¡ 99.18% ¡ 143 ¡ 358 ¡ 357 ¡ 363 ¡ 41 ¡