Techniques de suivi de partition en temps rel Jonathan Aceituno - - PowerPoint PPT Presentation

▶
techniques de suivi de partition en temps r el
SMART_READER_LITE
LIVE PREVIEW

Techniques de suivi de partition en temps rel Jonathan Aceituno - - PowerPoint PPT Presentation

Sep 11, 2023 12 likes •256 views

Techniques de suivi de partition en temps rel Jonathan Aceituno Universit Bordeaux 1 Master 2 Informatique Initiation la recherche 1 Plan Introduction Premires techniques Dformation temporelle dynamique Modles de

slide-1
SLIDE 1

Techniques de suivi de partition en temps réel

Jonathan Aceituno

Université Bordeaux 1 — Master 2 Informatique — Initiation à la recherche

1
slide-2
SLIDE 2

Plan

Introduction Premières techniques Déformation temporelle dynamique Modèles de Markov cachés Modélisation anticipative Conclusion

2

slide-3
SLIDE 3

Suivi de partition

  • YOU ARE
HERE

Partition Performance

3

slide-4
SLIDE 4

Suivi de partition

  • HERE YOU
ARE

Partition Performance

4

slide-5
SLIDE 5

Problèmes

Interprétation Alignement en temps réel Estimation du tempo ...

5

slide-6
SLIDE 6

Alignement en temps réel

  • 6
slide-7
SLIDE 7

Historique

1985 1990 1995 2000 2005 2010 2015 2020 Training the synthetic performer, Vercoe & Puckette 1985 An online algorithm for real-time accompaniment, Dannenberg 1984 A coupled duration-focused architecture for realtime music to score alignment, Cont 2009 Score following at Ircam, Schwartz & al. 2006 Score following in practice, Puckette 1990 Score following using spectral analysis and hidden Markov models, Orio & Déchelle 2001 Real-time audio-to-score alignment using particle filter for coplayer music robots, Otsuka & al. 2011 The synthetic performer, Vercoe 1984 An online time warping algorithm for tracking musical performances, Dixon 2005 Alignment of monophonic and polyphonic music to a score, Orio & Schwarz 2001 New techniques for enhanced quality of computer accompaniment 1988 Score following using the sung voice 1995 Score-performance matching using HMMs, Cano & al. 1999 Artificially intelligent accompaniment using hidden Markov models to model musical structure, Jordanous & Smail 2008

7

mon article de base sur la modélisation anticipative
slide-8
SLIDE 8

Plan

Introduction Premières techniques Déformation temporelle dynamique Modèles de Markov cachés Modélisation anticipative Conclusion

8

slide-9
SLIDE 9

Historique

1985 1990 1995 2000 2005 2010 2015 2020 Training the synthetic performer, Vercoe & Puckette 1985 An online algorithm for real-time accompaniment, Dannenberg 1984 A coupled duration-focused architecture for realtime music to score alignment, Cont 2009 Score following at Ircam, Schwartz & al. 2006 Score following in practice, Puckette 1990 Score following using spectral analysis and hidden Markov models, Orio & Déchelle 2001 Real-time audio-to-score alignment using particle filter for coplayer music robots, Otsuka & al. 2011 The synthetic performer, Vercoe 1984 An online time warping algorithm for tracking musical performances, Dixon 2005 Alignment of monophonic and polyphonic music to a score, Orio & Schwarz 2001 New techniques for enhanced quality of computer accompaniment 1988 Score following using the sung voice 1995 Score-performance matching using HMMs, Cano & al. 1999 Artificially intelligent accompaniment using hidden Markov models to model musical structure, Jordanous & Smail 2008

? !

C E

1 1 1 1 2 2 2 2 2 3 3 3 3

Premières techniques

9

slide-10
SLIDE 10

Premières techniques

Traitement séquentiel des événements

(Vercoe 84, Puckette 92, Puckette 95...)

Programmation dynamique

(Dannenberg 84, Dannenberg & Mukaino 88...)

? ! C E 1 1 1 1 2 2 2 2 2 3 3 3 3

10

[ , , , , , ...]

  • =

F A G# C E G# A F

1 1 1 1 1 1 1 2 2 2 2 2 3 3 3 3

performance partition
slide-11
SLIDE 11 1985 1990 1995 2000 2005 2010 2015 2020 Training the synthetic performer, Vercoe & Puckette 1985 An online algorithm for real-time accompaniment, Dannenberg 1984 A coupled duration-focused architecture for realtime music to score alignment, Cont 2009 Score following at Ircam, Schwartz & al. 2006 Score following in practice, Puckette 1990 Score following using spectral analysis and hidden Markov models, Orio & Déchelle 2001 Real-time audio-to-score alignment using particle filter for coplayer music robots, Otsuka & al. 2011 The synthetic performer, Vercoe 1984 An online time warping algorithm for tracking musical performances, Dixon 2005 Alignment of monophonic and polyphonic music to a score, Orio & Schwarz 2001 New techniques for enhanced quality of computer accompaniment 1988 Score following using the sung voice 1995 Score-performance matching using HMMs, Cano & al. 1999 Artificially intelligent accompaniment using hidden Markov models to model musical structure, Jordanous & Smail 2008

Historique

Déformation temporelle dynamique

11

slide-12
SLIDE 12

Déformation temporelle dynamique

Programmation dynamique pour l’audio Idée : performance ≈ partition déformée dans le temps Découpage du signal en trames Séquences à aligner : spectres

  • u vecteurs de descripteurs

Choix de la distance (Orio & al. 01, Dixon 05...)

12

performance partition alignement optimal position actuelle
slide-13
SLIDE 13

Historique

1985 1990 1995 2000 2005 2010 2015 2020 Training the synthetic performer, Vercoe & Puckette 1985 An online algorithm for real-time accompaniment, Dannenberg 1984 A coupled duration-focused architecture for realtime music to score alignment, Cont 2009 Score following at Ircam, Schwartz & al. 2006 Score following in practice, Puckette 1990 Score following using spectral analysis and hidden Markov models, Orio & Déchelle 2001 Real-time audio-to-score alignment using particle filter for coplayer music robots, Otsuka & al. 2011 The synthetic performer, Vercoe 1984 An online time warping algorithm for tracking musical performances, Dixon 2005 Alignment of monophonic and polyphonic music to a score, Orio & Schwarz 2001 New techniques for enhanced quality of computer accompaniment 1988 Score following using the sung voice 1995 Score-performance matching using HMMs, Cano & al. 1999 Artificially intelligent accompaniment using hidden Markov models to model musical structure, Jordanous & Smail 2008

q1 q2 y1 y2

Modèles de Markov cachés

13

slide-14
SLIDE 14

Modèles de Markov cachés

Approche générative : modèle = partition Sources d’incertitude

Erreurs du musicien Fiabilité des descripteurs

Modèles probabilistes intéressants

q1 q2 y1 y2

(Cano & al. 99, Orio & al. 01, Schwartz & al. 06, Jordanous & al. 08...)

14

slide-15
SLIDE 15

Modèles de Markov cachés

Chaîne de Markov : matrice de transition A=(aij) Probabilités d’observation bj pour chaque état À chaque instant, changement d’état de i à j selon (aij), l’état courant j génère une observation selon bj

q1 q2 y1 y2

15

probabilités d’observation sobre ivre ronfle

0.3 0.6

ne ronfle pas

0.7 0.4

matrice de transition sobre ivre sobre

0.5 0.5

ivre

0.8 0.2

0.5 0.5 0.8 0.2
slide-16
SLIDE 16

Algorithme de Viterbi

Problème : retrouver la suite d’états qui a généré les

  • bservations

Idée : calcul des probabilités max δt(i) entre les chemins d’états finissant par i à t Astuce : formulation récursive de δt(i) ⇒ programmation dynamique

q1 q2 y1 y2

16

slide-17
SLIDE 17

Modèles de Markov cachés

MMC gauche-droite = partition Algorithme de Viterbi ⇒ états ⇒ position

q1 q2 y1 y2

17

slide-18
SLIDE 18

Historique

1985 1990 1995 2000 2005 2010 2015 2020 Training the synthetic performer, Vercoe & Puckette 1985 An online algorithm for real-time accompaniment, Dannenberg 1984 A coupled duration-focused architecture for realtime music to score alignment, Cont 2009 Score following at Ircam, Schwartz & al. 2006 Score following in practice, Puckette 1990 Score following using spectral analysis and hidden Markov models, Orio & Déchelle 2001 Real-time audio-to-score alignment using particle filter for coplayer music robots, Otsuka & al. 2011 The synthetic performer, Vercoe 1984 An online time warping algorithm for tracking musical performances, Dixon 2005 Alignment of monophonic and polyphonic music to a score, Orio & Schwarz 2001 New techniques for enhanced quality of computer accompaniment 1988 Score following using the sung voice 1995 Score-performance matching using HMMs, Cano & al. 1999 Artificially intelligent accompaniment using hidden Markov models to model musical structure, Jordanous & Smail 2008

q1 q2

Modélisation anticipative

18

slide-19
SLIDE 19

Modélisation anticipative

Problème des MMC : distribution du temps de séjour dj implicite Modèles semi-Markov cachés Problèmes des MSMC : algorithmes trop coûteux Modèles hybrides Markov/semi- Markov

q1 q2

19

(Cont 09)

slide-20
SLIDE 20

Modélisation anticipative

Pourquoi ce nom, alors ? anticipation = action(passé, prédictions)

(Cont 08) Modéliser l’anticipation Modélisation anticipative

q1 q2

20

slide-21
SLIDE 21

Modélisation anticipative

Mécanisme anticipatif : couplage

q1 q2

21

MHMSMC

Tempo

position actuelle temps de séjour

traitement performance

  • scillateur

interne

slide-22
SLIDE 22

Plan

Introduction Premières techniques Déformation temporelle dynamique Modèles de Markov cachés Modélisation anticipative Conclusion

22

slide-23
SLIDE 23

Conclusion

Meilleurs résultats en général : modélisation anticipative Problème de l’évaluation Évolution du domaine ?

23

slide-24
SLIDE 24

Merci de votre attention

24

Courage ! C’est bientôt l’heure du goûter !