B RAIN -C OMPUTER I NTERFACE Ilya Kuzovkin 7 June 2014 Now I know - PowerPoint PPT Presentation

B RAIN -C OMPUTER I NTERFACE Ilya Kuzovkin 7 June 2014

Now I know how your brain signal looks like when you think “ LEFT ” and “ RIGHT ”

Now I know how your brain signal looks like when you think “ LEFT ” and “ RIGHT ” Try me — think or

Now I know how your brain signal looks like when you think “ LEFT ” and “ RIGHT ” Try me — think or It was � � wasn’t it?

Now I know how your brain How would signal looks like you use such when you think technology? “ LEFT ” and “ RIGHT ” Try me — think or It was � � wasn’t it?

B RAIN - COMPUTER INTERFACE Mental intention

B RAIN - COMPUTER INTERFACE Neuroimaging Mental intention

B RAIN - COMPUTER INTERFACE Name some neuroimaging Neuroimaging techniques Mental intention

B RAIN - COMPUTER INTERFACE Neuroimaging Signal Mental intention

B RAIN - COMPUTER INTERFACE Neuroimaging Signal Mental intention Data

B RAIN - COMPUTER INTERFACE Neuroimaging Signal Mental intention Data Algorithm

B RAIN - COMPUTER INTERFACE With 87% certainty I can say that you are thinking “ LEFT ” right now Neuroimaging Signal Mental intention Data Algorithm

N EURONS http://biomedicalengineering.yolasite.com

N EURONS http://biomedicalengineering.yolasite.com

N EURONS http://www.conncad.com/gallery/single_cells.html

N EURONS http://en.wikipedia.org/wiki/Neural_oscillation

N EURONS http://en.wikipedia.org/wiki/Neural_oscillation

N EURONS http://en.wikipedia.org/wiki/Neural_oscillation

N EURONS What is the frequency in this example? http://en.wikipedia.org/wiki/Neural_oscillation

B RAINWAVES

B RAINWAVES Delta 0-4 Hz Theta 4-7 Hz Alpha 7-14 Hz Mu 8-13 Hz Beta 15-30 Hz Gamma 30-100 Hz

B RAINWAVES slow wave sleep, babies, Delta lesions 0-4 Hz children, drowsiness, Theta meditation, relaxed 4-7 Hz Alpha closed eyes, relaxed 7-14 Hz motor neuron in rest, Mu mirror neurons 8-13 Hz motor activity, anxious Beta thinking, concentration 15-30 Hz networking between Gamma populations of neurons 30-100 Hz

EEG

EEG

CHANNELS TIME EEG

CHANNELS TIME EEG

EEG CHANNELS ? TIME Alpha Beta Gamma 7-14 Hz 15-30 Hz 30-100 Hz

EEG CHANNELS ? TIME Alpha Beta Gamma 7-14 Hz 15-30 Hz 30-100 Hz Jean Baptiste Joseph Fourier 1768 — 1830

F OURIER TRANSFORM *

F OURIER TRANSFORM * *discrete

F OURIER TRANSFORM * = *discrete

F OURIER TRANSFORM * = signal at time t frequency complex number *discrete

F OURIER TRANSFORM * = signal at time t frequency complex number Amplitude of the component with frequency k *discrete

F OURIER TRANSFORM * = signal at time t frequency complex number Amplitude of the component with frequency k *discrete

D ATA

D ATA

D ATA

D ATA Why not like this?

D ATA

T IME -F REQUENCY D OMAIN

D ATA Are we done?

D ATA Are we done? Hint:

D ATA 300 MS

D ATA 300 MS

D ATA 300 MS

D ATA 300 MS

D ATA 300 MS 11 channels 50 frequencies on each 3 seconds of data 300 ms window • How many numbers to describe 1 reading of 300 ms?

D ATA 300 MS 11 channels 50 frequencies on each 3 seconds of data 300 ms window • How many numbers to describe 1 reading of 300 ms? • How many numbers to describe all 3 seconds of data?

D ATASET INSTANCES . � . � . FEATURES CLASSES

M ACHINE LEARNING

M ACHINE LEARNING ?

M ACHINE LEARNING Machine Learning algorithm learns from examples, set of sample objects ( samples ) is called training set

M ACHINE LEARNING Each object � � � � � � � � � � � � can be described with a set of parameters called features

M ACHINE LEARNING f 1 Tail length : ...

M ACHINE LEARNING f 1 Tail length : ... f 2 Furriness : ...

M ACHINE LEARNING f 1 Tail length : ... f 2 Furriness : ... f = ( f 1 , f 2 ) Form a feature vector

M ACHINE LEARNING Together feature vectors and corresponding classes form a dataset Instance Feature 1 Feature 2 Class Cat 1 8 cm 546 h/cm M Cat 2 7.5 cm 363 h/cm M ... ... ... Cat N 11 cm 614 h/cm F

M ACHINE LEARNING Feature vectors live in a feature space

M ACHINE LEARNING Feature vectors live in a feature space ?

M ACHINE LEARNING Feature vectors live in a feature space

M ACHINE LEARNING Feature vectors live in a feature space K-Nearest Neighbors

M ACHINE LEARNING � • AODE ¡ • Instance-­‑based ¡learning ¡ • Decision ¡trees ¡ • Artificial ¡neural ¡network ¡ • Nearest ¡Neighbor ¡Algorithm ¡ • C4.5 ¡ • Backpropagation ¡ • Analogical ¡modeling ¡ • Random ¡forests ¡ • Naive ¡Bayes ¡classifier ¡ • Probably ¡approximately ¡correct ¡ • Bayesian ¡networks ¡ • Bayesian ¡network ¡ learning ¡(PAC) ¡ • Hidden ¡Markov ¡models ¡ • Bayesian ¡knowledge ¡base ¡ • Symbolic ¡machine ¡learning ¡ • Artificial ¡neural ¡network ¡ • Case-­‑based ¡reasoning ¡ algorithms ¡ • Data ¡clustering ¡ • Decision ¡trees ¡ • Subsymbolic ¡machine ¡learning ¡ • Expectation-­‑maximization ¡algorithm ¡ • Inductive ¡logic ¡programming ¡ algorithms ¡ • Self-­‑organizing ¡map ¡ • Gaussian ¡process ¡regression ¡ • Support ¡vector ¡machines ¡ • Radial ¡basis ¡function ¡network ¡ • Gene ¡expression ¡programming ¡ • Random ¡Forests ¡ • Vector ¡Quantization ¡ • Group ¡method ¡of ¡data ¡ • Ensembles ¡of ¡classifiers ¡ • Generative ¡topographic ¡map ¡ handling ¡(GMDH) ¡ • Bootstrap ¡aggregating ¡(bagging) ¡ • Information ¡bottleneck ¡method ¡ • Learning ¡Automata ¡ • Boosting ¡(meta-­‑algorithm) ¡ • IBSEAD ¡ • Learning ¡Vector ¡Quantization ¡ • Ordinal ¡classification ¡ • Apriori ¡algorithm ¡ • Logistic ¡Model ¡Tree ¡ • Regression ¡analysis ¡ • Eclat ¡algorithm ¡ • Decision ¡trees ¡ • Information ¡fuzzy ¡networks ¡(IFN) ¡ • FP-­‑growth ¡algorithm ¡ • Decision ¡graphs ¡ • ANOVA ¡ • Single-­‑linkage ¡clustering ¡ • Lazy ¡learning • Linear ¡classifiers ¡ • Conceptual ¡clustering ¡ • Fisher's ¡linear ¡discriminant ¡ • K-­‑means ¡algorithm ¡ • Logistic ¡regression ¡ • Fuzzy ¡clustering ¡ • Naive ¡Bayes ¡classifier ¡ • Temporal ¡difference ¡learning ¡ • Perceptron ¡ • Q-­‑learning ¡ • Support ¡vector ¡machines ¡ • Learning ¡Automata ¡ • Quadratic ¡classifiers ¡ • Monte ¡Carlo ¡Method ¡ • k-­‑nearest ¡neighbor ¡ • SARSA • Boosting

B RAIN - COMPUTER INTERFACE

B RAIN - COMPUTER INTERFACE

B RAIN - COMPUTER INTERFACE

B RAIN - COMPUTER INTERFACE

B RAIN - COMPUTER INTERFACE

B RAIN - COMPUTER INTERFACE

B RAIN - COMPUTER INTERFACE

B RAIN - COMPUTER INTERFACE

B RAIN - COMPUTER INTERFACE

B RAIN - COMPUTER INTERFACE

B RAIN - COMPUTER INTERFACE ?

B RAIN - COMPUTER INTERFACE ?

T HE E ND