STA and the encoding and decoding problems NEU 466M - - PowerPoint PPT Presentation

STA ¡and ¡the ¡ ¡ encoding ¡and ¡decoding ¡problems ¡

NEU ¡466M ¡ Instructor: ¡Professor ¡Ila ¡R. ¡Fiete ¡ Spring ¡2016 ¡

Last ¡Gme: ¡sGmulus, ¡spike ¡cross-­‑correlaGon ¡

5.997 5.998 5.999 6 6.001 6.002 6.003 x 10

5

−2 2 4 6 8 10 12 14 16 x 10

5

sample number (500 Hz) C(stim, rho)

single ¡H1 ¡neuron ¡ in ¡lobula ¡plate ¡per ¡ hemisphere ¡

Cross-­‑correlaGon ¡uncovers ¡relaGonships ¡between ¡Gme-­‑series. ¡ ¡ What ¡specifically ¡does ¡it ¡mean ¡about ¡sGmulus ¡à ¡spike ¡response? ¡ ¡

When ¡sGmulus ¡goes ¡up ¡(more ¡ posiGve ¡velocity), ¡response ¡ increases ¡(more ¡spikes): ¡posiGve ¡

• peak. ¡

Response ¡lags ¡sGmulus ¡ ¡ (peak ¡to ¡right ¡of ¡zero-­‑shiV). ¡ ¡ ¡

WHAT ¡DOES ¡IT ¡MEAN ¡TO ¡BUILD ¡A ¡ MODEL ¡OF ¡OBSERVATIONS ¡OF ¡A ¡ STIMULUS ¡AND ¡RESPONSE? ¡

Back ¡to ¡original ¡goal: ¡Modeling ¡

Modeling ¡spike ¡train ¡data ¡

Model: ¡Simple, ¡predicGve ¡descripGon. ¡ ¡ But ¡what ¡is ¡it ¡we ¡want ¡to ¡describe/predict? ¡ OpGon ¡1) ¡Given ¡sGmulus, ¡ ¡predict ¡spikes? ¡ OpGon ¡2) ¡Given ¡spikes, ¡“predict” ¡sGmulus? ¡

Modeling ¡spike ¡train ¡data ¡

Model: ¡Simple, ¡predicGve ¡descripGon. ¡ ¡ But ¡what ¡is ¡it ¡we ¡want ¡to ¡describe/predict? ¡ OpGon ¡1): ¡Given ¡sGmulus, ¡ ¡predict ¡spikes? ¡ OpGon ¡2): ¡Given ¡spikes, ¡“predict” ¡sGmulus? ¡ Encoding ¡model ¡

Modeling ¡spike ¡train ¡data ¡

Model: ¡Simple, ¡predicGve ¡descripGon. ¡ ¡ But ¡what ¡is ¡it ¡we ¡want ¡to ¡describe/predict? ¡ OpGon ¡1): ¡Given ¡sGmulus, ¡ ¡predict ¡spikes? ¡ OpGon ¡2): ¡Given ¡spikes, ¡“predict” ¡sGmulus? ¡ Encoding ¡model ¡ Decoding ¡model ¡

Modeling ¡spike ¡train ¡data ¡

Model: ¡Simple, ¡predicGve ¡descripGon. ¡ ¡ But ¡what ¡is ¡it ¡we ¡want ¡to ¡describe/predict? ¡ OpGon ¡1): ¡Given ¡sGmulus, ¡ ¡predict ¡spikes? ¡ OpGon ¡2): ¡Given ¡spikes, ¡“predict” ¡sGmulus? ¡ Encoding ¡model ¡ Decoding ¡model ¡ Both ¡are ¡good ¡and ¡closely ¡related ¡modeling ¡goals! ¡

Decoding ¡problem ¡

Given ¡a ¡spike, ¡what ¡was ¡the ¡sGmulus? ¡ ¡

− − −

The ¡spike-­‑triggered ¡average ¡

Given ¡a ¡spike, ¡what ¡was ¡the ¡mean ¡sGmulus ¡that ¡led ¡up ¡to ¡it? ¡ ¡

from ¡“Spikes”, ¡Rieke ¡et ¡al. ¡ ¡

The ¡spike-­‑triggered ¡average ¡

STA: ¡(average) ¡sGmulus ¡“feature” ¡to ¡which ¡cell ¡responds ¡

from ¡“Spikes”, ¡Rieke ¡et ¡al. ¡ ¡

The ¡spike-­‑triggered ¡average ¡

STA(τ) = 1 N

N

X

i=1

s(ti − τ)

N spikes at times ti (i = 1 · · · N) stimulus s(t)

The ¡spike-­‑triggered ¡average ¡as ¡a ¡correlaGon ¡

STA(τ) = 1 N

N

X

i=1

s(ti − τ) = 1 N X

t

ρ(t)s(t − τ) = 1 N Cρs(−τ)

ρ is the spike vector of 00s, 10s

STA ¡= ¡CorrelaGon ¡between ¡spike-­‑train, ¡sGmulus ¡at ¡negaGve ¡(earlier) ¡Gmes ¡

“Reverse ¡correlaGon” ¡

STA ¡and ¡reverse ¡correlaGon ¡

• STA ¡implies ¡that ¡the ¡response ¡is ¡a ¡binary ¡spike-­‑train. ¡ ¡
• Reverse ¡correlaGon: ¡the ¡response ¡can ¡be ¡any ¡Gme-­‑

varying ¡signal. ¡Also ¡called ¡“white ¡noise” ¡analysis ¡(we ¡ will ¡see ¡why ¡later). ¡

STA ¡and ¡the ¡decoding ¡problem ¡

− − −

Decoding ¡problem: ¡Infer ¡sGmulus ¡given ¡spike ¡train. ¡“Mindreading”: ¡read ¡spike ¡

• utput ¡and ¡infer ¡what ¡the ¡brain ¡saw. ¡ ¡

¡ ¡ STA: ¡Given ¡that ¡cell ¡fired ¡spike, ¡STA ¡returns ¡average ¡of ¡preceding ¡sGmulus. ¡ ¡ ¡

− − −

Decoding ¡problem ¡

sest(t) = X

i

F1(t − ti) + X

i,j

F2(t − ti, t − tj) + · · ·

Volterra ¡series ¡expansion: ¡ ¡

each ¡spike ¡an ¡independent ¡event, ¡ ¡ and ¡contributes ¡independently ¡to ¡ sGmulus ¡reconstrucGon ¡ ¡ spike ¡pairs ¡in ¡specific ¡configuraGon ¡ ¡ carry ¡informaGon ¡about ¡sGmulus, ¡beyond ¡ ¡ that ¡contained ¡in ¡their ¡individual ¡occurrences. ¡ spike ¡pair ¡a ¡separate ¡event ¡contribuGng ¡to ¡

• reconstrucGon. ¡

N spikes at times ti (i = 1 · · · N) stimulus s(t)

Decoding ¡problem ¡

sest(t) = X

i

F1(t − ti) + X

i,j

F2(t − ti, t − tj) + · · ·

Volterra ¡series ¡expansion: ¡ ¡

each ¡spike ¡an ¡independent ¡event ¡ given ¡sGmulus, ¡and ¡contributes ¡ ¡ independently ¡to ¡sGmulus ¡ ¡ reconstrucGon ¡ ¡ spike ¡pairs ¡in ¡specific ¡configuraGon ¡ ¡ carry ¡informaGon ¡about ¡sGmulus, ¡beyond ¡ ¡ that ¡contained ¡in ¡their ¡individual ¡occurrences. ¡ spike ¡pair ¡an ¡independent ¡event ¡contribuGng ¡ ¡ to ¡reconstrucGon. ¡

STA ¡

Geometric ¡view ¡

length-­‑T ¡sGmulus ¡vector ¡preceding ¡Gme ¡point ¡t: ¡ ¡

s(t − 1) s(t − T)

· · ·

{s(t − T) · · · s(t − 2)s(t − 1)}

s(t − 2)

* ¡

t − 1 t − 2 t − T

sGmulus ¡space ¡

Geometric ¡view ¡

length-­‑T ¡sGmulus ¡vector ¡preceding ¡Gme ¡point ¡t: ¡ ¡

s(t − 1) s(t − T)

· · ·

{s(t − T) · · · s(t − 2)s(t − 1)}

s(t − 2)

* ¡

t − 1 t − 2 t − T

Any ¡possible ¡sGmulus ¡Gme-­‑series ¡is ¡one ¡point ¡in ¡sGmulus ¡space ¡

Geometric ¡view ¡of ¡STA ¡

· · ·

* ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ presented ¡sGmuli ¡

s(t − 1) s(t − T)

s(t − 2)

Geometric ¡view ¡of ¡STA ¡

· · ·

* ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ presented ¡sGmuli ¡ * ¡ effecGve ¡sGmuli ¡ (evoked ¡spike) ¡

s(t − 1) s(t − T)

s(t − 2)

Geometric ¡view ¡of ¡STA ¡

· · ·

STA ¡

* ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ presented ¡sGmuli ¡ * ¡ effecGve ¡sGmuli ¡ (evoked ¡spike) ¡

STA ¡picks ¡single ¡direcGon ¡in ¡sGmulus ¡space ¡

s(t − 1) s(t − T)

s(t − 2)

Geometric ¡view ¡of ¡STA ¡

· · ·

STA ¡

* ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡

STA ¡

* ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡

Geometric ¡view ¡of ¡STA: ¡when ¡does ¡it ¡fail? ¡

STA ¡

* ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡* ¡ * ¡ * ¡ * ¡ * ¡

STA ¡points ¡in ¡direcGon ¡where ¡sGmuli ¡were ¡actually ¡ineffecGve ¡in ¡producing ¡spikes. ¡ ¡

Geometric ¡view ¡of ¡STA: ¡when ¡does ¡it ¡fail? ¡

Same ¡cauGon ¡as ¡correlaGon: ¡measure ¡of ¡linear ¡relaGonship ¡between ¡sGmulus, ¡response. ¡ ¡ If ¡response ¡is ¡specific ¡nonlinear ¡funcGon ¡of ¡sGmulus, ¡then ¡STA ¡may ¡not ¡be ¡informaGve. ¡ ¡

STA ¡= ¡0 ¡

* ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡

Example: ¡moGon ¡energy ¡model ¡ for ¡complex ¡cells ¡in ¡V1. ¡

Summary: ¡STA ¡

• Simple/compact ¡descripGon ¡of ¡data. ¡
• ExtracGng ¡single ¡“feature” ¡of ¡data. ¡ ¡
• Linear ¡feature; ¡first ¡term ¡in ¡Volterra ¡expansion. ¡
• Test: ¡PredicGon ¡of ¡response ¡(encoding). ¡
• Homework. ¡