Mental imagery in Mathema.cs and Computer Science Alain Finkel, - - PowerPoint PPT Presentation

Mental imagery in Mathema.cs and Computer Science

Alain Finkel, LSV, ENS Cachan & CNRS ‐ France

The reality of mental imagery

Test of mental rota.on of Vandenberg

Test of mental rota.on

Test of mental rota.on

Test of mental rota.on

Test of mental rota.on

Mental imagery and percep.on

Theorem: mental imagery ≡ percep.on

Proof:

• Perky, 1910
• Kosslyn, 1978, Mental speed is linear with the

distance

• Mellet, 1995, Observing the brain during MI

and P.

– Two ways: Where ? What/Who ?

• virtual percep.on may replace mental imagery

Perky, 1910

Kosslyn, 1978

Mellet, 1995

Plan

• 1. The reality of mental imagery
• 2. Examples in mathema.cs and CS
• 3. Coming back to the story
• 4. My conclusions

algebraic iden..es (a + b)2 = a2 + 2ab + b2

(a + b)3 = a3 + 3a2b + 3ab2 + b3

sum of first integers

1 + 2 + 3 + … + n = n(n+1)/2

• proof by recurrence; but no intui.on
• audi.ve proof, playing on the formula:

S = 1 + 2 + 3 + …+ (n ‐ 1) + n S = n + (n ‐ 1) + …+ 3 + 2 + 1 2S = (n+1)+(n+1)+…+(n+1) = n(n + 1)

visual proof

sum of odd integers

1 + 3 + 5 +… + (2n ‐ 1) = n2

Rolle theorem

Rolle's Theorem Suppose f con+nuous on [a,b], derivable on ]a,b[ with f (a) = f (b). Then there exists c∈ ]a,b[ s.t. f‘(c)= 0

Rolle theorem

the point…

Func.ons…

• a func.on may be:

– a rela.on f sa.sfying the formula : (Verbal)

• For all x, there exists at most an y s.t. f(x)=y
• For all x,y,z, if (x,y) and (x,z) are in f then y=z

– A graph s.t. every node has at most a successor (Visual) – a process which takes inputs, works and produces

• utputs (Visual‐Verbal‐sequen.al)

– a algorithm compu.ng (Verbal+movement/.me) – a formula/equa.on which defines (verbal) – examples of func.ons: y=3x2+8, f(r)=1 et f(p/q)=0), g(n)=0 si Tn stops (in n steps) on n.

An old one: the complex plane

• Complex numbers were discovered or

invented in the 16th century

• they remained mysterious for 2 centuries
• in the 18th century, Argand found the complex

plane: mental representa.ons of the complex numbers

• makes the complex numbers much easier to

understand

the quadra.c equa.on

• ax2 + bx + c = 0
• Well‐known formula
• Geometric

interpreta.on

Ordering

– 3 formula (verbal):

• reflexive
• symetric
• an.‐symetric
• transi.ve

– A graph without circuit (visual)

Graphs and automata

Graph:

– rela.on (edges) between a set E of ver.ces. – adjacency matrix – picture of edges linking a finite number of ver.ces – Runs in a labyrinth – Give examples (metro,…)

Finite automaton:

– Labelled graph – 5‐uple (E,A,δ,e0,F) – Words recognized by an automaton – Labyrinth with rooms, named one‐way corridors, entrance and exit rooms – A machine whichs produces outputs

Regular/recognizable/ra.onal langage

• Recognized by an automaton: visual‐dynamic
• Generated by a grammar : verbal‐sequen.al
• Described by a regular expression: verbal

Pumping lemma

Lemma: Let L be the set of words recognized by a given finite automaton. There exists kL ∈ N such that any word w ∈ L, of length larger than kL, can be factored w = xuy , with u non empty and xuny ∈ L for all n ∈ N. kL is bounded by the number k of ver.ces of the automaton Simple proof using the visual/kinesthesic representa.on: Aier at most k steps, any walk must go twice through the same vertex… The loop can be iterated

Plan

• 1. The reality of mental imagery
• 2. Examples in mathema.cs and CS
• 3. Coming back to the story
• 4. My conclusions

Mental images from 2000 years (in french )

• Avant JC: Platon, Aristote, Epictète…
• 1600: Descartes
• 1700‐1800: Locke, Hume, Berkeley, Kant,…
• 1890‐1950: Husserl, Heidegger, Merleau‐Ponty, Proust, Freud
• 1900‐1930: Tichener, Binet (psycho. Introspec.ve) : profils visuels, audi.fs, moteurs
• 1910: Perky (conflit entre percep.on et évoca.on)
• 1930: Pavlov, Skinner, Watson (comportementalisme)
• 1933: Séman.que générale (Korzibsky)
• 1936: Turing, thèse de Church
• 1940‐60: Ecole de Piaget
• 1956: Naissance des sciences cogni.ves, Miller (7+2), Galanter, Pribram
• 1956‐60: Naissance des thérapies cogni.ves: Beck et Ellis (USA) ‐

importance des croyances ‐ pas de lien avec la PC avant 1980

• 1970‐1980: Paivio, Kosslyn, Pinker, Denis (double codage V/A)
• 1985: Gardner (intelligences mul.ples)
• 1986: Baddeley (Calepin visuo‐spa.al et boucle phonologique, apen.on)
• 1995: Damasio, Goleman, Berthoz
• 2000: Dehaene
• 2009:

Aristote

« Jamais l’âme ne pense sans image »

Descartes

• «L’imagina.on, à elle seule, est incapable de créer la

science…toutefois…, nous devons, dans certains cas, recourir à elle. D’abord, en la fixant sur l’objet que nous voulons considérer, nous l’empêcherons de s’égarer et de nous gêner; ensuite et surtout, elle peut nous servir à éveiller en nous certaines idées »

• Essaie de construire les mathéma.ques sans les

images réputées moins fiables que les idées (mots).

Einstein

« les mots et le langage, écrits ou parlés, ne semblent pas jouer le moindre rôle dans le mécanisme de ma pensée »

Renew of scien.fic mental imagery in 1960

Dual coding: verbal and imaging

• Paivio, Smythe et Yuille (1968):

– concrets words are easier to memorise.

• Atwood (1971):

– « visual » sentence sensible at visual interference – Abstract sentence sensible at audi.ve interférence.

• Warrington et Shallice (1979):

– read beper the word pyramide aier listening the word Egypte than aier having seen the picture of a pyramide.

Mental imagery

• Shepard, Metzler (1971): mental rota.on linear with the angle
• Kosslyn (1975): 200 ms for dog + elephant / dog + fly
• Kosslyn, Ball et Reiser (1978): mental explora.on linear with the distance
• Scien.fic ques.on: Coding =

– unique amodal and proposi.onnal for all MRs ? Zenon Pylyshyn Or – plurimodal for each MRs ? Stephen M. Kosslyn

• Research with PET, brain vision,…

Plan

• 1. The reality of mental imagery
• 2. Examples in mathema.cs and CS
• 3. Coming back to the story
• 4. My conclusions

Alan Turing

• Design TM par.ally with introspec.on.
• How does he made in his mind a

mul.plica.on ?

• Create states and ac.ons, data and programs,

finally not very different…

• States and ac.ons are a paradigm occuring in

different domains: Leibniz, Laplace, Comte,…

My framework: Computa.onal theory of mind

• Cogni.ve states and ac.ons more or less

connected with brain states/ac.ons.

• Cogni.ve behavior: sequence of states and

ac.ons.

• Representa.ons = objects (large states +

ac.ons)

• Mental imagery: ability to manipulate

cogni.ve states and representa.ons.

• cogni.ve automata

What is a mental representa.on?

Repe..on is necessary…

• An image, a movement, a sound, linked to a

mathema.cal concept or proof

• Several types of representa.ons, adapted to various

people

– Visual, visio spa.al: mental images or designs – Audi.ve, verbal, phonologic: a sound, a poetry, a sentence,... – Kinesthe.c: a movement, feeling, emo.on,…

More precisely but s.ll informal

Verbal Logic Symbolic Visual Auditive Kinesthesic

Concrete

Mental Représentation

Action Conceptual

Content

Nombre d’objets Sujet dans l’image ? Concret/symbolique

Time

Durée Mouvement

space

Localisation

Structure

Couleurs Intensité Luminosité Contraste Brillance Transparence Texture Ombre Cadre Dimension 2/3 D Taille de l’image

Visual

Content

Concret/symbolique

Time

Durée Rythme Pauses Cadence Tempo

space

Localisation

Structure

Volume Tonalité Hauteur Timbre

Auditive

Content

Tactile Proprioceptif Odeur Goût

Time

Durée Mouvement

space

Localisation

Structure

Température Vibration Pression Intensité Humidité Texture

Kinesthesic

The difficulty of scien.fic defini.ons

• Mental states: thoughts, beliefs, desires,

percep.ons, images,…

• No complete scien.fic defini.ons of MI, MR,
• MS. Anyway, we have to work with !
• Theory is difficult, not mature, not finished !

As complexity theory, as all theories…

What is the use of a mental representa.on?

• Very important to get an intui.on, to understand,

to remember

• Good representa.ons are hard to find
• One representa.on is only useful for a part of

students; one needs several representa.ons of various types.

• Good representa.ons oien need some effort to

be used

• Representa.ons do NOT replace algorithms and

methods; they help to learn and use them

« Observa.ons »

• Understand ≠ memorise
• Understand a definition = build a well-adapted

representation, manipulate it (Create, test, complete our representations)

• well-adapted = multiples codings: verbal, visual,

auditive, feeling, movement, kinesthesic, parameters

• f attention.
• Understand a proof ≠ follow the proof line after line +

build a well-adapted MR

• Prove = create the proof
• Teach= give few MR

Defini.on of an intellectual

• Is able to create MR and to manipulate
• Find pleasure to his/her mental world
• Mental world becomes more real than for
• ther, then he/she may ignore the external

world

• Ignore that other are not like him/her

Practical definition

I understand when I have the feeling to understand and when I may answer to questions and exercices from myself or other.

In three words ?

Communicate with the 3 langages:

– Words, sounds – images – Feelings, emo.ons, movements

Thank you

Paper at 11th ICME’2008

Interna.onal Congress on Mathema.cal Educa.on, Mexico, July, 2008.

Texts in hpp://plato.stanford.edu/

– hpp://plato.stanford.edu/entries/mental‐imagery/ – hpp://plato.stanford.edu/entries/mental‐representa.on/

Jacques Hadamard, a pre‐cogni.ve psychologist

« essai sur la psychologie de l’inven.on dans le domaine mathéma.que »

– 1945, Princeton UP – 1955, Oxford UP :) – 1959, translated in french

Alterna)ve textuelle au plan d'accès à l'ENS

• La commune de Cachan est située dans la proche banlieue sud de Paris, à 2 km des portes d’Orléans et d’Italie et 5 km du

centre de la capitale.

• La station B du RER se trouve au 129 avenue Aristide Briand sur la commune de Cachan. L’ENS Cachan se situe au 61

avenue du Président Wilson sur la commune de Cachan.

• La distance qu’il faut parcourir pour un piéton pour atteindre l’ENS Cachan depuis la station Bagneux est d’environ 700 m.
• * Une fois sorti de de la station Bagneux du RER B, vous êtes au 129 Avenue Aristide Briand Cachan.
• * Vous n’avez pas à traverser la rue, c’est-à-dire la Départementale 920.
• * Vous prenez à gauche sur l’avenue Aristide Briand, que vous parcourez sur une distance de 16 mètres.
• * Vous prenez à gauche l’avenue du Pont Royal. La distance à parcourir dans cette avenue est de 250 mètres.
• * Vous arrivez sur un rond-point vers lequel convergent six rues. Vous traversez la première à droite et vous prenez la

deuxième à droite qui est l’avenue Chateaubriand

• * Vous parcourez l’avenue Chateaubriand sur une distance d’environ 100 mètres.
• * Vous arrivez sur la place de Châteaubriant en forme de rond-point, vers laquelle convergent quatre rues.
• * Vous traversez le rond point et continuez tout droit (30 m environ).
• * Vous continuez sur l’avenue Chateaubriand sur une distance de 180 m.
• * Un passage piéton vous permet de traverser l’avenue (Départementale 127).
• * Vous êtes arrivé au 61 avenue du Président Wilson.
• * Sur la droite, se trouve l’accès piéton, ainsi que l’accueil et la porterie.

Défini)on

L'imagerie mentale est la capacité que nous avons de créer un monde interne et de le manipuler, mémoriser, simuler, an.ciper,...etc. Cepe recréa.on u.lise des processus mentaux de type différents comme les processus visuo‐ spa.aux, verbaux et symboliques, phonologiques et de type ressen..

Mon objec.f

• Convaincre de l’importance des Ims et Rms
• Montrer des exemples
• Susciter des applica.ons
• Bâ.r un dic.onnaire des Rms