Overview of the Center Second CBMM Summer School, 2015 The - - PowerPoint PPT Presentation

Second ¡CBMM ¡Summer ¡School, ¡2015

The ¡Center ¡for
 Brains, ¡Minds ¡and ¡Machines

Overview ¡of ¡the ¡Center

Vision Accumulated knowledge and technology, now in place, enables a rapid leap in our scientific understanding of intelligence and

• ur ability to replicate intelligence in engineered systems.

Mission We aim to create a new field by bringing together computer scientists, cognitive scientists and neuroscientists to work in close

• collaboration. The new field – the Science and Engineering of

Intelligence – is dedicated to developing a computationally centered understanding of human intelligence and to establishing an engineering practice based on that understanding.

The ¡Center ¡for
 Brains, ¡Minds ¡and ¡Machines

Machine Learning Computer Science Science+ Technology of Intelligence

Why now

Cognitive Science Neuroscience Computational Neuroscience

3

MIT

Boyden, ¡Desimone ¡,Kaelbling ¡, ¡Kanwisher, ¡ ¡ Katz, ¡Poggio, ¡Sassanfar, ¡Saxe, ¡ ¡ Schulz, ¡Tenenbaum, ¡Ullman, ¡Wilson, ¡ ¡ Rosasco, ¡Winston ¡

Harvard

Blum, ¡Kreiman, ¡Mahadevan, ¡ ¡Nakayama, ¡Sompolinsky, ¡ ¡Spelke, ¡Valiant

Cornell

Hirsh

Hunter Wellesley Puerto ¡Rico Howard Allen ¡Institute

Koch

Rockefeller

Freiwald

UCLA

Yuille

Stanford

Goodman

Epstein,Sakas, ¡ ¡ ¡ ¡Chodorow Hildreth, ¡Conway, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Wiest Bykhovaskaia, ¡Ordonez, ¡ ¡ ¡Arce ¡Nazario Manaye, ¡Chouikha, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Rwebargira

Centerness: collaborations across different disciplines and labs

CBMM ¡Organizational ¡Chart

External ¡Advisory ¡Committee T5 ¡Theory ¡for ¡ Intelligence ¡ MIT: ¡Tomaso ¡ Poggio T1 ¡Developing ¡ Intelligence ¡ MIT: ¡Josh ¡ Tenenbaum T4 ¡Social ¡ Intelligence ¡ MIT: ¡Nancy ¡ Kanwisher T2 ¡Circuits ¡for ¡ Intelligence ¡ HU: ¡Gabriel ¡ Kreiman T3 ¡Visual ¡ Intelligence ¡ MIT: ¡Shimon ¡ Ullman ¡ MIT: ¡Boris ¡Katz KT ¡Coordinator ¡ MIT: ¡Boris ¡Katz ¡ HU: ¡L ¡Mahadevan Education ¡Coordinator ¡ WC: ¡Ellen ¡Hildreth ¡ CU: ¡Haym ¡Hirsh Education ¡Evaluation ¡ UIUC: ¡Lizanne ¡DeStefano Associate ¡Director ¡ HU: ¡L ¡Mahadevan ¡ HU: ¡Liz ¡Spelke Associate ¡Director ¡ MIT: ¡Matt ¡Wilson Director ¡ MIT: ¡Tomaso ¡Poggio Center ¡Director ¡ MIT: ¡Kathleen ¡ Sullivan Managing ¡Director ¡ HU: ¡Kenneth ¡Blum Research ¡Coordinator ¡ MIT: ¡Patrick ¡Winston Diversity ¡Coordinator ¡ MIT: ¡Mandana ¡Sassanfar Robert ¡Desimone, ¡Director, ¡McGovern ¡Institute ¡for ¡Brain ¡Research ¡at ¡MIT ¡ Dean ¡of ¡the ¡School ¡of ¡Science, ¡MIT ¡

6

A little bit of history and background

The ¡Center ¡for
 Brains, ¡Minds ¡and ¡Machines

Why now: recent progress in AI

10

Why now: very recent progress in AI

11

14

Why now: very recent progress in AI

15

16

Thus we see great advances in AI based on machine learning research of 20 years ago … but we are still very far from understanding human intelligence and the brain

What does Hueihan think about Joel’s thoughts about her? What is this? What is Hueihan doing?

18

• Intelligence —> Human Intelligence
• (Human) Intelligence: one word, many problems
• A CBMM mission: define and “answer” these

Turing++ Questions

Intelligence and Turing++ Questions

The challenge is to develop computational models that answer questions about images and videos such as what is there / who is there / what is the person doing and eventually more difficult questions such as who is doing what to whom?

• what happens next?

at the computational, psychophysical and neural levels.

CB M M

th eo ry functi

• nal

theor y

Turing++ Questions

The who question: face recognition

from experiments to theory

(Workshop, Sept 4-5, 2015) Model ¡ ML ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡AL ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡AM

Thrust ¡1 Visual ¡ Intelligence Social ¡ Intelligence Neural ¡Circuits ¡of ¡ ¡ Intelligence Thrust ¡5

Second ¡CBMM ¡Summer ¡School, ¡2015

More ¡about ¡ ¡ CBMM

City ¡U. ¡HK

Smale

Hebrew ¡U.

Shashua

IIT

Metta, ¡Rosasco, ¡ Sandini

MPI

Buelthoff

Weizmann

Ullman

Google

Norvig

IBM

Lemnios

Microsoft

Blake

Genoa ¡U.

Verri Raghavan

NCBS Schlumberger ¡ ¡ ¡ ¡GE ¡ ¡ ¡ ¡ ¡Siemens Orcam

Shashua

MobilEye

Shashua

Rethink ¡Robotics

Brooks

Boston ¡ Dynamics

Raibert

DeepMind

Hassabis

A*star

Tan

Industrial partners

Thrust ¡5: ¡Theory ¡of ¡Intelligence

Tomaso Poggio

Thrust ¡2: ¡ Circuits ¡for ¡ Intelligence Thrust ¡3: ¡ Visual ¡Intelligence Thrust ¡4: ¡ Social ¡Intelligence Thrust ¡1: ¡ Development ¡of ¡ Intelligence

Josh Tenenbaum Gabriel Kreiman Shimon Ullman Nancy Kanwisher

Adding value in Reserach

• a. Thrust 1

The goal of Thrust 1 is to understand the roots of human intelligence ¡

• Infants’ early physical representations: Forces and masses
• Learning physics from dynamic scenes
• Unifying frameworks for intuitive physics beyond rigid, solid objects
• Efficiency and experience in infants’ goal representations
• Computing Efficiency in Infancy
• Efficiency and effort: Bridging intuitive psychology and intuitive physics
• Social cognition and the naïve utility calculus
• Do children expect others to learn rationally from evidence?
• Inference of mental states from emotional expressions
• How do children evaluate potential social partners?
• Early reasoning about affiliation and kinship
• Children’s perception of causal relations across intuitive physics and psychology
• Knowing what to look for, in object perception and exploratory learning
• Building more sophisticated models of children’s learning in goal-directed search
• Lookit: An online developmental lab
• Probabilistic programs for scene understanding
• Hierarchical motion perception

• b. Thrust 2

Thrust 2 seeks to discover the neural circuits that answer Turing++ Questions such as “What and who are there? What are they doing?” To achieve this goal, scientists in Thrust 2 record electrical signals from the brains of humans and experimental animals while they are identifying objects and interpreting scenes, and then build computational models of the circuit function.

• Towards a biologically inspired human-level language processing system
• Decoding human action and interaction in the human brain
• Top-down processes in extracting meaning from images
• Task-dependence in visual processing
• Neural mechanisms of face detection
• Neural circuits underlying navigation
• Computational architectures mediating object recognition under occlusion
• Biological and computational code underlying pattern completion
• Light field Neural Imaging
• Expansion Microscopy
• Scalable Neural Recording Probes

• c. Thrust 3

Thrust 3 aims to determine the elements involved in fully understanding visual

• scenes. Our computational models should be able to extract from the scene

information about actions, agents, goals, object configurations, social interactions, and more.

• Answering questions about videos
• Disambiguating language and video
• Learning Vision and Language with weak supervision
• Learning attention mechanisms and segmentation
• Visual processing with minimal recognizable configurations
• Human language learning
• Understanding intentions and goals in human interactions from gaze direction
• Towards a biologically inspired human-level language processing system
• Dataset development

d.Thrust 4 The goal of Thrust 4 is to understand the capabilities and brain-bases of various aspects of social perception.

• Functional organization of social perception and cognition in the superio

temporal sulcus

• Face Looking Behavior and Image Statistics for Faces in the Real World
• Fast reading of Action Goals
• Decoding human action and interaction in the human brain
• Understanding intentions and goals in human social interactions from gaze

direction

28

• e. Thrust 5

The Theoretical Thrust aims to provide understanding, guide computer implementations, and inform and interpret experiments for the other thrusts.

• Biologically Plausible Implementations of i-theory for face and object recognition
• Invariance and Selectivity in Visual Cortex
• Invariant Representation Learning for Speech Recognition
• Invariant representations for action recognition in the human visual system
• Learning and Reasoning in Symbolic Domains
• Probabilistic Learning and Inference in a Neuroidal Model of Computation
• The computational role in object recognition of eccentricity dependent resolution

in retina

• Computational architectures mediating object recognition with occlusion (with

Thrust 2)

• The development of geometrical intuitions
• Visual routines
• Compositional Models of Humans and Animals
• Learning Vision and Language with weak supervision

A summary To understand (human) intelligence, we must:

• Understand what we compute
• How what we compute develops
• How amplified by social interaction
• How implemented in neural tissues