Visualiza(on So-ware and Hardware for In-Silico Brain Research - - PowerPoint PPT Presentation

▶
visualiza on so ware and hardware for in silico brain
SMART_READER_LITE
LIVE PREVIEW

Visualiza(on So-ware and Hardware for In-Silico Brain Research - - PowerPoint PPT Presentation

Dec 23, 2023 21 likes •213 views

Visualiza(on So-ware and Hardware for In-Silico Brain Research Stefan Eilemann Visualiza0on Team Lead Blue Brain Project, EPFL Monday, 18. November 2013 Blue Brain Project /

slide-1
SLIDE 1

Visualiza(on ¡So-ware ¡and ¡Hardware for ¡In-­‑Silico ¡Brain ¡Research Stefan ¡Eilemann Visualiza0on ¡Team ¡Lead Blue ¡Brain ¡Project, ¡EPFL

Monday, 18. November 2013

slide-2
SLIDE 2

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Blue ¡Brain ¡Project ¡/ ¡Human ¡Brain ¡Project

  • BBP: ¡Swiss ¡na0onal ¡research ¡project

– Launched ¡in ¡2005 – Models ¡rodent ¡neocortex ¡at ¡neuronal ¡level – Needs ¡about ¡100TB ¡and ¡1PFlop/s

  • HBP: ¡European ¡FET ¡Flagship

– Started ¡October ¡2013 – Aims ¡to ¡reverse-­‑engineer ¡the ¡human ¡brain – Needs ¡about ¡100PB ¡and ¡1Exaflop/s ¡(cellular ¡level)

2 Monday, 18. November 2013

slide-3
SLIDE 3

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Blue ¡Brain ¡Visualiza(on ¡Infrastructure

  • Lausanne:

– 13 ¡triple-­‑GPU ¡nodes, ¡12 ¡cores, ¡24 ¡GB – One ¡dual-­‑GPU ¡node, ¡32 ¡cores, ¡1 ¡TB, ¡SSD ¡stack – 24 ¡MPixel ¡thin-­‑bezel, ¡mul0touch ¡display ¡wall – 100 ¡inch ¡stereo ¡display

  • Lugano ¡(CSCS):

– 40 ¡dual-­‑GPU ¡nodes, ¡dual ¡Tesla ¡K20 – Infiniband ¡fabric ¡linked ¡to ¡4-­‑rack ¡BlueGene/Q

3 Monday, 18. November 2013

slide-4
SLIDE 4

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Partners

  • Kaust

– 200 ¡MPixel ¡CAVE, ¡40 ¡0le ¡display ¡wall, ¡NexCave – Collabora0on ¡on ¡neuro-­‑glia-­‑vascular ¡modelling ¡and ¡ interac0ve ¡supercompu0ng

  • RWTH ¡Aachen

– 5x5m ¡ ¡AixCave, ¡HBP ¡partner

  • UPM

– 5-­‑sided ¡Cave, ¡Cajal ¡BBP ¡Collabora0on, ¡HBP ¡partner

4 Monday, 18. November 2013

slide-5
SLIDE 5

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Open ¡Source ¡So-ware ¡Infrastructure

  • DASH: ¡Thread-­‑safe ¡data ¡access ¡and ¡sharing
  • CoDASH: ¡Distributed ¡dash ¡(WIP)
  • Equalizer: ¡Parallel ¡rendering ¡framework
  • Collage: ¡OO ¡network ¡library
  • Livre: ¡Scalable ¡OOC ¡volume ¡rendering ¡(WIP)
  • DisplayCluster: ¡TACC ¡version ¡+ ¡BBP ¡features

5 Monday, 18. November 2013

slide-6
SLIDE 6

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

So-ware ¡Infrastructure

  • RTNeuron: ¡Parallel ¡simula0on ¡renderer¹
  • NeuMesh: ¡Mesh ¡genera0on ¡library
  • BBPSDK: ¡BBP ¡data ¡model
  • Monsteer: ¡Monitoring ¡and ¡steering ¡(WIP)
  • Brion: ¡BBP ¡IO ¡library
  • Paraview ¡BBPSDK ¡plugin

– Custom ¡pipeline ¡based ¡on ¡Zoltan ¡and ¡Thrust¹

6 1 ¡Prac0cal ¡rendering ¡of ¡detailed ¡neuron ¡simula0ons, ¡Hernando ¡et ¡al, ¡EGPGV ¡2013 Monday, 18. November 2013

slide-7
SLIDE 7

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

So-ware ¡Infrastructure

  • Engineering ¡first, ¡visualiza0on ¡research ¡second
  • Tribits-­‑like ¡project ¡quality ¡metrics

– Unit ¡tests, ¡CR, ¡CI, ¡design ¡review ¡

  • Usability
  • Reliability
  • Ten ¡years ¡or ¡longer ¡lifespan
  • Integra0on ¡with ¡legacy ¡projects

7 Monday, 18. November 2013

slide-8
SLIDE 8
  • Interac0ve ¡Supercompu0ng

– Recompute, ¡not ¡store ¡results

  • Visualiza0on ¡of ¡mul0-­‑scale ¡simula0ons

– Moving ¡target ¡due ¡to ¡research ¡nature

  • Programming ¡paradigms
  • Challenging ¡rendering ¡problems
  • Usability ¡of ¡current ¡HPC ¡workflows
  • For ¡10+ ¡years

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Blue ¡Brain ¡Visualiza(on ¡Challenge

8 Monday, 18. November 2013

slide-9
SLIDE 9

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

A ¡Modern ¡HPV ¡Architecture ¡Vision

  • Generic, ¡horizontal ¡frameworks

– Data ¡access ¡and ¡sharing – Filter ¡API ¡/ ¡Data ¡Model – Dataflow ¡library – Execu0on ¡environment – Run0me ¡Scheduler

  • Filter ¡implementa0ons
  • Applica0on ¡logic

9

Applications Data Access and Sharing Filter API Dataflow Library Execution Environment Scheduler

Monday, 18. November 2013

slide-10
SLIDE 10

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Data ¡Access ¡and ¡Sharing

  • github:BlueBrain/dash: ¡Boost-­‑style ¡C++ ¡library
  • Generic ¡data ¡access

– Directed ¡acyclic ¡graph ¡with ¡‘any’ ¡Ajribute ¡data – Per-­‑thread ¡Context ¡‘memory ¡space’ – Copy ¡on ¡write ¡seman0c, ¡commit ¡propaga0on

  • Fast ¡and ¡safe ¡data ¡sharing ¡between ¡threads
  • Wait-­‑free ¡reads, ¡lock-­‑free ¡writes
  • External ¡data ¡distribu0on ¡(CoDASH ¡prototype)

10 Monday, 18. November 2013

slide-11
SLIDE 11

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Filter ¡API ¡and ¡Data ¡Model

  • Introspectable
  • Mul0ple ¡independent ¡dash ¡inputs ¡and ¡outputs
  • Op0onal ¡data ¡model ¡(EAVL?)

– Data ¡parallel ¡execu0on – Scheduling

  • Constraints ¡(GPU, ¡Memory, ¡…)
  • Encapsulates ¡algorithms

11 Monday, 18. November 2013

slide-12
SLIDE 12

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Filter ¡Library

  • Construc0on, ¡serializa0on ¡and ¡storage
  • f ¡dataflow ¡graphs
  • Fan-­‑in, ¡fan-­‑out
  • Mul0ple ¡consumers ¡and ¡providers
  • Synchroniza0on ¡policies

12

HPC Raycaster PC File SQL Cloud VR SAGE Image Web Rasterizer Volume Tracer Streamline Raytracer Isosurface

Monday, 18. November 2013

slide-13
SLIDE 13

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Execu(on ¡Environment

  • Distributed ¡service ¡architecture

– Resource ¡and ¡filter ¡discovery – Run0me ¡linking – Failure ¡detec0on ¡and ¡handling

  • Push-­‑based ¡execu0on

– Mul0threaded ¡and ¡mul0process – Task-­‑parallel ¡and ¡data-­‑parallel – DASH ¡and ¡CoDASH ¡do ¡most ¡of ¡the ¡work

13 Monday, 18. November 2013

slide-14
SLIDE 14

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Scheduler

  • BBP/HBP ¡to ¡address ¡in ¡about ¡five ¡years ¡
  • Meta ¡“OS” ¡
  • Resource ¡alloca0on ¡and ¡scheduling
  • Mul0-­‑user ¡and ¡mul0-­‑applica0on
  • Hot ¡research ¡area ¡(Data ¡locality, ¡Cloud, ¡...)
  • Likely ¡shim ¡between ¡execu0on ¡environment ¡

and ¡third-­‑party ¡sopware(s)

14 Monday, 18. November 2013

slide-15
SLIDE 15

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Large ¡Scale ¡Compu(ng ¡Future

15

  • HPC ¡is ¡out-­‑innovated ¡by ¡large ¡data ¡compu0ng

– Hard ¡to ¡find ¡new ¡talent – Cri0cal ¡mass ¡for ¡sopware ¡ecosystem – Funding ¡reallocated ¡to ¡big ¡data

  • HPC ¡needs ¡to ¡modernize

– Tools, ¡usability, ¡reliability, ¡sopware ¡engineering, ¡… – Focus ¡on ¡results, ¡not ¡bit/flops ¡coun0ng

  • Simula0on-­‑based ¡brain ¡research ¡is ¡s0ll ¡young

Monday, 18. November 2013

slide-16
SLIDE 16

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Large ¡Scale ¡Visualiza(on ¡Future

  • HPV: ¡Take ¡the ¡best ¡of ¡HPC ¡and ¡large ¡data ¡

– Usability, ¡robustness, ¡modularity, ¡engineering – Scale ¡and ¡efficiency – Data ¡stores ¡and ¡query ¡languages

  • Engage ¡community

– Open ¡source ¡generic ¡frameworks – Domain-­‑specific ¡applica0ons

16 Monday, 18. November 2013

slide-17
SLIDE 17

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Let’s ¡do ¡it! Stefan.Eilemann@epfl.ch BTW: ¡We’re ¡hiring!

17 Monday, 18. November 2013

slide-18
SLIDE 18

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

Sidelines

  • Steering

– Wrap ¡simula0on ¡as ¡a ¡filter – Change ¡filter ¡inputs

  • Data ¡staging

– Expose ¡DHT ¡as ¡a ¡filter ¡with ¡inputs ¡and ¡outputs

  • Display ¡Walls

– Input ¡pixels, ¡output ¡events/state

18 Monday, 18. November 2013

slide-19
SLIDE 19

Blue ¡Brain ¡Project ¡-­‑ ¡Stefan ¡Eilemann November ¡2013

DASH ¡C++ ¡API

  • Context: ¡data ¡view

– ‘address ¡space’

  • Node: ¡DAG ¡element
  • Ajribute: ¡any ¡data
  • Commit: ¡change ¡set
  • Wait-­‑free ¡reads
  • Fast ¡writes
  • No ¡data ¡model

19

Nodes& getParents() - const, !const Nodes& getChildren() - const, !const Attributes& getAttributes() - c, nc Nodes parents_ Nodes children_ Attributes attributes_ Node Data& get() const Data& get() const Data& operator *() - const,!const Data* operator -> - const, !const Data& operator = (Data&) ... lf::vector< Data* > _values lf::vector< a_int32_t* > _ctxCount ContextPtr Data Nodes

<<bind>> (std::vector< NodePtr >)

Attributes

<<bind>> (std::vector< AttributePtr >) <<bind>> (boost::any)

template< T > Attribute( T& ) template< T > operator= (T&) template< T > T& get() template< T > T& getUnsafe() access operators - c, nc Attribute Data Data 1 2 3 4 NodePtr

<<bind>> (Node)

intrusive_ptr T AttributePtr

<<bind>> (Attribute)

Context() Commit commit() void apply( const Commit& commit ) void map(NodePtr node, Context& to) void unmap( NodePtr node ) Commit changes_; // pending Context ChangeData Change Changes Commit

<<create>> <<create>>

Monday, 18. November 2013