Cloud Architecture for Processing and Distribution of Satellites - - PowerPoint PPT Presentation

▶
cloud architecture for processing and distribution of
SMART_READER_LITE
LIVE PREVIEW

Cloud Architecture for Processing and Distribution of Satellites - - PowerPoint PPT Presentation

Oct 10, 2022 436 likes •777 views

Cloud Architecture for Processing and Distribution of Satellites Imagery J. Becedas, R. Prez, G. Gonzlez, F. Pedrera, M. J. Latorre Rubn Prez Pascual This project has received funding from the European Unions Seventh FOSS4G-Europe

slide-1
SLIDE 1

This project has received funding from the European Union’s Seventh Framework Programme for research, technological development and demonstration under grant agreement no 318389

Cloud Architecture for Processing and Distribution of Satellites Imagery

  • J. Becedas, R. Pérez, G. González, F. Pedrera, M. J. Latorre

Rubén Pérez Pascual FOSS4G-Europe July 15th 2014

slide-2
SLIDE 2

2

Table of Contents

— Introduction — Cloud Architecture 4EO — Preliminary Results — Conclusions — Acknowledgements

slide-3
SLIDE 3

3 1

Introduction

slide-4
SLIDE 4

4

Introduction

— The Organization

— Technology branch of Elecnor Group — About 500 employees — Markets: Aeronautics, Aerospace, Defense, Transport, Energy and

Environment, ICT and Security.

— Deimos 2 satellite was launched last month — Official Webpage: http://www.deimos-space.com/

slide-5
SLIDE 5

5

Introduction

— Deimos 2 satellite:

  • First high-resolution spanish satellite.
  • In commissioning stage.
slide-6
SLIDE 6

6

Introduction

— Deimos 2 satellite:

  • First high-resolution spanish satellite.
  • In commissioning stage.
slide-7
SLIDE 7

7

Introduction

— Traditional Processing Earth Observation

(EO) images

slide-8
SLIDE 8

8

Introduction

— Official Webpage: http://www.bonfire-project.eu/ — Partner from Fed4FIRE (http://www.fed4fire.eu/) — Multi-Cloud testbed for services experimentation

  • EPCC cloud (https://www.epcc.ed.ac.uk/) : Offers compute resources with Virtual

Machines for processing.

  • INRIA cloud (http://www.inria.fr/): Offers compute resources with Virtual Machines

for processing.

  • IBBT for emulated networks and shared storages. (http://www.iminds.be/).
slide-9
SLIDE 9

9 2

Cloud Architecture

slide-10
SLIDE 10

10

Cloud Architecture 4EO

— Architecture constituted by two layers:

Layer ¡1 ¡ Layer ¡2 ¡

ORCHESTRATOR ¡ IaaS ¡ Processing ¡Chain ¡ Archive&Catalogue ¡ Processors ¡ Storage ¡ A&C ¡ Datablock ¡ Raster ¡and ¡Vector ¡ (R&V) ¡Datastore ¡ R&V ¡ Datastore ¡ ¡ Tiles ¡ ¡Cache ¡ Tiles ¡Cache ¡ Datastore ¡ EO ¡Server ¡

slide-11
SLIDE 11

11 BonFIRE ¡ EPCC ¡ INRIA ¡

ORCHESTRATOR ¡ IaaS ¡ Processing ¡Chain ¡ Archive&Catalogue ¡ Processors ¡ Storage ¡ A&C ¡ Datablock ¡

hGp ¡ hGp ¡ Internet ¡

Raster ¡and ¡Vector ¡ Datastore ¡ R&V ¡ Datastore ¡ ¡

be-­‑ibbt ¡

Tiles ¡ ¡Cache ¡ Tiles ¡Cache ¡ Datastore ¡

Layer ¡2: ¡Image ¡DistribuLon ¡and ¡VisualizaLon ¡ Layer ¡1: ¡ ¡Image ¡processing ¡and ¡archiving ¡ hGp ¡

EO ¡Server ¡

Cloud Architecture 4EO

slide-12
SLIDE 12

12

Cloud Architecture 4EO

— Layer 1 Components:

  • Orchestrator: it manages the ingestion,

processing, archiving and cataloguing.

  • Processing Chain Cluster: It processes the raw

data that the Orchestrator ingests and obtains geo-located images. It uses the Processing Chain Shared Store.

  • Archive & Catalogue: It stores and catalogues

the Processing Chain products. It uses the Archive & Catalogue Storage for storing the images.

slide-13
SLIDE 13

13

Cloud Architecture 4EO

— Layer 2 Components:

  • Image distribution and visualization module

– EO Server – Tiles Cache

slide-14
SLIDE 14

14 BonFIRE ¡ EPCC ¡ INRIA ¡

ORCHESTRATOR ¡ IaaS ¡ Processing ¡Chain ¡ Archive&Catalogue ¡ Processors ¡ Storage ¡ A&C ¡ Datablock ¡

hGp ¡ hGp ¡ Internet ¡

Raster ¡and ¡Vector ¡ Datastore ¡ R&V ¡ Datastore ¡ ¡

be-­‑ibbt ¡

Tiles ¡ ¡Cache ¡ Tiles ¡Cache ¡ Datastore ¡

L2: ¡Image ¡DistribuLon ¡and ¡VisualizaLon ¡ L1: ¡ ¡Image ¡processing ¡and ¡archiving ¡ hGp ¡

EO ¡Server ¡

Cloud Architecture 4EO: Orchestrator

slide-15
SLIDE 15

15

Cloud Architecture 4EO: Layer 1

— Orchestrator

  • It connects with the Ground

Stations by FTP protocol.

slide-16
SLIDE 16

16

Cloud Architecture 4EO: Layer 1

— Orchestrator

  • It connects with the Ground

Stations by FTP protocol.

  • It ingests the available Raw Data

from the Ground Stations

slide-17
SLIDE 17

17

Cloud Architecture 4EO: Layer 1

— Orchestrator

  • It connects with the Ground

Stations by FTP protocol.

  • It ingests the available Raw Data

from the Ground Stations

  • It creates a new Processing

Chain to process the ingested data.

slide-18
SLIDE 18

18

Cloud Architecture 4EO: Layer 1

— Orchestrator

  • It connects with the Ground

Stations by FTP protocol.

  • It ingests the available Raw Data

from the Ground Stations

  • It creates a new Processing

Chain to process the ingested data.

  • When a Processing Chain ends

its execution, the Orchestrator sends the results to the Archive and Catalogue module.

slide-19
SLIDE 19

19 BonFIRE ¡ EPCC ¡ INRIA ¡

ORCHESTRATOR ¡ IaaS ¡ Processing ¡Chain ¡ Archive&Catalogue ¡ Processors ¡ Shared ¡ Storage ¡ A&C ¡ Datablock ¡

hGp ¡ hGp ¡ Internet ¡

Raster ¡and ¡Vector ¡ Datastore ¡ R&V ¡ Datastore ¡ ¡

be-­‑ibbt ¡

Tiles ¡ ¡Cache ¡ Tiles ¡Cache ¡ Datastore ¡

L2: ¡Image ¡DistribuLon ¡and ¡VisualizaLon ¡ L1: ¡ ¡Image ¡processing ¡and ¡archiving ¡ hGp ¡

EO ¡Server ¡

Cloud Architecture 4EO

slide-20
SLIDE 20

20

Cloud Architecture 4EO

— Processing Chain Cluster

  • Elasticity as a Service (IaaS) works in a cluster.
  • When a new raw data is incoming, a new

Processing Chain is created by the IaaS manager for performing the data.

  • When the Processing Chain has finished, the used

resources are released.

  • Processors Shared Storage where the temporally

files are stored during the processing.

slide-21
SLIDE 21

21

Cloud Architecture 4EO

— Processing Chain: Stages

  • L0

– The acquired data is organized into image sectors of predefined size and structure and it is converted into scenes.

slide-22
SLIDE 22

22

Cloud Architecture 4EO

— Processing Chain: Stages

  • L1A

– L0 products are calibrated in units of radiance.

slide-23
SLIDE 23

23

Cloud Architecture 4EO

— Processing Chain: Stages

  • L1B

– L1A products are geo-located, resampled and packed.

slide-24
SLIDE 24

24

Cloud Architecture 4EO

— Processing Chain: Stages

  • L1C

– It performs the ortho-rectification of the L1B products using ground control points.

slide-25
SLIDE 25

25 BonFIRE ¡ EPCC ¡ INRIA ¡

ORCHESTRATOR ¡ IaaS ¡ Processing ¡Chain ¡ Archive&Catalogue ¡ Processors ¡ Storage ¡ A&C ¡ Datablock ¡

hGp ¡ hGp ¡ Internet ¡

Raster ¡and ¡Vector ¡ Datastore ¡ R&V ¡ Datastore ¡ ¡

be-­‑ibbt ¡

Tiles ¡ ¡Cache ¡ Tiles ¡Cache ¡ Datastore ¡

L2: ¡Image ¡DistribuLon ¡and ¡VisualizaLon ¡ L1: ¡ ¡Image ¡processing ¡and ¡archiving ¡ hGp ¡

EO ¡Server ¡

Cloud Architecture 4EO

slide-26
SLIDE 26

26

Cloud Architecture 4EO

— Archive & Catalogue

  • It is implemented by Geo-Server and CSW Geo-

Server’s plugin.

  • It stores and catalogues the processed images.
  • It provides the catalogue through a CSW interface.
slide-27
SLIDE 27

27

Cloud Architecture 4EO

— Tools

slide-28
SLIDE 28

28 3

Preliminary Results

slide-29
SLIDE 29

29

Preliminary Results

— Reduction in the delivery of the images to the end

  • users. About 8 minutes a radiometric corrected

and geolocated image.

— Reduction in the transfer of data. — Parallel image processing. — Automatic archive and catalogue of satellite

imagery.

— Instantaneous access to satellite imagery through

the Internet.

slide-30
SLIDE 30

30 4

Conclusions

slide-31
SLIDE 31

31

Conclusions

— The architecture reduces the images delivery time

for end-users.

— Using open-source platforms, an operational cloud

architecture can be implemented.

— The EO bussiness capabilities can be improved

using cloud computing.

— Fed4FIRE provides multiple test-beds and tools for

experimenters facilitating:

  • The deployment, control and monitor of the experiment
  • Easy access to the testbeds
  • Valuable tools for experimentation
slide-32
SLIDE 32

32

Acknowledgement

— This work was carried out with the support of the

Fed4FIRE-project (“Federation for FIRE"), an Integrated project receiving funding from the European Union’s Seventh Framework Programme for research, technological development and demonstration under grant agreement no 318389

— It does not necessarily reflect the views of the European

  • Commission. The European Commission is not liable for

any use that may be made of the information contained herein.

slide-33
SLIDE 33

33

Thanks for your attention

Contacts: jonathan.becedas@elecnor-deimos.es felix.pedrera@deimos-space.com ruben.perez@elecnor-deimos.es manuel-jose.latorre@deimos-space.com