undersea computer vision methods Lynda Hardman CWI (Centrum - - PowerPoint PPT Presentation

▶
undersea computer vision methods
SMART_READER_LITE
LIVE PREVIEW

undersea computer vision methods Lynda Hardman CWI (Centrum - - PowerPoint PPT Presentation

Sep 23, 2023 227 likes •429 views

Fish4Knowledge Large scale coral reef fish monitoring using undersea computer vision methods Lynda Hardman CWI (Centrum Wiskunde & InformaBca), Amsterdam, NL

slide-1
SLIDE 1

Fish4Knowledge ¡

Large ¡scale ¡coral ¡reef ¡fish ¡monitoring ¡using ¡ undersea ¡computer ¡vision ¡methods ¡ Lynda ¡Hardman ¡

CWI ¡(Centrum ¡Wiskunde ¡& ¡InformaBca), ¡Amsterdam, ¡NL ¡

Centre ¡for ¡MathemaBcs ¡& ¡Computer ¡Science ¡

slide-2
SLIDE 2

THE FISH4KNOWLEDGE PROJECT

  • 1. Collec(ng ¡Video ¡Data ¡
  • CollecBng ¡videos ¡
  • DetecBng ¡fish ¡
  • Recognizing ¡fish ¡species ¡
  • Recognizing ¡fish ¡behaviors ¡
  • EvaluaBng ¡video ¡analysis ¡accuracy ¡
  • 2. ¡Exploring ¡Video ¡Data ¡
  • Exploring ¡fish ¡counts ¡
  • InvesBgaBng ¡species ¡composiBon ¡
  • Checking ¡potenBal ¡biases ¡

2 ¡ fish4knowledge.eu ¡

slide-3
SLIDE 3

THE FISH4KNOWLEDGE PROJECT

  • 1. Collec(ng ¡Video ¡Data ¡
  • CollecBng ¡videos ¡
  • DetecBng ¡fish ¡
  • Recognizing ¡fish ¡species ¡
  • Recognizing ¡fish ¡behaviors ¡
  • EvaluaBng ¡video ¡analysis ¡accuracy ¡
  • 2. ¡Exploring ¡Video ¡Data ¡
  • Exploring ¡fish ¡counts ¡
  • InvesBgaBng ¡species ¡composiBon ¡
  • Checking ¡potenBal ¡biases ¡

3 ¡ fish4knowledge.eu ¡

slide-4
SLIDE 4

COLLECTING VIDEO DATA

 Mul(ple ¡video ¡streams: ¡9 ¡Cameras, ¡>20,000 ¡hours ¡of ¡videos ¡(Dec. ¡2012) ¡  Terabyte-­‑scale ¡data ¡pla@orm ¡  High-­‑performance ¡servers ¡for ¡data ¡access ¡ ¡

4 ¡ fish4knowledge.eu ¡

slide-5
SLIDE 5

DETECTING FISH

 Detec(on ¡of ¡fish ¡in ¡each ¡frame ¡ ¡  Descrip(on ¡of ¡fish ¡contour, ¡color, ¡texture... ¡(>30 ¡features) ¡  Tracking ¡of ¡single ¡fish ¡over ¡several ¡frames ¡  Handling ¡par(al ¡and ¡total ¡occlusions ¡  Over ¡400 ¡million ¡fish ¡detec(ons ¡ ¡

5 ¡ fish4knowledge.eu ¡

slide-6
SLIDE 6

RECOGNIZING FISH SPECIES

 Detec(on ¡of ¡body ¡parts ¡(head, ¡tail…) ¡  Construc(on ¡of ¡a ¡fish ¡model ¡for ¡each ¡species ¡  15 ¡species ¡detected ¡(96% ¡of ¡total ¡number ¡of ¡fish) ¡

slide-7
SLIDE 7

RECOGNIZING FISH BEHAVIORS

 Detec(on ¡of ¡behaviors ¡by ¡analyzing ¡trajectories ¡  Rela(on ¡to ¡background ¡objects ¡(feeding, ¡hiding…) ¡  Rela(on ¡to ¡other ¡fish ¡(pairing, ¡grouping, ¡solitary…) ¡

Fish ¡Trajectories ¡ DescripBon ¡of ¡scene’s ¡background ¡

slide-8
SLIDE 8

THE FISH4KNOWLEDGE PROJECT

  • 1. Collec(ng ¡Video ¡Data ¡
  • CollecBng ¡videos ¡
  • DetecBng ¡fish ¡
  • Recognizing ¡fish ¡species ¡
  • Recognizing ¡fish ¡behaviors ¡
  • EvaluaBng ¡video ¡analysis ¡accuracy ¡
  • 2. ¡Exploring ¡Video ¡Data ¡
  • Exploring ¡fish ¡counts ¡
  • InvesBgaBng ¡species ¡composiBon ¡
  • Checking ¡potenBal ¡biases ¡

8 ¡ fish4knowledge.eu ¡

slide-9
SLIDE 9

EVALUATING VIDEO ANALYSIS ACCURACY

9 ¡ fish4knowledge.eu ¡

 Comparison ¡with ¡manual ¡detec(ons ¡by ¡experts ¡  Fish ¡detec(on ¡game ¡to ¡encourage ¡crowd ¡sourcing ¡

slide-10
SLIDE 10

EVALUATING VIDEO ANALYSIS ACCURACY

 Certainty ¡Scores ¡indicate ¡the ¡quality ¡of ¡each ¡detec(on ¡  These ¡can ¡be ¡used ¡to ¡filter ¡out ¡low-­‑quality ¡fish ¡

Score ¡> ¡0.8 ¡

Fish ¡Counts ¡for ¡5 ¡Certainty ¡Score ¡Thresholds ¡

Score ¡> ¡0.2 ¡ Score ¡> ¡0.4 ¡ Score ¡> ¡0.5 ¡ Score ¡> ¡0.6 ¡

Certainty ¡Score: ¡0.4 ¡ Certainty ¡Score: ¡0.9 ¡ Certainty ¡Score: ¡0.75 ¡ Certainty ¡Score: ¡0.6 ¡

slide-11
SLIDE 11

THE FISH4KNOWLEDGE PROJECT

  • 1. Collec(ng ¡Video ¡Data ¡
  • CollecBng ¡videos ¡
  • DetecBng ¡fish ¡
  • Recognizing ¡fish ¡species ¡
  • Recognizing ¡fish ¡behaviors ¡
  • EvaluaBng ¡video ¡analysis ¡accuracy ¡
  • 2. ¡Exploring ¡Video ¡Data ¡
  • Exploring ¡fish ¡counts ¡
  • InvesBgaBng ¡species ¡composiBon ¡
  • Checking ¡potenBal ¡biases ¡

11 ¡ fish4knowledge.eu ¡

slide-12
SLIDE 12

ABUNDANCE OF DASCYLLUS RETICULATUS

slide-13
SLIDE 13

ABUNDANCE OF DASCYLLUS RETICULATUS

slide-14
SLIDE 14

THE FISH4KNOWLEDGE PROJECT

  • 1. Collec(ng ¡Video ¡Data ¡
  • CollecBng ¡videos ¡
  • DetecBng ¡fish ¡
  • Recognizing ¡fish ¡species ¡
  • Recognizing ¡fish ¡behaviors ¡
  • EvaluaBng ¡video ¡analysis ¡accuracy ¡
  • 2. ¡Exploring ¡Video ¡Data ¡
  • Exploring ¡fish ¡counts ¡
  • InvesBgaBng ¡species ¡composiBon ¡
  • Checking ¡potenBal ¡biases ¡

14 ¡ fish4knowledge.eu ¡

slide-15
SLIDE 15

SPECIES COMPOSITION DEPENDS ON LOCATION

slide-16
SLIDE 16

Amphiprion ¡clarkii, ¡Camera ¡38 ¡ Plectroglyphidodon ¡dickii, ¡Camera ¡39 ¡

slide-17
SLIDE 17

SPECIES COMPOSITION DEPENDS ON LOCATION

slide-18
SLIDE 18

THE FISH4KNOWLEDGE PROJECT

  • 1. Collec(ng ¡Video ¡Data ¡
  • CollecBng ¡videos ¡
  • DetecBng ¡fish ¡
  • Recognizing ¡fish ¡species ¡
  • Recognizing ¡fish ¡behaviors ¡
  • EvaluaBng ¡video ¡analysis ¡accuracy ¡
  • 2. ¡Exploring ¡Video ¡Data ¡
  • Exploring ¡fish ¡counts ¡
  • InvesBgaBng ¡species ¡composiBon ¡
  • Checking ¡potenBal ¡biases ¡

18 ¡ fish4knowledge.eu ¡

slide-19
SLIDE 19

SPECIES COMPOSITION DEPENDS ON LOCATION

Plectroglyphidodon ¡dickii, ¡Camera ¡38 ¡ Amphiprion ¡clarkii, ¡Camera ¡38 ¡ Plectroglyphidodon ¡dickii, ¡Camera ¡39 ¡ Amphiprion ¡clarkii, ¡Camera ¡39 ¡

slide-20
SLIDE 20

THE FISH4KNOWLEDGE PROJECT

20 ¡ fish4knowledge.eu ¡

h\p://fish4knowledge.eu/people.htm ¡

  • ¡ ¡ ¡University ¡of ¡Edinburgh ¡(United ¡Kingdom) ¡

¡

  • ¡ ¡ ¡Università ¡di ¡Catania ¡(Italy) ¡
  • ¡ ¡ ¡Centrum ¡Wiskunde ¡& ¡Informa(ca ¡(Netherlands) ¡
  • ¡ ¡ ¡Na(onal ¡Applied ¡Research ¡Laboratories ¡(Taiwan) ¡