Update on Classification Hardware, Software, and QC/QA Herb Nelson - - PowerPoint PPT Presentation

▶
update on classification hardware
SMART_READER_LITE
LIVE PREVIEW

Update on Classification Hardware, Software, and QC/QA Herb Nelson - - PowerPoint PPT Presentation

Oct 14, 2023 376 likes •834 views

Update on Classification Hardware, Software, and QC/QA Herb Nelson Program Manager for Munitions Response SERDP & ESTCP 571-372-6400 herb.nelson@nrl.navy.mil Outline Hardware Diversity of Deployment Platforms Dynamic Survey

slide-1
SLIDE 1

Update on Classification Hardware, Software, and QC/QA

Herb Nelson Program Manager for Munitions Response SERDP & ESTCP 571-372-6400 herb.nelson@nrl.navy.mil

slide-2
SLIDE 2

Outline

  • Hardware

Diversity of Deployment Platforms Dynamic Survey Data Data Acquisition Software Updates Geometrics Update

  • Analysis Software

Major improvements to workflow in UX-Analyze

  • QC/QA Tools

Draft QAPP SOPs

  • Example Workflow

2 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-3
SLIDE 3

MetalMapper

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA 3

Ellis Hawthorne Sibert MMR

slide-4
SLIDE 4

TEMTADS 2x2

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA 4

MMR Spencer New Boston

  • Ft. Bliss
slide-5
SLIDE 5

5

MPV

New Boston Dynamic (GPS or Line/Fiducial) Cued (local Beacon positioning) New Boston Spencer

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-6
SLIDE 6

Comparison of Survey Data

Camp Ellis

6

EM61 TEMTADS 2x2 MetalMapper

15 m 15 m 15 m

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-7
SLIDE 7

Comparison of Survey Data

Seed Offsets

7

Avg Max %>40 cm EM61 27 54 17% TEMTADS 2x2 12 28 0% Spencer Dynamic Area Data

  • Rethink acceptable offset: standard (~0.6-0.8m)

vs cued (0.4m)

  • Time wasted searching with ‘dancing arrows’ &

recollects

  • Potentially collect wrong target

Ellis Dynamic Data Avg Max %>40 cm EM61 33 100 29% MM 18 50 4%

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-8
SLIDE 8

Comparison of Survey Data

Seed Offsets

8

EM61 MetalMapper 2.36” rocket X EM61- 0.74m offset

+ MM- 0.2m offset

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-9
SLIDE 9

Updates to Advanced Sensors

  • In-field QC
  • MetalMapper Improvement Project from Geometrics

ruggedize standardize

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA 9

slide-10
SLIDE 10

Data Acquisition Software Updates

10

Collect Data - check GPS/IMU quality

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

TEMTADS 2x2

monitor data stream integrity

slide-11
SLIDE 11

Data Acquisition Software Updates

11

TEMTADS 2x2

in-field inversion

Invert - check offset

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-12
SLIDE 12

Data Acquisition Software Updates

12

TEMTADS 2x2

in-field inversion

Invert - view polarizabilities

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-13
SLIDE 13

Data Acquisition Software Updates

13

TEMTADS 2x2

Sensor function test

pass fail

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-14
SLIDE 14

Data Acquisition Software Updates

MetalMapper

BT Field: in-field QC

14

  • Inverted position check
  • ‘Green light’ GPS/IMU
  • Polarizability plot & library match

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-15
SLIDE 15

Update from Geometrics

  • ESTCP Project to ruggedize & standardize MetalMapper

hardware improvements software simpler and more robust

  • New version expected for sale/rent in Summer/Fall 2014

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA 15

slide-16
SLIDE 16

Ruggedized Electronics Packaging

16

  • Weather proof enclosure
  • Reduced number of connectors

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-17
SLIDE 17

New Electronics

17

  • New electronics with no

reliance on 3rd party manufacturers

  • Ability to package

electronics in ruggedized package

  • Reduction in power

requirements

  • Can support 3 or 4

transmitters

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-18
SLIDE 18

Ruggedized Construction of Tx and Rx

18

  • 3D printing techniques used for receiver cubes
  • Less sensitive to effects of moisture
  • No change to response
  • Currently evaluating costs for 3D printed

transmitter coils

  • Too large to print as single item
  • Current Goal: 3D print complex parts (i.e.

corners) and used milled plastic stock for sides.

  • This will allow simpler design/

construction of multiple transmitter coil sizes

  • Development of 3D models will allow easy

transition to molded parts for increased production at lower cost

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-19
SLIDE 19

Simplified Software Interface

19

  • Increased use of icons to

display QC information

  • Integrated in-field inversions
  • Increased QC checks
  • Automated reminders for

background measurements

  • Simplified parameter input
  • Data stored in open source format

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-20
SLIDE 20

Availability of Advanced Sensors

20

  • ~10 MetalMappers

4 USACE - GFE Rent $500/day Summer/Fall - New model at substantial cost reduction

  • ~6 TEMTADS 2x2

Navy owns one - Vieques NRL - GFE Within year - available for purchase from Geometrics

  • 1 MPV

Possible transition - Geometrics’ new electronics box will work

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-21
SLIDE 21

Updates to Analysis Software

  • Major improvements to workflow in UX-Analyze

reduce routine load on the analyst focus analyst time on QC issues standardize data views and outputs

  • Released to “power users” for comment
  • Training in coordination with NAOC in April

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA 21

slide-22
SLIDE 22

Software Overview

  • UX-Analyze is fully integrated into Oasis montaj as a

menu driven set of functions for geophysical target characterization and classification.

  • These functions permit users to effectively classify

munitions targets

  • Released to the US Government and commercial

contractors (free of charge to recipients)

22 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-23
SLIDE 23

Processing Flow

23

  • Fundamental Analysis Steps

1.

Construct a Library (Expected Munitions and Clutter)

2.

QC Measured Data (Blind and Background)

3.

Invert and Look for Expected Munitions

4.

Look for Unexpected Munitions

5.

Prioritize

  • Results and final products

Construct a Library QC Measured Data Invert and Look for Expected Munitions Look for Unexpected Munitions Prioritize M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-24
SLIDE 24

Lots Going On in Each Step

24

Lots and Lots of Individual Steps…

  • Analysts need training and practice
  • Third party QC review is critical

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-25
SLIDE 25

QC/QA Tools

  • Draft UFP-QAPP worksheets
  • SOPs for common operations

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA 25

slide-26
SLIDE 26

UFP QAPP for Classification

  • ESTCP and CA DTSC have

developed a draft QAPP for Classification applied to MR

  • Handed off to a workgroup of

the Intergovernmental Data Quality Task Force

finalize promulgate

  • Field test this summer at San

Luis Obispo in conjunction with USACE

26 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-27
SLIDE 27

Worksheets Included

27

1 & 2 Title and Approval Page 13 Secondary Data Uses and Limitations 3 & 5 Project Organization and QAPP Distribution 14 & 16 Project Tasks and Schedule 4 , 7 & 8 Personnel Qualifications and Sign-

  • ff Sheet

17 Sampling Design and Project Work Flow 6 Communication Pathways 20 Quality Control and Corrective Action 9 Project Planning Session Summary 21 Field and Data Analysis SOPs 10 Conceptual Site Model 29 Project Documents and Records 11 Data Quality Objectives 34 Final Data Verification 12 Measurement Performance Criteria

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-28
SLIDE 28

SOPs Included

28

1 ¡ Assemble ¡the ¡MetalMapper ¡System ¡and ¡Verify ¡Correct ¡Opera:on ¡ 2 ¡ Test ¡Sensor ¡and ¡System ¡at ¡the ¡IVS ¡ 3 ¡ Produc:on ¡Area ¡Seeding ¡ 4 ¡ Collect ¡Dynamic ¡Data ¡Using ¡the ¡MetalMapper ¡Sensor ¡ 5 ¡ Preprocess ¡Dynamic ¡Data ¡and ¡Iden:fy ¡Anomalies ¡ 6 ¡ Collect ¡Sta:c ¡Background ¡Measurements ¡ 7 ¡ Collect ¡Cued ¡Target ¡Measurements ¡ 8 ¡ Verify ¡Usability ¡of ¡Advanced ¡Sensor ¡Data ¡ 9 ¡ Background ¡Correct ¡Cued ¡Anomaly ¡Data ¡ 10 ¡ Invert ¡anomaly ¡data ¡to ¡extract ¡source ¡parameters ¡ 11 ¡ Compare ¡extracted ¡parameters ¡to ¡MEC ¡signatures ¡in ¡the ¡data ¡library ¡ 12 ¡ Develop ¡priori:zed ¡dig ¡list ¡using ¡library ¡matching ¡and ¡other ¡factors ¡ 13 ¡ Verify ¡recovered ¡objects ¡are ¡compa:ble ¡with ¡analyst’s ¡predic:ons ¡ ¡ 14 ¡ Develop ¡verifica:on ¡sampling ¡dig ¡list ¡and ¡perform ¡verifica:on ¡sampling ¡

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-29
SLIDE 29

SOPs Included (Pre-survey)

29

1 ¡ Assemble ¡the ¡MetalMapper ¡System ¡and ¡Verify ¡Correct ¡Opera:on ¡ 2 ¡ Test ¡Sensor ¡and ¡System ¡at ¡the ¡IVS ¡ 3 ¡ Produc:on ¡Area ¡Seeding ¡ 4 ¡ Collect ¡Dynamic ¡Data ¡Using ¡the ¡MetalMapper ¡Sensor ¡ 5 ¡ Preprocess ¡Dynamic ¡Data ¡and ¡Iden:fy ¡Anomalies ¡ 6 ¡ Collect ¡Sta:c ¡Background ¡Measurements ¡ 7 ¡ Collect ¡Cued ¡Target ¡Measurements ¡ 8 ¡ Verify ¡Usability ¡of ¡Advanced ¡Sensor ¡Data ¡ 9 ¡ Background ¡Correct ¡Cued ¡Anomaly ¡Data ¡ 10 ¡ Invert ¡anomaly ¡data ¡to ¡extract ¡source ¡parameters ¡ 11 ¡ Compare ¡extracted ¡parameters ¡to ¡MEC ¡signatures ¡in ¡the ¡data ¡library ¡ 12 ¡ Develop ¡priori:zed ¡dig ¡list ¡using ¡library ¡matching ¡and ¡other ¡factors ¡ 13 ¡ Verify ¡recovered ¡objects ¡are ¡compa:ble ¡with ¡analyst’s ¡predic:ons ¡ 14 ¡ Develop ¡verifica:on ¡sampling ¡dig ¡list ¡and ¡perform ¡verifica:on ¡sampling ¡

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-30
SLIDE 30

SOPs Included (Geophysical Data)

30

1 ¡ Assemble ¡the ¡MetalMapper ¡System ¡and ¡Verify ¡Correct ¡Opera:on ¡ 2 ¡ Test ¡Sensor ¡and ¡System ¡at ¡the ¡IVS ¡ 3 ¡ Produc:on ¡Area ¡Seeding ¡ 4 ¡ Collect ¡Dynamic ¡Data ¡Using ¡the ¡MetalMapper ¡Sensor ¡ 5 ¡ Preprocess ¡Dynamic ¡Data ¡and ¡Iden:fy ¡Anomalies ¡ 6 ¡ Collect ¡Sta:c ¡Background ¡Measurements ¡ 7 ¡ Collect ¡Cued ¡Target ¡Measurements ¡ 8 ¡ Verify ¡Usability ¡of ¡Advanced ¡Sensor ¡Data ¡ 9 ¡ Background ¡Correct ¡Cued ¡Anomaly ¡Data ¡ 10 ¡ Invert ¡anomaly ¡data ¡to ¡extract ¡source ¡parameters ¡ 11 ¡ Compare ¡extracted ¡parameters ¡to ¡MEC ¡signatures ¡in ¡the ¡data ¡library ¡ 12 ¡ Develop ¡priori:zed ¡dig ¡list ¡using ¡library ¡matching ¡and ¡other ¡factors ¡ 13 ¡ Verify ¡recovered ¡objects ¡are ¡compa:ble ¡with ¡analyst’s ¡predic:ons ¡ 14 ¡ Develop ¡verifica:on ¡sampling ¡dig ¡list ¡and ¡perform ¡verifica:on ¡sampling ¡

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-31
SLIDE 31

SOPs Included (Extract Parameters)

31

1 ¡ Assemble ¡the ¡MetalMapper ¡System ¡and ¡Verify ¡Correct ¡Opera:on ¡ 2 ¡ Test ¡Sensor ¡and ¡System ¡at ¡the ¡IVS ¡ 3 ¡ Produc:on ¡Area ¡Seeding ¡ 4 ¡ Collect ¡Dynamic ¡Data ¡Using ¡the ¡MetalMapper ¡Sensor ¡ 5 ¡ Preprocess ¡Dynamic ¡Data ¡and ¡Iden:fy ¡Anomalies ¡ 6 ¡ Collect ¡Sta:c ¡Background ¡Measurements ¡ 7 ¡ Collect ¡Cued ¡Target ¡Measurements ¡ 8 ¡ Verify ¡Usability ¡of ¡Advanced ¡Sensor ¡Data ¡ 9 ¡ Background ¡Correct ¡Cued ¡Anomaly ¡Data ¡ 10 ¡ Invert ¡anomaly ¡data ¡to ¡extract ¡source ¡parameters ¡ 11 ¡ Compare ¡extracted ¡parameters ¡to ¡MEC ¡signatures ¡in ¡the ¡data ¡library ¡ 12 ¡ Develop ¡priori:zed ¡dig ¡list ¡using ¡library ¡matching ¡and ¡other ¡factors ¡ 13 ¡ Verify ¡recovered ¡objects ¡are ¡compa:ble ¡with ¡analyst’s ¡predic:ons ¡ 14 ¡ Develop ¡verifica:on ¡sampling ¡dig ¡list ¡and ¡perform ¡verifica:on ¡sampling ¡

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-32
SLIDE 32

SOPs Included (Classify)

32

1 ¡ Assemble ¡the ¡MetalMapper ¡System ¡and ¡Verify ¡Correct ¡Opera:on ¡ 2 ¡ Test ¡Sensor ¡and ¡System ¡at ¡the ¡IVS ¡ 3 ¡ Produc:on ¡Area ¡Seeding ¡ 4 ¡ Collect ¡Dynamic ¡Data ¡Using ¡the ¡MetalMapper ¡Sensor ¡ 5 ¡ Preprocess ¡Dynamic ¡Data ¡and ¡Iden:fy ¡Anomalies ¡ 6 ¡ Collect ¡Sta:c ¡Background ¡Measurements ¡ 7 ¡ Collect ¡Cued ¡Target ¡Measurements ¡ 8 ¡ Verify ¡Usability ¡of ¡Advanced ¡Sensor ¡Data ¡ 9 ¡ Background ¡Correct ¡Cued ¡Anomaly ¡Data ¡ 10 ¡ Invert ¡anomaly ¡data ¡to ¡extract ¡source ¡parameters ¡ 11 ¡ Compare ¡extracted ¡parameters ¡to ¡MEC ¡signatures ¡in ¡the ¡data ¡library ¡ 12 ¡ Develop ¡priori:zed ¡dig ¡list ¡using ¡library ¡matching ¡and ¡other ¡factors ¡ 13 ¡ Verify ¡recovered ¡objects ¡are ¡compa:ble ¡with ¡analyst’s ¡predic:ons ¡ 14 ¡ Develop ¡verifica:on ¡sampling ¡dig ¡list ¡and ¡perform ¡verifica:on ¡sampling ¡

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-33
SLIDE 33

SOPs Included (QA)

33

1 ¡ Assemble ¡the ¡MetalMapper ¡System ¡and ¡Verify ¡Correct ¡Opera:on ¡ 2 ¡ Test ¡Sensor ¡and ¡System ¡at ¡the ¡IVS ¡ 3 ¡ Produc:on ¡Area ¡Seeding ¡ 4 ¡ Collect ¡Dynamic ¡Data ¡Using ¡the ¡MetalMapper ¡Sensor ¡ 5 ¡ Preprocess ¡Dynamic ¡Data ¡and ¡Iden:fy ¡Anomalies ¡ 6 ¡ Collect ¡Sta:c ¡Background ¡Measurements ¡ 7 ¡ Collect ¡Cued ¡Target ¡Measurements ¡ 8 ¡ Verify ¡Usability ¡of ¡Advanced ¡Sensor ¡Data ¡ 9 ¡ Background ¡Correct ¡Cued ¡Anomaly ¡Data ¡ 10 ¡ Invert ¡anomaly ¡data ¡to ¡extract ¡source ¡parameters ¡ 11 ¡ Compare ¡extracted ¡parameters ¡to ¡MEC ¡signatures ¡in ¡the ¡data ¡library ¡ 12 ¡ Develop ¡priori:zed ¡dig ¡list ¡using ¡library ¡matching ¡and ¡other ¡factors ¡ 13 ¡ Verify ¡recovered ¡objects ¡are ¡compa:ble ¡with ¡analyst’s ¡predic:ons ¡ 14 ¡ Develop ¡verifica:on ¡sampling ¡dig ¡list ¡and ¡perform ¡verifica:on ¡sampling ¡

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-34
SLIDE 34

Example Workflow

34 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-35
SLIDE 35

Surface Sweep

35 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-36
SLIDE 36

IVS Report

36 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-37
SLIDE 37

Detection Survey

37 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-38
SLIDE 38

Conclusion of Detection Survey

38 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-39
SLIDE 39

First Cued IVS Visit

39 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-40
SLIDE 40

Cued Survey

40 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-41
SLIDE 41

Conclusion of Cued Data Collection

41 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-42
SLIDE 42

Conclusion of Intrusive Work

42 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-43
SLIDE 43

Final Stage of Project

  • Government prepares final validation plan

test each decision threshold random digs of non-TOI to test inversion results

  • Validation digs
  • If no surprises, project is complete

43 M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA

slide-44
SLIDE 44

For More Information

serdp-estcp.org

Featured Initiatives > Munitions Response Initiatives > Classification Applied to Munitions Response Or Search – Classification Applied to Munitions Response

M2S2 Webinar - Update on Classification Hardware, Software, and QC/QA 44