AI as a Service, Edge, Platform Avitas System, IaaS FPI - - PowerPoint PPT Presentation

AI ¡as ¡a ¡Service, ¡Edge, ¡Platform ¡– Avitas System, ¡IaaS

FPI ¡– Fluorescent ¡Penetrant ¡Inspection

End-­‑to-­‑end ¡system ¡for ¡automated ¡defect ¡detection

• Fluorescent ¡penetrant ¡area ¡detection
• ­‑ unsupervised ¡method ¡to ¡identify ¡fluorescent ¡penetrant ¡area
• Deep ¡learning ¡based ¡defect ¡detection ¡and ¡classification
• Crack ¡localization ¡and ¡automatic ¡report ¡generation ¡using ¡3D ¡techniques

DRM ¡-­‑ Automatic ¡Distress ¡Ranking ¡System

• Deployed ¡at ¡GE ¡aviation ¡shops
• SPOT ¡ON ¡accuracy

Original ¡image Segmentation ¡result Ground ¡truth ¡by ¡manual ¡ annotation

(a) (b) mean IU = 86.94, pixel acc = 96.14 (c) (d) (e) mean IU = 88.46, pixel acc = 95.96 (f)

OCR ¡– Part/Serial ¡Number ¡Recognition

• The Network Architecture

Convolution

Convolution Convolution

40×480×32 20×240×32 10×120×64

E00070EN

1×1×64 Database ¡Constrained ¡Correction 1×1×37 SPLIT

De-Convolution

5×60×64 5×60×2 40×480×2

Convolution Convolution

40×480

Left ¡branch: ¡FCN ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Right ¡branch: ¡CNN

One ¡Shot ¡Learning ¡for ¡Severity ¡Detection

[2] ¡Matching networks for One Shot Learning. ¡NIPS‘ ¡2016.

Matching ¡Networks ¡for ¡One ¡Shot ¡Learning One ¡Shot ¡Problem: ¡Only ¡few ¡examples ¡of ¡ labeled ¡images ¡are ¡available

• Fine ¡tuning ¡is ¡one ¡approach ¡but ¡requires ¡

changes ¡to ¡the ¡network ¡and ¡reasonable ¡ number ¡of ¡annotations to ¡get ¡good ¡ performance.

• We ¡want ¡to ¡train ¡a ¡network ¡to ¡produce ¡

sensible ¡test ¡labels ¡for ¡unseen ¡data ¡without ¡ retraining ¡the ¡network. ¡

• We ¡want ¡to ¡train ¡deep ¡networks ¡(e.g. ¡

Matching ¡Networks[2]) to ¡classify ¡a ¡new ¡ test ¡sample ¡with ¡respect ¡to ¡a ¡given ¡set ¡of ¡ labeled ¡examples(support ¡set). Support ¡Set Test ¡Example

Guided ¡Perturbations: ¡Self ¡corrective ¡behavior ¡in ¡ CNNs

. . . cow horse cat . . . 1.0

Input Forward ¡/ ¡inference 21 FCN ¡output

Class ¡probabilities

. . . cow horse cat . . . 0.85 0.1 0.04 . . . cow horse cat . . . 0.25 0.7 0.03 . . . cow horse cat . . . 1.0

Perturbed Input 21 Our ¡output Backward Forward ¡/ ¡inference

perturbation

Step ¡1 Step ¡2 Step ¡3

Self ¡corrective ¡behavior ¡in ¡CNNs ¡using ¡ structured ¡perturbations ¡ Our ¡approach

Challenges Auto ¡Inspection

Cam ¡ 1 Cam ¡ 2 Cam ¡ 3 Cam ¡ 4 Cam ¡ 5 Cam ¡ 6 Cam ¡ 7 Cam ¡ 8 Cam ¡ 9 Cam ¡10 Cam ¡11 Cam ¡12

Manually ¡Inspection Greedy Algorithm Reinforcement ¡Learning ¡ with ¡Function ¡Approx. Pros

Good-­‑coverage on ¡various ¡type ¡of ¡ parts Fast Faster ¡than ¡greedy Guaranteed ¡full coverage ¡on ¡parts Guaranteed ¡full coverage ¡on ¡parts Expandable ¡ to ¡fully ¡automated ¡ large ¡scale ¡inspection ¡system

Cons

High ¡cost Far ¡from ¡optimal solution High ¡Computational ¡Cost Slow ¡/ ¡Dependency ¡on ¡user ¡ experience Large performance ¡variance ¡on ¡ distinctive ¡parts

• NP-­‑hard ¡problem
• Naïve ¡approximate ¡algorithms, ¡e.g. ¡greedy ¡

algorithm, ¡provides ¡results ¡very ¡far ¡from ¡optimal.

Reinforcement ¡Learning ¡for ¡View ¡Planning

Cam ¡ 1 Cam ¡ 2 Cam ¡ 3 Cam ¡ 4

Human ¡approach

Cam ¡ 5 Cam ¡ 6 Cam ¡ 7 Cam ¡ 8 Cam ¡ 9 Cam ¡ 10 Cam ¡ 11 Cam ¡ 12 Cam ¡ 13