Data Curation: Refine and Shine Presented by: Michael - PDF document

¡ ¡ ¡ ¡ ¡ W3 ¡ Data ¡ 2019-­‑05-­‑01 ¡11:30 ¡ ¡ ¡ ¡ ¡ ¡ ¡ Data ¡Curation: ¡Refine ¡and ¡Shine ¡ ¡ Presented ¡by: ¡ ¡ ¡ Michael ¡Hobbs ¡ Dell ¡EMC ¡ ‘ ¡ ¡ ¡ Brought ¡to ¡you ¡by: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 888 -­‑-­‑-­‑ 268 -­‑-­‑-­‑ 8770 ¡ ·√·√ ¡904 -­‑-­‑-­‑ 278 -­‑-­‑-­‑ 0524 ¡-­‑ ¡info@techwell.com ¡-­‑ ¡ http://www.stareast.techwell.com ¡ ¡ ¡ ¡ ¡

Michael ¡Hobbs ¡ ¡ Michael ¡Hobbs ¡is ¡a ¡15-­‑year ¡computer ¡industry ¡veteran ¡who ¡has ¡had ¡the ¡opportunity ¡to ¡ work ¡on ¡all ¡facets ¡of ¡the ¡computer. ¡From ¡CPU ¡Validation ¡to ¡Enterprise ¡Server ¡Test, ¡ Michael ¡has ¡spent ¡years ¡gathering ¡best ¡practices ¡from ¡various ¡cultures ¡and ¡companies. ¡ Through ¡this ¡diverse ¡background, ¡a ¡unique ¡perspective ¡has ¡been ¡developed. ¡Now ¡as ¡a ¡ Dell ¡EMC ¡Senior ¡Principal ¡Test ¡Engineer, ¡he ¡helps ¡define ¡and ¡implement ¡new ¡test ¡ technologies ¡including ¡analytics ¡and ¡machine ¡learning ¡to ¡allow ¡test ¡engineers ¡to ¡test. ¡

4/23/19 ¡ Data ¡Cura.on: ¡Refine ¡and ¡Shine ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 1 ¡ Data ¡Cura.on: ¡Refine ¡& ¡Shine ¡ May ¡2018 ¡ Michael ¡Hobbs, ¡Sr. ¡Principal ¡Test ¡Eng. ¡ Michael_Hobbs@dell.com ¡ 1 ¡

4/23/19 ¡ Agenda ¡ • Collec.ng ¡Data ¡for ¡Business ¡Needs ¡ • Maintaining ¡Data ¡for ¡Reuse ¡and ¡Applicability ¡ • Data ¡Reten.on ¡based ¡on ¡Policy ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 3 ¡ Data ¡Cura.on ¡Defined ¡ The ¡polices ¡and ¡processes ¡within ¡an ¡organiza3on, ¡for ¡controlled ¡data ¡ storage, ¡maintenance, ¡and ¡removal. ¡ ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 4 ¡ 2 ¡

4/23/19 ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 5 ¡ Data ¡ROI ¡ Business ¡ Case ¡ ¡ ¡ ¡ Data ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Pain ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Analy.cal ¡ ¡ ¡ ¡ ¡Points ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Goals ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 6 ¡ 3 ¡

4/23/19 ¡ Data ¡Mixture ¡ Logs, ¡Sensors, ¡ Proprietary ¡ ¡ Preferences, ¡Habits, ¡ Customer ¡ Test ¡Results ¡ Issues ¡ Reviews, ¡Videos, ¡ Sales, ¡Finance, ¡ Internet ¡ Weather ¡ Leads ¡ Business ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 7 ¡ Dell ¡Example ¡: ¡Test ¡Planning ¡Model ¡“Jarvis” ¡ Defect ¡History ¡ Policies ¡ Automa.on ¡ DB: ¡Jira ¡ candidates ¡ Business ¡ Rules ¡ High ¡Priority ¡ Sta.s.cal ¡ Test ¡Cases ¡ Model ¡ Test ¡Failure ¡ History ¡ DB: ¡Qmetry ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 8 ¡ 4 ¡

4/23/19 ¡ 5 ¡V’s ¡ Variety ¡ 1 ¡ 5 ¡ Valu 4 ¡ Veracity ¡ 2 ¡ Velocity ¡ e ¡ 3 ¡ Volume ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 9 ¡ Data ¡Value ¡ 4 ¡ ¡VARIETY ¡ VERACITY ¡ 3 ¡ Internal ¡ Database=4 ¡ Partners ¡ Internal=4 ¡ Table ¡ Unstructured=1 ¡ 2 ¡ Websites ¡ Logs, ¡Audio ¡ Internet=1 ¡ 1 ¡ Internet ¡ Unstruct ¡ Total=12 ¡ ¡ h Total=1 KB ¡ c t a B 0 ¡ MB ¡ GB ¡ TB ¡ VOLUME ¡ VELOCITY ¡ Periodic=2 ¡ MB=2 ¡ Real ¡Time=4 ¡ TB=4 ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 10 ¡ 5 ¡

4/23/19 ¡ Data ¡Feasibility ¡: ¡Dell ¡“Jarvis” ¡ ¡ Precision ¡Test ¡ Volume ¡ Velocity ¡ Variety ¡ Veracity ¡ Value ¡ Test ¡Failure ¡ 2 ¡ 2 ¡ 4 ¡ 4 ¡ 12 ¡ History ¡ Defect ¡History ¡ 1 ¡ 1 ¡ 3 ¡ 3 ¡ 8 ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 11 ¡ Data ¡Collec.on ¡Methods ¡ Manual ¡Input Manual ¡Run ¡Scripts Processing ¡ Autonomous ¡Scripts Volume ¡ Intelligent ¡ ¡Scripts Direct ¡Input 4/23/19 ¡ StarEast ¡2019 ¡ 12 ¡ 6 ¡

4/23/19 ¡ Dell ¡Example ¡: ¡SUT ¡Configura.on ¡Model ¡“Q” ¡ Data ¡Warehouse ¡ Op.mal ¡Config ¡ Slot ¡Matrix ¡ Policies ¡ DB: ¡Excel ¡ Coverage ¡ Thermal ¡Matrix ¡ ¡ DB: ¡Power ¡Point ¡ ¡ Business ¡ Rules ¡ ¡ Commodity ¡List ¡ Best ¡Available ¡ DB: ¡Excel ¡ ¡ Sta.s.cal ¡ Configura.ons ¡ Model ¡ Storage ¡Matrix ¡ DB: ¡Excel ¡ ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 13 ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 14 ¡ 7 ¡

4/23/19 ¡ 1 Data Lake, Data Warehouse, Data Mart What does your business case require? ¡ Data Control 2 Is anyone allowed to search the data? Can a user copy data at will? ¡ Data Compatibility 3 Normalize the data? Audit data? ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 15 ¡ Data ¡Lake ¡– ¡Data ¡Warehouse ¡– ¡Data ¡Mart ¡ hhps://www.holis.cs.io/blog/data-­‑lake-­‑vs-­‑data-­‑warehouse-­‑vs-­‑data-­‑mart/ ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 16 ¡ 8 ¡

4/23/19 ¡ Database ¡Growth ¡ Social ¡ Sales ¡ Development ¡ Marke.ng ¡ Media ¡ Data ¡Lake ¡ Data ¡ Data ¡Mart ¡ Data ¡Mart ¡ Warehouse ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 17 ¡ Making ¡Data ¡Accurate ¡ User ¡Input ¡for ¡Data ¡is ¡Inaccurate. ¡ How ¡do ¡you ¡input ¡Windows ¡2016 ¡ Personal ¡Data ¡Category ¡ Inaccuracy ¡ Win2016 ¡ Windows2016 ¡ *Deloihe ¡Insights ¡ W16 ¡ win16 ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 18 ¡ 9 ¡

4/23/19 ¡ Data ¡Maintenance ¡ Internal ¡ Processes ¡ Third ¡Party ¡ Audit ¡Data ¡ Standards ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 19 ¡ Data ¡Cura.on ¡for ¡“Jarvis” ¡ ¡ Field ¡ Input ¡ RecommendaJon ¡ Benefits ¡ Planned ¡Config ¡ID ¡ Direct ¡Input ¡ New ¡Field ¡ Tracks ¡HW ¡SW ¡ ¡ Actual ¡Config ¡ID ¡ Direct ¡Input ¡ New ¡Field ¡ Tracks ¡HW ¡SW ¡ ¡ Build ¡Fixed ¡ Free ¡Text ¡ Audit ¡ ¡ Know ¡when ¡defect ¡is ¡fixed ¡ for ¡regression ¡ Build ¡Found ¡ Free ¡Text ¡ Audit ¡ Know ¡what ¡build ¡defect ¡ was ¡found ¡ Discovery ¡ Drop ¡Down ¡ Audit ¡ Know ¡how ¡defect ¡was ¡ found ¡ Test ¡Case ¡Number ¡ Direct ¡Input ¡ No ¡change ¡ Links ¡TC ¡to ¡defect ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 20 ¡ 10 ¡

4/23/19 ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 21 ¡ Data ¡Reten.on ¡ Change ¡in ¡data ¡ROI. ¡ Business ¡no ¡longer ¡needs ¡the ¡data ¡ Data ¡Storage ¡is ¡cheap ¡but ¡not ¡free ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 22 ¡ 11 ¡

4/23/19 ¡ Op.ons ¡ Delete ¡vs. ¡Archive ¡ Delete ¡vs ¡Archive ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 23 ¡ Data ¡Movement ¡ Primary ¡ Secondary ¡ Archive ¡ Dele.on ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 24 ¡ 12 ¡

4/23/19 ¡ Organiza.on ¡Data ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 25 ¡ Summary ¡ ¡ ¡ ¡ CollecJng ¡ ¡ Data ¡ Data 01 ¡ 03 ¡ Rentention ¡ DAT A ¡ 02 ¡ Maintaining ¡ Data ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 26 ¡ 13 ¡

4/23/19 ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 27 ¡ Michael ¡Hobbs: ¡ A ¡20-­‑year ¡computer ¡industry ¡veteran ¡who ¡has ¡had ¡the ¡opportunity ¡to ¡work ¡ on ¡all ¡facets ¡of ¡the ¡computer. ¡From ¡CPU ¡Valida3on ¡to ¡Enterprise ¡Server ¡Test, ¡ Michael ¡has ¡spent ¡years ¡gathering ¡best ¡prac3ces ¡from ¡various ¡cultures ¡and ¡ companies. ¡Through ¡this ¡diverse ¡background ¡a ¡unique ¡perspec3ve ¡has ¡been ¡ developed. ¡ Now ¡as ¡a ¡Dell ¡EMC ¡Senior ¡Principal ¡Test ¡Engineer, ¡he ¡helps ¡define ¡and ¡ implement ¡new ¡test ¡technologies ¡including ¡analy3cs ¡and ¡machine ¡learning. ¡ LinkedIn: ¡ www.linkedin.com/in/michaellhobbs ¡ 4/23/19 ¡ StarEast ¡2019 ¡ 28 ¡ 14 ¡