purposes Pe$a Radeva University of Barcelona & - - PowerPoint PPT Presentation

¡

¡

¡

Pe$a ¡Radeva ¡ ¡ ¡University ¡of ¡Barcelona ¡& ¡

Computer ¡Vision ¡Center ¡ ¡

Visual ¡Lifelogging: ¡ using ¡non-­‑medical ¡ images ¡for ¡medical ¡ purposes ¡

Medical ¡Image ¡Compu$ng ¡and ¡Computer-­‑ Assisted ¡Interven$on ¡(MICCAI) ¡

• Medical ¡imaging ¡is ¡the ¡technique ¡and ¡process ¡of ¡crea6ng ¡visual ¡representa$ons ¡of ¡

the ¡interior ¡of ¡a ¡body ¡for ¡clinical ¡analysis ¡and ¡medical ¡interven6on. ¡ ¡

– Medical ¡imaging ¡seeks ¡to ¡reveal ¡internal ¡structures ¡hidden ¡by ¡the ¡skin ¡and ¡bones, ¡as ¡ well ¡as ¡ ¡ – To ¡diagnose ¡and ¡treat ¡disease. ¡ ¡

• Medical ¡imaging ¡also ¡establishes ¡a ¡database ¡of ¡normal ¡anatomy ¡and ¡physiology ¡to ¡

make ¡it ¡possible ¡to ¡iden6fy ¡abnormali$es. ¡ ¡

– Although ¡imaging ¡of ¡removed ¡organs ¡and ¡6ssues ¡can ¡be ¡performed ¡for ¡medical ¡reasons, ¡ such ¡procedures ¡are ¡usually ¡considered ¡part ¡of ¡pathology ¡instead ¡of ¡medical ¡imaging. ¡

• Radiology ¡uses ¡the ¡imaging ¡technologies ¡of: ¡

– ¡X-­‑ray ¡radiography, ¡MRI,CT, ¡UC, ¡endoscopy, ¡elastography, ¡tac6le ¡imaging, ¡ thermography, ¡PET, ¡SPECT, ¡etc. ¡

• Anatomical ¡vs. ¡func$onal ¡

– ¡“Invisible ¡light" ¡medical ¡imaging ¡is ¡generally ¡equated ¡to ¡radiology… ¡ ¡ – "Visible ¡light" ¡medical ¡imaging ¡involves ¡digital ¡video ¡or ¡s6ll ¡pictures ¡that ¡can ¡be ¡seen ¡ without ¡special ¡equipment ¡(dermatology). ¡

Scenario: ¡

• Atherosclero6c ¡plaque ¡-­‑ ¡proper ¡to ¡every ¡one! ¡
• Atherosclero6c ¡plaque ¡is ¡invisible ¡in ¡30% ¡of ¡

angiographies! ¡

• IntraVascular ¡Ultrasound ¡(IVUS) ¡images ¡are ¡unique ¡

ntraopera6ve ¡imaging ¡tool ¡to ¡inspect ¡plaque ¡and ¡ guide ¡vessel ¡interven6on ¡ ¡

Image-­‑guided ¡Atherosclero$c ¡Characteriza$on ¡and ¡ Treatment ¡based ¡on ¡IVUS ¡

Normal ¡ Stent ¡ Ca++ ¡ Ca++ ¡> ¡180º ¡ Automa6c ¡Lumen ¡ Manual ¡Lumen ¡ Automa6c ¡MAb ¡ Manual ¡MAb ¡

Intes$ne ¡Mo$lity ¡Analysis ¡by ¡Wireless ¡Endoscopy ¡

Hypothesis: ¡Computer ¡Vision ¡and ¡Machine ¡Learning ¡allow ¡to ¡

develop ¡an ¡automa6c ¡system ¡for ¡categoirza6on ¡of ¡intes6ne ¡mo6lity ¡to ¡ diagnose ¡diges6ve ¡diseases ¡

¡

Scenario: ¡One ¡third ¡of ¡people ¡during ¡ their ¡life ¡– ¡diges6ve ¡problems! ¡

Looking ¡at ¡humans ¡at ¡the ¡ICU: ¡Detec$on ¡of ¡agita$on ¡ episodes ¡and ¡neurorehabilita$on ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Scenario: ¡Agita6on ¡occurs ¡very ¡frequently ¡ in ¡the ¡Intensive ¡Care ¡Unit ¡(ICU), ¡affec6ng ¡ 71% ¡of ¡sedated ¡adult ¡pa6ents ¡during ¡58% ¡

• f ¡ICU ¡pa6ent-­‑days. ¡ ¡

Hypothesis: ¡Agita6on ¡detec6on ¡can ¡be ¡

• btained ¡by ¡using ¡RGB-­‑D ¡cameras: ¡
• Human ¡and ¡pose ¡detec6on ¡
• Head ¡detec6on ¡
• Mo6on ¡analysis ¡
• Computer-­‑aided ¡diagnosis ¡

¡ ¡ ¡ Applica$on ¡to ¡neurorehabilita$on ¡

Life-­‑logging ¡for ¡MCI ¡treatment ¡

6 ¡

Goal: ¡to ¡develop ¡tools ¡for ¡memory ¡reforcing ¡of ¡MCI ¡and ¡Alzheimer ¡people. ¡

To ¡develop, ¡for ¡subjects ¡with ¡MCI, ¡a ¡program-­‑based ¡life-­‑logging ¡captured ¡by ¡a ¡Wearable ¡Camera ¡ recording ¡specific ¡autobiographical ¡episodes ¡for ¡s$mula$ng ¡posteriorly ¡episodic ¡memory ¡func$on ¡ known ¡to ¡be ¡deficient ¡in ¡MCI. ¡ ¡

To ¡explore ¡the ¡associa6on ¡between ¡changes ¡in ¡cogni$ve, ¡func$onal ¡ and ¡emo$onal ¡outcomes. ¡ ¡ ¡ ¡

Visual ¡life-­‑logging ¡

Defini$on: ¡Visual ¡life-­‑logging ¡consists ¡of ¡acquiring ¡images ¡related ¡to ¡an ¡individual ¡ through ¡a ¡wearable ¡camera. ¡ Benefits: ¡

• A ¡digital ¡memory ¡of ¡people ¡you ¡met, ¡conversa$ons ¡you ¡had, ¡places ¡you ¡visited, ¡and ¡events ¡you ¡

par6cipated ¡in. ¡ ¡

– This ¡memory ¡would ¡be ¡searchable, ¡retrievable, ¡and ¡shareable. ¡

• A ¡14/7/365 ¡monitoring ¡of ¡daily ¡ac$vi$es. ¡ ¡

– This ¡data ¡could ¡serve ¡as ¡a ¡warning ¡system ¡and ¡also ¡as ¡a ¡personal ¡base ¡upon ¡which ¡to ¡diagnosis ¡illness ¡and ¡to ¡prescribe ¡medicines. ¡

• A ¡way ¡of ¡organizing, ¡shaping, ¡and ¡“reading” ¡your ¡own ¡life. ¡

– A ¡complete ¡archive ¡of ¡your ¡work ¡and ¡play, ¡and ¡your ¡work ¡habits. ¡Deep ¡compara6ve ¡analysis ¡of ¡your ¡ac6vi6es ¡could ¡assist ¡your ¡ produc6vity, ¡crea6vity, ¡and ¡consump6vity. ¡

• To ¡the ¡degree ¡this ¡life-­‑log ¡is ¡shared, ¡this ¡archive ¡of ¡informa6on ¡can ¡be ¡leveraged ¡to ¡help ¡others ¡work, ¡

amplify ¡social ¡interac$ons, ¡and ¡in ¡the ¡biological ¡realm, ¡shared ¡medical ¡logs ¡could ¡rapidly ¡advance ¡ medicine ¡discoveries. ¡

7 ¡

Technology ¡is ¡“running”! ¡

Evolu6on ¡of ¡life-­‑logging ¡apparatus, ¡including ¡wearable ¡computer, ¡camera, ¡and ¡viewfinder ¡with ¡wireless ¡Internet ¡connec6on. ¡Early ¡apparatus ¡used ¡ separate ¡transmijng ¡and ¡receiving ¡antennas. ¡Later ¡apparatus ¡evolved ¡toward ¡the ¡appearance ¡of ¡ordinary ¡eyeglasses ¡in ¡the ¡late ¡1980s ¡and ¡early ¡1990s. ¡

8 ¡

“Quan6fied ¡Self ¡& ¡life-­‑logging ¡MeetsInternet ¡of ¡Things ¡(IOT)”, ¡ ¡Mazzlan ¡Abbas. ¡

Is ¡it ¡feasible ¡to ¡record ¡everything ¡that ¡happens ¡in ¡a ¡person’s ¡life? ¡

• In ¡1970, ¡a ¡disk ¡to ¡store ¡20 ¡MB ¡was ¡the ¡size ¡of ¡a ¡washing ¡machine ¡and ¡costed ¡20.000$. ¡
• Today ¡a ¡TB ¡(one ¡trillion ¡bytes) ¡costs ¡a ¡100$ ¡and ¡is ¡the ¡size ¡of ¡a ¡paperback ¡book. ¡ ¡
• By ¡2020 ¡a ¡TB ¡will ¡cost ¡the ¡same ¡as ¡a ¡good ¡cup ¡of ¡coffee ¡and ¡will ¡probably ¡be ¡in ¡your ¡cell ¡phone. ¡ ¡
• 100$ ¡ ¡will ¡then ¡buy ¡around ¡250 ¡TB ¡of ¡storage, ¡enough ¡to ¡hold ¡tens ¡of ¡thousands ¡of ¡hours ¡of ¡video ¡

and ¡tens ¡of ¡millions ¡of ¡photographs. ¡ ¡

– This ¡should ¡sa6sfy ¡most ¡life-­‑loggers’ ¡ ¡recording ¡needs ¡for ¡an ¡en$re ¡life. ¡

• In ¡fact, ¡digital ¡storage ¡capacity ¡is ¡increasing ¡faster ¡than ¡our ¡ability ¡to ¡pull ¡informa6on ¡back ¡out. ¡ ¡ ¡

– From ¡2000 ¡it ¡became ¡trivial ¡and ¡cheap ¡to ¡sock ¡away ¡tremendous ¡piles ¡of ¡data. ¡ ¡

¡

“Total: ¡How ¡the ¡E-­‑memory ¡revolu6on ¡will ¡change ¡everything”, ¡Gordon ¡Bell ¡and ¡Jim ¡Gemmel, ¡2009, ¡Duson, ¡Penguin ¡Group. ¡ ¡

9 ¡

The ¡Moore’s ¡Law ¡(1965): ¡ ¡“Transistor ¡density ¡that ¡can ¡be ¡etched ¡onto ¡the ¡silicon ¡wafer ¡of ¡a ¡ microchip ¡doubles ¡every ¡two ¡years”. ¡ ¡

Is ¡it ¡feasible ¡to ¡record ¡everything ¡that ¡happens ¡in ¡a ¡person’s ¡life? ¡

“Total: ¡How ¡the ¡E-­‑memory ¡revolu6on ¡will ¡change ¡everything”, ¡Gordon ¡Bell ¡and ¡Jim ¡Gemmel, ¡2009, ¡Duson, ¡Penguin ¡Group. ¡ ¡

10 ¡

The ¡Moore’s ¡Law ¡(1965): ¡ ¡“Transistor ¡density ¡that ¡can ¡be ¡etched ¡onto ¡the ¡silicon ¡wafer ¡of ¡a ¡ microchip ¡doubles ¡every ¡two ¡years”. ¡ ¡

The ¡hard ¡part ¡is ¡no ¡longer ¡deciding ¡what ¡to ¡hold ¡on ¡to, ¡but ¡how ¡ to ¡efficiently ¡organize ¡it, ¡sort ¡it, ¡access ¡it, ¡and ¡find ¡pacerns ¡and ¡ meaning ¡in ¡it. ¡ ¡ ¡ ¡

This ¡is ¡a ¡primary ¡challenge ¡for ¡the ¡engineers ¡that ¡will ¡fully ¡unleash ¡ the ¡power ¡of ¡Total ¡Recall. ¡ ¡

Will ¡life-­‑logging ¡and ¡internet ¡of ¡things ¡ help ¡know ¡us ¡becer? ¡

11 ¡

Don’t ¡you ¡love ¡to ¡know… ¡ ¡

• Where ¡you’re ¡going?! ¡Who ¡you’ve ¡interacted ¡with?! ¡
• How ¡long ¡you’ve ¡spoken ¡to ¡friends?! ¡The ¡affinity ¡to ¡connec6ons?! ¡
• How ¡long ¡it ¡takes ¡to ¡get ¡to ¡work?! ¡
• The ¡tone ¡of ¡your ¡messages?! ¡The ¡amount ¡you ¡text, ¡tweet, ¡or ¡update?! ¡
• How ¡much ¡exercise ¡you’re ¡gejng?! ¡
• How ¡much ¡you ¡get ¡distracted?! ¡Where ¡is ¡your ¡6me ¡most ¡spent? ¡

Will ¡life-­‑logging ¡and ¡internet ¡of ¡things ¡ help ¡know ¡us ¡becer? ¡

12 ¡

30 ¡days ¡report ¡of ¡Max ¡Knoblauch ¡

Life-­‑logging ¡everything ¡you ¡see, ¡do, ¡feel, ¡ speak, ¡experience ¡and ¡hear ¡is ¡almost ¡here. ¡ ¡

The ¡really ¡big ¡issue ¡here ¡is ¡that ¡you ¡might, ¡ individually, ¡not ¡worry ¡about ¡publishing ¡details ¡of ¡ your ¡personal ¡life. ¡ ¡

• But ¡you ¡are ¡publishing ¡your ¡friends, ¡family ¡

and ¡business ¡contacts ¡details ¡at ¡the ¡same ¡ $me. ¡ ¡ Wearable ¡camera ¡can ¡provide ¡many ¡benefits, ¡such ¡as ¡ assis6ve ¡technologies ¡to ¡help ¡people: ¡ ¡

• see ¡beser, ¡ ¡
• store ¡and ¡remember ¡beser, ¡ ¡
• work ¡beser, ¡ ¡
• func6on ¡beser, ¡ ¡
• remember ¡and ¡recognize ¡names ¡and ¡faces… ¡

Ethical ¡guidelines ¡for ¡wearable ¡ cameras ¡

• Anonimity ¡and ¡confiden$ality: ¡Researchers ¡coding ¡image ¡data ¡should: ¡

– not ¡discuss ¡the ¡content ¡with ¡anyone ¡outside ¡of ¡the ¡team, ¡ – not ¡iden6fy ¡anyone ¡they ¡recognize ¡in ¡the ¡images, ¡ ¡ – be ¡aware ¡of ¡how ¡sensi6ve ¡the ¡data ¡are. ¡

• Data ¡encryp$on: ¡Conwden6ality ¡can ¡be ¡protected ¡by ¡conwguring ¡devices ¡and ¡using ¡

specialist ¡viewing ¡soxware ¡to ¡make ¡the ¡images ¡accessible ¡only ¡to ¡the ¡research ¡team ¡(lost ¡ devices). ¡

– Devices ¡should ¡be ¡configured ¡so ¡that ¡data ¡can ¡only ¡be ¡retrieved ¡by ¡the ¡research ¡team. ¡It ¡should ¡ be ¡impossible ¡for ¡par6cipants ¡or ¡third ¡par6es ¡who ¡find ¡devices ¡to ¡access ¡the ¡images. ¡

• Data ¡storage: ¡Collected ¡images ¡should ¡be ¡stored ¡securely ¡and ¡password-­‑protected, ¡

according ¡to ¡na6onal ¡regula6ons. ¡ ¡

13 ¡

Understanding ¡user ¡privacy ¡requirements ¡and ¡ risks ¡from ¡emerging ¡technologies ¡

• People ¡are ¡bad ¡at: ¡

1. understanding ¡the ¡future ¡value ¡of ¡revealing ¡private ¡informa6on ¡ today, ¡ 2. understanding ¡the ¡risks ¡from ¡technology ¡they ¡have ¡not ¡yet ¡used ¡

• r ¡heard ¡of. ¡

14 ¡

Wearable ¡cameras ¡can ¡be ¡very ¡useful: ¡

¡ An ¡es6mated ¡one ¡million ¡Russian ¡motorists ¡have ¡dashboard ¡video ¡cameras ¡installed ¡in ¡their ¡cars. ¡ ¡ ¡ Police ¡officers ¡carring ¡video ¡camera ¡units ¡and ¡using ¡Velcro ¡to ¡place ¡these ¡cameras ¡in ¡police ¡wagons, ¡ helmet ¡cams, ¡ear ¡cams, ¡chest ¡cams ¡with ¡audio ¡capability, ¡GPS ¡locators, ¡taser ¡cams ¡ ¡

• “Even ¡with ¡only ¡half ¡of ¡the ¡54 ¡uniformed ¡patrol ¡officers ¡wearing ¡cameras ¡at ¡any ¡given ¡6me, ¡a ¡

department ¡in ¡USA ¡had ¡an ¡88 ¡% ¡decline ¡in ¡the ¡number ¡of ¡complaints ¡filed ¡against ¡officers, ¡ compared ¡with ¡the ¡12 ¡months ¡before ¡the ¡study”, ¡The ¡New ¡York ¡Times, ¡4th ¡of ¡July, ¡2013. ¡

¡ ¡

¡ ¡ The ¡world’s ¡leading ¡police ¡ body ¡worn ¡video ¡camera ¡ deployed ¡by ¡over ¡4000 ¡ agencies ¡in ¡16 ¡countries. ¡

Benefits ¡and ¡poten$al ¡applica$ons ¡

• It ¡will ¡take ¡quite ¡some ¡6me ¡for ¡people ¡to ¡feel ¡comfortable ¡with ¡ ¡‘always ¡connected’ ¡devices ¡that ¡

can ¡discreetly ¡take ¡photos ¡or ¡videos. ¡Will ¡the ¡benefits ¡outweigh ¡the ¡nega6ves? ¡

“Quan6fied ¡Self ¡& ¡life-­‑logging ¡Meets ¡Internet ¡of ¡Things ¡(IOT)”, ¡Dr. ¡Mazlan ¡Abbas, ¡MIMOS ¡Berhad ¡

15 ¡

Visual ¡life-­‑logging ¡

Defini$on: ¡Visual ¡life-­‑logging ¡consists ¡of ¡acquiring ¡images ¡related ¡to ¡an ¡individual ¡ through ¡a ¡wearable ¡camera. ¡ ¡ Benefits: ¡

• A ¡digital ¡memory ¡of ¡people ¡you ¡met, ¡conversa$ons ¡you ¡had, ¡places ¡you ¡visited, ¡and ¡events ¡you ¡

par6cipated ¡in. ¡ ¡

– This ¡memory ¡would ¡be ¡searchable, ¡retrievable, ¡and ¡shareable. ¡

• A ¡14/7/365 ¡monitoring ¡of ¡daily ¡ac$vi$es. ¡ ¡

– This ¡data ¡could ¡serve ¡as ¡a ¡warning ¡system ¡and ¡also ¡as ¡a ¡personal ¡base ¡upon ¡which ¡to ¡diagnosis ¡illness ¡and ¡to ¡prescribe ¡medicines. ¡

• A ¡way ¡of ¡organizing, ¡shaping, ¡and ¡“reading” ¡your ¡own ¡life. ¡

– A ¡complete ¡archive ¡of ¡your ¡work ¡and ¡play, ¡and ¡your ¡work ¡habits. ¡Deep ¡compara6ve ¡analysis ¡of ¡your ¡ac6vi6es ¡could ¡assist ¡your ¡ produc6vity, ¡crea6vity, ¡and ¡consump6vity. ¡

• To ¡the ¡degree ¡this ¡life-­‑log ¡is ¡shared, ¡this ¡archive ¡of ¡informa6on ¡can ¡be ¡leveraged ¡to ¡help ¡others ¡work, ¡

amplify ¡social ¡interac$ons, ¡and ¡in ¡the ¡biological ¡realm, ¡shared ¡medical ¡logs ¡could ¡rapidly ¡advance ¡ medicine ¡discoveries. ¡

16 ¡

Ethical ¡guidelines ¡for ¡wearable ¡cameras ¡

• Anonimity ¡and ¡confiden$ality: ¡Researchers ¡coding ¡image ¡data ¡should: ¡

– not ¡discuss ¡the ¡content ¡with ¡anyone ¡outside ¡of ¡the ¡team, ¡ – not ¡iden6fy ¡anyone ¡they ¡recognize ¡in ¡the ¡images, ¡ ¡ – be ¡aware ¡of ¡how ¡sensi6ve ¡the ¡data ¡are. ¡

• Data ¡encryp$on: ¡Conwden6ality ¡can ¡be ¡protected ¡by ¡conwguring ¡devices ¡and ¡using ¡

specialist ¡viewing ¡soxware ¡to ¡make ¡the ¡images ¡accessible ¡only ¡to ¡the ¡research ¡team ¡(lost ¡ devices). ¡

– Devices ¡should ¡be ¡configured ¡so ¡that ¡data ¡can ¡only ¡be ¡retrieved ¡by ¡the ¡research ¡team. ¡It ¡should ¡ be ¡impossible ¡for ¡par6cipants ¡or ¡third ¡par6es ¡who ¡find ¡devices ¡to ¡access ¡the ¡images. ¡

• Data ¡storage: ¡Collected ¡images ¡should ¡be ¡stored ¡securely ¡and ¡password-­‑protected, ¡

according ¡to ¡na6onal ¡regula6ons. ¡

• Where ¡is ¡prohibited ¡to ¡capture ¡images? ¡

¡

17 ¡

Is ¡it ¡feasible ¡to ¡record ¡everything ¡that ¡happens ¡in ¡a ¡ person’s ¡life? ¡

• In ¡1970, ¡a ¡disk ¡to ¡store ¡20 ¡MB ¡was ¡the ¡size ¡of ¡a ¡washing ¡machine ¡and ¡costed ¡20.000$. ¡
• Today ¡a ¡TB ¡(one ¡trillion ¡bytes) ¡costs ¡a ¡100$ ¡and ¡is ¡the ¡size ¡of ¡a ¡paperback ¡book. ¡ ¡
• By ¡2020 ¡a ¡TB ¡will ¡cost ¡the ¡same ¡as ¡a ¡good ¡cup ¡of ¡coffee ¡and ¡will ¡probably ¡be ¡in ¡your ¡cell ¡phone. ¡ ¡
• 100$ ¡ ¡will ¡then ¡buy ¡around ¡250 ¡TB ¡of ¡storage, ¡enough ¡to ¡hold ¡tens ¡of ¡thousands ¡of ¡hours ¡of ¡video ¡

and ¡tens ¡of ¡millions ¡of ¡photographs. ¡ ¡

– This ¡should ¡sa6sfy ¡most ¡life-­‑loggers’ ¡ ¡recording ¡needs ¡for ¡an ¡en$re ¡life. ¡

• In ¡fact, ¡digital ¡storage ¡capacity ¡is ¡increasing ¡faster ¡than ¡our ¡ability ¡to ¡pull ¡informa6on ¡back ¡out. ¡ ¡ ¡

– From ¡2000 ¡it ¡became ¡trivial ¡and ¡cheap ¡to ¡sock ¡away ¡tremendous ¡piles ¡of ¡data. ¡ ¡

¡

“Total: ¡How ¡the ¡E-­‑memory ¡revolu6on ¡will ¡change ¡everything”, ¡Gordon ¡Bell ¡and ¡Jim ¡Gemmel, ¡2009, ¡Duson, ¡Penguin ¡Group. ¡ ¡

18 ¡

The ¡Moore’s ¡Law ¡(1965): ¡ ¡“Transistor ¡density ¡that ¡can ¡be ¡etched ¡onto ¡the ¡silicon ¡wafer ¡of ¡a ¡ microchip ¡doubles ¡every ¡two ¡years”. ¡ ¡

Is ¡it ¡feasible ¡to ¡record ¡everything ¡that ¡happens ¡in ¡a ¡ person’s ¡life? ¡

“Total: ¡How ¡the ¡E-­‑memory ¡revolu6on ¡will ¡change ¡everything”, ¡Gordon ¡Bell ¡and ¡Jim ¡Gemmel, ¡2009, ¡Duson, ¡Penguin ¡Group. ¡ ¡

19 ¡

The ¡Moore’s ¡Law ¡(1965): ¡ ¡“Transistor ¡density ¡that ¡can ¡be ¡etched ¡onto ¡the ¡silicon ¡wafer ¡of ¡a ¡ microchip ¡doubles ¡every ¡two ¡years”. ¡ ¡

The ¡hard ¡part ¡is ¡no ¡longer ¡deciding ¡what ¡to ¡hold ¡on ¡to, ¡but ¡how ¡ to ¡efficiently ¡organize ¡it, ¡sort ¡it, ¡access ¡it, ¡and ¡find ¡pacerns ¡and ¡ meaning ¡in ¡it. ¡ ¡ ¡ ¡

This ¡is ¡a ¡primary ¡challenge ¡for ¡the ¡engineers ¡that ¡will ¡fully ¡unleash ¡ the ¡power ¡of ¡Total ¡Recall. ¡ ¡

Visual ¡Life-­‑logging ¡data ¡

• Given ¡a ¡wearable ¡camera, ¡ ¡
• what ¡we ¡want: ¡

¡ Events ¡to ¡be ¡extracted ¡from ¡life-­‑logging ¡images ¡

20 ¡

Wealth ¡of ¡life-­‑logging ¡data ¡

• We ¡propose ¡an ¡energy-­‑based ¡approach ¡for ¡

mo6on-­‑based ¡event ¡segmenta6on ¡of ¡life-­‑ logging ¡sequences ¡of ¡low ¡temporal ¡resolu6on ¡

• -­‑ ¡The ¡segmenta6on ¡is ¡reached ¡integra6ng ¡

different ¡kind ¡of ¡image ¡features ¡and ¡classifiers ¡ into ¡a ¡graph-­‑cut ¡framework ¡to ¡assure ¡ consistent ¡sequence ¡treatment. ¡

Complete ¡dataset ¡of ¡a ¡day ¡captured ¡with ¡SenseCam ¡(more ¡than ¡4,100 ¡images ¡

IMEC, ¡University ¡of ¡Eindhoven, ¡March, ¡ 2015 ¡ 21 ¡

Choice ¡of ¡devise ¡depends ¡on: ¡ ¡ 1) ¡where ¡ ¡they ¡are ¡set: ¡a ¡hung ¡up ¡camera ¡has ¡ the ¡advantage ¡that ¡is ¡considered ¡more ¡ unobtrusive ¡for ¡the ¡user, ¡or ¡ ¡ 2) ¡their ¡temporal ¡resolu6on: ¡a ¡camera ¡with ¡a ¡ low ¡fps ¡will ¡capture ¡less ¡mo6on ¡informa6on, ¡ but ¡we ¡will ¡need ¡to ¡process ¡less ¡data. ¡ We ¡chose ¡a ¡SenseCam ¡or ¡Narra6ve ¡-­‑ ¡cameras ¡ hung ¡on ¡the ¡neck ¡or ¡pinned ¡on ¡the ¡dress ¡that ¡ capture ¡2-­‑4 ¡fps. ¡

Or ¡the ¡hell ¡of ¡life-­‑logging ¡data ¡

Life-­‑logging ¡data ¡

University ¡of ¡Groningen, ¡November, ¡2014 ¡ 22 ¡

• What ¡we ¡have: ¡

¡

Towards ¡lifestyle ¡characteriza$on ¡

We ¡want ¡to ¡extract ¡life-­‑logging ¡ informa$on ¡about: ¡

• Events ¡ ¡
• Ac6vi6es ¡
• Social ¡interac6ons, ¡etc.. ¡
• Memorable ¡moments ¡
• Personal ¡habits ¡and ¡context ¡
• Lifestyle… ¡ ¡
• Healthy ¡lifestyle… ¡

23 ¡

Our ¡egocentric ¡vision ¡research: ¡

ì

Video ¡segmenta6on ¡and ¡key-­‑frame ¡extrac6on ¡ ¡

ì

Mo6on-­‑based ¡segmenta6on ¡towards ¡ac6vi6es ¡ recogni6on ¡

ì

Human ¡tracking, ¡towards ¡social ¡interac6on ¡ ¡

ì

Object ¡recogni6on ¡ ¡

ì

Daily ¡pasern ¡extrac6on ¡

ì

Lifestyle ¡characteriza6on, ¡etc, ¡etc. ¡

What? ¡Where? ¡When? ¡Who? ¡

Events ¡segmenta$on ¡

24 ¡

One ¡of ¡the ¡challenges ¡of ¡life-­‑logging ¡is ¡how ¡to ¡organize ¡the ¡big ¡amount ¡of ¡image ¡data ¡acquired ¡in ¡seman6cally ¡ meaningful ¡segments ¡in ¡order ¡to ¡be ¡able ¡to ¡store ¡them ¡and ¡review ¡later, ¡being ¡able ¡to ¡focus ¡just ¡on ¡the ¡most ¡ important ¡aspects. ¡

Life-­‑logging ¡ Video ¡Segments ¡Extrac$on ¡

Methodology ¡for ¡video ¡ summariza$on ¡

25 ¡

Data ¡set: ¡ thousands ¡of ¡ images ¡ Features ¡ Extrac6on ¡ Clustering ¡

Daily ¡Video ¡ Summariza6on ¡ RGB+HOG ¡ CNN ¡ Ward ¡ k-­‑Means ¡ Spectral ¡Clustering ¡

Event ¡extrac$on ¡ Event ¡characteriza$on ¡

Towards: ¡

How ¡to ¡capture ¡local ¡structures? ¡

26 ¡

§ Features ¡

Gradient ¡histograms ¡measure ¡the ¡orienta6ons ¡and ¡strengths ¡of ¡image ¡ gradients ¡within ¡an ¡image ¡region ¡

Features ¡extrac$on ¡

27 ¡

§ Features ¡

Color ¡ ¡

How ¡to ¡capture ¡local ¡and ¡global ¡ structure? ¡

28 ¡

• Convolu6onal ¡Neural ¡Networks ¡(4096 ¡Features) ¡

Deep ¡learning ¡

Master ¡class: ¡Human ¡and ¡Object ¡ Recogni6on ¡ 29 ¡

What ¡is ¡a ¡ConvNet? ¡

30 ¡

ImageNet ¡

31 ¡

ImageNet: ¡15 ¡millions ¡of ¡images!!! ¡Used ¡to ¡train ¡the ¡CNN. ¡ ¡

Learned ¡convolu$onal ¡filters: ¡Stage ¡1 ¡

32 ¡

Strongest ¡ac$va$ons: ¡Stage ¡2 ¡

33 ¡

Strongest ¡ac$va$ons: ¡Stage ¡5 ¡

34 ¡

Features ¡extrac$on ¡

35 ¡

• RGB ¡+ ¡HOG ¡+CNN ¡+ ¡T ¡
• Convolu6onal ¡Neural ¡Networks ¡(4096 ¡Features) ¡

§ Features ¡per ¡each ¡frame ¡

Color ¡ ¡ Structure ¡ 6me ¡

Clustering ¡Techniques ¡

36 ¡

• WARD ¡
• K-­‑Means ¡

Master ¡class: ¡Human ¡and ¡Object ¡Recogni$on ¡

Given ¡the ¡feature ¡vectors ¡per ¡frame, ¡we ¡need ¡to ¡cluster ¡them ¡in ¡order ¡to ¡detect ¡the ¡similar ¡ frames ¡ Different ¡clustering ¡techniques ¡can ¡be ¡found ¡in ¡ the ¡bibliography: ¡

Based ¡on ¡the ¡analysis ¡of ¡the ¡similarity ¡matrix ¡A_ij ¡btw ¡frames ¡I ¡and ¡j. ¡

ì Spectral ¡Clustering ¡

Complete ¡scheme ¡

Valida$on ¡

38 ¡

F-­‑measure: ¡FM ¡= ¡2(R*P)/(R ¡+ ¡P), ¡where: ¡ ¡

• P ¡is ¡the ¡precision: ¡P ¡= ¡TP=(TP ¡+ ¡FP), ¡ ¡
• R ¡is ¡the ¡recall ¡(R ¡= ¡TP=(TP ¡+ ¡FN) ¡and ¡ ¡
• TP, ¡FP ¡and ¡FN ¡are ¡the ¡number ¡of ¡true ¡posi6ves, ¡false ¡posi6ves ¡and ¡false ¡nega6ves. ¡

Event ¡segmenta$on ¡and ¡key ¡frame ¡ extrac$on ¡

IMEC, ¡University ¡of ¡Eindhoven, ¡March, ¡ 2015 ¡ 39 ¡

Ac$vity ¡recogni$on ¡

40 ¡

Diary ¡extrac$on ¡

Person ¡1 ¡ Person ¡1 ¡ Person ¡2 ¡

41 ¡

Social ¡interacion ¡analysis ¡

42 ¡

But ¡life-­‑logging ¡is ¡not ¡only ¡useful ¡for ¡ memory ¡enhancement! ¡

43 ¡

Towards ¡lifestyle ¡characteriza6on ¡

Characterize ¡and ¡assist ¡healthstyle ¡of ¡people: ¡applica$on ¡ to ¡pa$ents ¡with ¡obesity, ¡cardiovascular ¡diseases ¡and ¡ diabetes ¡

Life-­‑logging ¡for ¡healthy ¡lifestyle ¡

¡

• Ea6ng ¡pasern ¡
• Quality ¡of ¡diet ¡
• Environmental ¡factors ¡
• Behaviour ¡interven6on ¡

Life-­‑logging ¡for ¡wellfare ¡

¡

• ¡how ¡to ¡extract ¡seman$c ¡units ¡related ¡to ¡the ¡lifestyle ¡

and ¡their ¡context ¡rela6on, ¡

• how ¡to ¡segment ¡life-­‑log ¡data ¡into ¡meaningful ¡events, ¡ ¡
• what ¡are ¡the ¡seman6c ¡units ¡that ¡characterize ¡the ¡

lifestyle ¡of ¡individuals, ¡ ¡

• what ¡is ¡their ¡rela$on ¡and ¡how ¡the ¡context ¡affects ¡

them, ¡ ¡

• how ¡to ¡extract ¡and ¡characterize ¡lifestyles ¡paserns, ¡
• ¡what ¡is ¡the ¡healtstyle, ¡etc. ¡ ¡

Automa$cally ¡genera$on ¡of ¡lifestyle ¡pacerns ¡and ¡interpreta$ons ¡

• pens ¡many ¡research ¡ques$ons: ¡

45 ¡

Life-­‑logging ¡used ¡for ¡behaviour ¡interven6on. ¡ ¡But ¡how ¡to ¡get ¡objec6ve ¡bioarkers? ¡

Fusing ¡with ¡medical ¡images ¡

¡ ¡ ¡ fMRI ¡ MRI ¡

Func6onal ¡MRI ¡as ¡a ¡unique ¡tool ¡to ¡ ¡ analyze ¡the ¡neural ¡ac6vity ¡of ¡pa6ents. ¡ ¡

Towards: ¡

¡

• Use ¡fMRI ¡to ¡detect ¡objec6ve ¡biomarkers ¡of ¡obesity. ¡
• Combine ¡visual ¡life-­‑logging ¡and ¡fMRI ¡to ¡folow-­‑up ¡the ¡

effect ¡of ¡behaviour ¡interven6on. ¡

Thank ¡you! ¡J ¡

Conclusions ¡

• Visual ¡lifelogging ¡allows ¡to ¡observe ¡individuals ¡behaviour ¡and ¡thus ¡has ¡mul6ple ¡

applica6ons ¡to ¡different ¡diseases ¡(mental, ¡cardiovascular, ¡metabolic). ¡

• Healthcare, ¡in ¡general, ¡is ¡moving ¡from ¡diagnosis ¡& ¡interven6on ¡towards ¡

preven6on ¡(primary ¡and ¡secondary). ¡

• What ¡about ¡medical ¡images? ¡
• What ¡about ¡image-­‑based ¡behaviour ¡interven6on ¡of ¡pa6ents? ¡ ¡
• Medical ¡imaging ¡health ¡applica6ons ¡-­‑> ¡(medical) ¡imaging ¡health ¡applica6ons. ¡

¡

• The ¡combina6on ¡of ¡medical ¡images, ¡photographic ¡images ¡and ¡other ¡biosignals ¡

(understood ¡as ¡any ¡signal ¡in ¡living ¡beings ¡that ¡can ¡be ¡con6nually ¡measured ¡and ¡ monitored) ¡ ¡is ¡a ¡very ¡rich ¡and ¡novel ¡research ¡field ¡with ¡big ¡poten6al ¡for ¡ challenging ¡and ¡not ¡expoited ¡yet ¡applica6ons. ¡