Automa;c Rules Genera;on for CEP G. Cugola E. Della - - PowerPoint PPT Presentation

Stream ¡and ¡Complex ¡Event ¡Processing ¡

Learning ¡From ¡the ¡Past ¡ Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡

• G. ¡Cugola ¡ ¡ ¡ ¡E. ¡Della ¡Valle ¡

¡ ¡ ¡A. ¡Margara ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡Politecnico ¡di ¡Milano ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Vrije ¡Universiteit ¡Amsterdam ¡

cugola@elet.polimi.it a.margara@vu.nl dellavalle@elet.polimi.it

Complex ¡Event ¡Processing ¡(CEP) ¡

Complex ¡Event ¡ Processing ¡

sources ¡ sinks ¡ rules ¡

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 2 ¡

Idea ¡

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 3 ¡

Outline ¡

• Model ¡
• Prototype ¡implementa;on ¡
• Based ¡on ¡machine ¡learning ¡
• Ini;al ¡results ¡and ¡valida;on ¡

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 4 ¡

Event ¡Model ¡

Temperature ¡@10 ¡ ¡ (room=123, ¡value=24.5) ¡

S() ¡ S() ¡ T(50) ¡ T(28) ¡ T(27.5) ¡ T(25) ¡

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 5 ¡

Rule ¡Languages ¡

Oracle ¡CEP ¡ MicrosoY ¡ Stream ¡Insight ¡ Stream ¡ Cayuga ¡ IBM ¡WSBE ¡ Stream ¡Mill ¡ Aurora ¡ Borealis ¡ SASE+ ¡ Padres ¡ Esper ¡ Telegraph ¡ CQ ¡ NextCEP ¡ TESLA ¡ ETALIS ¡ TIBCO ¡Business ¡ Events ¡ Progress ¡ Apama ¡

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 6 ¡

CEP ¡Operators ¡

Define ¡ ¡ ¡FIRE: ¡ within ¡5 ¡min ¡ { ¡Smoke() ¡and ¡Temp(value>40) ¡and ¡not ¡Rain ¡(mm>2) ¡} ¡ where ¡{ ¡Temp ¡-­‑> ¡Smoke ¡} ¡

Selec;on ¡ Combina;on ¡ Nega;on ¡ Sequence ¡ Window ¡

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 7 ¡

iCEP ¡

Produces { Events/Attributes }

Events and Attributes Learner

Requires { } Optional { Size of Window } Produces { Size of Window }

Window Learner

Requires { } Optional { Relevant Events/Attributes } Produces { Predicates }

Predicates Learner

Requires { Events/Attributes, Size of Window } Optional { } Produces { Negations }

Negations Learner

Requires { Predicates, Size of Window } Optional { } Produces { Sequences }

Sequences Learner

Requires { Predicates, Size of Window } Optional { }

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 8 ¡

Machine ¡Learning ¡

Var1 ¡= ¡25; ¡Var2 ¡= ¡True; ¡…….; ¡Occurred ¡= ¡YES ¡ Var1 ¡= ¡35; ¡Var2 ¡= ¡True; ¡…….; ¡Occurred ¡= ¡YES ¡ Var1 ¡= ¡12; ¡Var2 ¡= ¡False; ¡…….; ¡Occurred ¡= ¡NO ¡ Var1 ¡= ¡25; ¡Var2 ¡= ¡False; ¡…….; ¡Occurred ¡= ¡NO ¡

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 9 ¡

iCEP ¡

Produces { Events/Attributes }

Events and Attributes Learner

Requires { } Optional { Size of Window } Produces { Size of Window }

Window Learner

Requires { } Optional { Relevant Events/Attributes } Produces { Predicates }

Predicates Learner

Requires { Events/Attributes, Size of Window } Optional { } Produces { Negations }

Negations Learner

Requires { Predicates, Size of Window } Optional { } Produces { Sequences }

Sequences Learner

Requires { Predicates, Size of Window } Optional { }

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 10 ¡

Events ¡and ¡Alributes ¡Learner ¡

CE B A C D win A = no; B = no; C = yes; D = yes; Occurred = no A = yes; B = yes; C = no; D = no; Occurred = yes C B D D

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 11 ¡

iCEP ¡

Produces { Events/Attributes }

Events and Attributes Learner

Requires { } Optional { Size of Window } Produces { Size of Window }

Window Learner

Requires { } Optional { Relevant Events/Attributes } Produces { Predicates }

Predicates Learner

Requires { Events/Attributes, Size of Window } Optional { } Produces { Negations }

Negations Learner

Requires { Predicates, Size of Window } Optional { } Produces { Sequences }

Sequences Learner

Requires { Predicates, Size of Window } Optional { }

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 12 ¡

Window ¡Learner ¡

CE B A C D win A = no; B = no; C = yes; D = yes; Occurred = no A = yes; B = yes; C = no; D = no; Occurred = yes C B D D

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 13 ¡

iCEP ¡

Produces { Events/Attributes }

Events and Attributes Learner

Requires { } Optional { Size of Window } Produces { Size of Window }

Window Learner

Requires { } Optional { Relevant Events/Attributes } Produces { Predicates }

Predicates Learner

Requires { Events/Attributes, Size of Window } Optional { } Produces { Negations }

Negations Learner

Requires { Predicates, Size of Window } Optional { } Produces { Sequences }

Sequences Learner

Requires { Predicates, Size of Window } Optional { }

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 14 ¡

Predicates ¡Learner ¡

va

no

va va

yes

≤10

>10

≤12

>12 (va > 10 and va ≤ 12) or (va > 20) yes

no

≤20

>20

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 15 ¡

iCEP ¡

Produces { Events/Attributes }

Events and Attributes Learner

Requires { } Optional { Size of Window } Produces { Size of Window }

Window Learner

Requires { } Optional { Relevant Events/Attributes } Produces { Predicates }

Predicates Learner

Requires { Events/Attributes, Size of Window } Optional { } Produces { Negations }

Negations Learner

Requires { Predicates, Size of Window } Optional { } Produces { Sequences }

Sequences Learner

Requires { Predicates, Size of Window } Optional { }

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 16 ¡

Sequences ¡Learner ¡

• For ¡each ¡occurrence ¡of ¡CE ¡
• For ¡each ¡couple ¡of ¡events ¡e1 ¡and ¡e2 ¡
• Count ¡Freq ¡(e1 ¡à ¡e2) ¡
• Count ¡Freq ¡(e2 ¡à ¡e1) ¡
• Seq(e1, ¡e2) ¡iff ¡
• Freq ¡(e1 ¡à ¡e2) ¡≃ ¡1 ¡
• Freq ¡(e1 ¡à ¡e2) ¡>> ¡Freq ¡(e2 ¡à ¡e1) ¡

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 17 ¡

iCEP ¡

Produces { Events/Attributes }

Events and Attributes Learner

Requires { } Optional { Size of Window } Produces { Size of Window }

Window Learner

Requires { } Optional { Relevant Events/Attributes } Produces { Predicates }

Predicates Learner

Requires { Events/Attributes, Size of Window } Optional { } Produces { Negations }

Negations Learner

Requires { Predicates, Size of Window } Optional { } Produces { Sequences }

Sequences Learner

Requires { Predicates, Size of Window } Optional { }

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 18 ¡

Nega;ons ¡Learner ¡

• For ¡each ¡occurrence ¡of ¡CE ¡
• For ¡each ¡relevant ¡event ¡e ¡
• Count ¡the ¡Freq ¡(e) ¡
• Neg ¡(e) ¡iff ¡
• Freq ¡(e) ¡≃ ¡0 ¡

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 19 ¡

Evalua;on ¡

Generate training history of primitive events Detect all composite events in training history Generate Rule R Execute iCEP to infer Rule R* Generate evaluation history

• f primitive events

Detect all composite events in evaluation history using R Detect all composite events in evaluation history using R* Compare rules syntactically Compare rules to determine recall and precision Split training history in positive and negative traces

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 20 ¡

Evalua;on ¡

Number ¡of ¡Event ¡Types ¡ 25 ¡ Distribu;on ¡of ¡Types ¡ Uniform ¡ Number ¡of ¡Alributes ¡per ¡Event ¡ 1 ¡ Number ¡of ¡Values ¡per ¡Alribute ¡ 100 ¡ Number ¡of ¡Sequences ¡ 1 ¡ Length ¡of ¡Sequences ¡ 3 ¡ Average ¡Window ¡Size ¡ 10 ¡ Number ¡of ¡Nega;ons ¡ 0 ¡ Recall ¡ Precision ¡ Type ¡ Win ¡ Pred ¡ Seq ¡ Neg ¡ 0.99 ¡ 0.94 ¡ 0.1 ¡ 3.6 ¡ 0.03 ¡ 0.2 ¡ 0.0 ¡

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 21 ¡

Number ¡of ¡Events ¡

W/ ¡Sequence ¡

0.2 0.4 0.6 0.8 1 1 2 3 4 5 Number of Primitive Events Recall Precision

W/O ¡Sequence ¡

0.2 0.4 0.6 0.8 1 1 2 3 4 5 Number of Primitive Events Recall Precision

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 22 ¡

Window ¡Size ¡

0.2 0.4 0.6 0.8 1 10 20 30 40 50 60 70 Windows Size Recall Precision

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 23 ¡

Number ¡of ¡Types ¡

0.2 0.4 0.6 0.8 1 10 20 30 40 50 60 70 80 90 100 Number of Event Types Recall Precision

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 24 ¡

Number ¡of ¡Samples ¡

0.2 0.4 0.6 0.8 1 0.5 1 1.5 2 2.5 3 Number of Samples (k) Recall Precision

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 25 ¡

Open ¡Ques;ons ¡

• How ¡to ¡encode ¡mul;ple-­‑alributes? ¡
• How ¡to ¡encode ¡parameters? ¡
• Rela;ons ¡between ¡the ¡values ¡in ¡the ¡same ¡or ¡

different ¡events ¡

• E.g. ¡Smoke ¡and ¡Temperature ¡must ¡share ¡the ¡same ¡

loca;on ¡

Stream ¡& ¡Complex ¡Event ¡Processing ¡-­‑ ¡Automa;c ¡Rules ¡Genera;on ¡for ¡CEP ¡ 26 ¡