Nonmonotonic Learning in Large Biological Networks Stefano - - PowerPoint PPT Presentation

nonmonotonic learning in large biological networks
SMART_READER_LITE
LIVE PREVIEW

Nonmonotonic Learning in Large Biological Networks Stefano - - PowerPoint PPT Presentation

Nonmonotonic Learning in Large Biological Networks Stefano Bragaglia, Oliver Ray stefano.bragaglia@bristol.ac.uk, oray@cs.bris.ac.uk Department of Computer Science


slide-1
SLIDE 1

Nonmonotonic ¡Learning ¡ in ¡Large ¡Biological ¡Networks ¡

Stefano ¡Bragaglia, ¡Oliver ¡Ray ¡

stefano.bragaglia@bristol.ac.uk, ¡oray@cs.bris.ac.uk ¡

¡

Department ¡of ¡Computer ¡Science ¡ University ¡of ¡Bristol ¡

¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 1 ¡

slide-2
SLIDE 2
  • New ¡open ¡source ¡XHAIL ¡implementaPon ¡
  • Study ¡of ¡scalability ¡on ¡Biological ¡Networks ¡
  • Found ¡mistake ¡in ¡genome-­‑scale ¡network ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 2 ¡

slide-3
SLIDE 3

XHAIL ¡

  • Nonmonotonic ¡ILP ¡ ¡

– normal ¡(extended) ¡logic ¡programs ¡ – abducPve, ¡deducPve, ¡inducPve ¡

  • Prototype ¡(2006) ¡

¡ ¡ ¡

– ASP-­‑based ¡(lparse/smodels) ¡ – Prolog ¡wrapper ¡(SWI-­‑Prolog) ¡ ¡ – Not ¡defeasible ¡ – Not ¡

¡

  • Metabolic ¡Network ¡Revision ¡(ILP ¡09) ¡

– AAA ¡model ¡(~30 ¡reacPons) ¡ – Pathway-­‑specific ¡model ¡

  • Non ¡

– normal ¡ – AbducPve ¡

  • Current ¡applicaPon ¡

– ASP-­‑based ¡(gringo/clasp) ¡ – Java ¡wrapper ¡(Java ¡8) ¡ – Defeasible ¡(language ¡bias) ¡ – Open ¡source ¡ ¡

¡ ¡

  • Metabolic ¡Network ¡Revision ¡

– ABER ¡model ¡(1100+ ¡reacPons) ¡ – Whole-­‑organism ¡model ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 3 ¡

slide-4
SLIDE 4

XHAIL ¡

  • Nonmonotonic ¡ILP ¡ ¡

– normal ¡(extended) ¡logic ¡programs ¡ – abducPve, ¡deducPve, ¡inducPve ¡

  • Prototype ¡(2006) ¡

¡ ¡ ¡

– ASP-­‑based ¡(lparse/smodels) ¡ – Prolog ¡wrapper ¡(SWI-­‑Prolog) ¡ ¡ – Not ¡defeasible ¡ – Not ¡

¡

  • Metabolic ¡Network ¡Revision ¡(ILP ¡09) ¡

– AAA ¡model ¡(~30 ¡reacPons) ¡ – Pathway-­‑specific ¡model ¡

  • Non ¡

– normal ¡ – AbducPve ¡

  • Current ¡applicaPon ¡

– ASP-­‑based ¡(gringo/clasp) ¡ – Java ¡wrapper ¡(Java ¡8) ¡ – Defeasible ¡(language ¡bias) ¡ – Open ¡source ¡ ¡

hap://github.com/cathexis-­‑bris-­‑ac-­‑uk/XHAIL ¡

  • Metabolic ¡Network ¡Revision ¡

– ABER ¡model ¡(1100+ ¡reacPons) ¡ – Whole-­‑organism ¡model ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 4 ¡

slide-5
SLIDE 5

Approach ¡Overview ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 5 ¡

modes ¡ hypotheses ¡ background ¡

medium cytosol C00078 end C00079 C00082 C00279 I00279 C00631 I00631 C00279 2.5.1.54 C00631 4.2.1.11 C00001 C00074 2.5.1.19 C00009 C04691 4.2.3.4 C00944 4.2.1.10 C02637 ? C02652 1.1.1.25 C00000 C00006 C00493 C00005 1.3.1.13 2.7.1.71 C00002 C00008 C03175 C01269 4.2.3.5 C00251 4.1.3.27 5.4.99.5 C00014 C00022 C00108 C00025 2.4.2.18 C00064 2.6.1.7 C00013 C04302 C00119 5.3.1.24 C01302 4.1.1.48 C00011 C03506 4.2.1.20 C00065 C00078 C00661 C00463 I00078 C00254 4.2.1.51 C00003 C00004 C00166 C01179 C00026 C00079 C00082 I00079 I00082

XHAIL ¡

#modeh ¡inhib(+e, ¡$m, ¡$d). ¡ #modeb ¡nutr(+e, ¡$m, ¡ext). ¡ #example ¡not ¡growth(2, ¡1). ¡ react(5, ¡ ¡ ¡ ¡[C02], ¡[C05]). ¡ meta(C05). ¡

  • bs_growth(2,1). ¡

in_comp(Exp, ¡ ¡ ¡Meta,Comp, ¡ ¡ ¡Day) ¡:-­‑ ¡ ¡ ¡ ¡ ¡s_comp( ¡ ¡ ¡ ¡ ¡Meta,Comp). ¡ inhib(V1, ¡10, ¡1) ¡:-­‑ ¡ ¡ ¡ ¡ ¡ ¡nutr(V1, ¡"C08", ¡ext), ¡ ¡ ¡ ¡ ¡ ¡nutr(V1, ¡"C06", ¡ext), ¡exp ¡(V1). ¡

evidences ¡

slide-6
SLIDE 6

Approach ¡Overview ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 6 ¡

modes ¡

new ¡ XHAIL ¡

react(5, ¡ ¡ ¡ ¡[C02], ¡[C05]). ¡ meta(C05). ¡

  • bs_growth(2,1). ¡

background ¡ hypotheses ¡

inhib(V1, ¡10, ¡1) ¡:-­‑ ¡ ¡ ¡ ¡ ¡ ¡nutr(V1, ¡"C08", ¡ext), ¡ ¡ ¡ ¡ ¡ ¡nutr(V1, ¡"C06", ¡ext), ¡exp ¡(V1). ¡ ¡ ¡:1 ¡=3. ¡ ¡ ¡:1 ¡=2. ¡ ¡ ¡=4. ¡ #modeh ¡inhib(+e, ¡$m, ¡$d) ¡ #modeb ¡nutr(+e, ¡$m, ¡ext) ¡ #example ¡not ¡growth(2, ¡1) ¡

evidences ¡

slide-7
SLIDE 7

Model ¡Revision ¡

% ¡Task ¡A: ¡YER090W ¡as ¡enzyme ¡complex ¡in ¡4.1.3.27 ¡ knockout(1, ¡"YER090W"). ¡ #modeh ¡component($orf, ¡$enzID) ¡:1 ¡=3. ¡ ¡ #example ¡not ¡predicted_growth(1, ¡1) ¡=4. ¡ ¡ ¡ knockout(2, ¡"YER090W"). ¡ ¡ additional_nutrient(2, ¡"C00108", ¡medium). ¡ ¡ #example ¡predicted_growth(2, ¡1) ¡=4. ¡ H: ¡component("YER090W", ¡54). ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 7 ¡

| |

  • |
  • |

| |

  • |
  • |
  • |
  • C00008

C00002

YDR127W

2.7.1.71 C00009

YDR127W

4.2.1.10

YDR127W

4.2.3.4

4.2.1.11 YGR254W YHR174W YMR323W

C00074 C00065 C00118 C00078 C03506 C04302

YDR007W

5.3.1.24

YGL026C

4.2.1.20 C00119 C00013 C01302 C00011

YKL211C

4.1.1.48

YDR354W

2.4.2.18 C00944 C02637 C01269 C00009 C03175 C00009

YGL148W

4.2.3.5

YDR127W

2.5.1.19 C04691 C00009

YBR249C YDR035W

2.5.1.54

YDR127W

1.1.1.25 C00005 C00006 C00493

YBR166C

1.3.1.13 C00006 C00005

YNL316C

4.2.1.51 C00011 C00011

YPR060C

5.4.99.5 C00254 C01179 C00082 C00025 C00026

YHR137W YGL202W

2.6.1.1 C00025 C00079

YHR137W YGL202W

2.6.1.7 C00166 C00026 C00251 C00279 C00631 C00108 C00064 C00022 C00025

YER090W YKL211C + YER090W

4.1.3.27

TYROSINE PHENYLALANINE D-ERYTHROSE-4- PHOSPHATE GLYCERATE-2- PHOSPHATE Anthranilate

C00065 C00001 C00463

Indole TRYPTOPHAN |

  • |
slide-8
SLIDE 8

Model ¡Revision ¡

% ¡Task ¡B: ¡C00082 ¡inhibits ¡YBR249C ¡in ¡2.5.1.54 ¡ ¡ knockout(3, ¡"YDR035W"). ¡ ¡ additional_nutrient(3, ¡"C00082", ¡medium). ¡ ¡ #example ¡not ¡predicted_growth(3, ¡1) ¡=4. ¡ ¡ #modeh ¡inhibitor($enzID, ¡$meta, ¡cytosol) ¡:1 ¡=2. ¡ ¡ ¡ experiment(4). ¡ additional_nutrient(4, ¡"C00082", ¡medium). ¡ #example ¡predicted_growth(4, ¡1) ¡=4. ¡ ¡ H: ¡inhibitor(25, ¡"C00082", ¡cytosol). ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 8 ¡

| |

  • |
  • |

| |

  • |
  • |
  • |
  • C00008

C00002

YDR127W

2.7.1.71 C00009

YDR127W

4.2.1.10

YDR127W

4.2.3.4

4.2.1.11 YGR254W YHR174W YMR323W

C00074 C00065 C00118 C00078 C03506 C04302

YDR007W

5.3.1.24

YGL026C

4.2.1.20 C00119 C00013 C01302 C00011

YKL211C

4.1.1.48

YDR354W

2.4.2.18 C00944 C02637 C01269 C00009 C03175 C00009

YGL148W

4.2.3.5

YDR127W

2.5.1.19 C04691 C00009

YBR249C YDR035W

2.5.1.54

YDR127W

1.1.1.25 C00005 C00006 C00493

YBR166C

1.3.1.13 C00006 C00005

YNL316C

4.2.1.51 C00011 C00011

YPR060C

5.4.99.5 C00254 C01179 C00082 C00025 C00026

YHR137W YGL202W

2.6.1.1 C00025 C00079

YHR137W YGL202W

2.6.1.7 C00166 C00026 C00251 C00279 C00631 C00108 C00064 C00022 C00025

YER090W YKL211C + YER090W

4.1.3.27

TYROSINE PHENYLALANINE D-ERYTHROSE-4- PHOSPHATE GLYCERATE-2- PHOSPHATE Anthranilate

C00065 C00001 C00463

Indole TRYPTOPHAN |

  • |
slide-9
SLIDE 9

Model ¡Revision ¡

¡ % ¡Task ¡C: ¡C00463 ¡contamination ¡in ¡4.2.1.20 ¡ ¡ knockout(5, ¡"YKL211C"). ¡ additional_nutrient(5, ¡"C00463", ¡medium). ¡ #modeh ¡include($reaction) ¡:1 ¡=3. ¡ ¡ #example ¡predicted_growth(5, ¡1) ¡=4. ¡ ¡ ¡ ¡ knockout(6, ¡"YGl026C"). ¡ additional_nutrient(6, ¡"C00463", ¡medium). ¡ #modeh ¡catalyst($reaction, ¡$enzID) ¡:1 ¡=3. ¡ #example ¡not ¡predicted_growth(6, ¡1) ¡=4. ¡ ¡ ¡ ¡ knockout(7, ¡"YKL211C"). ¡

  • bserved_growth(false, ¡7, ¡1). ¡ ¡

#example ¡not ¡predicted_growth(7, ¡1) ¡=4. ¡ ¡ H: ¡catalyst(10910, ¡43). ¡ ¡ ¡ ¡include(10910). ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 9 ¡

| |

  • |
  • |

| |

  • |
  • |
  • |
  • C00008

C00002

YDR127W

2.7.1.71 C00009

YDR127W

4.2.1.10

YDR127W

4.2.3.4

4.2.1.11 YGR254W YHR174W YMR323W

C00074 C00065 C00118 C00078 C03506 C04302

YDR007W

5.3.1.24

YGL026C

4.2.1.20 C00119 C00013 C01302 C00011

YKL211C

4.1.1.48

YDR354W

2.4.2.18 C00944 C02637 C01269 C00009 C03175 C00009

YGL148W

4.2.3.5

YDR127W

2.5.1.19 C04691 C00009

YBR249C YDR035W

2.5.1.54

YDR127W

1.1.1.25 C00005 C00006 C00493

YBR166C

1.3.1.13 C00006 C00005

YNL316C

4.2.1.51 C00011 C00011

YPR060C

5.4.99.5 C00254 C01179 C00082 C00025 C00026

YHR137W YGL202W

2.6.1.1 C00025 C00079

YHR137W YGL202W

2.6.1.7 C00166 C00026 C00251 C00279 C00631 C00108 C00064 C00022 C00025

YER090W YKL211C + YER090W

4.1.3.27

TYROSINE PHENYLALANINE D-ERYTHROSE-4- PHOSPHATE GLYCERATE-2- PHOSPHATE Anthranilate

C00065 C00001 C00463

Indole TRYPTOPHAN |

  • |
slide-10
SLIDE 10

Model ¡Revision ¡

¡ % ¡Task ¡D: ¡slow ¡import ¡of ¡C00166, ¡C01179 ¡ knockout(8, ¡"YBR166C"). ¡ ¡ additional_nutrient(8, ¡"C01179", ¡medium). ¡ ¡ #example ¡not ¡predicted_growth(8, ¡1) ¡=4. ¡ ¡ ¡ ¡ ¡ knockout(9, ¡"YNL316C"). ¡ ¡ additional_nutrient(9, ¡"C00166", ¡medium). ¡ #example ¡not ¡predicted_growth(9, ¡1) ¡=4. ¡ ¡ ¡ ¡ #example ¡not ¡predicted_growth(10, ¡1) ¡=4. ¡ #modeh ¡inhibited(+ex, ¡$enzID, ¡$day) ¡:2 ¡=2. ¡ ¡ H: ¡inhibited(V1, ¡53, ¡1) ¡:-­‑ ¡experiment(V1). ¡ ¡ ¡ ¡inhibited(V1, ¡67, ¡1) ¡:-­‑ ¡experiment(V1). ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 10 ¡

| |

  • |
  • |

| |

  • |
  • |
  • |
  • C00008

C00002

YDR127W

2.7.1.71 C00009

YDR127W

4.2.1.10

YDR127W

4.2.3.4

4.2.1.11 YGR254W YHR174W YMR323W

C00074 C00065 C00118 C00078 C03506 C04302

YDR007W

5.3.1.24

YGL026C

4.2.1.20 C00119 C00013 C01302 C00011

YKL211C

4.1.1.48

YDR354W

2.4.2.18 C00944 C02637 C01269 C00009 C03175 C00009

YGL148W

4.2.3.5

YDR127W

2.5.1.19 C04691 C00009

YBR249C YDR035W

2.5.1.54

YDR127W

1.1.1.25 C00005 C00006 C00493

YBR166C

1.3.1.13 C00006 C00005

YNL316C

4.2.1.51 C00011 C00011

YPR060C

5.4.99.5 C00254 C01179 C00082 C00025 C00026

YHR137W YGL202W

2.6.1.1 C00025 C00079

YHR137W YGL202W

2.6.1.7 C00166 C00026 C00251 C00279 C00631 C00108 C00064 C00022 C00025

YER090W YKL211C + YER090W

4.1.3.27

TYROSINE PHENYLALANINE D-ERYTHROSE-4- PHOSPHATE GLYCERATE-2- PHOSPHATE Anthranilate

C00065 C00001 C00463

Indole TRYPTOPHAN |

  • |
slide-11
SLIDE 11

Model ¡Revision ¡

¡ % ¡Task ¡E: ¡Defeasible ¡example ¡ ¡ #example ¡not ¡predicted_growth(11, ¡1) ¡=4. ¡ ¡ H: ¡-­‑ ¡ ¡ C: ¡0 ¡example/s ¡out ¡of ¡1 ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 11 ¡

| |

  • |
  • |

| |

  • |
  • |
  • |
  • C00008

C00002

YDR127W

2.7.1.71 C00009

YDR127W

4.2.1.10

YDR127W

4.2.3.4

4.2.1.11 YGR254W YHR174W YMR323W

C00074 C00065 C00118 C00078 C03506 C04302

YDR007W

5.3.1.24

YGL026C

4.2.1.20 C00119 C00013 C01302 C00011

YKL211C

4.1.1.48

YDR354W

2.4.2.18 C00944 C02637 C01269 C00009 C03175 C00009

YGL148W

4.2.3.5

YDR127W

2.5.1.19 C04691 C00009

YBR249C YDR035W

2.5.1.54

YDR127W

1.1.1.25 C00005 C00006 C00493

YBR166C

1.3.1.13 C00006 C00005

YNL316C

4.2.1.51 C00011 C00011

YPR060C

5.4.99.5 C00254 C01179 C00082 C00025 C00026

YHR137W YGL202W

2.6.1.1 C00025 C00079

YHR137W YGL202W

2.6.1.7 C00166 C00026 C00251 C00279 C00631 C00108 C00064 C00022 C00025

YER090W YKL211C + YER090W

4.1.3.27

TYROSINE PHENYLALANINE D-ERYTHROSE-4- PHOSPHATE GLYCERATE-2- PHOSPHATE Anthranilate

C00065 C00001 C00463

Indole TRYPTOPHAN |

  • |
slide-12
SLIDE 12

Scalability ¡Analysis ¡

  • n ¡ValidaPon ¡Experiments ¡

Size Task A Tasks A-B Tasks A-C Tasks A-D Tasks A-E 52 7.3 (1) 12.3 (20) 28.4 (340) – – 57 12.0 (1) 3.9 (20) 36.4 (340) – – 67 3.9 (1) 5.1 (20) 41.9 (340) – – 87 4.7 (1) 7.6 (19) 89.0 (304) – – 127 10.1 (1) 13.5 (19) 117.7 (304) – – 207 14.8 (1) 41.0 (19) – – – 367 26.7 (1) – – – – 687 50.4 (1) – – – – 1106 119.0 (1) – – – – Size Task A Tasks A-B Tasks A-C Tasks A-D Tasks A-E 52 5.6 (1) 3.4 (1) 12.4 (1) 11.7 (1) 12.9 (1) 57 3.3 (1) 4.0 (1) 10.8 (1) 13.6 (1) 14.9 (1) 67 10.4 (1) 6.1 (1) 13.2 (1) 27.5 (1) 23.6 (1) 87 4.8 (1) 5.1 (1) 29.3 (1) 72.9 (1) 94.6 (1) 127 6.7 (1) 8.4 (1) 47.2 (1) 141.3 (1) – 207 10.9 (1) 12.5 (1) – – – 367 23.4 (1) 45.1 (1) – – – 687 54.0 (1) – – – – 1106 113.1 (1) – – – –

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 12 ¡

standard ¡ expressions ¡ biased ¡ expressions ¡ # ¡reacPons ¡ Pme ¡(s) ¡ hypotheses ¡

  • ­‑ ¡means ¡"out ¡of ¡memory" ¡
slide-13
SLIDE 13

Scalability ¡Analysis ¡

  • n ¡data ¡provided ¡by ¡Robot ¡ScienPst ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 13 ¡

Size Ex 1 Ex 1-2 Ex 1-4 Ex 1-8 Ex 1-16 Ex 1-32 Ex 1-40 Ex 1-40 52 2.5 (1) 3.3 (1) 2.9 (1) 8.4 (1) 9.1 (1) 16.7 (1) 31.0 (10) 12.9 (10) 57 2.5 (1) 3.5 (1) 3.3 (1) 8.8 (1) 10.3 (1) 17.6 (1) 32.6 (10) 9.70 (10) 67 3.2 (1) 3.6 (1) 3.4 (1) 10.1 (1) 11.2 (1) 19.8 (1) 31.2 (10) 11.6 (10) 87 5.9 (1) 4.0 (1) 4.6 (1) 11.0 (1) 11.8 (1) 19.5 (1) 39.2 (10) 14.5 (10) 127 5.8 (1) 5.5 (1) 5.5 (1) 12.7 (1) 11.4 (1) 20.7 (1) 51.8 (10) 16.5 (10) 207 8.8 (1) 8.8 (1) 8.4 (1) 17.1 (1) 14.8 (1) 31.3 (1) 59.1 (10) 27.2 (10) 367 14.7 (1) 14.8 (1) 14.9 (1) 27.6 (1) 22.0 (1) 37.2 (1) 75.3 (10) 50.2 (10) 687 29.2 (1) 28.4 (1) 30.8 (1) 57.3 (0) 191.4 (0) – – – 1106 46.2 (1) 43.2 (1) 44.8 (1) 122.1 (0) – – – –

30% ¡faster! ¡

| |

  • |
  • |

| |

  • |
  • |
  • |
  • C00008

C00002 YDR127W 2.7.1.71 C00009 YDR127W 4.2.1.10 YDR127W 4.2.3.4 4.2.1.11 YGR254W YHR174W YMR323W C00074 C00065 C00118 C00078 C03506 C04302 YDR007W 5.3.1.24 YGL026C 4.2.1.20 C00119 C00013 C01302 C00011 YKL211C 4.1.1.48 YDR354W 2.4.2.18 C00944 C02637 C01269 C00009 C03175 C00009 YGL148W 4.2.3.5 YDR127W 2.5.1.19 C04691 C00009 YBR249C YDR035W 2.5.1.54 YDR127W 1.1.1.25 C00005 C00006 C00493 YBR166C 1.3.1.13 C00006 C00005 YNL316C 4.2.1.51 C00011 C00011 YPR060C 5.4.99.5 C00254 C01179 C00082 C00025 C00026 YHR137W YGL202W 2.6.1.1 C00025 C00079 YHR137W YGL202W 2.6.1.7 C00166 C00026 C00251 C00279 C00631 C00108 C00064 C00022 C00025 YER090W YKL211C + YER090W 4.1.3.27

TYROSINE PHENYLALANINE D-ERYTHROSE-4- PHOSPHATE GLYCERATE-2- PHOSPHATE Anthranilate

C00065 C00001 C00463

Indole TRYPTOPHAN

376 375 374 662 661 660 823 370 363 362 361 360 359 369 366 368 367 365, 357

|

  • |

C00011 C00004 C00003 364 U52_ 1.3.1.12

slide-14
SLIDE 14

Conclusions ¡

¡ We ¡have ¡introduced ¡ ¡

  • a ¡new ¡open ¡source ¡implementaPon ¡of ¡XHAIL ¡
  • a ¡study ¡of ¡scalability ¡on ¡Biological ¡Networks ¡
  • a ¡mistake ¡found ¡in ¡a ¡genome-­‑scale ¡network ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 14 ¡

slide-15
SLIDE 15

NONMONOTONIC ¡LEARNING ¡ ¡ IN ¡LARGE ¡BIOLOGICAL ¡NETWORKS ¡

Stefano ¡Bragaglia, ¡Oliver ¡Ray ¡

stefano.bragaglia@bristol.ac.uk, ¡oray@cs.bris.ac.uk ¡

  • Thanks ¡for ¡your ¡aaenPon ¡
  • Any ¡quesPons? ¡

14-­‑17/09/2014 ¡ ILP ¡'14, ¡Nancy ¡ 15 ¡