Alignment of High-Throughput Sequencing Data Inside - - PowerPoint PPT Presentation

Alignment ¡of ¡ ¡ High-­‑Throughput ¡Sequencing ¡Data ¡ ¡ Inside ¡In-­‑Memory ¡Databases ¡

• D. ¡FIRNKORN, ¡P. ¡KNAUP, ¡J. ¡LORENZO ¡BERMEJO,

¡

• M. ¡GANZINGER

¡

¡

Ins7tute ¡of ¡Medical ¡Biometry ¡and ¡Informa7cs, ¡Heidelberg ¡University, ¡Germany

¡

2

Mo7va7on ¡

Terabytes ¡of ¡data ¡by ¡NGS ¡plaLorms ¡produced ¡each ¡day ¡ Ø Adequate ¡analysis ¡of ¡high ¡throughput ¡data ¡ Ø DNA ¡alignment, ¡variant ¡calling ¡and ¡annota7on ¡ ¡ more ¡7me-­‑consuming ¡than ¡DNA ¡sequencing ¡ ¡

Introduc7on ¡ Methods ¡ Results ¡ Discussion ¡

DNA sequencing Analysis ~ 2-7 hours ~ 1-2 days

3

• Data, ¡procedures, ¡etc. ¡are ¡kept ¡in ¡main ¡memory ¡
• Compu7ng ¡opera7ons ¡within ¡the ¡database ¡itself ¡
• No ¡IO ¡between ¡applica7on ¡and ¡database ¡layer ¡

In-­‑Memory ¡Compu7ng ¡

Introduc7on ¡ Methods ¡ Results ¡ Discussion ¡

IO ¡unit ¡ IO ¡unit ¡

hard ¡disk ¡drive ¡ main ¡memory ¡

working ¡unit ¡ working ¡unit ¡

4

Objec7ve ¡

• Inves7ga7on ¡of ¡in-­‑memory ¡databases ¡for ¡DNA ¡alignment ¡

– SAP ¡HANA ¡appliance ¡ – MySQL ¡with ¡in-­‑memory ¡engine ¡ ¡

• Development ¡of ¡stored ¡procedures ¡for ¡alignment ¡

– Test ¡case: ¡Burrows-­‑Wheeler-­‑Aligner ¡(BWA) ¡ – Performance ¡of ¡both ¡systems ¡evaluated ¡

Introduc7on ¡ Methods ¡ Results ¡ Discussion ¡

5

Data ¡Transforma7on ¡and ¡Bulk ¡Load ¡Process ¡

Introduc7on ¡ Methods ¡ Results ¡ Discussion ¡

e ¡

6

Methods ¡and ¡Tools ¡

• Reference ¡genome ¡precalcula7ons ¡for ¡BWA: ¡

– Construc7on ¡of ¡suffix ¡array ¡(SA) ¡ – Construc7on ¡of ¡burrows-­‑wheeler-­‑transforma7on ¡(BWT) ¡

• Development ¡of ¡stored ¡procedures ¡for ¡alignment: ¡

– First ¡within ¡MySQL ¡for ¡tes7ng ¡purpose ¡ – Por7ng ¡to ¡SAP ¡HANA, ¡syntax ¡adapta7on ¡

• System ¡informa7on: ¡

– Amazon-­‑Cloud ¡EC2, ¡m2.xlarge ¡(17 ¡GB ¡main ¡memory) ¡ – SAP ¡HANA ¡and ¡MySQL ¡running ¡on ¡same ¡system ¡

Introduc7on ¡ Methods ¡ Results ¡ Discussion ¡

7

Process ¡

Introduc7on ¡ Methods ¡ Results ¡ Discussion ¡

8

Exact ¡Matching: ¡Performance ¡Comparison ¡

Time ¡in ¡Seconds ¡

Aaer ¡~ ¡2.5 ¡hours ¡execu7on ¡error ¡in ¡MySQL ¡

Introduc7on ¡ Methods ¡ Results ¡ Discussion ¡

29.8 ¡fold ¡ 24.6 ¡fold ¡

9

Memory ¡Alloca7on ¡

a) HANA ¡installa7on ¡alone: ¡ 76 ¡% ¡ b) Including ¡reference ¡ genome: ¡99.5 ¡% ¡

Introduc7on ¡ Methods ¡ Results ¡ Discussion ¡

MySQL: ¡Main ¡memory ¡full ¡allocable ¡with ¡data ¡ ¡ ¡

10

Comparison ¡

¡ + ¡ ¡ ¡Open ¡source ¡ + ¡ ¡ ¡Recursive ¡procedure ¡calls ¡ – No ¡data ¡compression ¡ ± MEMORY ¡engine, ¡only ¡data ¡ in ¡main ¡memory ¡ MySQL ¡ SAP ¡HANA ¡ ¡ + ¡ ¡ ¡Compression ¡techniques ¡ – No ¡recursive ¡procedure ¡call ¡ – Expensive ¡licensing ¡ ± Column ¡store ¡engine, ¡ everything ¡in ¡main ¡memory ¡

Introduc7on ¡ Methods ¡ Results ¡ Discussion ¡

11

Conclusion ¡

• Proof ¡of ¡concept: ¡DNA ¡alignment ¡inside ¡in-­‑memory ¡databases ¡
• Implementa7on ¡and ¡comparison ¡of ¡stored ¡procedures ¡for ¡

exact ¡DNA ¡read ¡matching ¡ – SAP ¡HANA ¡technology ¡faster ¡ – Installa7on ¡without ¡data ¡needs ¡much ¡memory ¡ – Inexact ¡matching ¡only ¡in ¡MySQL ¡ ¡ ¡ ¡

Introduc7on ¡ Methods ¡ Results ¡ Discussion ¡

12

Outlook ¡

• Algorithm ¡op7miza7on ¡

– Itera7ve ¡BWA ¡ – Scores ¡for ¡match, ¡mismatch ¡and ¡gaps ¡ – Seeding ¡

• SA ¡genera7on ¡as ¡stored ¡procedure ¡
• Examine ¡other ¡free ¡in-­‑memory ¡databases: ¡

¡

13

14

DNA ¡Sequencing ¡Cost ¡and ¡Speed ¡

15

Column-­‑Store ¡Tables ¡

• SAP ¡HANA ¡consists ¡of ¡row ¡and ¡

column ¡engines ¡

• Tables ¡have ¡been ¡created ¡

within ¡the ¡column ¡engine ¡

• Faster ¡read ¡opera7ons ¡due ¡to ¡

compression ¡and ¡bejer ¡data ¡ access ¡

16

Suffix-­‑Array ¡Computa7on ¡