Apache Drill INTERACTIVE, AD-HOC QUERY AT SCALE Present by Jian - - PowerPoint PPT Presentation

Apache ¡Drill

INTERACTIVE, ¡AD-­‑HOC ¡QUERY ¡AT ¡SCALE

Present ¡by ¡Jian ¡Fang

Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

What ¡is ¡Apache ¡Drill

Ø Inspired ¡by ¡Google ¡Dremel ¡ Ø InteracCve ¡analysis ¡framework ¡of ¡large-­‑scale ¡datasets ¡ Ø Supports ¡a ¡nested ¡data ¡model ¡ Ø Plug-­‑able ¡data ¡sources ¡ Ø Standard ¡SQL ¡2003 ¡support ¡

Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

Architecture

SQL DrQL

MongoQL

DSL … Query ¡Planner ExecuCon ¡Engine Storage ¡Engine RDBMS HBase MongoDB HDFS Hadoop Cassandra REST CLI

NaCve ¡API

JDBC ODBC Interfaces Processing Data ¡Sources

Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

Architecture

Ø Each ¡Node: ¡Drillbit ¡– ¡maximize ¡data ¡locality ¡ Ø Co-­‑ordinaCon, ¡query ¡planning, ¡execuCon, ¡etc, ¡are ¡distributed ¡ Ø By ¡default ¡Drillbits ¡hold ¡all ¡roles ¡ Ø Any ¡node ¡can ¡act ¡as ¡endpoint ¡for ¡a ¡query ¡ Ø Zookeeper ¡for ¡ephemeral ¡cluster ¡membership ¡info ¡ Ø Distributed ¡cache ¡(Hazelcast) ¡for ¡metadata, ¡locality ¡informaCon, ¡etc.

Drillbit Storage ¡ Process

Distributed ¡Cache

Node

Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

Query ¡ExecuBon

Ø Source ¡query ¡→ Parser ¡API ¡ Ø Custom ¡operators, ¡UDF ¡→ Logical ¡Plan ¡ Ø Serving ¡tree, ¡CF, ¡topology ¡→ Physical ¡Plan/OpCmizer ¡ Ø Data ¡sources ¡& ¡formats ¡→ Scanner ¡API ¡

Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

Source ¡ Query Parser Logical ¡ Plan OpCmizer Physical ¡ Plan ExecucCon

Status

Ø Under ¡development, ¡alpha ¡version ¡ Ø Current ¡available ¡features ¡

Ø Logical ¡Plan ¡ Ø Reference ¡interpreter ¡ Ø Basic ¡SQL ¡parser ¡ Ø Basic ¡demo ¡

Ø More ¡on ¡h8p://incubator.apache.org/drill/index.html

Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

Thanks

Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT