Apache Drill INTERACTIVE, AD-HOC QUERY AT SCALE Present by Jian - PowerPoint PPT Presentation

Apache ¡Drill INTERACTIVE, ¡AD-­‑HOC ¡QUERY ¡AT ¡SCALE Present ¡by ¡Jian ¡Fang Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

What ¡is ¡Apache ¡Drill Ø Inspired ¡by ¡Google ¡Dremel ¡ Ø InteracCve ¡analysis ¡framework ¡of ¡large-­‑scale ¡datasets ¡ Ø Supports ¡a ¡nested ¡data ¡model ¡ Ø Plug-­‑able ¡data ¡sources ¡ Ø Standard ¡SQL ¡2003 ¡support ¡ Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

Architecture REST CLI JDBC ODBC NaCve ¡API Interfaces SQL DrQL DSL … MongoQL Query ¡Planner Processing ExecuCon ¡Engine Storage ¡Engine Cassandra RDBMS MongoDB Data ¡Sources HBase HDFS Hadoop Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

Architecture Ø Each ¡Node: ¡Drillbit ¡– ¡maximize ¡data ¡locality ¡ Ø Co-­‑ordinaCon, ¡query ¡planning, ¡execuCon, ¡etc, ¡are ¡distributed ¡ Ø By ¡default ¡Drillbits ¡hold ¡all ¡roles ¡ Drillbit Ø Any ¡node ¡can ¡act ¡as ¡endpoint ¡for ¡a ¡query ¡ Distributed ¡Cache Ø Zookeeper ¡for ¡ephemeral ¡cluster ¡membership ¡info ¡ Storage ¡ Ø Distributed ¡cache ¡(Hazelcast) ¡for ¡metadata, ¡locality ¡informaCon, ¡etc. Process Node Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

Query ¡ExecuBon Ø Source ¡query ¡ → Parser ¡API ¡ Ø Custom ¡operators, ¡UDF ¡ → Logical ¡Plan ¡ Ø Serving ¡tree, ¡CF, ¡topology ¡ → Physical ¡Plan/OpCmizer ¡ Ø Data ¡sources ¡& ¡formats ¡ → Scanner ¡API ¡ Source ¡ Logical ¡ Physical ¡ Parser OpCmizer ExecucCon Query Plan Plan Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

Status Ø Under ¡development, ¡alpha ¡version ¡ Ø Current ¡available ¡features ¡ Ø Logical ¡Plan ¡ Ø Reference ¡interpreter ¡ Ø Basic ¡SQL ¡parser ¡ Ø Basic ¡demo ¡ Ø More ¡on ¡h8p://incubator.apache.org/drill/index.html Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT

Thanks Disclaimer: ¡some ¡slides ¡come ¡from ¡h8p://bit.ly/1c6djHT