[PPT] - Low-latency RNN inference using Cellular Batching Jinyang PowerPoint Presentation

SLIDE 1

Low-‑latency ¡RNN ¡inference ¡using ¡ Cellular ¡Batching ¡ ¡

Jinyang ¡Li ¡

joint ¡work ¡with ¡Pin ¡Gao, ¡Lingfan ¡Yu, ¡Yongwei ¡Wu ¡

¡ ¡

New ¡York ¡University ¡ ¡ ¡ ¡ ¡ ¡Tsinghua ¡University ¡

SLIDE 2

Lifecycle ¡of ¡DNN ¡deployments ¡

pGmal ¡weights ¡θopt ¡

[0.1, ¡0.2, ¡...] ¡ predicGons ¡

Training: ¡ Inference ¡

IteraGvely ¡modify ¡ weights ¡θ ¡ Use ¡fixed ¡weights ¡ ¡θopt ¡

SLIDE 3

DNN ¡Serving ¡must ¡provide ¡low ¡latency ¡

Training: ¡ Inference: ¡

All ¡samples ¡are ¡ available ¡at ¡once ¡

Goal ¡

good ¡ throughput ¡ ¡ Request ¡arrives ¡one ¡ at ¡a ¡Gme ¡

Goal ¡

good ¡throughput ¡ & ¡low ¡latency ¡

SLIDE 4

0 ¡ 2000 ¡ 4000 ¡ 6000 ¡

2 ¡ 4 ¡ 8 ¡ 16 ¡ 32 ¡ 64 ¡ 128 ¡ 256 ¡ 512 ¡ 1024 ¡ 2048 ¡ 4096 ¡

The ¡hardware ¡reality: ¡batching ¡ improves ¡performance ¡

Batch ¡size ¡ Latency ¡(us) ¡

Nvidia ¡Tesla ¡v100, ¡one ¡LSTM ¡step ¡(hidden ¡state ¡size ¡1024) ¡

0 ¡ 300000 ¡ 600000 ¡ 900000 ¡ Throughput ¡(reqs/sec) ¡

SLIDE 5

Background ¡on ¡Recurrent ¡Neural ¡Network ¡

fθ

input: ¡x ¡ hidden ¡ ¡ state: ¡h ¡

unfold ¡

fθ fθ fθ

x2 ¡ x0 ¡ x1 ¡ h0 ¡ h1 ¡ h2 ¡

SLIDE 6

RNN’s ¡batching ¡challenge: ¡ ¡ chain-‑RNNs ¡

How ¡to ¡batch ¡chains ¡of ¡different ¡lengths? ¡

LSTM ¡ cell ¡ LSTM ¡ cell ¡ LSTM ¡ cell ¡ “Volta” ¡ “GPU” ¡ “is” ¡ “fast” ¡ Volta ¡CPU ¡is... ¡ LSTM ¡ cell ¡ “I” ¡ “love” ¡ LSTM ¡ cell ¡ “california” ¡ I ¡love ¡... ¡

SLIDE 7

State-‑of-‑the-‑art ¡soluGon: ¡padding ¡

TensorFlow, ¡MXNet, ¡PyTorch, ¡CNTK ¡batch ¡via ¡

padding ¡

LSTM ¡ cell ¡ LSTM ¡ cell ¡ LSTM ¡ cell ¡ “Volta” ¡ “GPU” ¡ “is” ¡ “fast” ¡ LSTM ¡ cell ¡ “I” ¡ “love” ¡ LSTM ¡ cell ¡ “california” ¡ Volta ¡CPU ¡is... ¡ I ¡love ¡... ¡

SLIDE 8

State-‑of-‑the-‑art ¡soluGon: ¡padding ¡

TensorFlow, ¡MXNet, ¡PyTorch, ¡CNTK ¡batch ¡via ¡

padding ¡

LSTM ¡ cell ¡ LSTM ¡ cell ¡ LSTM ¡ cell ¡ “Volta” ¡ “GPU” ¡ “is” ¡ “fast” ¡ “I” ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ “love” ¡ “california” ¡ Volta ¡CPU ¡is... ¡ I ¡love ¡... ¡ xxxx ¡

SLIDE 9

RNN’s ¡batching ¡challenge: ¡ ¡ TreeLSTM ¡

How ¡to ¡batch ¡trees ¡of ¡different ¡structures? ¡

LSTM ¡ cell ¡ LSTM ¡ leaf ¡ LSTM ¡ cell ¡ LSTM ¡ leaf ¡ LSTM ¡ leaf ¡ LSTM ¡ cell ¡ LSTM ¡ leaf ¡ LSTM ¡ leaf ¡ “kids” ¡ “love” ¡ “dogs” ¡ “cats” ¡ “sleep” ¡

SLIDE 10

State-‑of-‑the-‑art ¡soluGons: ¡graph ¡batching ¡

TensorFlow-‑Fold ¡and ¡DyNet ¡merge ¡dataflow ¡

graphs ¡

LSTM ¡ cell ¡ LSTM ¡ leaf ¡ LSTM ¡ cell ¡ LSTM ¡ leaf ¡ LSTM ¡ leaf ¡ LSTM ¡ cell ¡ LSTM ¡ leaf ¡ LSTM ¡ leaf ¡ “kids” ¡ “love” ¡ “dogs” ¡ “cats” ¡ “sleep” ¡

SLIDE 11

State-‑of-‑the-‑art ¡soluGons: ¡graph ¡batching ¡

TensorFlow-‑Fold ¡and ¡DyNet ¡merge ¡dataflow ¡

graphs ¡

LSTM ¡ cell ¡ LSTM ¡ leaf ¡ LSTM ¡ cell ¡ LSTM ¡ leaf ¡ LSTM ¡ leaf ¡ “kids” ¡ “love” ¡ “dogs” ¡ “cats” ¡ “sleep” ¡

SLIDE 12

ExisGng ¡batching ¡techniques ¡do ¡not ¡ work ¡well ¡for ¡RNNs ¡

Long ¡delay ¡

– New ¡request ¡has ¡to ¡wait ¡for ¡current ¡batch ¡to ¡finish ¡

SubopGmal ¡Throughput ¡

– Padding ¡wastes ¡computaGon ¡ – Not ¡every ¡operator ¡is ¡batched ¡thoroughly ¡in ¡the ¡ merged ¡graph. ¡

SLIDE 13

Talk ¡outline ¡

MoGvaGon: ¡ ¡

– ExisGng ¡batching ¡techniques ¡incur ¡long ¡delay ¡for ¡RNNs ¡

Our ¡approach: ¡cellular ¡batching ¡
Batchmaker ¡RNN ¡inference ¡system ¡
EvaluaGon ¡

SLIDE 14

Our ¡approach: ¡cellular ¡batching ¡

The ¡insight: ¡RNN ¡is ¡made ¡up ¡of ¡(a ¡few ¡types ¡of) ¡