[PPT] - Vostok .NET PowerPoint Presentation, free download

SLIDE 1

Vostok

Эволюция телеметрии для микросервисов на .NET

Григорий Кошелев

СКБ Контур Стачка, Ульяновск, 2019

SLIDE 2

Немного про Контур

https://tech.kontur.ru

SLIDE 3

Контур в цифрах

~ 80 команд ~ 60 продуктов 3 дата-центра > 3000 хостов (железо и виртуалки)

https://tech.kontur.ru

SLIDE 4

Немного про Vostok

https://github.com/vostok

SLIDE 5

Vostok – инфраструктурный проект

Logs Metrics Distributed Tracing Service Discovery Hosting Deploy Configuration

https://github.com/vostok

SLIDE 6

Hercules – подсистема Востока

Logs Metrics Distributed Tracing

https://github.com/vostok/hercules

SLIDE 7

Vostok – цели

Простота Унификация Расширяемость

https://github.com/vostok

SLIDE 8

Ретроспектива: Логи

SLIDE 9

Логи (I)

https://www.elastic.co

Elastic

SLIDE 10

Логи (I)

https://www.elastic.co/products/kibana

Elastic Kibana

SLIDE 11

SLIDE 12

Логи (I)

Elastic

SLIDE 13

Логи (II)

https://www.rabbitmq.com

Rabbit MQ elk-streams Elastic

SLIDE 14

Логи (III)

elk-gate Rabbit MQ elk-streams Elastic

SLIDE 15

Логи (IV)

elk-gate Rabbit MQ elk-streams Elastic elk-gate Rabbit MQ elk-streams Elastic

SLIDE 16

Ретроспектива: Метрики

SLIDE 17

Метрики (I)

https://graphiteapp.org

Graphite

SLIDE 18

Метрики (I)

https://grafana.com

Grafana Graphite

SLIDE 19

SLIDE 20

Метрики (I)

https://graphiteapp.org

Graphite

SLIDE 21

Метрики (I)

https://graphiteapp.org

carbon-relay carbon Whisper Graphite

SLIDE 22

Метрики (II)

https://moira.readthedocs.io

carbon-relay Moira carbon Whisper

SLIDE 23

SLIDE 24

Метрики (II)

carbon-relay Moira carbon Whisper

SLIDE 25

Метрики (III)

https://github.com/grobian/carbon-c-relay

Moira carbon-c-relay go-carbon Whisper

SLIDE 26

Метрики (III)

https://github.com/lomik/go-carbon

go-carbon Whisper Moira carbon-c-relay

SLIDE 27

Метрики (IV)

https://clickhouse.yandex

carbon-clickhouse Moira carbon-c-relay ClickHouse

SLIDE 28

Метрики (IV)

https://github.com/lomik/carbon-clickhouse

carbon-clickhouse Moira carbon-c-relay ClickHouse

SLIDE 29

Ретроспектива: Трассировки

SLIDE 30

Трассировки

A B D C 100 мс

A: Front Service B: Backend Service C: Database D: Print Service

SLIDE 31

Трассировки

A B D C

TraceA { SpanAB { SpanBC { } } SpanAD { } }

100 мс 75 мс 10 мс 5 мс

SLIDE 32

Трассировки (I)

Elastic dtrace-gate dtrace-web

SLIDE 33

Трассировки (II)

Elastic dtrace-gate dtrace-web

SLIDE 34

Трассировки (III)

http://cassandra.apache.org

spanaggr Cassandra Contrails

SLIDE 35

SLIDE 36

Трассировки (III)

http://cassandra.apache.org

spanaggr Cassandra Contrails

SLIDE 37

Трассировки (IV)

spanaggr Cassandra Contrails

SLIDE 38

Всё вместе

Graphite Moira graphite-relay

SLIDE 39

Всё вместе

elk-gate Rabbit MQ elk-streams Elastic Graphite Moira graphite-relay

SLIDE 40

Всё вместе

elk-gate Rabbit MQ elk-streams Elastic Graphite Moira Trace C* graphite-relay spanaggr

SLIDE 41

Всё вместе

elk-gate Rabbit MQ elk-streams Elastic Graphite Moira Trace C* Sentry graphite-relay spanaggr

Контур. Метрика

SLIDE 42

Всё вместе

elk-gate Rabbit MQ elk-streams Elastic Graphite Moira Trace C* Sentry graphite-relay spanaggr

Контур. Метрика

SLIDE 43

Всё вместе

Простота Унификация Расширяемость

SLIDE 44

Единая транспортная система для данных телеметрии

Hercules Client Hercules Event

Log Event
Metric Value
Trace Span
Business Event

Hercules

SLIDE 45

Hercules under the hood (zoom x1)

Elastic Graphite Moira Trace C* Sentry Gate

?

SLIDE 46

Выбираем подходящую технологию для транспорта

Высокая производительность Высокая доступность Простота масштабирования Зрелость Open Source

SLIDE 47

Apache Kafka vs <awesome_technology>

RabbitMQ Apache ActiveMQ ZeroMQ NATS Streaming Apache Pulsar

SLIDE 48

Hercules under the hood (zoom x2)

Elastic Graphite Moira Trace C* Sentry Gate

SLIDE 49

Hercules under the hood (zoom x2)

Elastic Graphite Moira Trace C* Sentry Gate

Kafka

Elastic Sink Graphite Sink Moira Sink Tracing Sink Sentry Sink ZK

SLIDE 50

Hercules under the hood (zoom x3)

Stream Logs #1 Stream Logs #2 Stream Metrics

Kafka

SLIDE 51

Hercules under the hood (zoom x3)

Elastic Sink Elastic Sink Elastic Sink Stream Logs #1 Stream Logs #2 Stream Metrics

Kafka

SLIDE 52

Hercules under the hood (zoom x3)

Kafka

Gate Gate Stream Logs #1 Stream Logs #2 Stream Metrics Elastic Sink Elastic Sink Elastic Sink

SLIDE 53

Hercules under the hood (zoom x3)

Kafka

Gate Gate Elastic Sink Elastic Sink Elastic Sink Stream Logs #1 Stream Logs #2 Stream Metrics

SLIDE 54

Hercules under the hood (zoom x3)

Kafka

Gate Gate Elastic Sink Elastic Sink Elastic Sink Sentry Sink Stream Logs #1 Stream Logs #2 Stream Metrics

SLIDE 55

ZooKeeper

Уже используется кластером Kafka Конфигурация кластера Hercules Правила авторизации и настройки стримов

SLIDE 56

Cassandra

Трассировки

traceId #1 SpanBC SpanAB SpanAD TraceA traceId #2 Span #1 Span #2 Span #3

SLIDE 57

Cassandra

Временные ряды

stream

«Ведёрко» – фиксированный промежуток времени

SLIDE 58

Cassandra

Временные ряды

ведёрко #1 Event #1 Event #2 Event #3 ведёрко #2 Event #5 Event #6 Event #4

SLIDE 59

Тестирование

3 Kafka nodes (12x cores , 128 GB RAM, 1 Gbps, 4x HDD) 3 Gate + Sink nodes (12x cores, 128 GB RAM, 1 Gbps) Запись в Kafka: упёрлись в 1 Гбит Чтение из Kafka: упёрлись в 1 Гбит Elastic Sink: упёрлись в Elastic

SLIDE 60

Production (Логи)

60 000 eps (events per second) 100 000+ eps в пике ~ 3 TB логов в сутки

SLIDE 61