Node.js - PowerPoint PPT Presentation

Инфраструктура распределенных приложений на Node.js Stanislav Gumeniuk, SEMrush HolyJS / SPb / June 5 2016

Инфраструктура распределенных приложений 1. Инструменты для запуска, мониторинга, etc; 2. Архитектурные решения: от монолита к микросервисам; 3. Инкапсуляция микросервисов; 4. Связывание микросервисов и сервисов; 2 HolyJS / SPb / June 5 2016

HelloWorld / Node.js "use strict"; var Koa = require('koa'); const app = new Koa(); app.use(ctx => { ctx.body = 'Hello Koa@2'; }); app.listen(3000); 3 HolyJS / SPb / June 5 2016

Что мы хотим? 1. Разделение логов на потоки, управление потоками логов; 2. Мониторинг состояния приложения ( загрузка CPU, память, статус, etc.. ); 3. Автоматический перезапуск при падении. 4 HolyJS / SPb / June 5 2016

Запускаем HelloWorld Базовый инструмент $ node app.js 5 HolyJS / SPb / June 5 2016

Запускаем HelloWorld Базовый инструмент $ node app.js Умный инструмент $ nodemon app.js 6 HolyJS / SPb / June 5 2016

Запускаем HelloWorld Базовый инструмент $ node app.js Умный инструмент $ nodemon app.js Продвинутый инструмент $ pm2 start app.js 7 HolyJS / SPb / June 5 2016

8 HolyJS / SPb / June 5 2016

pm2 start app.js $ pm2 start app.js 9 HolyJS / SPb / June 5 2016

HelloWorld / Node.js / 2 var Koa = require('koa'); const app = new Koa(); app.use(ctx => { console.log('send responce'); ctx.body = 'Hello Koa@2'; }); console.error('fake error'); app.listen(5000); 10 HolyJS / SPb / June 5 2016

pm2 start app.js / pm2 logs app $ pm2 logs app [PM2] Tailing last 20 lines for [app] process app-14 (err): fake error app-14 (out): send responce app-14 (out): send responce [PM2] Streaming realtime logs for [app] process 11 HolyJS / SPb / June 5 2016

pm2 info <app_name> 12 HolyJS / SPb / June 5 2016

Ещё возможности pm2 - Запуск несколько приложений одной командой; - Deploy одной командой; - Встроенная кластеризация(!) 13 HolyJS / SPb / June 5 2016

ecosystem.json { "apps": [ { "name": "app", "script": "app.js", "env": { "NODE_ENV": "production" } } ] } 14 HolyJS / SPb / June 5 2016

pm2 startOrRestart ecosystem.json $ pm2 startOrRestart ecosystem.json 15 HolyJS / SPb / June 5 2016

ecosystem.json { "apps": [ { "name": "app", "script": "app.js", "env": { "NODE_ENV": "production" }, "instances": "2" } ] } 16 HolyJS / SPb / June 5 2016

pm2 startOrRestart ecosystem.json $ pm2 startOrRestart ecosystem. json 17 HolyJS / SPb / June 5 2016

pm2 cluster api app pm2 app 18 HolyJS / SPb / June 5 2016

Инфраструктура с гипервизором app.js app2.js pm2 logs 19 HolyJS / SPb / June 5 2016

pm2: 1. Логи: разбиты по потокам и пишутся в файлы 2. Мониторинг: memory, restarts, etc.. 3. Перезапуск при падении 4. Кластеризация из коробки 5. Deploy 20 HolyJS / SPb / June 5 2016

Архитектура от монолита к микросервисам HolyJS / SPb / June 5 2016

От монолита к микросервисам 1. Падение монолита - падение всей системы; 2. Падение микросервиса - падение элемента системы, при сохранении рабочей системы; 3. Распределение нагрузок; 4. Проще внедрять и заменять новые элементы в систему; 5. Мониторинг состояний каждого элемента системы. 22 HolyJS / SPb / June 5 2016

Взаимодействие с внешним миром app 23 HolyJS / SPb / June 5 2016

Взаимодействие с внешним миром nginx app 24 HolyJS / SPb / June 5 2016

Взаимодействие с внешним миром app front / SPA app nginx front app / api 25 HolyJS / SPb / June 5 2016

Взаимодействие с внешним миром app front / SPA app nginx app / api front app / api 26 HolyJS / SPb / June 5 2016

Взаимодействие с внешним миром front / SPA nginx app / api nginx front app / api 27 HolyJS / SPb / June 5 2016

Архитектура app 28 HolyJS / SPb / June 5 2016

Архитектура api 29 HolyJS / SPb / June 5 2016

Архитектура api DB 30 HolyJS / SPb / June 5 2016

Архитектура api worker DB 31 HolyJS / SPb / June 5 2016

Архитектура ? api worker ? DB 32 HolyJS / SPb / June 5 2016

Архитектура api worker DB 33 HolyJS / SPb / June 5 2016

Архитектура api worker worker 2 DB 34 HolyJS / SPb / June 5 2016

Архитектура front api worker worker 2 DB 35 HolyJS / SPb / June 5 2016

Архитектура API api app nginx app 36 HolyJS / SPb / June 5 2016

Архитектура API api nginx app nginx app 37 HolyJS / SPb / June 5 2016

HolyJS / SPb / June 5 2016

Инкапсуляция микросервисов - Docker 1. Все зависимости внутри; 2. Единое хранилище образов приложений; 3. Быстрая поставка приложения. 39 HolyJS / SPb / June 5 2016

Docker lifeline : Dockerfile FROM node:4.2.3 App: Dockerfile ADD . /code WORKDIR /code RUN npm i CMD node app.js EXPOSE 5000 40 HolyJS / SPb / June 5 2016

Docker lifeline : docker build img docker build -t foo/app . App: Dockerfile docker build -t foo/app:1.0 . App: Docker image 41 HolyJS / SPb / June 5 2016

Docker lifeline : push image App: Dockerfile app:img Docker registry docker push foo/app App: Docker image 42 HolyJS / SPb / June 5 2016

Docker lifeline App: Dockerfile app:img Docker registry docker pull foo/app App: Docker image docker run foo/app app 43 HolyJS / SPb / June 5 2016

Docker lifeline App: Dockerfile app:img db:img Docker registry App: Docker image app app app db 44 HolyJS / SPb / June 5 2016

Dockerfile FROM node:4.2.3 ADD . /code WORKDIR /code RUN npm i CMD node app.js EXPOSE 5000 45 HolyJS / SPb / June 5 2016

Dockerfile FROM node:4.2.3 ADD . /code WORKDIR /code RUN npm i CMD node app.js EXPOSE 5000 46 HolyJS / SPb / June 5 2016

Dockerfile FROM node:4.2.3 ADD . /code WORKDIR /code RUN npm i CMD node app.js EXPOSE 5000 47 HolyJS / SPb / June 5 2016

Dockerfile FROM node:4.2.3 ADD . /code WORKDIR /code RUN npm i CMD node app.js EXPOSE 5000 48 HolyJS / SPb / June 5 2016

Dockerfile FROM node:4.2.3 ADD . /code WORKDIR /code RUN npm i CMD node app.js EXPOSE 5000 49 HolyJS / SPb / June 5 2016

Dockerfile + pm2 FROM node:4.2.3 ADD . /code WORKDIR /code RUN npm i && npm i -g pm2 CMD pm2 startOrRestart ecosystem.json --env docker --no-daemon EXPOSE 5000 50 HolyJS / SPb / June 5 2016

Что мы получаем от Docker - Удобная поставка приложения: - запуск приложения одной командой; - возможность запуска множества копий приложения; - экономия времени системных администраторов; - Инкапсуляция зависимостей: - все зависимости внутри - отсутствие конфликтов версионирования зависимостей - не оставляет лишних следов в хостовой системе - Docker + pm2 = стабильность при “случайных” падениях приложения 51 HolyJS / SPb / June 5 2016

Consul Связывание микросервисов HolyJS / SPb / June 5 2016

Решение проблем с помощью Consul 1. Мониторинг статуса сервисов; 2. Реестр всех запущенных сервисов; 3. Поиск сервисов; 4. Доставка конфигов “налету”; 53 HolyJS / SPb / June 5 2016

Consul localhost:8300 - server rpc localhost:8301 - serf lan localhost:8302 - serf wan Consul localhost:8400 - cli rpc localhost:8500 - http api localhost:8600 - dns 54 HolyJS / SPb / June 5 2016

Consul Consul Consul Consul 55 HolyJS / SPb / June 5 2016