Netflix Servo

Как с Netflix Servo постигнахме с x2 по-бързo зареждане на мобилното ни приложение за потребителите в Азия

Един от основните проблеми, когато разработваш high performance and scalability software платформа, изградена от много micro services комуникиращи по различни шини по между си е как да познаваме системата си от вътре. Как да наблюдаваме приложенията, от които тя се състои и тяхното измеримо поведение под въздействието на потреблението на услугите, предоставени на нашите клиенти. Освен това как лесно, бързо и еднозначно да индетифицираме performance bottlenecks или грешно имплементирана логика и по-късното й отстраняване.

След бързо оценяване на възможните варианти идентифицирахме комбинацията   Netflix Servo + Grafana, като перфектното решение което ни дава възможността за доста елегантно, бързо за имплементиране, лесно за усвояване и при това напълно безплатно решение:

  • Пакетирахме Netflix Servo като библиотека, част от development infrastructure, която всяко Java приложение да добави бързо и лесно като dependency.
  • Конфигурирахме библиотеката да предоставя статистики (jmx counters and stats, rps, latency, exceptions/sec) за Java приложенията агрегирани на 10 секундни периоди.

    Netflix Servo Standard Output
    Netflix Servo Standard Output
  • Данните изпращаме към Carbonа , а за удобна визуализация ползваме Graphite или  Grafana.

    Grafana Custom Dashboard

Ето и конкретен пример:

Поради голямата отдалеченост и високата network latency между Европа и Азия, зареждането (времето от натискане на бутона логин до пълното изобразяване на обектите) в мобилното ни приложение отнема два пъти повече от нормално време за останалия свят.

След анализ на логовете видяхме, че всяко зареждане на мобилното приложение прави поредица от последователни заявки към сървърите ни, като времето за изпълнението на една от тях се открояваше рязко на фона на останалите.

Разбира се, отразихме че в nginx/request.logs влиза сървърното плюс времето за доставка, което пречеше да идентифицираме истинското състояние и генезиса на проблема.

Чрез инструментация на кода с Netflix Servo успяхме да декомпозираме всички тези заявки към сървъра по интерфейси и да видим колко точно е сървърното време. Вече беше лесно да идентифицираме, че всички заявки отнемат “X” сървърно време, а най-бавната съответно 0.8*Х, като ясно се виждаше, че  времето започваше да се акумулира по всички нива от базата, бекенд, фронтенд до клиентите.

Time distribution across Database, Back-end, Front-end

В същото време, сравнявайки броя на успешно завършилите операции (първите и последните заявки част) от зареждането на приложението, идващи от Европа и Азия, успяхме да открием, че в същност имаме не малко клиенти, които се отказват да чакат и прекъсват процедурата по регистрация на нов акаунт. Това ни наведе на мисълта, че проблема е по-скоро в големината на трансферирания пакет, а не в контейнерите или deadlocks. Бърза проверка показа, че заявката, която доставяме на клиента е с големина от 500 КБ и транспорта се случва на поредица от TCP/IP round trips, което съвсем обясняваше защо в далечните дестинации имаме отклонение от 100% спрямо европейските ни клиенти.

След като имахме пълната картинка на проблема, с малко промени в кода редуцирахме броя обекти, които връщаме до стриктния минимум нужен за логин, а останалите обекти да се изтеглят с отделена заявка само ако потребителя има нужда от това. С това намалихме размера до 120 КБ, сървърното време до 0.1*X, а времето за доставка до отдалечените дестинации спадна до 4 пъти.

Благодарение на тази проста оптимизация успяхме да редуцираме драстично (до 2 пъти) времето за зареждане на приложението, а  като страничен ефект увеличихме и броя на успешно завършилите регистрации с 5%.

Не на последно място, Netflix Servo може да бъде успешно решение и за:

  • анализ на клиентски проблеми – колко често клиента чете Новини в платформата или например използва smart market order widget-a.

    GetNewsEvent Interface Distribution
    getNewsEvent Interface Distribution
  • установяване на performance проблеми при работа с външни provider-и.

    getNewsEvent Distribution
    getNewsEvent Distribution

Link to github repo

Python Callback plugin

Нашето решение за анализ на операции с Ansible deployment tool – (Python) Callback plugin

Как да постигнем целта ‘near zero downtime deploy’, ако не знаем колко време отнема изпълнението на всяка от задачите? Как да решим коя от задачите да оптимизираме?

Решение на тези въпроси намерихме с имплементирането на callback в нашият Ansible deployment tool

Ansible е софтуерна платформа, която ни позволява лесно и удобно конфигуриране и управление на отдалечени компютри.

Ansible дава свобода за разработка на допълнителни plugin-и, сред които и такива от типа callbacks

Какво е callback?

Callback функцията добавя ново поведение към стандартния начин за изпълнение на задачите в ansible playbook-а. Например при грешка в изпълнението на текущата задача X, callback функцията праща мейл, или към лог-а за изпълнението на всяка задача добавя timestamp.

Нашето решение

Създадохме три (python) plugin-a, валидни за всеки Ansible playbook:

  • log_plays.py е custom logging module за улеснение на  debuging-a. Oриентира ни бързо за източника на проблема – липсваща конфигурация, проблем на средата, пропуск в playbook-a.

log_plays.py:

  • записва подробен лог за изпълнението на всяка от задачите

Пример:

Callback

  • за задачите, с резултат грешка – модула архивира лог файл, прикачва го в email и го изпраща

Пример за email subject: Unreachable: SSH Error: data could not be sent to the remote host. Make sure this host can be reached over ssh

  • profile_tasks.py  – модул за анализ на performance-а на задачите. Записва начало на задачата и времето за нейното изпълнение. В конзолата принтира 10-те най-бавни задачи, а в лог файла принтира 100-те най-бавни задачи

 Пример: local_preparation_configuration | Populate template ——————- 23.37s

  • timestamp.py – За да установим най-бавния сет от задачи (роли) по време на деплой, създадохме timestamp.py plugin. Той записва в кой момент от целия деплой се е изпълнил сет-а от задачи.

Playrecap

С Callback plugin-a установихме например, че най-бавни са задачите за стартирането на приложенията и така оптимизирахме някои от тях – целта (‘near zero downtime deploy’) изпълнена!

Github link