В прошлую пятницу, 13 сентября, по всей Украине перестал работать процессинг платежей «ПриватБанка». Клиенты банка не могли осуществлять денежные переводы в онлайне, а также расплачиваться в магазинах и торговых сетях с использованием POS-терминалов банка.

Сбои наблюдались до конца дня, а их отголоски — и на выходных. С понедельника процессинг работает стабильно.
В разгар коллапса платежей в банке сообщили, что сбой случился из-за аварии. После устранения ее причин, специалисты банка долгое время вручную обрабатывали скопившуюся очередь из непроведенных транзакций.

Сегодня руководитель ecommerce-проектов «ПриватБанка» Кристина Кармазина опубликовала в Facebook более развернутое описание событий. По ее словам, в системе образовался мощный «затор» из транзакций: многим зачислили пенсии, зарплаты и другие выплаты и банк не справился с потоком.

Она также описала хронологию событий и реакцию на них сотрудников банка. Работы по восстановлению процессинга велись до конца дня вторника, 17 сентября.

Почему сломался процессинг «ПриватБанка»

Пятница — это пиковый день для транзакционной нагрузки. Идут зачисления на карту, много трат в POS-терминалах на земле и в интернете.

Процессинг нагружен по полной. Мы оптимизируем запросы постоянно.

Представьте, что процессинг — это труба, по которой проходят транзакции с карт банка и с торговых точек по чужим картам — это многосторонний поток. В пиковые моменты любое «спотыкание» или образование минимального «затора» приводит к реверсам (возвратам транзакций) в системе.

Реверсы — это сущность, которая влияет на производительность, т.к. реверсы в системе имеют приоритет.

Это похоже на снежный ком. Представьте: идет многосторонний поток, образовалась небольшое накопление транзакций, пошел возврат потоков, реверсы проходят — но не проходят новые транзакции в потоке и становятся в очередь на реверс.

Для процессинга многих тысяч транзакций в минуту — это норма. Если в какую-то минуту поток увеличивается — начинаются реверсы. В нагруженный день в онлайне отработать «затор» и все накопленные реверсы нереально. Представили этот ужас?

И вот в пятницу 13-го зашли целевые пополнения, пенсия и выплаты — очень много зашло в самый час пик. И количество транзакций превысило норму в пик нагрузки.

Хронология событий

В 17:32 начался «затор».
До 19:23 работало с переменным успехом.
Реверсы накапливаются, поток транзакций не проходит.
В 19:23 приняли решение выключить ВСЕ: движения по нашим картам, наши POSы, наши банкоматы, наш интернет-эквайринг. Цель — минимизировать поток, провести целевые зачисления, вырулить реверсы. Процессинг — это живой организм, который возвращали к жизни последовательно.
В 21:00 — включили банкоматы.
В 21:08 — включили наши карты в банкоматах и POS других банков.
В 22:48 — закончили проведение целевых платежей.
В 23:00 — восстановили полноценную работу e-сommerce.
В 23:11 — восстановили полную работоспособность всех комплексов «ПриватБанка».

С субботы по вторник включительно команда анализировала проблемные транзакции, продолжали что-то возвращать на карты, что-то допроводить. К концу вторника e-сommerce разрулили, остались POS.   

www.ua-banker.com