2023 Год 11 луна 12 день 18 Около 12:00 Alibaba Cloud опубликовала объявление, в котором говорилось, что продуктовая консоль Alibaba Cloud Служитьаномальный, Alibaba Cloud немедленно опубликовала объявление, в котором говорилось, что Пекинское время2023Год11луна12 Начиная с 17:44 мониторинг Alibaba Cloud обнаружил, что при доступе к консоли облачного продукта и API-настройки появились аномалии, и срочно задействован инженер Alibaba Cloud. неисправности. инженер Доступ восстановлен через пакетный перезапуск компонента Служить, Большинство региональной консоли Служить.

влияние на бизнес

Устранение неполадок с данными

Поиск неисправностей

результат

В конечном итоге одна треть записанного в реальном времени видео была полностью потеряна.,Другие записанные видео неполны.,Другими словами, была записана только первая половина,Вторая половина отсутствует.

компенсация

PS: Из-за влияния на бизнес больше,Таким образом, помимо ваучерной компенсации,И дополнительная денежная компенсация,Сумма наличными㊙️㊙️

Компенсационное СМС

[Облако Алибаба] Дорогой ххх: Привет!,Мы очень сожалеем о последствиях сбоя продукта, произошедшего в Alibaba Cloud 11луна12день. В соответствии с «Соглашением об уровне обслуживания», обещанным вам Alibaba Cloud.,Общая сумма компенсации по SLA на этот раз должна составить 227,24 юаня.,Фактически мы выдадим вам в общей сложности 227,24 юаня. Вы можете зайти в консоль — «Компенсация SLA», чтобы просмотреть и потребовать ее. Если у вас есть вопросы,Добро пожаловать, свяжитесь с вашим бизнес-менеджером, Наберите 400-80-13260 доб.9.、Или отправьте заявку, чтобы связаться с нами. Еще раз приносим искренние извинения за этот сбой.

Уведомление о выплате компенсации

SLAкомпенсация

отчет о неисправности

сфера влияния

1. OSS、OTS、SLS、MNS Это влияет на часть продукта Служить, большая часть продукта, такая как На работу ECS, RDS, сети и т. д. это не повлияет.
2. облакопродуктконсоль、контроль API функции затронуты

время

Пекинвремя 2023 Год 11 луна 12 день 17:39-19:20

Обзор проблемы

Пекинвремя 2023 Год 11 луна 12 день 17:39 Отныне доступ к консоли продукта Alibaba Cloud и управление ею APIнастраивать Используйте, чтобы появитьсяаномальный、частьоблакопродукт Служитьдоступаномальный,инженер Поиск Причина неисправности связана с ключом доступа Служить (АК) аномальный. инженер После пересмотра версии белого списка перезапускайте пакетно AK меры обслуживания, в 18:35 Начинает постепенно восстанавливаться, 19:20 Большинство Region Консоль продукта и API управления восстанавливаться.

Обработка

2023 Год 11 луна 12 день

17:39 Доступ и управление консолью продукта Alibaba Cloud API Во время вызова произошло исключение.

17:50 Инженер подтвердил, что неисправность была AK Вызвано аномалиями обслуживания, влияющими на консоль и управление облачными продуктами. API настраивать Используйте исключения и зависимости AK Служба облачного продукта службы работает ненормально.

18:01 Инженеры находят причину.

18:07 Начните применять меры по восстановлению, включая пересмотр версии белого списка и перезапуск. AK Служить.

18:35 Ханчжоу и др. Region Начинаем приходить в норму.

19:20 Большинство Region Консоль и управление облачными продуктами API настройки приходят в норму.

причина

Служба ключей доступа (AK) обнаружила исключение чтения при чтении данных белого списка. Из-за логической ошибки в коде, обрабатывающем исключение чтения, был создан неполный белый список, что привело к сбою действительных запросов, которых не было в этом белом списке. Консоль облачного продукта и службы API управления В то же время в некоторых продуктах, использующих службы AK, некоторые службы работают ненормально из-за неполного внесения в белый список.

Меры по улучшению

1. Увеличение АК Служить проверке результатов формирования белого списка и возможностям перехвата сигналов тревоги.

2. Добавьте логику проверки в оттенках серого для обновления белого списка службы AK, чтобы заранее обнаружить отклонения.

3. Увеличение возможностей быстрого восстановления белого списка службы AK.

4. Укрепить возможности восстановления связей на стороне облачных продуктов.

Подвести итог

Хотя Alibaba Cloud компенсировала ущерб после аварии,,Но это все еще вызывает некоторые вопросы. Некоторые считают, что это причина увольнений в Alibaba Cloud.,Сказав так много,Кажется, проблем не будет, если мы построим компьютерный зал сами.,Как сказал генеральный директор 360, это эффект Мертвого моря.,Люди, которые занимаются практическими делами, обычно уходят первыми.,Все испарилось,В конце концов, остались только ублюдки.,В том числе и управление.

Для предприятий очень необходимо мультиплатформенное аварийное восстановление. Хотя Alibaba Cloud продемонстрировала в этом инциденте сильные возможности обработки данных и возможности обеспечения безопасности платформы, все равно необходимо учитывать доступность других поставщиков облачных услуг. Предприятиям необходимо разработать планы аварийного восстановления и поддерживать сотрудничество с несколькими поставщиками облачных услуг, чтобы гарантировать, что они смогут быстро реагировать и сокращать потери при возникновении аналогичных проблем.

Короче говоря, этот инцидент напоминает нам о том, что проблемы могут возникнуть с любым сервисом. Ключ заключается в том, как компании управляют этими проблемами и реагируют на них. Разработав план аварийного восстановления и работая с несколькими поставщиками облачных услуг, компании смогут лучше реагировать на подобные проблемы и обеспечивать непрерывность бизнеса.