Обработка и планирование работы ухудшаются, затрагивая несколько продуктов Atlassian
- investigating
Обработка вакансий и планирование вакансий ухудшаются, что влияет на запланированную и асинхронную работу нескольких продуктов, включая Jira, Confluence и Bitbucket Cloud. Пострадавшие пользователи могут видеть отсроченное или отсутствующее выполнение работы, включая отсроченную обработку электронной почты и расписания, которые не работают, как ожидалось.
- identified
Наши команды определили первопричину этого инцидента и сейчас активно работают над смягчением проблемы. Мы предоставим дополнительные обновления в течение часа или раньше, если у нас будет какой-либо значительный прогресс.
- identified
Наши команды предприняли корректирующие шаги для смягчения проблемы и наблюдают некоторые улучшения. Мы продолжаем следить за ситуацией и будем принимать необходимые меры, пока инцидент не будет полностью восстановлен.
- identified
Наши команды продолжают работать над восстановлением, пока инцидент не будет полностью урегулирован. Мы предоставим дополнительные обновления, если у нас будет значительный прогресс. Наряду с влиянием на запланированную и асинхронную работу нескольких продуктов, мы также определили, что компонент SLA в Jira Service Management не отображается так, как ожидалось.
- identified
Наши команды продолжают работать над восстановлением, пока инцидент не будет полностью урегулирован. Мы предоставим дополнительные обновления, если у нас будет значительный прогресс. Кроме того, на новые билеты поддержки, созданные с точки зрения отсутствующего компонента SLA, влияют уведомления, которые могут повлиять на время отклика и управление отставанием некоторых билетов.
- resolved
01 октября 2026 года, между 01:00 UTC и 07:25 UTC, пользователи, возможно, видели пропущенное выполнение работы, включая задержку обработки электронной почты и расписания, которые не работают, как ожидалось. Теперь мы внедрили исправление, и услуги были восстановлены до нормальной работы для пострадавших клиентов. Воздействие на поддержку билетов с отсутствующим компонентом SLA и отсроченными уведомлениями также подтвердило восстановление. Для клиентов Bitbucket, если были какие-либо запланированные трубопроводы, которые не работали во время окна инцидента, вы можете подождать следующего запланированного исполнения или запустить их вручную.
- postmortem
###Резюме 1 октября 2026 года, между 01:00 и 07:25 UTC, ухудшение обработки вакансий и планирования повлияло на продукты Atlassian, включая Bitbucket Cloud, Confluence, приложения Forge, Jira и Jira Service Management во всех коммерческих облачных регионах. Это привело к задержке или пропущенным фоновым задачам, таким как обработка электронной почты и плановых трубопроводов; интерактивное использование продукта не было затронуто. Мероприятие было спровоцировано, когда неожиданное количество запланированных заданий стало обязательным одновременно, переполнив нашу общую платформу планирования работы. Автоматический мониторинг выявил инцидент в течение трех минут. Восстановление началось около 03:45 UTC, поскольку инженерная мощность была увеличена, и платформа работала с отставанием, с полным разрешением, достигнутым за 6 часов и 25 минут. ### ИМПАКТ Большинство запланированных заданий прекратили работу в 01:00 UTC и возобновились примерно с 03:45 UTC. Большинство отложенных работ было завершено примерно к 06:00 UTC, а остальные задержки были устранены к 07:25 UTC. По всем затронутым продуктам: Повторяющиеся запланированные задачи, пропущенные или задержанные во время инцидента; пропущенные пробежки не были автоматически повторены, и задачи возобновились в следующее запланированное время. Большинство одноразовых запланированных заданий задержались; небольшое количество может не работать. - Правила автоматизации, включая регламентные правила, работают нормально, за исключением случаев, указанных ниже. Облако Bitbucket Cloud Планируемые трубопроводы в период с 01:00 до 03:50 UTC не работали. Если во время инцидента не работал запланированный трубопровод, можно дождаться следующего запланированного исполнения или запустить его вручную. Другие трубопроводы не пострадали. слияние Некоторые календарные напоминания о событиях в период с 01:00 до 03:45 UTC не были отправлены. Кузнечные приложения Запланированные триггеры остановились в 01:00 UTC и возобновились примерно с 04:00 UTC; пропущенные вызовы не воспроизводились. Цели В начале месяца напоминания по электронной почте для обновления целей могут быть отложены. Jira и Jira Service Management Входящие электронные письма оставались в своих почтовых ящиках и обрабатывались автоматически после восстановления. Запланированные уведомления, такие как подписки на фильтры, были отложены. В некоторых сервисных проектах правила автоматизации и уведомления, вызванные SLA или временем в статусе, задерживались. Данные таймера SLA остались нетронутыми. Атласская поддержка До 07:25 UTC проблемы с нашими инструментами поддержки могли замедлить некоторые из наших ответов. Основываясь на нашем расследовании на сегодняшний день, мы не выявили каких-либо потерь рабочих элементов, страниц, репозиториев или входящих электронных писем. ###Корневая причина Наша общая платформа планирования работы работает в больших масштабах в нормальных условиях. Один из потребителей платформы запланировал аномально большой объем задач, которые будут выполнены одновременно 1 октября в 01:00 UTC. Этот всплеск превысил наши архитектурные и масштабные пределы, создав отставание в обработке зависимых услуг. Инженерия вручную увеличила емкость для обработки ненормальной нагрузки, что позволило службе обработать отставание и вернуться к нормальным операциям. ###ПЛАН РЕМЕДИАЛЬНЫХ ДЕЙСТВИЙ И СЛЕДУЮЩИХ СТЭПОВ Мы знаем, что задержка и пропущенная работа влияют на вашу производительность. Мы уделяем приоритетное внимание этим действиям, чтобы помочь снизить вероятность и влияние подобных инцидентов. ** Усилить изоляцию рабочей нагрузки:** Внедряйте справедливые ограждения планирования, чтобы увеличение объема из одного источника не приводило к голоду или задержке задач в других продуктах. -** Усилить контроль за всплесками:** Добавьте операционные возможности для быстрого дросселирования или приостановки запланированных рабочих нагрузок из определенных источников во время неожиданных всплесков трафика. ** Улучшить масштабирование и восстановление системы:** Увеличьте емкость платформы и оптимизируйте процессы масштабирования, чтобы справиться с экстремальными всплесками спроса и быстрее восстановиться. Мы приносим извинения клиентам, чьи услуги пострадали во время этого инцидента. Спасибо. атласский
Автоматический перевод официального обновления инцидента.