なぜこのインシデントは「SEV1」なのか? ——「Incident Severity Levels」という共通言語を導入する
第4回の今回は、インシデントの重大度を段階で表す「Incident Severity Levels」を取り上げ、組織の共通言語としての価値と導入のアプローチについて解説します。
6:30
はじめに
株式会社はてな Embedded SREの西川と申します。「SRE Kaigi 2025」で登壇し、そのご縁で本連載で記事を寄稿させていただくこととなりました。
第4回となる今回は「Incident Severity Levels」を取り上げます。「SREが語るインシデント対応の実践」と題した連載企画なので、一般的な内容だけではなく、私自身の経験から「導入の進め方」といった実践的な内容も含めて解説します。
「Incident Severity Levels」とは
インシデント対応では、関係者間で重大度の認識が揃っていないと対応にぶれが生じます。この認識を揃えるのが、インシデントがビジネスに与える影響の重大度を段階に分けて表す指標となるIncident Severity Levelsです。
SREにおけるインシデント対応では「Incident Command System(ICS)」がよく参照されます。ICSは米国で消防などの緊急対応機関向けに整備された標準的な枠組みです。2005年のUSENIX LISAにて、これをITの障害対応にも持ち込もうという提案がBrent Chapmanによってなされました*1。
*1: 「Incident Command for IT: What We Can Learn from the Fire Department」(USENIX)
Googleの「Site Reliability Engineering: How Google Runs Production Systems」でも、自社のインシデント管理システムはICSに基づくものだと明記されています*2。
*2: 「Google SRE - Incident Management: Key to Restore Operations」
ただし、ICSが定めているのはIncident Commanderを中心とする役割分担と、職制とは独立した指揮系統です。インシデントに対する重大度の段階については言及されていません。
これに対して、影響の大小を評価して段階に落とし込んでいるのが、英国政府機関が公開した「Information Technology Infrastructure Library(ITIL)」です。ITILのインシデント管理が定めているのは、Impact(影響度)とUrgency(緊急度)からPriority(優先度)を導く手順です。Impactは事象がもたらす影響の範囲と損害の大きさ、Urgencyは解決に向けた時間の切迫度を表し、この2つの尺度を掛け合わせて優先度が決まります。
このマトリクスに「Severity」というワードは登場しませんが、Severityが表しているのはImpactと同じ、事象がもたらす影響の大きさです。ImpactをUrgencyと掛け合わせて優先度に変換するITILに対して、SREの文脈では影響の大きさそのものを段階に分けたSeverity(SEV)が使われ、番号が小さいほど重い段階を指します。ICSにもITILにも出てこないこの語が定着したのは、どちらの枠組みよりも後のことです。標準として定められたものではないので、段階の数も各段階の定義も統一されていません。
一例として、PagerDutyのドキュメントではSeverityは5段階に分類されています*3。SEV1は「公表と経営層との連携を要する重大な問題」、SEV2は「多くの顧客のプロダクト利用を実際に妨げている重大なシステム問題」というように、必要な対応と影響範囲をベースに定義されています。
*3: 「Severity Levels - PagerDuty Incident Response Documentation」
一方、AtlassianのドキュメントではSeverityは3段階に分類されています*4。SEV1の例として「顧客向けサービスが全顧客に対して停止している」「顧客データの損失」、SEV2の例として「顧客向けサービスが一部の顧客に対して利用できない」を挙げており、影響範囲と種類をベースに定義されています。
*4: 「Understanding incident severity levels」(Atlassian)
つまり、自社でIncident Severity Levelsを定めるときに必要なことは、こうした既存の定義をそのまま持ち込むことではなく「自分たちのプロダクトで何が起きたら何段階目なのか」、そして「その段階に応じてどのような対応を取るのか」を決めることです。
Incident Severity Levelsを利用する利点
Incident Severity Levelsを利用する利点は、インシデントに関わる人々が判断・行動する際の基準になることです。
インシデント対応は重大度によって対応の形が変わります。軽微なら少人数で対応できますが、深刻な場合は必要な人数を招集した上で即時対応が求められます。あらかじめ重大度が決まっていれば、「どれだけの人員を割くか」「複数のインシデントが同時に起きたときにどちらを優先的に対応するか」「休日深夜に開発チームのメンバーを起こしてでも対応するか、翌営業日でよいか」といった判断を、その都度議論せずに決められます。
決まるのは対応の規模だけではありません。SEV1といったインシデントの重大度が組織内での共通言語になっているのであれば、影響範囲を一から説明しなくても、誰に連絡するのか、どこまでエスカレーションするのかも含めて認識が揃います。
重大度の定義は、インシデントが収束した後も効果を発揮します。例えば、再発防止策をいつまでに実施するかを重大度と紐づけて決めておけば、他のタスクとの優先順位で迷うことがなくなります。
裏を返すと、重大度の定義がない状態では、インシデントのたびに「これはどれくらいまずいのか」「誰を呼ぶべきなのか」から相談を始めることになります。そのぶん復旧への対応が遅れてしまい、障害時間が長引いてしまいます。かといって、こうした相談のコストを避けるために「軽微なものでも常に全員を招集する」という運用に倒すと、本来対応する必要のない人まで毎回招集されることになり、チーム全体のインシデント対応の負担が慢性化してしまいます。
私たちはIncident Severity Levelsをどのように導入したか
ここからは、実践的な内容として私が所属する開発チームにおけるIncident Severity Levelsの導入のアプローチと、運用して見えてきた課題について紹介します。
導入のきっかけは、障害収束後の事後対応の優先度判断でした。私たちが開発している監視SaaSで、過去にアラートを出すべきかどうかの判定に影響する不具合が起きたことがあります。ユーザーから見れば監視の結果を信用できない問題でしたが、SLOで定めたリクエスト成功率の水準は満たしていたため再発防止策の優先度が上がり切らず、同じ不具合が繰り返し起きていました。
「SLOとは別の軸でユーザーへの影響を評価できれば、この判断は変わるはずだ」と考えました。
導入にあたっては、まずエンジニア陣でIncident Severity Levelsの素案を整理し、その上でPdMやビジネスチームを交えて合意を形成しました。何がユーザーにとって重要な体験なのかを、エンジニアだけで閉じて判断したくなかったためです。契約や課金にまつわる事象のように、エンジニアだけでは把握しきれないビジネス側の情報を踏まえないと、重大度を正確に見積もれない領域があります。
段階はSEV1からSEV4までの4つとし、それぞれの定義は1文で書ける長さにまとめました。定義の軸は影響範囲と影響の種類を採用しています。一方、セキュリティと課金にまつわる事象はプロダクトの信頼性そのものに関わる重大なインシデントなので、これらについては影響を受けるユーザーが少数でも重大度を高く扱うようにしています。
| 重大度 | 定義 |
| SEV1 | 影響を受けるユーザー数の規模に関わらず、セキュリティ侵害、もしくは顧客への課金・請求に重大な影響を与えている問題 |
| SEV2 | すべてのユーザーが機能を正常に利用できない、もしくはプロダクトのコア機能を正常に利用できない問題 |
| SEV3 | 一部のユーザーが機能を正常に利用できない問題 |
| SEV4 | ユーザーを苛立たせているが、機能の正常な利用を妨げるものではない問題 |
ここでいう「機能を正常に利用できない」には、ヘルプドキュメントの閲覧不可など間接的に影響する事象は含めない方針としています。
障害対応を行うエンジニアに対しては、定義そのものよりも先に、導入の背景と、障害対応のプロセスの何が変わり、どういう順序で導入していくのかという全体像を示しました。
プロセスに対する変更点としては、障害対応の途中に重大度を判定する手順が1つ増えます。この判定が負荷にならないように、フローチャートをたどれば段階が決まる形にしました。また、判定結果は後から変更してよいことを明示しました。対応中に正確な判定をしようとして時間を使うより、迷ったときは重大度が高い判定を選んで障害対応を進めたほうが、最終的にはユーザーへの影響を最小限にできると考えたからです。同じ考え方は、先に挙げたPagerDutyのドキュメントでも「Always Assume The Worst」として示されています。
導入にあたっては、Incident Severity Levelsの説明を兼ねたワークショップを実施しました。過去の障害をいくつか取り上げて実際に判定してみることで、判定自体に慣れてもらいつつ、チームメンバーからのフィードバックを受け取る場にもしました。実際に、ドキュメントの不備のように間接的にユーザーへ影響する事象をどの段階として扱うのか、といった問いを受けてSeverityの定義を調整することもありました。この種の事象は、素案ではSEV2に当たる扱いでしたが、議論を経てSEV3としています。
運用を始めた今も、課題は残っています。
1つは「判定の複雑さ」です。システムのコンポーネントと重大度がきれいに対応するわけではないので、判定のフローは放っておくと膨らみます。特に課金にまつわる判定は条件が多いため、個別のドキュメントに切り出してメインのフローの単純さを保とうとしています。
もう1つは「判定の偏り」です。迷ったときは重いほうのSEVを選ぶと決めている以上、SEVの判定が重い段階に寄る傾向は方針どおりの結果でもあります。ただ、このまま受け入れてよいのか、段階の定義を引き直すべきなのかについて精査したいと考えています。
おわりに
Incident Severity Levelsは一度定義すれば終わるものではありません。実際、ワークショップで受けたフィードバックを踏まえてSeverityの定義を調整しています。この定義は、その時点でプロダクトとユーザーに与える影響を私たちがどう理解していたかを表したものです。プロダクトが変わり、ユーザーが何を重く受け取るかの理解も変われば、定義が示す段階と実際のインシデントの重さはずれていきます。
それでも、定義があることで議論の中身が変わります。「この事象は重いのか軽いのか」ではなく、「SEV2かSEV3か」「そもそもこの境界の引き方でよいのか」を話せるようになるからです。共通言語は決めた瞬間に手に入るものではなく、使われて、ずれが見つかって、直されていく中で共通言語になっていくのだと思います。
これからIncident Severity Levelsを導入する方には、最初から完璧な体系を目指す必要はありません。段階の定義を1文ずつシンプルに書き、フローチャートに落として、迷ったときは重いほうを選ぶ。それだけでも、これまで対応のたびに話していたことの多くは決まります。実践の中で見直しを重ね、自分たちのチームに合ったIncident Severity Levelsとインシデント対応を育てていきましょう。
この記事をシェアしてください
