Observability, Monitoring & Incident Response

Observability & Telemetry Design

• Logs / Metrics / Traces Collection
• Centralized Monitoring & Troubleshooting

Application、Load Balancer、Container、Databaseなど、Systemを構成する各Componentから必要なLogs、Metrics、Tracesを収集し、一元的に確認できるObservability基盤を設計します。

障害や性能劣化が発生した際に、各Serviceの管理画面やLogを個別に確認するのではなく、System全体の状態を確認しながら、問題が発生しているComponentを迅速に切り分けられる構成とします。

Monitoring, Alerting & Incident Response Design

• Monitoring & Alert Design
• Alert Routing & Escalation
• Incident Response & Runbook

Systemの正常性を判断するMetricやEventを整理し、障害や性能劣化をEnd Userからの連絡より前に検知できるMonitoringを設計します。

単純にAlarmを増やすのではなく、重要度、継続時間、Systemへの影響を考慮してAlert条件を設定し、不要な通知やAlarm Floodを抑えます。

検知したIncidentについて、Severity、通知先、Escalation、初動確認項目、Runbookなどを整理し、担当者が速やかに状況を確認して対応を開始できる運用Flowを設計します。