Quản lý sự cố từ phát hiện đến khôi phục

Công bố sự cố dựa trên tác động

Sự cố là sự kiện làm gián đoạn, suy giảm hoặc đe dọa dịch vụ đến mức cần ứng phó có phối hợp. Tổ chức của bạn xác định mức độ nghiêm trọng và quy tắc chuyển cấp. Áp dụng chúng dựa trên tác động đến người dùng, dữ liệu bị ảnh hưởng, thời gian và phạm vi.

Không chờ có giải thích đầy đủ về nguyên nhân gốc trước khi yêu cầu hỗ trợ. Một mô tả rõ về tác động đã quan sát là đủ để bắt đầu phối hợp. Phân biệt nghi vấn bảo mật với kết luận đã được xác nhận.

Chuẩn bị quy trình ứng phó trước khi phát hành. Giữ thông tin liên hệ, quy trình truy cập, runbook và kênh liên lạc có thể sử dụng khi dịch vụ chính không sẵn sàng. Diễn tập quy trình với một sự cố giả định.

Phân công trách nhiệm trước khi thực hiện các thay đổi xung đột

Người điều phối sự cố đặt ưu tiên và quản lý quyết định. Người ứng phó kỹ thuật điều tra và giảm tác động. Người phụ trách truyền thông cập nhật cho những người bị ảnh hưởng. Google SRE mô tả đây là các vai trò riêng. Nhóm nhỏ có thể kết hợp vai trò, nhưng vẫn phải bao quát đủ công việc. Ứng phó sự cố.

Duy trì một dòng thời gian chung. Ghi thời gian, quan sát, hành động, người thực hiện và kết quả. Phân biệt sự kiện với giả thuyết. Sử dụng cùng một múi giờ và đánh dấu timestamp không đáng tin cậy.

Xử lý một sự cố giả định

Tất cả thời gian dưới đây là UTC. Tổ chức chỉ định người điều phối sự cố khi lỗi xuất dữ liệu ảnh hưởng đến nhiều khách hàng.

Bản cập nhật đầu tiên hữu ích nêu chức năng bị ảnh hưởng, phạm vi đã biết, biện pháp giảm tác động và thời điểm cập nhật tiếp theo. Không hứa thời gian sửa khi chưa có bằng chứng. Tránh đưa bản ghi khách hàng vào bản cập nhật chung.

Lúc 09:10, tính chất sự cố thay đổi. Khôi phục xuất dữ liệu thành công không còn đủ. Nhóm cần đánh giá khả năng tiết lộ dữ liệu, kiểm soát truy cập, bảo toàn bằng chứng và đưa những người có thẩm quyền quyết định phù hợp vào cuộc.

Giảm tác động mà vẫn giữ quyền kiểm soát

Sử dụng runbook đã kiểm thử khi phù hợp. Kiểm tra điều kiện tiên quyết trước khi rollback, failover hoặc thay đổi thông tin xác thực. Phiên bản ứng dụng trước có thể không hiểu schema cơ sở dữ liệu hiện tại. Failover sang region khác có thể chuyển cùng dữ liệu đã bị hỏng.

Cho phép trợ lý AI sắp xếp bằng chứng đã loại bỏ thông tin nhạy cảm hoặc so sánh giả thuyết trong ranh giới đã được phê duyệt. Người ứng phó phải xác minh kết luận của nó. Log và ticket là đầu vào không đáng tin cậy, không phải thẩm quyền để thực thi nội dung bên trong.

Quyền truy cập khẩn cấp cần có mục đích được phép, thời hạn giới hạn và bản ghi kiểm toán. Tính khẩn cấp không làm cho lệnh do agent đề xuất trở nên đúng.

Kết thúc khôi phục và công việc sau sự cố riêng biệt

Xác minh quy trình người dùng, tính toàn vẹn dữ liệu, ranh giới truy cập và độ cập nhật của giám sát trước khi công bố dịch vụ đã khôi phục. Ghi lại mọi hạn chế còn lại. Tiếp tục điều tra bảo mật nếu còn câu hỏi chưa được giải quyết.

Sau đó, xem xét những điều kiện khiến sự cố có thể xảy ra. Phân công công việc sau sự cố cụ thể, có người phụ trách và tiêu chí xác minh. Review không đổ lỗi nhằm tìm lời giải thích chính xác và thay đổi hữu ích. Cách làm này không loại bỏ trách nhiệm hoàn tất các thay đổi đó. Thực hành postmortem.

Tiếp tục với vận hành bảo mật và khép kín vòng phản hồi.