Chịu trách nhiệm về dịch vụ sau triển khai
Đã hoàn tấtXác định tín hiệu dịch vụ hữu ích, quyết định khi có sự cố, khôi phục và bảo trì. Giữ rõ trách nhiệm vận hành sau khi việc sinh mã kết thúc.
Xuất bản bởi TaigaCách chúng tôi viết
Kiểm tra mức hiểuKiểm tra uptime trả HTTP 200, nhưng tệp xuất không chứa bản ghi vì phân quyền bị lỗi. Điều này cho thấy gì?Làm bài tập
Bạn sẽ học gì
- Xác định tín hiệu dịch vụ từ góc nhìn người dùng.
- Phân biệt điều phối sự cố với điều tra kỹ thuật.
- Lập kế hoạch bảo trì và khôi phục như những trách nhiệm liên tục.
Xác định dịch vụ mà người dùng phụ thuộc
Triển khai đưa phần mềm vào trạng thái có thể sử dụng. Vận hành giữ phần mềm hữu ích khi người dùng, dependency, lưu lượng và yêu cầu thay đổi. Công cụ sinh mã không loại bỏ công việc liên tục này.
Với tính năng xuất dữ liệu khách hàng giả định, người dùng cần nhiều hơn một trang có thể truy cập. Họ cần những bản ghi được phép, đúng định dạng, trong thời gian chấp nhận được. Họ cũng cần dịch vụ ngăn truy cập dữ liệu của tổ chức khác.
Chỉ định người phụ trách trước phát hành. Ghi ai sẽ ứng phó ngoài giờ làm việc thông thường nếu đó là một phần cam kết dịch vụ. Nhà cung cấp có thể làm một phần công việc, nhưng tổ chức vẫn cần quy trình rõ ràng để quyết định và liên lạc.
Chọn tín hiệu hỗ trợ hành động
Chỉ báo mức dịch vụ, hay SLI, đo một thuộc tính xác định của hành vi dịch vụ. Mục tiêu mức dịch vụ, hay SLO, đặt mục tiêu cho chỉ báo đó trong khoảng thời gian cụ thể. Chọn mục tiêu dựa trên nhu cầu người dùng và năng lực vận hành.
Hướng dẫn SRE của Google giải thích cách tiếp cận này và việc dùng error budget cho quyết định về độ tin cậy. Không sao chép mục tiêu của dịch vụ khác khi chưa kiểm tra ý nghĩa của nó. Hướng dẫn SLO, ví dụ chính sách error budget.
Với tính năng xuất, xác định thế nào là request đủ điều kiện thành công. Phân biệt từ chối đúng dự kiến với lỗi hệ thống. Ghi rõ các trường hợp loại trừ để chỉ số không thể cải thiện chỉ bằng cách che giấu request khó.
| Tín hiệu | Giúp phát hiện điều gì | Giới hạn quan trọng |
|---|---|---|
| Kiểm tra tính sẵn sàng công khai | Không thể truy cập dịch vụ | Không xác minh quy trình sau đăng nhập |
| Hoàn tất xuất và độ trễ | Request đủ điều kiện thất bại hoặc quá lâu | Cần định nghĩa thành công chính xác |
| Kiểm tra từ chối theo phân quyền | Ranh giới quan trọng bị lỗi hồi quy | Bao phủ các điều kiện đã kiểm thử |
| Tín hiệu tài nguyên và dependency | Nguyên nhân bên trong có khả năng xảy ra | Tự nó không mô tả tác động đến người dùng |
Tránh ghi toàn bộ bản xuất vào log để dễ quan sát hơn. Thu thập thông tin tối thiểu cần để chẩn đoán và bảo vệ quyền truy cập thông tin đó.
Chuẩn bị ứng phó sự cố
Quyết định ai điều phối, ai điều tra và ai truyền thông. Nhóm nhỏ có thể kết hợp vai trò, nhưng trách nhiệm phải rõ ràng. Giữ bản ghi quan sát và hành động.
Hướng dẫn ứng phó sự cố của Google nhấn mạnh phối hợp và truyền thông bên cạnh giảm tác động kỹ thuật. Bản sửa đúng về kỹ thuật vẫn có thể khiến người dùng không được thông báo hoặc nhiều người ứng phó thực hiện thay đổi xung đột. Ứng phó sự cố.
Agent có thể tóm tắt log hoặc so sánh giả thuyết trong ranh giới dữ liệu đã phê duyệt. Nó không nên nhận thẩm quyền production không giới hạn chỉ vì sự cố khẩn cấp. Dùng quy trình chuyển cấp đã xác định cho quyền truy cập ngoại lệ.
Diễn tập khôi phục và cấp nguồn lực bảo trì
Kiểm thử quy trình khôi phục bằng dữ liệu giả định có tính đại diện. Xác định những gì rollback mã không thể hoàn tác, bao gồm bản ghi đã xóa hoặc thông điệp đã gửi. Ghi thời gian và thông tin cần để khôi phục dịch vụ.
Phân công công việc liên tục: cập nhật dependency, review quyền truy cập, gia hạn chứng chỉ khi áp dụng, thay đổi năng lực xử lý và sửa tài liệu. Dịch vụ không có năng lực bảo trì sẽ tích lũy nghĩa vụ sau khi ngân sách ra mắt kết thúc.
Sau sự cố, chọn cải tiến giải quyết nguyên nhân đã quan sát. Kết nối chúng với việc hiện thực hóa và xác minh. Điều này khép kín vòng đời: bằng chứng vận hành thay đổi điều nhóm sẽ đặc tả và xây dựng tiếp theo.
Làm bài tập
Viết ghi chú vận hành một trang cho tính năng xuất dữ liệu khách hàng giả định. Bao gồm một tín hiệu từ góc nhìn người dùng, mục tiêu của nó, người nhận cảnh báo, phản ứng đầu tiên an toàn, giới hạn khôi phục và người phụ trách bảo trì. Nêu điều giám sát không thể phát hiện.
Tải worksheet (Markdown)Bỏ chọn sẽ xóa toàn bộ tiến độ đã lưu trong trình duyệt này.
Tiến độ ở trong trình duyệt này. Không tài khoản, không theo dõi.
Nguồn và đọc thêm
- Google SRE: Implementing SLOs ↗
- Google SRE: Incident Response ↗
- Google SRE: Example Error Budget Policy ↗