กำหนดและทดสอบ RTO และ RPO
เรียนจบแล้วกำหนดช่วงหยุดให้บริการและการสูญเสียข้อมูลที่ยอมรับได้ เปรียบเทียบกลยุทธ์การกู้คืน และวัดการฝึกกู้คืนทั้งหมดเทียบกับข้อกำหนดทางธุรกิจ
เผยแพร่โดย Taigaวิธีเขียนเนื้อหาของเรา
ตรวจความเข้าใจการฝึกกู้คืนทำให้บริการกลับมาใช้งานได้ใน 55 นาที โดยกู้ข้อมูลจากจุดเวลา 20 นาทีก่อนหยุดให้บริการ เป้าหมายคือ RTO 60 นาที และ RPO 15 นาที ผลเป็นอย่างไร?ทำแบบฝึกหัด
สิ่งที่จะได้เรียนรู้
- แยกความแตกต่างระหว่าง RTO, RPO และความพร้อมใช้งาน
- คำนวณเวลาที่ใช้กู้คืนทั้งหมดและช่วงข้อมูลที่กู้คืนไม่ได้
- กำหนดการฝึกกู้คืนพร้อมหลักฐานและผู้รับผิดชอบบริการ
กำหนดสองเป้าหมายแยกจากกัน
Recovery Time Objective (RTO) กำหนดระยะเวลาหยุดให้บริการสูงสุดที่ยอมรับได้ ก่อนบริการต้องกลับมาใช้งานได้ Recovery Point Objective (RPO) กำหนดการสูญเสียข้อมูลสูงสุดที่ยอมรับได้โดยวัดเป็นเวลา ตกลงเป้าหมายเหล่านี้กับผู้รับผิดชอบทางธุรกิจสำหรับบริการและสถานการณ์ความขัดข้องที่กำหนด
เป้าหมายความพร้อมใช้งานอธิบายผลการให้บริการตลอดช่วงเวลาหนึ่ง RTO และ RPO อธิบายความคาดหวังด้านการกู้คืน ทั้งสองเรื่องตอบคำถามต่างกัน
สำหรับบริการสั่งซื้อในสถานการณ์สมมติ ผู้รับผิดชอบกำหนด RTO ไว้ที่ 60 นาที และ RPO ที่ 15 นาที ค่าเหล่านี้เป็นตัวอย่าง ไม่ใช่คำแนะนำทั่วไป บริการอื่นอาจต้องใช้ขีดจำกัดต่างกัน เพราะคำสั่งซื้อที่สูญหายกับรายงานที่ล่าช้ามีผลตามมาต่างกัน
วัดการกู้คืนทั้งหมด
บริการหยุดเวลา 10:00 ทีมบันทึกการฝึกดังนี้:
| ขั้นตอน | ระยะเวลา | เวลาตามนาฬิกา |
|---|---|---|
| ตรวจพบการหยุดให้บริการ | 8 นาที | 10:08 |
| ประเมินและอนุมัติการกู้คืน | 12 นาที | 10:20 |
| กู้คืนบริการและข้อมูล | 25 นาที | 10:45 |
| ตรวจสอบว่ากลับมาใช้งานได้ | 10 นาที | 10:55 |
เวลาที่ใช้กู้คืนทั้งหมดคือ 55 นาที การฝึกนี้บรรลุ RTO ที่กำหนดไว้ 60 นาที หากนับเฉพาะการ restore 25 นาที จะไม่แสดงช่วงหยุดให้บริการส่วนใหญ่
จุดกู้คืนล่าสุดที่ใช้ได้คือเวลา 09:40 ช่วงห่างจนถึงเวลาที่บริการหยุด 10:00 คือ 20 นาที จึงเกิน RPO ที่กำหนดไว้ 15 นาทีไป 5 นาที การกู้ข้อมูลชุดเดิมให้เร็วขึ้นไม่ได้ลดช่วงข้อมูลที่ขาดนี้
ตรวจสอบระเบียนที่หายไปหรือไม่สอดคล้องกันจริง ช่วงเวลาที่ขาดอธิบายขอบเขตความเสี่ยง ไม่ได้บอกจำนวนคำสั่งซื้อที่ได้รับผลกระทบ กระทบยอดกับระเบียนการชำระเงินและการจัดส่งภายนอกก่อนกลับไปประมวลผลตามปกติ ลองเปลี่ยนสมมติฐานในแบบฝึกการกู้คืน
เลือกกลยุทธ์การกู้คืน
กลยุทธ์ต้องครอบคลุมบริการ ข้อมูล และ dependency ที่จำเป็น เปรียบเทียบรูปแบบเหล่านี้กับเป้าหมายที่วัดได้:
| รูปแบบ | สิ่งที่เตรียมไว้ก่อนเกิดเหตุ |
|---|---|
| Backup and restore | ข้อมูลที่กู้คืนได้ พร้อมวิธีสร้างสภาพแวดล้อมขึ้นใหม่ |
| Pilot light | บริการข้อมูลที่จำเป็น ส่วน component อื่นต้องเปิดใช้งานหรือสร้างขึ้น |
| Warm standby | สภาพแวดล้อมที่ทำงานได้โดยมีความจุลดลง |
| Active/active | มากกว่าหนึ่งสภาพแวดล้อมให้บริการ traffic อยู่แล้ว |
รูปแบบเหล่านี้ไม่มีเวลากู้คืนตายตัวที่ใช้ได้ทุกกรณี ผลขึ้นอยู่กับการนำไปใช้ ปริมาณข้อมูล dependency และเงื่อนไขการทดสอบ รวมต้นทุนการดำเนินงานและความสามารถของทีมไว้ในการตัดสินใจด้วย
ป้องกันมากกว่าบริการล่ม
Replica สามารถคัดลอกการลบที่ไม่ต้องการหรือระเบียนที่เสียหายได้ เก็บเวอร์ชันที่กู้คืนได้หรือใช้ point-in-time recovery เมื่อจำเป็น ตรวจสอบระยะเวลาเก็บรักษา สิทธิ์ restore และการเข้าถึง encryption key แยก backup ให้เหมาะกับสถานการณ์ รวมถึงการสูญเสียสิทธิ์เข้าถึงบัญชีหลัก
สำหรับการกู้คืนระดับ Region ให้ตรวจสอบสถานที่เก็บข้อมูลที่อนุญาตและสาย dependency ทั้งหมด รวมตัวตน DNS, certificate, secret, deployment artifact, quota และการเข้าถึงเครือข่าย สภาพแวดล้อมกู้คืนที่ขาด key จำเป็นเพียงรายการเดียวอาจใช้งานไม่ได้
กำหนดว่าใครประกาศเหตุได้ ใครดำเนินการกู้คืน และใครยอมรับบริการที่กู้คืนแล้ว วางแผน failback หรือการทำงานต่อในสภาพแวดล้อมกู้คืน ป้องกันการเขียนข้อมูลที่ขัดแย้งกันจากหลาย component และกระทบยอดข้อมูลก่อนสลับอีกครั้ง
เปลี่ยนแผนให้เป็นหลักฐาน
เขียน runbook แล้วฝึกตามนั้นภายใต้เงื่อนไขที่ควบคุมได้ บันทึกสถานการณ์ ขนาดชุดข้อมูล เวลาเริ่มและสิ้นสุด จุดเวลาของข้อมูลที่กู้คืนได้ ขั้นตอนที่ล้มเหลว และผู้รับผิดชอบ ตรวจสอบการทำงานทางธุรกิจจริงโดยใช้ระเบียนทดสอบที่ปลอดภัย
ฝึกซ้ำหลังการเปลี่ยนแปลงที่เกี่ยวข้องและตามตารางที่ตกลงไว้ การเปลี่ยน schema, dependency ภายนอกใหม่ หรือปริมาณข้อมูลที่ต่างไปอาจทำให้ผลเดิมใช้ไม่ได้ เชื่อมโยงหลักฐานการฝึกกับ release และหน้าที่ด้านการดำเนินงาน
ทำแบบฝึกหัด
บริการในสถานการณ์สมมติหยุดเวลา 10:00 การตรวจพบใช้เวลา 8 นาที การตัดสินใจใช้ 12 นาที การกู้คืนใช้ 25 นาที และการตรวจสอบใช้ 10 นาที ข้อมูลล่าสุดที่ใช้ได้มาจากเวลา 09:40 เปรียบเทียบผลกับ RTO 60 นาที และ RPO 15 นาที เสนอการปรับปรุงหนึ่งอย่างสำหรับแต่ละเป้าหมาย
ดาวน์โหลดใบงาน (Markdown)การยกเลิกตัวเลือกนี้จะลบความคืบหน้าทั้งหมดที่บันทึกใน browser นี้
ความคืบหน้าอยู่ใน browser นี้ ไม่ใช้บัญชีและไม่ติดตามการใช้งาน
แหล่งข้อมูลและเนื้อหาอ่านเพิ่มเติม
- AWS: Define recovery objectives for downtime and data loss ↗
- AWS: Use defined recovery strategies ↗
- AWS: Testing disaster recovery ↗