ผมอยากรู้ว่าถ้ามีใครบางคนที่นี่เคยผ่านมาเป็นสถานการณ์ไหนที่แหล่งข่าวไม่ออกเสมยูนีคตอนที่กำลังเจอกับภาพนิ่งจำนวนมากใน DBT.
ฉันมีข้อมูลของริมทะเลสาปอยู่ไหนข้อมูลมาถึงการเพิ่มเดียวที่ศึกษาขั้นพื้นฐาน ทุกครั้งแหล่งข้อมูลใหม่ได้ถูกบันทึกนี้จะถูกสร้างขึ้น respective โต๊ะในข้อมูลลงทะเลสาบ
หลังจากนั้นคน DBT แก้ปัญหาก็คือวิ่แหล่งข่าวของฉันอาจจะมีมากกว่า 1 แถวกับความเป็นเอกลักษณ์หมายเลขเป็นข้อมูลเปลี่ยนแปลงไปมากกว่าหนึ่งครั้งตั้งแต่เมื่อวิ่งหนี
เข้าท่าดีนิเราจะทำทุกอย่างที่เราทำฉันอยากจะปรับปรุงที่ respective dbt_valid_to สดมภ์จากภาพที่จับได้ปัจจุบันโดยเลือกโต๊ะกับ earliest updated_at บันทึกจากแหล่งข่าวและ subsequently เพิ่มใหม่ของบันทึกต้องภาพที่จับได้ปัจจุบันโดยเลือกโต๊ะทำล่าสุด updated_at บันทึกปัจจุบันหนึ่ง
ฉันรู้ว่าจะประสบความสำเร็จในส่วนนี้ใช้หน้าต่างฟังก์ชันแต่ไม่แน่ใจว่าจะรับมือกับสถานการณ์เช่นนี้กับ dbt.
ฉันสงสัยจังว่าถ้ามีใครเจอแบบนี้เหมือนกันปัญหามาก่อน
Snapshot Table
| **id** | **some_attribute** | **valid_from** | **valid_to** |
| 123 | ABCD | 2021-01-01 00:00:00 | 2021-06-30 00:00:00 |
| 123 | ZABC | 2021-06-30 00:00:00 | null |
Source Table
|**id**|**some_attribute**| **updated_at** |
| 123 | ABCD | 2021-01-01 00:00:00 |-> already been loaded to snapshot
| 123 | ZABC | 2021-06-30 00:00:00 |-> already been loaded to snapshot
-------------------------------------------
| 123 | ZZAB | 2021-11-21 00:10:00 |
| 123 | FXAB | 2021-11-21 15:11:00 |
Snapshot Desired Result
| **id** | **some_attribute** | **valid_from** | **valid_to** |
| 123 | ABCD | 2021-01-01 00:00:00 | 2021-06-30 00:00:00 |
| 123 | ZABC | 2021-06-30 00:00:00 | 2021-11-21 00:10:00 |
| 123 | ZZAB | 2021-11-21 00:10:00 | 2021-11-21 15:11:00 |
| 123 | FXAB | 2021-11-21 15:11:00 | null |