什么是 Apache Iceberg？

2024-07-11 15:47| 来源: 网络整理| 查看: 265

数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。数据事务是在单个操作中进行的一系列数据交换。例如，当客户从银行账户提款时，银行在一次数据事务中同时进行多次数据交换，包括验证账户是否有足够的余额、验证身份以及从账户中扣除提款。事务性数据湖是一种数据湖类型，不仅可以大规模存储数据，还支持事务性操作，确保数据的准确性和一致性，并允许您跟踪数据和数据结构如何随着时间的推移而变化。这些特性统称为原子性、一致性、隔离性和耐久性 (ACID)：

原子性保证每个事务都是完全成功或完全失败的单一事件；不存在中间状态。一致性确保根据数据湖的定义规则，写入的所有数据都是有效的，从而确保数据的准确性和可靠性。隔离性确保多个事务可以同时发生而不会相互干扰，从而确保每个事务独立执行。耐久性意味着事务提交后，数据不会丢失或损坏。发生系统故障（例如停电）时，可以恢复数据。