构建数据库是否可在周末完成？
数据库是计算机时代诞生以来最复杂的软件之一，几乎每项技术都会以某种形式与数据库交互。尽管数据库在软件栈中无处不在，但大多数开发者习惯将其视为“黑箱”——只有数据库公司或谷歌等顶级机构中的专家才能驾驭的复杂软件。传统建议是“不要尝试自己编写数据库”。
然而，这一领域持续创新：从二十年前的Hadoop出现，到ClickBench网站列出50多个数据库基准测试引擎。近年来，用Rust重写大数据项目的趋势兴起，Hacker News上每月都有令人瞩目的新项目出现。
本文探讨使用Apache DataFusion构建数据库的可行性，以及普通开发者能否基于它构建定制数据库并优化开发者体验。
现代数据库架构
现代数据库通常可分为计算层与存储层，其中查询引擎负责“计算”部分。查询引擎一般包含：
查询需经过逻辑和物理计划的多次优化。由于各层经过数十年数据库研究，构建具备基础功能的查询引擎门槛很高。Apache DataFusion是目前唯一能提供完整全套支持的项目。
DataFusion简介
DataFusion是一个可扩展的数据库开发工具包。基础层面可作为类似DuckDB的查询引擎，支持SQL和DataFrame前端；同时允许扩展甚至替换不同层，以完全自定义体验。
实践：为流处理添加自定义窗口操作符
以构建流处理窗口操作符为例，展示如何扩展DataFusion。窗口操作符用于将无限数据流划分为有限桶，以便应用聚合。
1. 编写执行计划（ExecutionPlan）
执行计划是物理计划中的节点，承载自定义计算逻辑。DataFusion采用拉取式执行模型：从执行计划的顶层开始，逐步向上计算。
自定义的GroupedWindowAggStream实现RecordBatchStream，在poll_next()中执行以下任务：
- 处理传入数据
- 将数据积累到打开的窗口中
- 更新水位线（watermark）
- 按需打开新窗口
- 关闭已触发窗口并输出结果批次
2. 接入物理计划器
实现ExtensionPlanner接口，使物理计划器识别自定义执行计划。
3. 扩展逻辑计划
添加对应的逻辑计划节点，并通过LogicalPlanExtension将其暴露给SQL/DataFrame前端，以便进行谓词下推等优化。
4. 逻辑计划转物理计划
实现自定义QueryPlanner，确保物理计划器加载自定义扩展。
5. 自定义优化规则
由于操作符包含分组聚合，需确保同一组的行分配到同一分区。因此添加物理优化规则，在分组键上插入HashPartition操作符。
6. 组装最终配置
构建DataFusion会话时，注入自定义查询计划器和优化规则：
let state = SessionStateBuilder::new()
.with_default_features()
.with_config(config)
.with_query_planner(Arc::new(StreamingQueryPlanner {}))
.with_optimizer_rules(get_default_optimizer_rules())
.with_physical_optimizer_rule(
Arc::new(EnsureHashPartititionOnGroupByForStreamingAggregates::new(),)
)
.build();
结论
通过Apache DataFusion，开发者可以系统性地扩展数据库各层，包括自定义执行计划、逻辑节点和优化规则。尽管构建完整数据库仍具挑战，但DataFusion显著降低了门槛，使得在短时间内（如周末）构建具备特定功能的定制数据库成为可能。