1. Why we use our own hardware (www.fastmail.com)
Fastmail 自建硬件的原因与实践
Fastmail 拥有超过25年自建硬件的经验,尽管近期有“云遣返”的讨论,他们始终坚持这一策略,主要基于以下优势:
- 成本优化:公司能清晰掌握短、中、长期使用模式和增长,可提前规划硬件采购,无需云服务提供的快速动态扩展。
- 内部经验:拥有自主安装、配置和运维硬件及网络的深厚经验,相关技能持续积累。
- 长期使用:硬件使用寿命周期长(5-10年),可将成本摊销多年。
硬件演进与技术选择
- 早期架构:IMAP服务器曾长期使用SAS硬盘(RAID1存元数据)与SATA硬盘(RAID6存邮件数据)的组合。
- 全面转向NVMe SSD:数年前进行了重大升级,采用2U AMD平台并配备纯NVMe SSD。因当时NVMe RAID控制器不普及,经评估后选择ZFS文件系统来管理冗余。
- ZFS的优势:
- 启用了透明Zstandard压缩,为邮件数据节省约40%空间。测试表明128K记录大小与zstd-3压缩的默认设置已十分高效。
- 内置静态加密,简化系统架构。
- 性能表现出色,成功应用于邮件、数据库、日志及备份服务器。
SSD可靠性与寿命考量
- 尽管SSD有写入寿命限制,但实际监测显示磨损极慢。按当前速率,更换原因更可能是容量需求或物理规格更新(如E3.S),而非写满寿命。
- 与旧HDD相比,SSD可靠性大幅提升,故障率不足原来的十分之一。
存储成本决策分析
公司近期评估了备份存储方案,比较了三种选择:
- 云存储:提供商价格差异大(如Backblaze B2约$72,000/年 for 1PB),但存在带宽成本、API转换复杂度和长期成本不确定性。
- 升级现有HDD:可复用硬件、前期成本低,但面临超大容量硬盘重建时间过长、IO性能瓶颈等风险。
- 采购新NVMe SSD服务器:
- 一次性成本(约$190,000 for >1PB)低于标准云存储一年的费用。
- IO性能高、可靠性好,无带宽与延迟问题。
- 可统一平台,节省空间与电力,且无需开发新系统。
最终选择:基于性能、可靠性、长期成本可控性及运维简化等因素,Fastmail选择了采购新NVMe SSD服务器的方案。实际使用中,其性能(如网络链路饱和)和效率(压缩写入)均达到预期。
结论
自建硬件需要经验和规模,且并非适合所有企业。但对Fastmail而言,凭借深厚的运维知识、可预测的增长模式以及对总拥有成本的精确控制,自建硬件带来了显著且持续的经济与性能优势。