利用硬件压缩技术缓解金融交易数据管理中的性能、成本和功耗挑战 。
问题背景
随着Tick数据量的不断增加，对数据访问速度的要求也愈加严苛，迫使您依赖SSD来满足不断增长的I/O需求。数据集的规模正从单TB跃升至数十TB甚至上百TB，这给存储的成本、功耗和空间带来了巨大的压力。压缩数据无疑是缓解存储空间、降低每TB成本并减少功耗的有效途径，但CPU压缩数据往往会引入延迟，影响分析应用的性能，并且增加整体功耗。
解决方案
ScaleFlux CSD3000 NVMe SSD （以下简称CSD）专为高负载工作负载设计，并集成了独特的硬件压缩（与解压）功能，能够在保证低延迟的同时提高I/O性能，优化功耗/性能比，实现三重优势。
对基础设施的好处
主机的CPU和GPU更擅长数据分析而非数据压缩，那么为什么要让它们负担KDB+等软件压缩任务？不如将压缩/解压任务卸载到内置处理器的先进NVMe SSD上，释放CPU的应用处理能力。如今，专用处理器（即“领域专用计算”）已经广泛应用于多个领域——AI运算交给GPU、TCP流量交给智能网卡、视频编解码交给转码器，为什么不使用内置压缩/解压处理器的SSD呢？它能提供比普通企业级NVMe SSD高4倍的存储容量、9倍的耐用性以及2倍以上的性能。
通过在硬盘中实现硬件压缩，您可以提升效率，降低TCO（总拥有成本），同时加速应用响应：
- 在不增加服务器占用空间的情况下分析更多数据
- 通过压缩降低存储成本，提升延迟和I/O性能（无需在存储成本与延迟/性能之间做出妥协）
- 延长闪存存储的使用寿命，匹配服务器更新周期
- 无需安装新驱动或软件，因为这些硬盘使用标准的 NVMe 驱动和命令
- 利用硬盘自身的压缩功能扩展性能，无需过度购买更多CPU核心以应对未来的负载
ScaleFlux CSD的内置压缩功能能够在相同的物理空间内处理更多数据，减少服务器和存储的扩展需求，同时避免增加管理复杂性。它可以卸载CPU的压缩/解压任务，在不增加额外服务器或更快CPU的情况下，提升数据分析能力。
ScaleFlux CSD的压缩功能对应用程序完全透明，无需额外操作来触发“写时压缩”或“读时解压”功能，应用程序无需修改，降低了停机风险。
CSD的压缩引擎能够以线路速率（line-rate）运行，且实现最高6.2GB/s的持续写入速度！通过数据压缩，SSD在初次写入时减少了对NAND单元的需求，保持更多空闲空间，从而减少垃圾回收时的写放大（write amplification）。与其他企业级 NVMe SSD 相比，所有这些改进使得 I/O 性能提升了 2 倍或更多，延迟显著降低，且耐用性最高可提升 9 倍。
它适用于您的数据吗？数据真的能压缩吗？
Tick数据通常具备很高的压缩性，压缩比可达到4:1或更高。数据包捕获数据（Packet capture ）也具有较强的压缩性，压缩比通常为2:1到2.1:1。您可以使用我们的工具评估数据的可压缩性。也可以申请试用，亲自体验ScaleFlux CSD。安装过程与普通NVMe SSD相同，支持U.2或U.3插槽，评估设备有4TB、8TB和16TB可供选择。
对系统的影响
将CSD应用到Tick分析系统中，可以带来：
- 查询每秒处理数（QPS）提升 2 倍
- 99.9% 延迟降低至接近 0*
- 每有效 TB 成本降低 2 倍
- SSD 耐用性提高 9 倍
- 无需安装新驱动
- 无需修改应用程序
*在70%读/30%写混合随机负载下的写入延迟