合存数据库 —— 一款支持向量检索的高性能国产键值数据库，助力中国人工智能存力发展

在当今数据驱动的时代，人工智能和机器学习技术的快速发展，给非结构化数据和高维数据存储和分析带来了挑战。蓬莱智数团队独立自主研发出支持向量检索的高性能键值存储软件—合存数据库（HetuKV），专为非结构化数据存取设计优化，结合CPU多核优化和闪存高度并行性的特点，直接访问闪存层，为大规模数据的实时分析和人工智能算力的发展提供与之匹配的高效、低成本、低功耗的存储解决方案。

产品框架

• 支持人工智能向量数据检索技术

合存数据库（HetuKV）支持高维向量数据检索技术，专为解决人工智能领域存力瓶颈问题而研发，对视频、音频、图像、高维向量等非结构化数据的实时分析和处理提供卓越的存储和检索能力，为人工智能大模型训练和应用提供经济高效存力软件方案。

• 软件定义存储的设计理念

合存数据库（HetuKV）通过软件定义存储（Software-Defined Storage, SDS）将存储资源的管理和配置抽象化，使存储管理更加灵活和自动化。这种设计理念通过软件来优化和管理存储资源，而不是依赖传统的硬件解决方案，允许企业根据需要动态调整存储容量和性能，提高资源利用率，同时降低成本。

• 独有索引技术

利用独特的索引技术，合存数据库（HetuKV）可以优化数据检索过程、减少查找时间、提高数据访问速度，来更高效地管理和访问数据。特别是在处理大规模数据集时，独有的索引技术能够显著提升性能。

• 充分发挥现代系统并行性优势

合存数据库（HetuKV）通过利用多核处理器和多线程技术，可以充分发挥现代硬件的并行性优势。这意味着合存数据库能够同时处理更多的数据请求，有效提高系统的并发处理能力和响应速度。

• 易集成，易使用

通过为上层应用提供简单、清晰的接口，合存数据库（HetuKV）可以轻松集成到现有的IT系统中。这种易用性和易集成性使得部署和管理存储资源变得更加便捷，帮助企业快速适应变化的业务需求。

• 跨平台使用

合存数据库（HetuKV）是用纯C语言研发，有效支持跨平台编译。支持国产操作系统如银河麒麟，以及x86、ARM等系统架构。

• 面向闪存优化，对闪存进行直接操作

突破文件系统瓶颈，直接访问Flash，发挥闪存并行性优势，降低延迟、减少写放大、提高并行处理能力，从而提升整体的性能。

产品优势

• 多核可拓展性

采用无锁数据结构，在不损失性能的情况下扩展到多核，合存数据库（HetuKV）能够在多核系统中实现每秒数百万次的事务处理。

• 自主可控

由蓬莱团队独立自主研发，合存数据库（HetuKV）不依赖于任何第三方函数库和插件，是一款真正的国产键值数据库，完全可控。

• 简单易集成

合存数据库（HetuKV）在设计上具备简单和易集成的特点，可以轻松集成到现有系统和工作流中，降低了使用复杂度。

• 高度定制化

合存数据库（HetuKV）具有高度的定制化能力，可以根据用户特定业务需求进行定制开发和优化。通过提供丰富的API接口，帮助用户基于合存数据库制定不同的方案，从而更好地满足复杂应用场景下的需求。

• 多平台支持

合存数据库（HetuKV）支持x86/ARM，以及国产麒麟等平台，可适用于多种场景和环境。

• 持久化存储

合存数据库（HetuKV）引擎充分发挥了硬件优势，能和多核CPU、GPU，协处理器以及NvmeSSD高效协同工作。

• 支持向量检索

• 支持GPU调用

性能测试

• YCSB性能测试
  

YCSB全称“Yahoo！Cloud Serving Benchmark”，是雅虎开发的用来对数据库性能进行基础测试的工具，是数据库管理系统（DBMS）评估中的一个重要组成部分。

以上结果展示了合存数据库（HetuKV）、Redis、RocksDB和MongoDB在不同负载、相同数据量下数据导入的吞吐量对比。经过测试，合存数据库在相同条件下数据导入的吞吐量超越Redis、RocksDB和MongoDB至少10倍。

多核并行性测试

以上结果展示了合存数据库（HetuKV）、RocksDB和MongoDB在不同线程、相同负载及数据量下数据导入的吞吐量对比。经过测试，合存数据库在同线程数下性能远超RocksDB和MongoDB，并且随着线程数的增加，性能呈线程提升。

典型方案

• Redis国产平替方案

合存数据库完整支持Redis的五种主要数据类型（String，List，Hashmap，Set，Sorted-Set），无缝取代Redis。客户可以在不改变现有架构的前提下，从Redis平滑过渡到合存数据库。大幅降低了技术迁移障碍和学习成本同时，保证了数据处理的连续性和一致性，为客户提供高效的迁移体验。合存数据库采用纯C语言开发的自研内核，支持全平台使用，确保了软件的高性能和可靠性。对比Redis、Rocksdb，合存数据库提供完整的控制权和高度的安全性，能在各种应用场景中完全替代Rocksdb和Redis，满足不同客户的数据存储需求，是一个可靠而高效的国产数据存储解决方案。

• 合存向量检索技术方案

合存数据库支持用户导入自定义的大模型进行数据向量化处理，允许部署和使用自己训练的深度学习模型，将各类数据转化为高维向量表示，实现高效存储和检索。适用于图像识别、自然语言处理和个性化推荐系统等多种应用场景。合存数据库支持多种类型的非结构化数据存储，如音频、视频和图像，用户可以将原始数据和向量化表示同时存储，实现统一管理和高效检索，满足复杂的数据管理需求。其自主研发的向量索引算法为SSD优化，充分利用SSD的大容量和并行读写特性，高效存储和检索高维向量数据，保证在处理大规模数据时仍能保持高性能和快速响应。

公司介绍

蓬莱智数科技有限公司是为大数据实时分析和数据管理应用提供高性能的数据存储方案的国产键值储存领域专家。蓬莱公司专注于存储软件研发，应用开发，提供搭建系统平台的整体方案和为企业开源节流包括向下兼容客户的存储硬件，向上兼容客户的可计算存储设备，并完全发挥其性能优势。蓬莱团队具备十年以上的研发经验，独立自主研发NoSQL数据库，针对闪存高度优化，支持用户定制化需求，自研人工智能向量检索技术，最大化利用了新一代SSD的优势，依照SNIA协会标准，为企业级SSD定制KV层。