2024年9月6日,“以实时,见未来”—— DolphinDB 2024 年度峰会在杭州圆满落下帷幕。本次峰会由主会场与三个专题分会场组成,众多金融机构领导与专家、行业领袖、高校与研究机构学者等近300位嘉宾共襄盛举,一同探讨数智化浪潮下金融领域的创新应用,推动金融新质生产力建设。
创始人致辞与分享
会议伊始,DolphinDB 联合创始人、COO 初阳春先生向莅临的新老朋友表达了真挚的感谢。“到目前为止,已经有100多家金融机构,选择了DolphinDB。包括国内所有排名前10的券商,十大公募基金之中的6家,数十家私募基金,以及银行、期货公司、银行理财、券商资管、保险资管等领域的客户,还有香港、台湾、新加坡、澳大利亚、英国等地的金融机构。”
自创立之初便深耕金融领域,DolphinDB 始终秉持着为客户创造价值的初心,不断拓展应用边界。如今,DolphinDB 不但能够为量化投研、仿真交易、实时交易、算法交易、做市业务等场景提供助力,很多机构还选择基于 DolphinDB 构建行情中心、实时数仓、指标平台、风控平台等系统设施。
随着 DolphinDB 在金融机构的使用越来越深入,一个机构拥有多个 DolphinDB 集群,越来越普遍。多集群的数据访问、计算、运维的需求越来越迫切。与此同时,随着用户的计算越来越复杂,如何简单清晰地表达任务之间的依赖关系、事件之间的依赖关系,越来越成为瓶颈,一个企业级的实时计算平台的呼声日益高涨。
DolphinDB 创始人、CEO 周小华博士通过 “跨越数据边界:企业级实时计算平台构想”的演讲,分享了 DolphinDB 向实时计算平台不断演进的历程。
首先,周小华博士通过 DolphinDB 过去与现在架构图的对比,向大家讲述了近年来 DolphinDB 在能力和底层技术上的演进与变化。
2018 年的 DolphinDB:高性能时序数据库
DolphinDB 自设计之初,就已经与传统的数据库有了很大的区别。分布式存储能力与丰富的专业函数库、DolphinDB 自己开发的脚本语言 DolphinScript 融合在一起,形成了一个非常擅长实时数据分析的一站式产品。
2024 年的 DolphinDB:实时计算平台
六年来,DolphinDB 的存储、计算和运维等多个模块不断升级,DolphinDB 正不断向着一个企业级实时计算平台演进:多模态存储的概念得以完善,从单一的 OLAP 引擎扩展到了 OLAP、TSDB、PKEY、IMOLTP、VECTORDB 等五大引擎;计算层面增加了流计算和 GPU 异构计算 Shark;业务中间件能力得到了极大的提升和扩充,函数数量由 600+ 提升到了 2000+,大量的插件、计算引擎和脚本模块覆盖了诸多金融业务。围绕解决“企业级数据一致性”与“复杂计算依赖”等问题,周小华博士向大家分享了 DolphinDB 未来的技术构想与能力蓝图:“未来,我们希望通过存算分离、集群间异步数据复制、单点登录、跨集群 SQL 计算等技术,解决因数据拷贝、本地拷贝等而导致数据不一致的问题。尽管企业级数据的一致性建模是一个非常复杂的问题,但 DolphinDB 愿意投入时间与精力,与用户一同攻克难题,帮助业务部门以最快的速度访问指定数据的最新版本,展开查询和计算。”同时,在实时计算平台的规划中,DolphinDB 准备引入声明式 API 来表达金融业务的需求逻辑,进而清晰地描述任务之间的依赖关系。这不但保证业务人员在开发时能更专注业务逻辑本身,也为譬如计算资源分配、任务调度,状态管理等系统优化的实现提供了便利。为了满足企业级实时计算平台对运维、监控以及资源管控的需求,DolphinDB 则将通过多个版本的迭代,实现跨集群运维、资源监控、弹性伸缩等能力。DolphinDB 未来一年的版本中将逐渐实现以上功能,演变为一个企业级的实时计算平台,让我们拭目以待。
DolphinDB新功能助力投研交易
从客户的需求中汲取养分,不断推出新功能,来切实解决客户的痛点,是 DolphinDB 一直以来秉持的信念。自去年峰会以来,DolphinDB 开发了多项新功能,金融解决方案总监唐新海在峰会现场为大家逐一揭晓。
用户对中高频策略回测的诉求往往可以概括为四点:其一为快,其二为准,其三为全,其四则是在回测框架中考虑时间触发机制。DolphinDB 中高频策略回测插件不但支持事件触发和时间触发,还支持沪深股票、基金、可转债、银行间债券、各大期货交易所的期权与期货、外汇以及数字货币的策略回测,通过模拟撮合引擎,回测插件能够提供与交易所尽可能近似的订单撮合,进而响应客户解决现有系统回测慢和精度不够高的诉求。
为了方便用户使用 DolphinDB 的回测功能,DolphinDB 还对因子开发管理平台进行了升级,将策略回测和业绩归因等重要模块集成到了平台之中,以期进一步提升投研效率。
如何将 DolphinDB 优越的数据分析性能与投研常用的语言融合,DolphinDB 给出了答案:PySwordfish,即 DolphinDB 嵌入式版本的 Python 接口库。PySwordfish 的使用方式与 pandas、polars 类似,但在大规模数据分析的场景下,相较 pandas 会有十到百倍的性能提升,进一步增强用户投研过程中进行数据分析、因子计算的硬实力。
过去的一年中,DolphinDB 通过与客户现有的交易系统做融合,切实解决了客户在实时行情数据落库存储、实时数据查询访问、因子实时计算和信号生成等场景下的痛点。随着 DolphinDB 与用户的交流逐渐深入,我们发现,权益和固收类资产的程序化交易对内存数据库有着较强的需求,用于存储交易系统返回的成交回报相关数据。因此,DolphinDB 开发了支持高并发、低时延、强事务的 IMOLTP 内存存储引擎。此外,DolphinDB 还配套研发了 IMOLTP 引擎的数据同步工具 SyncPulse,能够便捷地将实时写入 IMOLTP 的数据低时延地同步到 PKEY 主键引擎和流计算引擎,实现对大规模数据集的高效实时复杂分析,完成实时风控指标和交易监控指标的计算。
DolphinDB 开发的复杂事件处理引擎 Octopus 能够专注于各类事件流的实时处理,包括基于行情事件的因子和指标加工,交易信号生成,以及基于委托和成交事件的交易逻辑处理等。Octopus 结合数据回放引擎、模拟撮合引擎、仓位管理引擎等,落地了外汇趋势策略回测系统、盘中交易实时监控系统、股票策略回测系统等场景。近两年来,DolphinDB 越来越多客户来自 FICC 领域,DolphinDB 基于 FICC 场景开发了多个业务中间件。其中实时曲线拟合引擎和实时估值定价引擎能够基于实时接入的行情数据,提供多种不同的模型和算法对曲线进行实时拟合,再根据实时行情和曲线,对多种不同的产品进行估值定价,最后根据提供的风控函数实时生成产品的各种风控指标,帮助用户实时捕捉市场定价偏差,寻找交易机会。
以实时,见未来
在上午的主会场分享中,DolphinDB 研发副总监胡津铭先生介绍了 DolphinDB 开发的 CPU-GPU 异构计算平台 Shark 与 DolphinDB 对 AI 的深度支持。
Shark 可直接从数据库中读取数据,调用遗传算法自动挖掘因子,并利用 GPU 加速因子和适应度计算。借助 Shark,企业可以高效地从历史数据中挖掘因子,构建因子模型。
在对 AI 的深度支持方面,DolphinDB 已经具备了成为 RAG 数据底座的能力。在基于 RAG 的大模型问答系统中,文本可存储在 DolphinDB 文本引擎 TextDB,经插件 LibTorch 加载大模型,文本段可转化为向量存储在向量引擎 VectorDB 中。结合文本与向量检索,可直接召回与提问相关的文本段,由大模型进行总结。
主会场的最后,DolphinDB 销售总监袁飞先生向嘉宾们展示了 DolphinDB 近年来在生态建设方面取得的成果。
行业生态方面,DolphinDB 与行业内外知名数据供应商紧密合作,打造高效数据处理解决方案,同时提供云部署方案,支持多样软硬件平台,力图构建全方位行业生态。
DolphinDB 同样重视社区生态的培育,通过微信粉丝群、Ask DolphinDB 问答社区,以及定期举办的线上线下活动,得以了解用户对产品和服务的真实感受,从而不断完善,形成 DolphinDB 团队与粉丝之间可持续的良性循环。
DolphinDB 还推出了插件市场,提供了数十个精心设计的官方插件,涵盖了图像、数据存取、金融、消息队列、数值计算、网络、云存储、机器学习、扩展接口、格式处理等等不同的类型。用户同样可以基于不同的功能或者业务场景,自主开发特色插件,并通过插件市场分享给更多用户。
为了降低学习门槛,DolphinDB 推出了系列白皮书、视频教程以及技能认证体系。本次大会上发布的《DolphinDB 从入门到精通之数据分析》书籍,介绍了 DolphinDB 在数据分析场景中的应用案例,帮助用户快速上手,展现了 DolphinDB 在计算分析领域强大的功能、优异的性能以及独特的编程魅力。
DolphinDB 也与诸多国内知名高校在人才培养、科研教学等方面开展了合作。为了感谢各院校一直以来的支持,DolphinDB 遴选出了 2024 DolphinDB 优秀合作院校。本次峰会上,周小华博士为上海交通大学安泰经济与管理学院、上海交通大学上海高级金融学院、上海财经大学实验中心、浙江大学经济学院、中国科学技术大学管理学院、南方科技大学商学院的高校代表颁发了 “DolphinDB 优秀合作院校” 证书。
圆桌漫谈
峰会下半场的三个主题会场均聚焦于当前金融领域的热点话题,来自金融各行业的专家围绕一站式金融数据服务平台的建设、FICC 数智平台搭建、AI 在投研领域的前景与探索等话题发表演讲,可谓干货满满。茶歇过后,“权益类数字基建与技术创新”、“资管数智化转型与前沿探索”和“创新业态下的 FICC 投资与交易”三个不同主题的圆桌讨论同时开展,大家围绕行业热点问题交流观点,洞见激荡,现场气氛热烈:
1.权益类产品的投研和交易中,会面临不同类型的策略对数据的不同要求,该如何在建设行情数据中心时兼顾不同需求?
2.随着各类投研复杂度和数据量的提升,大模型、AI 等各种技术不断被深度应用,作为机构投资者应当在业务和技术上关注哪些方向?
3.建设资管机构的投研平台时,应当如何更有效地提高业务的投研效率?
4.资管产品日益多元化的今天,该如何构建跨资产类别的量化投资策略框架,以实现风险分散与收益增强?
5.做市、代客、自营 FICC 交易系统搭建过程中遇到的挑战及心得分享?
6.FICC 领域中,相对价值投资的建议与经验?
峰会掠影
本次峰会,DolphinDB 还围绕投研、交易、FICC、数据分析、计算平台、AI 前沿等热门场景,精心设置了六大路演展台。DolphinDB 技术工程师现场演示了诸多新功能的应用 Demo,与客户就各场景展开了深入而热烈的交流。
标签: