高頻數(shù)據(jù)存儲、訂單簿、高頻回測 DolphinDB 中高頻量化一站式解決方案

　　3月14日下午，DolphinDB 受邀出席由卡方科技與華安證券攜手舉辦的私募行業(yè)交流會。此次盛會匯聚了私募行業(yè)的精英力量。眾多國內(nèi)成長型私募機(jī)構(gòu)代表齊聚一堂，共同探討私募領(lǐng)域的多元化合作策略，攜手書寫行業(yè)發(fā)展的新篇章。

　　在分享環(huán)節(jié)，DolphinDB 創(chuàng)始人、CEO 周小華博士帶來了一場精彩演講。他不僅對中高頻量化交易的解決方案進(jìn)行了深入剖析，還就當(dāng)前熱點?AI 大模型展開了富有洞見的探討?，F(xiàn)在，讓我們一同回顧周博士在現(xiàn)場的精彩分享。

　　01 高頻數(shù)據(jù)存儲

　　隨著行情數(shù)據(jù)頻率的提高，海量數(shù)據(jù)的存儲為投研帶來巨大挑戰(zhàn)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫及文件存儲等方式存在著壓縮比低，性能優(yōu)化不足，數(shù)據(jù)難以管理等痛點。針對以上問題 DolphinDB 提出了新的解決方案，除了能夠?qū)嚎s比大幅提升之外(最高可達(dá)10:1)，DolphinDB 深刻洞察量化領(lǐng)域業(yè)務(wù)，提供了相同時間戳存儲、數(shù)組存儲、寬表存儲/窄表存儲和 co-location 存儲，為用戶提供了更為高效的海量數(shù)據(jù)存儲方案。

　　02 訂單簿

　　在研究市場的微觀結(jié)構(gòu)時，每家機(jī)構(gòu)都希望能夠?qū)χ鸸P數(shù)據(jù)進(jìn)行挖掘，高效、靈活處理訂單簿數(shù)據(jù)。目前市面上多數(shù)快照引擎普遍采取每三秒生成一次快照的方式，這樣的頻率難以捕捉更為細(xì)致的信息，例如三秒內(nèi)所有交易的平均價格，以及最后一筆成交與最后一筆報價之間的精確時間差。這些細(xì)微的數(shù)據(jù)點對于精確分析市場動態(tài)至關(guān)重要。為此，DolphinDB 提供了訂單簿數(shù)據(jù)處理框架允許用戶自定義指標(biāo)，生成交易信號，助力策略開發(fā)。DolphinDB 的訂單簿數(shù)據(jù)處理架構(gòu)，提供了高度的靈活性和性能保障，能夠滿足用戶的個性化業(yè)務(wù)需求。

　　03 高頻回測

　　市場上，對于中低頻的回測產(chǎn)品，用戶有許多選擇。但是在對高頻數(shù)據(jù)進(jìn)行回測時，由于數(shù)據(jù)量巨大，性能時延要求高、開發(fā)難度大等特點，市場上并沒有太多成熟的產(chǎn)品，用戶往往選擇自研。為此，DolphinDB 提供了一套模擬撮合引擎，方便用戶在中高頻策略回測中模擬實際交易，從而更合理地評估和推斷策略在真實交易中的效果。DolphinDB 模擬撮合引擎支持訂單成交比例和延時等設(shè)置，多筆同方向的用戶委托訂單同時撮合時，遵循按照價格優(yōu)先、時間優(yōu)先的原則進(jìn)行撮合成交，方便用戶在高頻策略回測中模擬實際交易。模擬撮合引擎插件使用 C++ 開發(fā)，結(jié)合 DolphinDB 分布式數(shù)據(jù)庫，能極大地減少高頻策略回測的整體耗時。

　　04 流批一體的高頻因子

　　因子挖掘是量化交易的基石，挖掘中高頻行情數(shù)據(jù)中的有價值因子并建?；販y，構(gòu)建交易系統(tǒng)是量化團(tuán)隊的必要路徑。DolphinDB 整合歷史與實時數(shù)據(jù)提供了實時流計算框架，用戶在投研階段基于批量數(shù)據(jù)開發(fā)的核心因子表達(dá)式，經(jīng)封裝后，可以無縫應(yīng)用于實際生產(chǎn)環(huán)境中。由此，實時行情訂閱、行情數(shù)據(jù)收錄、交易實時計算、盤后研究建模，可以用同一套代碼實現(xiàn)。這不但確保了歷史回放和生產(chǎn)交易的數(shù)據(jù)一致性，還大大降低了用戶的開發(fā)與代碼維護(hù)成本。同時，流計算框架在算法路徑上進(jìn)行了精細(xì)的優(yōu)化，兼顧了高效開發(fā)和計算性能的優(yōu)勢。

　　05 AI & DolphinDB

　　在總結(jié)部分，周博士深入探討了 AI 與 DolphinDB 前沿技術(shù)的融合。其中，CPU-GPU 異構(gòu)計算平臺，可以讓 DolphinDB 腳本能夠無縫切換至 GPU 進(jìn)行高效的并行計算，從而實現(xiàn)了性能上的顯著躍升。同時，GPLearn?負(fù)責(zé)訓(xùn)練時的調(diào)度工作，涵蓋了種群生成、進(jìn)化與變異操作等關(guān)鍵環(huán)節(jié)，確保了訓(xùn)練過程的精準(zhǔn)與高效。此外，AI Dataloader?極大地簡化了大量因子數(shù)據(jù)導(dǎo)入深度學(xué)習(xí)框架進(jìn)行訓(xùn)練的過程，有效縮減了數(shù)據(jù)準(zhǔn)備與模型訓(xùn)練的時間成本。值得一提的是，這些前沿功能將在即將發(fā)布的?DolphinDB 3.0版本中全面呈現(xiàn)，我們熱切期待各位用戶的積極試用與反饋!周博士還強(qiáng)調(diào)，DolphinDB 的應(yīng)用范圍已擴(kuò)展到交易策略、交易風(fēng)控、交易監(jiān)控、機(jī)構(gòu)業(yè)務(wù)、算法交易、實時數(shù)倉、風(fēng)險控制、指標(biāo)計算、估值定價等多個金融行業(yè)場景。DolphinDB 致力于在金融技術(shù)領(lǐng)域不斷創(chuàng)新，為金融機(jī)構(gòu)提供高效技術(shù)解決方案，助力中小機(jī)構(gòu)在激烈的市場競爭中脫穎而出。