近年來(lái)，程序化交易在國(guó)內(nèi)發(fā)展迅速，采用程序化作為交易手段的投資者越來(lái)越多，國(guó)內(nèi)對(duì)程序化交易的研究也越來(lái)越深入。開發(fā)一個(gè)優(yōu)秀的程序化交易系統(tǒng)，走上穩(wěn)健獲利的投資道路，成為眾多交易者追求的目標(biāo)。

　　從開發(fā)一個(gè)優(yōu)秀的程序化交易系統(tǒng)，到使用該系統(tǒng)獲得一定的利潤(rùn)是一個(gè)復(fù)雜的過(guò)程，在此過(guò)程中會(huì)遇到很多問(wèn)題。比如，經(jīng)常有投資者在實(shí)際使用交易策略前，因?yàn)椴呗缘臍v史測(cè)試收益曲線圖平滑向上，對(duì)策略的盈利能力非常自信。而實(shí)盤之后，資金曲線卻拐頭向下，不盡人意。出現(xiàn)這種現(xiàn)象的一個(gè)重要原因是過(guò)度擬合。所謂過(guò)度擬合，指的是對(duì)于樣本數(shù)據(jù)，描述的準(zhǔn)確度很高，而對(duì)于樣本外數(shù)據(jù)，描述的準(zhǔn)確度卻很差。具體到程序化交易中，就是歷史行情效果很好，而在未來(lái)行情中卻失效。本文嘗試解釋造成過(guò)度擬合的原因，并提出避免過(guò)度擬合的幾種方法。

　　過(guò)度擬合產(chǎn)生的原因

　　程序化交易系統(tǒng)的設(shè)計(jì)過(guò)程包括兩個(gè)部分，這兩個(gè)部分都有可能造成過(guò)度擬合。交易系統(tǒng)設(shè)計(jì)的第一部分是形成一個(gè)完整的交易規(guī)則體系。形成交易規(guī)則一般有自上而下和自下而上兩種方法：自上而下的方法是基于對(duì)市場(chǎng)行情的長(zhǎng)期觀察總結(jié)出來(lái)規(guī)律，再在規(guī)律的基礎(chǔ)之上形成數(shù)量化的交易策略，這一過(guò)程需要長(zhǎng)時(shí)間交易經(jīng)驗(yàn)的積累；自下而上的方法是從市場(chǎng)數(shù)據(jù)出發(fā)，進(jìn)行統(tǒng)計(jì)分析得出市場(chǎng)特征而形成的交易策略。程序化交易的出現(xiàn)以及電腦技術(shù)的發(fā)展，使得自下而上的方法得到廣泛采用，交易者可以將開發(fā)出來(lái)的交易系統(tǒng)用歷史數(shù)據(jù)進(jìn)行快速測(cè)試統(tǒng)計(jì)，以觀察系統(tǒng)在歷史行情中的表現(xiàn)，形成新交易系統(tǒng)的速度得到極大提升。在測(cè)試交易系統(tǒng)的過(guò)程中，往往會(huì)根據(jù)測(cè)試結(jié)果對(duì)交易規(guī)則進(jìn)行重新訓(xùn)練形成新的交易規(guī)則，或者對(duì)這些規(guī)則進(jìn)行組合，這樣產(chǎn)生的交易系統(tǒng)很容易是對(duì)市場(chǎng)數(shù)據(jù)的擬合。第二部分是將這些交易規(guī)則通過(guò)數(shù)量化的方法實(shí)現(xiàn)。在數(shù)量化實(shí)現(xiàn)交易系統(tǒng)的過(guò)程中，一般會(huì)采用參數(shù)來(lái)描述系統(tǒng)。設(shè)計(jì)者會(huì)通過(guò)增加參數(shù)個(gè)數(shù)和優(yōu)化這些參數(shù)，尋找出最佳的交易系統(tǒng)。如果參數(shù)個(gè)數(shù)較多或過(guò)度優(yōu)化參數(shù)，往往就會(huì)產(chǎn)生對(duì)歷史行情的完美過(guò)度擬合，而未來(lái)的績(jī)效卻大打折扣。

　　如何避免過(guò)度擬合

　　設(shè)計(jì)交易系統(tǒng)的目標(biāo)是在未來(lái)實(shí)盤的行情中可以產(chǎn)生利潤(rùn)，而不是為了追求一條漂亮的歷史測(cè)試曲線，過(guò)度擬合的交易系統(tǒng)是一個(gè)“美麗的陷阱”。如何逃離這個(gè)陷阱呢？我們認(rèn)為可以從交易規(guī)則的形成和交易系統(tǒng)開發(fā)兩大方面著手。

　　現(xiàn)代數(shù)學(xué)對(duì)金融市場(chǎng)的數(shù)據(jù)分析表明，時(shí)間價(jià)格序列包括兩個(gè)部分：第一部分是確定項(xiàng),可以從中找出一定的規(guī)律；第二部分是隨機(jī)項(xiàng)，沒有確定性的規(guī)律可言，出現(xiàn)某一現(xiàn)象只是概率性的。當(dāng)我們從市場(chǎng)歷史行情中提取交易規(guī)則時(shí)，需要分析規(guī)則的邏輯性和規(guī)律性，交易規(guī)則需要能夠反映市場(chǎng)的規(guī)律性，具有一定的合理性。同時(shí)交易規(guī)則的數(shù)量不宜過(guò)多，過(guò)多的交易規(guī)則如同對(duì)一個(gè)事物的描述加上太多的定語(yǔ)，而非事物本質(zhì)的反映，如果事物的表象發(fā)生變化，描述就失效了，只有對(duì)事物本質(zhì)的描述才是事物本身的定義。交易規(guī)則同樣必須抓住市場(chǎng)的本質(zhì)?？偠灾?，我們需要的是簡(jiǎn)單而有效的交易系統(tǒng)，系統(tǒng)越簡(jiǎn)潔，生命力就越強(qiáng)，適應(yīng)的市場(chǎng)范圍越廣。

　　當(dāng)交易者通過(guò)各種途徑形成交易規(guī)則后，在具體的交易系統(tǒng)設(shè)計(jì)過(guò)程中，需要注意如下問(wèn)題：

　　第一，增加歷史測(cè)試數(shù)據(jù)樣本容量，避免交易次數(shù)過(guò)少。如果歷史測(cè)試數(shù)據(jù)量較少，雖然設(shè)計(jì)的系統(tǒng)在樣本內(nèi)效果良好，但是較短時(shí)間段的測(cè)試不具有說(shuō)服力，系統(tǒng)未來(lái)的表現(xiàn)很難預(yù)期。而較少的交易次數(shù)往往是由于增加過(guò)多的交易規(guī)則限制，對(duì)虧損的交易進(jìn)行了強(qiáng)過(guò)濾，是一種典型的過(guò)度擬合行為。

　　第二，在測(cè)試時(shí)，將測(cè)試的數(shù)據(jù)樣本分為樣本內(nèi)和樣本外，設(shè)計(jì)系統(tǒng)的時(shí)候采用樣本內(nèi)數(shù)據(jù)，然后用樣本外數(shù)據(jù)測(cè)試得出的系統(tǒng)，如果效果大大降低，那么這種系統(tǒng)極有可能是擬合的。

　　第三，核心參數(shù)不宜過(guò)多，參數(shù)過(guò)多的系統(tǒng)是一個(gè)多自由度系統(tǒng)，在優(yōu)化多個(gè)參數(shù)之后總會(huì)得出一個(gè)漂亮的系統(tǒng)，但這種系統(tǒng)的可靠性是令人懷疑的。

　　第四，在對(duì)系統(tǒng)的參數(shù)進(jìn)行優(yōu)化時(shí)，我們需要對(duì)最優(yōu)參數(shù)附近的參數(shù)進(jìn)行考察。如果附近參數(shù)系統(tǒng)的性能遠(yuǎn)差于最優(yōu)參數(shù)的性能，那這個(gè)最優(yōu)參數(shù)有可能是一個(gè)過(guò)度擬和的結(jié)果，數(shù)學(xué)上稱為奇點(diǎn)解，是不穩(wěn)定的。如果市場(chǎng)的特征稍微發(fā)生變化，最優(yōu)參數(shù)可能會(huì)成為最差參數(shù)。

　　第五，將交易系統(tǒng)用于其他品種，觀察其效用。萬(wàn)能的交易系統(tǒng)是少見的，但是在一個(gè)品種上表現(xiàn)優(yōu)秀的系統(tǒng)，在別的品種上至少可以獲利。如果在別的品種上不能盈利，在使用該系統(tǒng)的過(guò)程中就應(yīng)該注意其有效性，即是否過(guò)度擬合某一品種的特殊行情。