本文是基于德銀報(bào)告的一篇學(xué)習(xí)筆記，列舉了量化策略中常見(jiàn)的幾種錯(cuò)誤。量化是件很有意思的事情，好東西很多人不愿意拿出來(lái)無(wú)償分享，特別是一些細(xì)節(jié)，但閉門(mén)造車(chē)往往會(huì)不知不覺(jué)的犯錯(cuò)誤。說(shuō)來(lái)也好笑，尚未見(jiàn)過(guò)回測(cè)看起來(lái)不行的策略（因?yàn)槟贸鰜?lái)給人看的都是收益曲線飛到天上去的），那么多紙面上的量化策略，為何一上實(shí)盤(pán)很多往往不堪一擊？回測(cè)中犯了一點(diǎn)點(diǎn)小錯(cuò)誤沒(méi)關(guān)系？不，很可能一丁點(diǎn)的疏忽，結(jié)論完全會(huì)被推翻。

一宗罪：幸存者偏差

如果用當(dāng)前Russell 3000指數(shù)成分股回測(cè)過(guò)去30年信用風(fēng)險(xiǎn)因子（用Merton distance to default來(lái)量化）的表現(xiàn)，為統(tǒng)一標(biāo)準(zhǔn)，方便回測(cè)，剔除所有數(shù)據(jù)長(zhǎng)度短于30年數(shù)據(jù)的股票，回測(cè)結(jié)果表明：信用風(fēng)險(xiǎn)越高，回報(bào)越好。

這是最簡(jiǎn)單的錯(cuò)誤，目前的指數(shù)成分股中只有20%的股票在過(guò)去30年中始終是Russell 3000成分股。破產(chǎn)、退市、表現(xiàn)不佳的股票定期都會(huì)被剔除出。也就是說(shuō)我們?cè)谀眠^(guò)去30年中表現(xiàn)最好的那些公司進(jìn)行回測(cè)，即便當(dāng)時(shí)的信用風(fēng)險(xiǎn)高，當(dāng)你知道誰(shuí)會(huì)幸存下來(lái)時(shí)，在信用風(fēng)險(xiǎn)高，陷入困境時(shí)買(mǎi)入，當(dāng)然收益非常高。若考慮進(jìn)那些破產(chǎn)、退市、表現(xiàn)不佳的股票后，結(jié)論完全相反，投資高信用風(fēng)險(xiǎn)企業(yè)的收益率長(zhǎng)期遠(yuǎn)低于信用穩(wěn)健的企業(yè)。

二宗罪：前視偏差

上述的幸存者偏差實(shí)際上是前視偏差的一種特例，我們站在過(guò)去的時(shí)間點(diǎn)上無(wú)法得知哪些公司能幸存下來(lái)依舊是今天的指數(shù)成分股。在財(cái)務(wù)數(shù)據(jù)上很容易犯前視偏差的錯(cuò)誤。比如，每個(gè)公司財(cái)務(wù)數(shù)據(jù)發(fā)布的時(shí)間點(diǎn)是不同的，在回測(cè)是應(yīng)該根據(jù)每個(gè)公司數(shù)據(jù)發(fā)布的時(shí)間點(diǎn)去利用財(cái)務(wù)信息，而不是簡(jiǎn)單的假設(shè)2季度數(shù)據(jù)在6月30日以后即全部可用，亦不可設(shè)置一個(gè)統(tǒng)一的發(fā)布滯后時(shí)間。

更隱蔽的不容易發(fā)現(xiàn)的錯(cuò)誤是財(cái)務(wù)/經(jīng)濟(jì)數(shù)據(jù)的修正。我們?cè)谙螺d歷史宏觀數(shù)據(jù)時(shí)往往得到的是終值，但很多發(fā)達(dá)國(guó)家GDP數(shù)據(jù)發(fā)布后要經(jīng)過(guò)兩次調(diào)整，各大公司財(cái)報(bào)的修正也是非常常見(jiàn)的。我們?cè)诨販y(cè)的時(shí)間點(diǎn)上是無(wú)法得知終值的，只能利用初始值。這個(gè)情況在國(guó)內(nèi)可能更少見(jiàn)些，也反映了數(shù)據(jù)質(zhì)量上國(guó)外應(yīng)該做得更好，在事后能進(jìn)行大量修正。這么一點(diǎn)小修正不會(huì)影響結(jié)論？不，很多宏觀數(shù)據(jù)初值拿來(lái)做回歸都是不顯著的，公司財(cái)務(wù)數(shù)據(jù)與否直接影響選股結(jié)果。

現(xiàn)實(shí)中還存在更為隱蔽的前視偏差。例如，美股中管理層可能決定進(jìn)行裂股（也就是A股的高轉(zhuǎn)送）來(lái)解決股價(jià)過(guò)高導(dǎo)致的流動(dòng)性問(wèn)題。也可能是縮股（若干股合成一股）來(lái)美化每股盈利等指標(biāo)（EPS）。如果回測(cè)一個(gè)簡(jiǎn)單的策略，買(mǎi)標(biāo)普500指數(shù)成分股中股價(jià)最低的50個(gè)股票，則過(guò)去25年的收益喜人，由此我們是否能得出低價(jià)“便宜”股未來(lái)收益更高呢？這個(gè)原理在A股有理論依據(jù)啊:牛市時(shí)大媽逐步消滅2元股，3元股，4元股…在大媽看來(lái)價(jià)格的絕對(duì)值一定程度上代表便宜程度。答案當(dāng)然是否定的，如果要對(duì)這個(gè)策略進(jìn)行回測(cè)，必須使用復(fù)權(quán)調(diào)整后的股價(jià)數(shù)據(jù)，下圖中可以看到，這個(gè)策略基本無(wú)用，和標(biāo)普指數(shù)走平。

三宗罪：講故事

很多人喜歡沒(méi)有任何數(shù)據(jù)開(kāi)始講故事，做量化的人喜歡拿著數(shù)據(jù)和結(jié)果講故事。這兩種情況很多時(shí)候是類(lèi)似的，因?yàn)橄矚g故事和解釋的人，在做數(shù)據(jù)之前往往就已經(jīng)有一個(gè)劇本，他要做的不過(guò)是找出演好劇本的“演員”（數(shù)據(jù)）罷了。我本身是做宏觀的，深知故事的危害，要講的故事，何愁找不出數(shù)據(jù)支持？

假如時(shí)間倒回1997，你在做策略，然后發(fā)現(xiàn)利潤(rùn)率這個(gè)指標(biāo)非常靈驗(yàn)，只要買(mǎi)Russell3000成分股中高利潤(rùn)率的公司，過(guò)去10年躺著也能賺錢(qián)。量化太簡(jiǎn)單了!

按照這個(gè)策略投了2年，很不幸本金一不小心虧了70%。然后有人會(huì)告訴你，還看什么利潤(rùn)率，新經(jīng)濟(jì)將改變世界，買(mǎi)互聯(lián)網(wǎng)公司就是賺錢(qián)，你這個(gè)策略早就不管用了。

于是你信以為真，買(mǎi)了互聯(lián)網(wǎng)公司，結(jié)果是：繼續(xù)虧。然后2年后又有人告訴你，互聯(lián)網(wǎng)公司是泡沫，都一地雞毛了，你還是應(yīng)該重回經(jīng)典，利潤(rùn)率還是要看的，過(guò)去2年這個(gè)指標(biāo)不錯(cuò)啊，2年翻了6倍，泡沫破裂股災(zāi)階段這個(gè)業(yè)績(jī)亮瞎眼。

然后你又重回經(jīng)典，決定矢志不渝的堅(jiān)守利潤(rùn)率這個(gè)因子。然后過(guò)了10年，你發(fā)現(xiàn)你的收益曲線近乎是一條直線。

每天都在發(fā)現(xiàn)新的“好因子”，每天市場(chǎng)里都有人在尋找永動(dòng)機(jī)，都是在浪費(fèi)時(shí)間。所有發(fā)布出來(lái)的策略我還沒(méi)見(jiàn)過(guò)表現(xiàn)回測(cè)不好的（回測(cè)表現(xiàn)都不好，自然不會(huì)拿出來(lái)）但這些故事對(duì)過(guò)去的解釋非常動(dòng)聽(tīng)，對(duì)未來(lái)的預(yù)測(cè)幾乎沒(méi)用。當(dāng)我們做出和常識(shí)相悖亦或是和原來(lái)判斷相符的結(jié)果時(shí)，最好別去講故事，除非你想出去忽悠人。相關(guān)性和因果性在金融經(jīng)濟(jì)的世界里從來(lái)沒(méi)有人能分清楚。講故事的害處是越講自己越信，最后發(fā)現(xiàn)掉溝里的人是自己。

四宗罪：高換手率

高換手率和信號(hào)短暫不穩(wěn)定（閃爍信號(hào)）有關(guān)。很多人竊以為，高換手率有什么不好啊，說(shuō)明策略靈敏，能捕捉到短線的機(jī)會(huì)，這不就是傳說(shuō)中的高頻交易嘛，原來(lái)這么簡(jiǎn)單，回測(cè)來(lái)看確實(shí)收益高的下班半輩子都不用愁了。

凡是高于周為頻率的策略都需要檢查下這個(gè)問(wèn)題，高換手率得出的回測(cè)結(jié)果可以做下壓力測(cè)試，看下多少的沖擊交易成本就會(huì)抹掉全部收益。即使是月這樣的交易頻率，高換手率也足以顛覆策略結(jié)果?？匆粍t例子：每個(gè)月買(mǎi)入日本股市中分紅率最高，且過(guò)去一個(gè)月表現(xiàn)最差的股票，同時(shí)做空分紅率最低，且過(guò)去一個(gè)月表現(xiàn)最好的股票，這個(gè)策略在0交易成本下年化收益高達(dá)11%，0.1%的交易成本下降為7%，0.3%的交易成本下收益直接全部被抹掉，而且還是虧錢(qián)的。這個(gè)策略的問(wèn)題就在于盡管是每個(gè)月交易，但是每個(gè)月股票池股票全不一樣，換手率接近100%。

很多人會(huì)說(shuō)：A股的手續(xù)費(fèi)不是萬(wàn)三嘛，0.3%這個(gè)假設(shè)太猛了，不科學(xué)。假設(shè)一個(gè)A股的股票5塊錢(qián)，最小報(bào)價(jià)單位0.01，也就是0.2%，這么說(shuō)來(lái)，一點(diǎn)都不小。尤其是我們還未考慮更多的情形，如果你是基金經(jīng)理，大單買(mǎi)入會(huì)對(duì)價(jià)格產(chǎn)生很大沖擊，拆單買(mǎi)入很可能交易成本控制不太好，且需要一定時(shí)間完成交易，遇到市場(chǎng)單邊波動(dòng)怎么辦？如果你在國(guó)外交易小盤(pán)股，流動(dòng)性差的一周只有幾筆成交怎么辦？

那這是不是說(shuō)我們交易頻率越長(zhǎng)越好？比如來(lái)個(gè)一年定期換一次股？這換手率總算低了吧？當(dāng)然不是，市場(chǎng)變化瞬息萬(wàn)變，明知道某股票已經(jīng)不符合某些條件，應(yīng)當(dāng)及時(shí)調(diào)出組合。每月交易一次，每次更換組合中3%的股票，比一年交易一次，每次更換36%的股票要好得多，雖然兩者的年換手率均為36%。

再來(lái)看一個(gè)高換手率交易的典型問(wèn)題：每天收盤(pán)時(shí)買(mǎi)入當(dāng)天表現(xiàn)最差的100個(gè)股票，賣(mài)出過(guò)去的持倉(cāng)，持續(xù)每日交易，回報(bào)率喜人。這里的錯(cuò)誤也是前視偏差，還沒(méi)收盤(pán)我們不知道當(dāng)天哪些股票表現(xiàn)最差，即使用程序化交易，這種策略也是停留在紙面。我們能做的是以每天開(kāi)盤(pán)價(jià)買(mǎi)入昨天表現(xiàn)最差的100個(gè)股票。兩個(gè)策略結(jié)果一對(duì)比，以開(kāi)盤(pán)價(jià)買(mǎi)入的策略幾乎一條直線。

五宗罪：數(shù)據(jù)挖掘

Paul Romer在14年發(fā)了篇文章，歷數(shù)經(jīng)濟(jì)學(xué)中的過(guò)度數(shù)學(xué)化，量化中又何嘗不是，有時(shí)候?yàn)榱藬?shù)據(jù)平整而平整，強(qiáng)制把數(shù)據(jù)做平，出來(lái)的東西已經(jīng)失去解釋意義。神經(jīng)網(wǎng)絡(luò)迭代式能完整寫(xiě)下來(lái)的人有多少？不應(yīng)該因?yàn)槁?tīng)上去高大上能忽悠人就直接套用X算法Y算法的去預(yù)測(cè)股價(jià)。當(dāng)然除了這種過(guò)度數(shù)學(xué)化，也有犯低級(jí)數(shù)據(jù)挖掘錯(cuò)誤的，還別說(shuō)，國(guó)內(nèi)券商的量化研報(bào)里還真的見(jiàn)過(guò)做樣本內(nèi)回測(cè)的。例子很簡(jiǎn)單，有100個(gè)因子，2009-2014年5年數(shù)據(jù)，逐個(gè)回測(cè)因子，選出6個(gè)表現(xiàn)最好的，等權(quán)重合成一個(gè)策略，再回測(cè)那5年數(shù)據(jù)，結(jié)果自然喜人。但如果在09年初，挑選出6個(gè)在04-09年表現(xiàn)最好的因子合成一個(gè)策略，用09-14年進(jìn)行樣本外回測(cè)后發(fā)現(xiàn)：直線一條。

六宗罪：異常值偏差

在計(jì)算行業(yè)或者指數(shù)的一些指標(biāo)時(shí)我們常常用成分股各自的指標(biāo)取平均值。但這樣的做法往往會(huì)受異常值的干擾，比如下圖中的標(biāo)普BMI韓國(guó)指數(shù)成分股的利潤(rùn)率。如果用平均值和剔除1%，2%極值的結(jié)果相差甚大。這是宏觀數(shù)據(jù)中常有的問(wèn)題，少數(shù)極值若不做預(yù)處理，會(huì)嚴(yán)重影響回歸結(jié)果。

但去除極值往往損失一些信息，因此最好的辦法是對(duì)數(shù)據(jù)進(jìn)行微觀層面的聚合然后再算總的指標(biāo)。

我們常看文章說(shuō)香港市場(chǎng)低估，擺出全市場(chǎng)PB等歷史數(shù)據(jù)加以佐證。乍一看似乎是很低，但兩個(gè)問(wèn)題值得問(wèn)：PB是全市場(chǎng)各個(gè)公司PB的平均還是全市場(chǎng)的市值除以全市場(chǎng)公司的的賬面價(jià)值？這兩種算法的結(jié)果完全不同。如果是圖省力的第一種做法，那對(duì)極值是如何處理的？

一種處理極值的通常做法是Inter-Quartile Range (IQR): 將數(shù)據(jù)三等分，設(shè)k=0.5，Q1，Q3分別為等分點(diǎn)，任何小于Q1? k(Q3 ? Q1) , 或大于Q3 + k(Q3? Q1)的點(diǎn)均定義為極值。下圖中用IQR處理過(guò)后的港股PB值在07年比互聯(lián)網(wǎng)泡沫時(shí)期更貴，而普通處理的PB則在當(dāng)時(shí)顯得非常便宜。

七宗罪：非對(duì)稱性

做策略時(shí)往往假設(shè)2倍杠桿，即做多一組的同時(shí)做空另一組，以達(dá)到增加因子曝光的目的。但現(xiàn)實(shí)中做多和做空帶來(lái)的收益是不對(duì)稱的。以下圖中美股的這些因子為例，多數(shù)因子多空的收益表現(xiàn)出非對(duì)稱性。撇開(kāi)做空的成本和現(xiàn)實(shí)可能性，在做策略時(shí)依然值得自問(wèn)：是否值得做空？