Тестирование торговых стратегий на истории вынужденно включает в себя довольно ограниченный объем исторических данных. Например, я редко тестирую стратегии на данных старше 2007. Включение более ранней истории может не улучшить предсказательные способности, поскольку структура рынка могла существенно измениться. С такими недостаточными данными разумно задаться вопросом не являются ли хорошие результаты тестирования (т.е. приведенная годовая доходность R) только лишь следствием удачи. Многие академические исследователи пытаются решить эту проблему пропуская свои опубликованные стратегии через стандартные статистические способы проверки гипотез.
Вы знаете как это происходит: сначала исследователи предлагают предположительно превосходную стратегию. В приступе показной скромности, они затем предполагают, что возможно нулевая гипотеза сможет показать такой же хороший результат R. Нулевая гипотеза может быть сконструирована путем прогонки исходной стратегии через какие-то симулированные случайные исторические данные, или делая случайные входы. Исследователи далее показывают, что такие случайные конструкции очень вряд ли дадут результат равный или лучший R. Таким образом нулевая гипотеза отклоняется, и стало быть создается впечатление, что исходная стратегия очень хороша.
Люди, занимающиеся статистикой вне финансов скажут вам, что вся эта процедура довольно бессмысленна и сбивает с толку.
Вероятностные измышления вокруг тестирования гипотез имеют ту же структуру как следующий простой пример (приведенный в статье Jeff Gill “Бессодержательность тестирования нулевой гипотезы”):
1) Если некто американец, очень маловероятно, что он член Конгресса.
2) Некто член Конгресса
3) Отсюда следует, что очень маловероятно, что он американец.
Абсурдность тестирования гипотез должна быть понятна. В математических терминах, вероятность, которая нас на самом деле интересует, есть условная вероятность того, что нулевая гиптоеза верна, учитывая наблюдаемый высокий результат R: P(H0|R). Но вместо этого, тестирование гипотезы всего лишь дает нам условную вероятность результата R при условии, что гипотеза верна: P(R|H0). Эти две условные вероятности редко равны.
Но даже если мы как-то можем вычислить P(H0|R), пользы от этого будет мало, потому что существует бесконечное количество потенциальных гипотез H0. Отработав одну, вы не многое узнали о своей исходной стратегии.
Если тестирование гипотез и бессмысленно и сбивает с толка, почему финансовые исследователи продолжают этим заниматься? В основном потому, что таков этикет при подготовке публикаций.Тем не менее, есть одно полезное следствие для нашего собственного частного торгового исследования. Даже если отклонение нулевой гипотезы никак не показывает, что стратегия значима, неспособность отклонить нулевую гипотезу будет гораздо более интересной.
(За другими ссылками на критику тестирования гипотез читайте бестселлер Nate Silver «The Signal and The Noise». Silver статистик, который успешно предсказал победителей во всех 50 штатах + округе Колумбия на президентских выборах 2012 года в США. В частности, эта книга будет весьма полезна каждому, кто зарабатывает на жизнь предсказанием будущего. Там рассказывается история одного Bob Voulgaris, кто делает 1-4 миллиона долларов в год делая ставки на результаты NBA. Это заставляет задуматься, может мне бросить делать ставки на финансовых рынках и перейти на спорт.)
Автор: Ernie Chan
Источник: The Pseudo-science of Hypothesis Testing