Можно было бы подумать, что чем больше идей тестировать на исторических данных и чем чаще, тем выше шансы обнаружить торговое преимущество (edge). Однако случается прямо противоположное: шансы открыть что-то ценное уменьшаются с повышением частоты бэктестинга.
Если вы думаете, что это контр-интуитивно, попробуйте посмотреть на это так: если бы частота бэктестинга имела значение в обнаружении преимущества, тогда все эти трейдеры с алгоритмами машинного обучения были бы богатыми. Так что за процесс превращает бэктестинг со временем в бессмысленное занятие?
Ответ — предвзятость (bias) дата-майнинга. По мере того, как разработчик торговых систем тестирует все больше идей, новых или модифицированных старых, предвзятость дата-майнинга увеличивается и в какой-то момент становится такой большой, что вероятность обнаружения «торгового преимущества» через бэктестинг становится близкой к единице. По сути это означает, что сложилось двустороннее взаимодействие между тем кто бэктестирует и процессом бэктестинга. Это ключевой элемент, который упускается, когда трейдер верит, что с увеличением частоты бэктестинга шансы на успех растут.
Вероятность P обнаружения «торгового преимущества» как функция числа попыток бэктестинга N:
На иллюстрации выше, «а» это в общем случае нелинейная функция N и других параметров, принимающая значение меньшее или равное единице. Это значит, что вероятность P стремится к нулю с ростом N. По сути, те, кто проводят бэктестинг постоянно, имеют мало шансов обнаружить преимущество. В том числе программы машинного обучения, копающие данные беспрерывно, пока не обнаружится что-нибудь переподогнанное на-выборке (in-sample) и по чистой случайности подогнанное вне-выборки (out-of-sample) (более подробно здесь).
В общем, трейдеры должны использовать бэктестинг только когда у них уже есть отличная идея, которую нужно протестировать. Вообще, эта идея должна быть уникальной насколько это возможно. Тогда целью будет попытаться развенчать ее, а не доказать, что она хороша, если добавить в нее фильтров и условий.
Одна из базовых проблем пользователей бектестинга — они пытаются доказать, что идея хороша, вместо того, чтобы пытаться сделать совершенно противоположное. Причина этого в том — и это тоже контр-интуитивно — что торговых преимуществ очень мало и вероятность того, что найденная бектестингом идея это игра случая, близка к единице.
Автор: Michael Harris
Источник: Counter-Intuitive Facts About Backtesting
Комментарии:
Intro: Нужно оптимизировать частоту оптимизаций, факт! =) Хорошая заметка.
VNIK: «Можно было бы подумать, что чем больше идей тестировать на исторических данных и чем чаще, тем выше шансы обнаружить торговое преимущество.» — такой подход называется «метод тыка» — самый затратный и наименее продуктивный метод генерирования новых идей. Следующим в списке идет метод мозгового штурма…
Короче, полное незнание данного вопроса.
Советую поискать и изучить систему ТРИЗ ( теория решения изобретательских задач )…
EdgeStone: в статье подразумеается, что весь этот процесс этого бесполезного бэктестинга, бесконечного перебора и проверки идей делает последовательно ОДИН и тот же человек (или робот) и его шансы снижаются.
Но если подумать, то получается именно этим в целом и занимаются ВСЕ алготрейдеры и чем дольше они этим занимаются, то с одной стороны,
тем выше шансы, что они что-то найдут реальное а не подогнанное,
а с другой стороны, тем ниже их шансы именно по логике приведённой в статье.
Парадокс, однако..
EdgeStone: С другой стороны, есть инструменты на котором разные системы разных авторов, но относящиеся к одному классу (ну например тренд-моментум, или возврат к среднему) на длительных периодах на реале показывают положительные похожие результаты.
EdgeStone: Может ли такая ситуация служит подтверждением, что ты нашёл какое-то реальное свойство рынка, на котором все в данном периоде и зарабатывают?
Tvitchenko: Автор пишет цитата/Вообще, эта идея должна быть уникальной насколько это возможно/конец цитаты. По логике автора (Michael Harris) идея тем ценнее, чем меньше её приверженцев среди трейдеров. Например, ожидать что цена повторится ровно через 254 дня деленных на текущий день недели минус день месяца – ценная идея. Ведь она очень уникальная. В противоположность ей ожидать, что цена акции поднимется если объявят о повышении прибыли компании – плохая идея, потому что не уникальная.