«Мой вкус становится проще, чем был раньше. Молодой повар ингредиенты к блюду добавляет, добавляет и добавляет. А когда становится старше, начинает отнимать» — Жак Пепин (Jacques Pépin), известный французский шеф-повар
Текущая серия статей посвящена причинам деградации доходности, то есть когда производительность систематической торговой стратегии во время работы получается значительно хуже, чем она выглядела во время тестирования. В последнем посте мы обсуждали понятие арбитража, проведя параллель с таким явлением в науке, как «одновременное открытие». По большому счету мы предположили, что многие разработчики, отталкиваясь от однотипного стержня исследований, примерно в одно и то же время натыкались на похожие технологии. Поскольку эти инвесторы соперничают в нахождении одинаковых или похожих аномалий, то каждый инвестор получит меньшую часть доступной альфы.
Мы также затронули причины нашей уверенности в том, что продуманные активные стратегии и распределения активов, скорее всего, в обозримом будущем сохранят свой профиль сильной приведенной к риску доходности. Напомним, что множество структурных препятствий защищают современный «большой денежный интерес», такой как пенсии, пожертвования и другие крупные организации, от использования этой арбитражной возможности. В своей основе эти большие пулы капитала подчинены процедуре группового обсуждения, корпоративной структуре и неторопливым процедурам управления. Эти ограничения не позволяют им перемещать свое внимание с традиционных источников альфы (т.е. отбор инвестиционных инструментов) на тактические источники.
Этот пост начинает наше исследование понятия «степеней свободы» в разработке системы. Смысл термина «степени свободы» немного отличается в зависимости от того, что идет в контексте – формальные статистики или механические системы. Хотя проектирование инвестиционной системы часто идет в обоих контекстах, в рамках этой серии статей мы сильнее склонимся к последнему. По существу, число степеней свободы в системе является числом независимых параметров в системе, которые могут повлиять на результаты.
Когда я впервые обнаружил системное инвестирование, моя интуиция заставила меня найти столько способов измерения и фильтрации временных рядов, сколько может поместиться на листе Excel. Я был, как мальчик, который впервые пробовал восхитительную уху по-марсельски, и просто обязан был попытаться повторить ее самостоятельно. Но вместо того, чтобы исследовать бесконечные нюансы французской кухни, я просто одновременно закинул в кастрюлю все известные мне французские травы.
В частности, в одном из моих ранних проектов было не менее 37 классификаторов, включая фильтры, связанные с регрессией, скользящие средние, чистый импульс (raw momentum), технические индикаторы, такие как RSI и стохастические линии, а также более навороченные тренды и фильтры возврата к среднему, такие как TSI, DVI, DVO и куча других трех и четырех буквенных аббревиатур. Каждый показатель был точно настроен на оптимальное значение для максимизации исторической доходности, и эти значения изменялись по мере того, как я оптимизировал систему для различных ценных бумаг. В какой-то момент я разработал систему для торговли IWM с исторической доходностью выше 50% и коэффициентом Шарпа больше 4.
Есть системы, которые показывают невероятно хорошие результаты по прошлым данным, а затем подводят при реальной работе, что в итоге и произошло. Мой партнер в течение нескольких недель использовал систему IWM на американских акциях, и потерял 25%. Десятки часов и недели, проведенные за компьютером, коту под хвост.
Проблема сложных систем с большим количеством движущихся частей заключается в том, что они требуют, чтобы вы нашли точную идеальную точку оптимизации во многих измерениях – в моем случае в 37. Чтобы понять, что я имею в виду, представьте себе, что вы пытаетесь создать вкусное блюдо из 37 различных ингредиентов. Как найти идеальное сочетание? Если положить больше соли, то это может оттенить аромат розмарина, но может перебить вкус трюфельного масла. Что же делать? Добавить больше соли и больше трюфельного масла? Но большее количество трюфельного масла не сочетается с землистым вкусом лисичек.
Видите ли, не достаточно просто найти индивидуальный оптимум для каждого классификатора, это то же самое, что принять решение об оптимальном количестве любого ингредиента в блюде без учета его влияния на другие ингредиенты. Все потому, что в большинстве случаев сигнал от одного классификатора взаимодействует с сигналами от других классификаторов нелинейными способами. Например, если вы работаете с двумя фильтрами вместе – скажем с пересечением скользящего среднего и осциллятором – вас не интересует оптимальная длина скользящей средней (средних) или контрольные периоды для осциллятора по отдельности, вместо этого вы должны изучить показания осциллятора во время периодов, когда цена находится выше скользящей средней, и когда цена находится ниже скользящей средней. Вы можете обнаружить, что когда фильтр скользящей средней находится в одном состоянии, осциллятор показывает результаты отличные от тех, когда фильтр в другом состоянии.
Чтобы дать представление о масштабах этой задачи, рассмотрим упрощенный вариант, когда каждый классификатор имеет лишь 12 возможных настроек, скажем размер скользящего окна от 1 до 12 месяцев. 37 классификаторов с 12-тью возможными вариантами на каждый классификатор дают нам 6,6 х 10^18 возможных перестановок. Хотя квинтиллион подстановок уже трудно назвать упрощением, представьте, что многие из классификаторов в моей 37-размерной системе IWM имели два или три самостоятельных параметра (короткий контрольный период, длинный контрольный период, z-показатель, p-значение, и др.), и каждый из этих параметров также был оптимизирован. Это даже не поиск иголки в стоге сена, а скорее поиск конкретной песчинки на пляже.
Существует еще одна проблема: каждый раз, когда вы делите систему на два или более состояния, вы по определению сокращаете количество наблюдений в каждом состоянии. Чтобы проиллюстрировать это, представьте, что каждый из 37 классификаторов в моей IWM-системе имеет лишь 2 состояния – лонг или кэш. Тогда существует 2^37 = 137 млрд. возможных состояний системы. Напомним, что статистическая значимость зависит от числа наблюдений, таким образом, уменьшение количества наблюдений на состояние в системе снижает статистическую значимость наблюдаемых результатов для каждого состояния, а также для системы в целом. Например, возьмем дневную торговую систему с 20-летней историей тестирования. Если вы разделите 20 лет (~5000 дней) на 137 млрд. возможных состояний, каждое состояние будет иметь в среднем всего 5000/137 млрд. = 0,00000004 наблюдения на состояние! Очевидно, что 20 лет истории не достаточно, чтобы быть уверенным в этой системе; вам потребуется период тестирования более 3 млн. лет, чтобы получить статистический уровень значимости.
Как правило, чем больше степеней свободы имеет ваша модель, тем больше должен быть размер выборки, чтобы доказать статистическую значимость. Верно и обратное: при одинаковом размере выборки модель с меньшим числом степеней свободы, скорее всего, будет иметь более высокую статистическую значимость. В мире инвестирования, если вы смотрите на результаты бэктестирования двух инвестиционных моделей с аналогичными результатами, как правило, следует отдать предпочтение модели с меньшим числом степеней свободы. По крайней мере, можно сказать, что результаты этой модели будут иметь большую статистическую значимость, и большую вероятность того, что результаты при работе будут согласоваться с тем, что наблюдалось при тестировании.
Какой объем ухи вы должны попробовать, чтобы убедиться, что нашли идеальное сочетание ингредиентов?
Из всего этого следует, что оптимизация, так же как и приготовление еды, должна проводиться на основе комплексного подхода, учитывающего сразу все аспекты проблемы. И это часто случается в мире инвестиций, а что касается приготовления еды – новички стремятся к сложным сочетаниям, а опытные повара ищут простые. Это противоречит здравому смыслу – даже в отношении профессионалов в области инвестиций, и поэтому разработка системы имеет странную кривую обучения, где выражена тенденция двигаться очень быстро прочь от простого подхода, который рекомендуется при знакомстве с систематической торговлей (в нашем случае это работа Фабера (Faber) наряду с The Chartist и Дорси Райтом (Dorsey Wright)) в сторону чрезвычайно сложных проектов, каждый из которых имеет точные оптимальные значения.
В конце концов, вы признаете глупость этой гонки, и начнете обратное движение к согласованности и простоте. Конечно, просто не значит легко. Это не легче, чем когда новичок берет простой рецепт, чтобы воссоздать кулинарный шедевр. Как вы понимаете, вдумчивая простота может быть обманчиво сложной. А сейчас передайте соль и перец, пожалуйста.
Автор: GestaltU
Источник: Toward a Simpler Palate
Комментарии:
Kent: много слов в статье, а суть проста
будь проще, но не сверх необходимого
Kent: статья в общем-то правильная, многословно передает многословную суть
суть такая это курвафит
пластилиновый пластилин /(с)Vovam/
т.е. обилие параметров можно подогнать под любую форму.
За счет обилия параметров с помощью оптимизации по сути выбирается эквити с положительным ростом из огромнейшего количества вариантов эквити. Т.е. система не отражает реальных закономерностей, потому она и дает случайный результат.
Kent: написал новый коммент, потом увиджел свой предыдущий ))
опять же соглашусь с ним ))
EdgeStone: Крутая статья! Мех, спасибо)
EdgeStone: Это как у Эйнштейна: «Вы думаете всё так просто? Просто, но не так».
Как найти эту точку, когда число параметров системы не ниже необходимого, но и не выше, когда уже началась ?