Бектест - це спосіб перевірити ефективність стратегії в минулому. Чи справді цей інструмент працює?
Коли ви починаєте в світі торгівлі, одне з перших речей, про яке ви дізнаєтесь, - це концепція бектестування. Тобто перед використанням стратегії бажано, якщо не суттєво, перевірити результати деяких правил у попередні періоди. Ми називаємо ці правила торговою системою або просто системою. Сама концепція, або принаймні ідея, дуже хороша. Хоча зараз це нам здається очевидним, це було не завжди. Більше того, навіть сьогодні є торговці або інвестори, які воліють помилково чи бездіяльно довірити свій капітал майбутньому долі.
Очевидно, кожен спекулює своїм капіталом, як вважає за потрібне. Звичайно, із засобами, що знаходяться на відстані щонайменше одного кліка, щоб хоча б спробувати перевірити, і з відносною легкістю поверненість стратегії в минулому, здається, щонайменше абсурдно не робити цього.
Примітка: Ми опускаємо ті частини аналізу, які не піддаються кількісному вимірюванню. Щось, що відбувається під час усіх видів аналізу. Завжди є щось, за чим ми сумуємо.
Минуле повернення не гарантує майбутнього повернення
Деякі з тих, хто не бажає кількісно визначати свої стратегії, можуть стверджувати - і дуже аргументовано - що минула віддача не гарантує майбутньої віддачі. Але, маючи на увазі, що вони мають рацію, я завжди приходжу до такого висновку: якщо ви не можете запевнитись, що те, що спрацювало, буде продовжувати працювати, що змушує вас думати, що те, що не спрацювало, спрацює і зараз. Це може спрацювати? Так, але це більше схоже на акт віри, аніж на все інше.
Надія - це останнє, що можна втратити, бо, звичайно, перед тим, як її втратити, те, що ви напевно втратите, - це ваш капітал.
Бектест теж не працює
Орієнтуючись на ідею, що бектест - це краще, ніж покладатися на астрологію, ми повинні продовжувати вдосконалювати, щоб не робити тих самих помилок, які допускали, роблять і, на жаль, продовжуватимуть багато трейдерів.
На цьому етапі ми повинні нанести олію на полотно, щоб підтвердити, що бектест кращий, ніж покладатися на випадковість пункту призначення, але це далеко не достатньо.
Чому цього недостатньо?
Достатнього бек-тесту, щоб перевірити, чи використовували ми в минулому певну торгову систему, чи не мали б ми певних результатів. Але на цьому інструмент закінчується. Саме слово говорить це: «Назад» (минуле) та «тест» (Доказ). Екстраполюючи, не аналізуючи далі, деякі результати все ж є - хоча і в меншій мірі - ще одним актом віри. Оскільки випадково він міг продовжувати працювати, і знайшов систему, яка працює, не знаючи чому, чи що вона працює, і ви не знаєте, до якого часу. Цей спосіб роботи деяких кількісних аналітиків контрастує з їх постійною критикою технічного аналізу. Тобто вони критикують те, що вони самі, несвідомо, застосовують щодня.
Що тут для аналізу?
Припускаючи, що система має фіксовані параметри, необхідно перевірити її дійсність у різних ринкових середовищах. Навіть у середовищах, яких не існує. Перевірте, як би працювала система в умовах високої волатильності та низької волатильності до і після структурних змін, на бичачому, ведмежому та бічних ринках. І тому ми могли продовжувати майже нескінченно довго.
Якщо система має змінні параметри, що зазвичай трапляється у більшості випадків, ми будемо робити той самий процес, але маючи на увазі, що система може бути модифікована і, отже, оптимізована. І сам факт оптимізації робить його схильним до надмірної оптимізації. Цей момент має життєво важливе значення для того, щоб спробувати отримати стабільну віддачу в майбутньому.
Звичайним кроком після пошуку стратегії, яка добре працювала в минулому, є спроба оптимізувати модель. Велика помилка. По-перше, вам доведеться напружувати це, або те, що я називаю, підкреслення системи. Покладіть його на роботу в найгірших можливих умовах, відомих для таких систем. Так, наприклад, якщо ми маємо систему трендів, потрібно буде запустити її в роботу протягом тривалих латеральних періодів, щоб побачити, як вона поводиться, коли немає сприятливого сценарію отримання прибутку від системи. Причиною вищезазначеного є те, що ми не знаємо, що буде в майбутньому, тому, потрапивши в найгірший можливий сценарій, ми відводимо нас якомога далі від неминучої (і бажаної) випадковості.
Що робити, крім як наголосити?
Поняття, що все змінюють, - це прямий тест та вибірка з вибірки. Але, якщо ми не знаємо майбутнього, як ми будемо тестувати щось про те, чого не знаємо? У нас є два варіанти, які ми побачимо найближчим часом. З іншого боку, ми маємо концепцію поза вибіркою. Вибір цієї вибірки - яку я рекомендую зробити досить багато (а не лише одну) та із розподілом ймовірностей, що мають різні характеристики - є важливим для досягнення системи, яка працює. Ідея полягає в тому, що бектест і оптимізація проводяться в різні періоди. Таким чином, безкоштовні зразки залишаться. Хоча це залежить від смаку аналітика. Це можна зробити і по-іншому, але ми можемо потрапити в статистичні помилки, які не є метою цієї статті.
- Перший спосіб здійснити процес - це те, що ми будемо називати традиційним: ми створюємо систему, оптимізуємо її і, переглянувши деякі показники, ставимо її працювати з фіктивними грошима або з невеликими реальними грошима. Якщо все піде добре, ми вводимо це в дію по-справжньому.
- Другий спосіб здійснення процесу - це те, що ми будемо називати `` новим '', хоча насправді він має мало нового: ми виконуємо систему, оптимізуємо її, перевіряємо стабільність параметрів з часом, виконуємо з вибіркові тести, штучні прямі тести, і ми вводимо його в роботу із справжнім прямим тестом. Якщо все піде добре, ми вводимо це в дію по-справжньому.
Другий спосіб роботи, порівняно з першим, базується на двох концепціях: стабільність параметрів у часі та штучні прямі тести. Штучні прямі тести не є типом тестів поза вибіркою, які намагаються імітувати справжній прямий тест. Давайте подумаємо про наступне:
Ми зробили процес для системи за останній рік. Введення його в роботу з цього місяця (липень) до кінця року (грудень) - це практично те саме, що рухатися вперед на всі 6 місяців та імітувати прямий тест із січня по липень. Це не те саме, оскільки реальні умови завжди пропонують нам ситуації, які важко вигадати, але ми просуваємось далі і досягаємо кращих результатів. І після цих «винаходів», оскільки вони насправді є винаходами, ми провели прямий тест у реальному часі. Це те, що я маю на увазі під штучними передовими тестами. Можливо, комусь це не подобається, але думка про інше є психічно упередженою. Якби ви виявили цю стратегію 6 місяців раніше, ви б зробили те саме.
З іншого боку, ми маємо стабільність параметрів системи в часі. Для мене це найважливіший показник і говорить нам, чи система переоптимізована. Якщо параметри залишаються стабільними з часом після оптимізації кожні X періоди, це означає, що параметри менш схильні до надмірної оптимізації, ніж інші, які відрізняються більше. Якщо до цього додати, що для кожної з оптимізацій ми проводимо штучний передовий тест, а результати також стабільні, ми стикаємось із системою з ймовірністю бути дійсно вигідною.
Все це може стати набагато складнішим. Хоча це здається складним, це не так. Він важкий, але простіший за механізм глечика. Як завжди, кожна людина має свій власний спосіб робити це, це не єдиний спосіб, але я хотів пояснити, що бектест без супутників подорожей марний і марний. Принаймні, звичайно, у світі торгівлі.
