Як перевірити торгову стратегію до реальних грошей: бектест, форвард-тест і вибірка угод
Навчання трейдингу · · 7 хв
Торгова стратегія перевіряється до реальних грошей у два етапи: спочатку бектест на історичних даних із комісіями і прослизанням, потім форвард-тест на даних, яких стратегія не бачила. Висновок роблять за сотнями угод у різних станах ринку. Навіть перевірена стратегія не гарантує результату: торгівля пов'язана з ризиком втрати коштів.
Автор — Віктор Скрін

Чому торгова стратегія на історії виглядає краще, ніж у торгівлі?
Тому що її правила добирали на тих самих даних, на яких потім рахували результат. Автор бере минулі котирування, змінює рівні, періоди індикаторів і фільтри, доки крива рахунку не стане рівною. Така крива показує, наскільки добре правила підігнані до минулого. Чи працюватиме стратегія на нових даних, з неї не дізнатися.
Перевірка відповідає на інше питання: чи залишиться результат, якщо відняти витрати і взяти дані, яких стратегія не бачила. Для цього потрібні два етапи, бектест і форвард-тест, і вибірка угод, за якою удачу можна відрізнити від закономірності.
Що таке бектест і де він обманює?
Бектест — це застосування правил стратегії до історичних даних із записом кожної угоди. Він працює як перший фільтр: якщо правила не дають результату навіть на історії, ризикувати заради них грошима немає сенсу. Позитивний бектест ще нічого не доводить, у нього є типові помилки.
| Помилка | Що відбувається | Що з цим робити |
|---|---|---|
| Перенавчання | Параметри підігнані під один відрізок історії та описують шум | Перевіряти на даних, які не брали участі в налаштуванні |
| Зазирання вперед (look-ahead bias) | Сигнал використовує дані, яких у той момент ще не було | Звіряти час кожного значення, входити не раніше закриття бару |
| Немає витрат | Результат завищений на комісії, прослизання і фандинг | Віднімати витрати від кожної угоди |
| Помилка того, хто вижив | У тесті лише активи, які торгуються зараз; зняті з торгів випали | Брати склад ринку на кожну дату періоду |
| Мала вибірка | Кілька вдалих угод виглядають як система | Рахувати кількість угод і похибку (таблиця нижче) |
Бектест можна зробити і вручну: відкрити історичний графік, закрити праву частину і йти бар за баром, записуючи угоди за правилами в таблицю. Це повільно, зате одразу видно, чи можна виконати правила без підказки з майбутнього.
Як врахувати комісії, прослизання і фандинг?
Витрати віднімають від кожної угоди бектесту, інакше його результат завищений. Їх три:
- Комісія біржі. Береться при відкритті та при закритті позиції; ставки для лімітних ордерів (мейкер) і ринкових (тейкер) різні. Актуальний тариф дивіться на сторінці комісій біржі, на якій торгуєте.
- Прослизання. Різниця між ціною сигналу і ціною виконання. Зростає разом з обсягом ордера і в моменти різких рухів.
- Фандинг. У безстрокових контрактах це періодичний платіж між власниками лонгів і шортів. Якщо позиція тримається довше одного розрахункового періоду, він входить у результат. Як він влаштований, розібрано в статті про ставку фінансування.
Умовний приклад, не результат реального рахунку. Стратегія робить 20 угод на день, кожна на 5 000 USDT номіналу. Відкриття і закриття дають 10 000 USDT обороту на угоду і 200 000 USDT на день. За умовної ставки 0,05% з обороту це 100 USDT комісій на день і 3 000 USDT за 30 днів. Стільки стратегія має заробити, щоб вийти в нуль, і це ще без прослизання.
Що таке перенавчання і як його розпізнати?
Перенавчання (overfitting, curve fitting) — це коли правила описують випадкові особливості одного відрізка історії, а не повторювану закономірність. На своїй вибірці така стратегія виглядає чудово, на нових даних результат зникає.
Ознаки перенавчання:
- Багато налаштовуваних параметрів за малої кількості угод. Що більше параметрів, то легше підігнати їх під шум і то більше даних потрібно для перевірки.
- Результат ламається за невеликого зсуву параметра. Якщо період індикатора 20 дає прибуток, а 19 і 21 дають збиток, знайдено випадковість.
- Форвард-тест набагато гірший за бектест. Деяке погіршення звичне; зміна знака результату свідчить про підгонку.
- Результат тримається на кількох угодах. Приберіть п'ять найкращих угод і подивіться, що залишилося.
Захист один: до початку роботи розділити дані на частину для розробки і частину для перевірки та не зазирати в другу.
Як провести форвард-тест?
Форвард-тест (out-of-sample) — це перевірка на даних, які не брали участі в розробці. Варіантів два: відкладений відрізок історії або торгівля в реальному часі на демо-рахунку чи мінімальним обсягом.
- Розділіть історію на дві частини, наприклад 70% на розробку і 30% на перевірку.
- Побудуйте і налаштуйте стратегію лише на першій частині.
- Запишіть правила: вхід, вихід, розмір позиції, витрати.
- Один раз застосуйте їх до другої частини без правок.
- Порівняйте з бектестом кількість угод, частку прибуткових, середню угоду і найглибшу просадку.
Якщо після четвертого кроку ви змінюєте правила і запускаєте перевірку знову, відкладений відрізок перестає бути незалежним: він став ще однією вибіркою для підгонки. Тоді потрібен новий відрізок або торгівля в реальному часі.
У демо-рахунку своє обмеження. Ордери на ньому не рухають ціну і не чекають черги в стакані, тому прослизання занижене. Торгівля мінімальним обсягом показує виконання чесніше, але в ній уже є ризик втрати грошей.
Скільки угод потрібно для висновку?
Стільки, щоб похибка оцінки була меншою за перевагу, яку ви хочете виміряти. Для частки прибуткових угод похибка рахується за формулою стандартної помилки частки: √(p·(1−p)/n), де p — частка прибуткових угод, n — їх кількість. Розрахунок для p = 50% та інтервалу 95% (±1,96 стандартної помилки):
| Угод у вибірці | Похибка частки прибуткових | Що це означає |
|---|---|---|
| 30 | близько ±18 в. п. | Спостережувані 60% можуть виявитися і 42%, і 78% |
| 100 | близько ±10 в. п. | Помітні лише великі відмінності від випадкового результату |
| 300 | близько ±6 в. п. | Вистачає для попереднього висновку |
| 1 000 | близько ±3 в. п. | Можна оцінювати і рідкісні події: серії збитків, глибину просадки |
Формула виходить із незалежних угод. У торгівлі угоди часто пов'язані: один рух ринку дає кілька схожих входів, тому справжня похибка більша за розрахункову. Крім кількості угод важливий склад вибірки: зростання, падіння, бічний рух, спокійний і різкий ринок.
Чим відрізняється перевірка інтрадей-стратегії?
Інтрадей-стратегія набирає угоди швидко, але сильніше залежить від витрат і якості даних. Середня угода всередині дня мала, тому комісія і прослизання з'їдають помітну її частину, як у прикладі вище. Для бектесту потрібні хвилинні або тикові дані: на денних свічках не видно, що спрацювало раніше, стоп чи ціль. І сотня угод, набрана за два тижні, описує один стан ринку, тож період перевірки має бути довшим, ніж вимагає кількість угод.
Як перевірка стратегії пов'язана з ризик-менеджментом і оцінкою керуючого?
Стратегія визначає, коли входити і виходити, а ризик-менеджмент визначає, якою часткою рахунку ризикувати в угоді. Перевіряються вони окремо: стратегія з позитивною вибіркою може обнулити рахунок на серії збитків, якщо позиція завелика. Розрахунок розміру позиції розібрано в статті про правило 1 відсотка.
Той самий підхід годиться, коли ви оцінюєте чужу торгівлю. Історія реальних угод — це форвард-тест, а крива з бектесту ним не є. На що дивитися, описано в статті про те, як перевірити керуючого. На головній Sufics є стрічка угод. Результат угоди в ній указано у відсотках до застави позиції з плечем, а не до рахунку, тому для порівняння з бектестом одиниці треба звести до одних.
Коли торгову стратегію можна вважати перевіреною?
Коли виконано всі пункти:
- правила записані так, що інша людина отримає за ними ті самі угоди;
- бектест пораховано з комісією, прослизанням і фандингом;
- форвард-тест проведено один раз на даних, які не брали участі в розробці;
- у вибірці сотні угод із різних станів ринку;
- результат зберігається за невеликої зміни параметрів;
- розмір позиції та межу збитку задано окремо від сигналів.
Перевірка знижує ризик помилки, але не прибирає його: ринок змінюється, і закономірність може зникнути. Тому результати живої торгівлі постійно звіряють із тестом, а за розбіжності зменшують обсяг або зупиняють стратегію.
Торгівля пов'язана з ризиком втрати коштів. Матеріал освітній і не є інвестиційною рекомендацією.
Головне
- Бектест відсіює неробочі правила, але роботу стратегії не доводить: це робить форвард-тест на даних, яких вона не бачила.
- Комісія, прослизання і фандинг віднімаються від кожної угоди тесту.
- Ознаки перенавчання: багато параметрів, результат ламається за зсуву параметра, форвард-тест набагато гірший за бектест.
- На 30 угодах похибка частки прибуткових близько ±18 в. п., на 1 000 угод близько ±3 в. п.
- Розмір позиції перевіряється окремо від сигналів; перевірена стратегія не гарантує результату.
Часті запитання
Що таке бектест простими словами?
Бектест — це розрахунок того, які угоди дала б стратегія на минулих котируваннях, якби її правила виконувалися без відступів. Він показує, як правила поводилися на історії. Майбутній результат він не гарантує, а підгонка правил під один відрізок історії робить його марним.
Чим форвард-тест відрізняється від бектесту?
Бектест рахують на тих самих даних, на яких стратегію налаштовували. Форвард-тест проводять на даних, які в налаштуванні участі не брали: на відкладеному відрізку історії або в реальному часі. Якщо на нових даних результат зникає, правила були підігнані під минуле.
Чи можна перевірити торгову стратегію без програмування?
Так. Відкрийте історичний графік, закрийте праву частину і рухайтеся бар за баром, записуючи в таблицю кожну угоду за правилами: вхід, вихід, результат після комісії. Це довше за автоматичний тест, але для першої оцінки достатньо, якщо правила записані заздалегідь і не змінюються по ходу.
Чи підходить демо-рахунок для перевірки стратегії?
Підходить як форвард-тест правил, але виконання на ньому краще за справжнє: ордери не рухають ціну і не чекають черги, тому прослизання занижене. Після демо-рахунку стратегію зазвичай перевіряють мінімальним обсягом на реальному рахунку, і це вже пов'язано з ризиком втрати коштів.
Що таке look-ahead bias у бектесті?
Це помилка зазирання вперед: правило використовує дані, яких у момент угоди ще не було. Приклад: вхід за ціною відкриття бару на підставі ціни його закриття. Такий тест показує результат, який у реальній торгівлі отримати неможливо.
Чи може перевірена стратегія перестати працювати?
Може. Перевірка показує, що закономірність була на історії та на відкладених даних, але ринок змінюється, і вона може зникнути. Тому результати живої торгівлі звіряють із тестом, а за розбіжності зменшують обсяг або зупиняють стратегію. Торгівля пов'язана з ризиком втрати коштів.


