Как проверить торговую стратегию до реальных денег: бэктест, форвард-тест и выборка сделок
Обучение трейдингу · · 7 мин
Торговая стратегия проверяется до реальных денег в два этапа: сначала бэктест на исторических данных с комиссиями и проскальзыванием, затем форвард-тест на данных, которых стратегия не видела. Вывод делают по сотням сделок в разных состояниях рынка. Даже проверенная стратегия не гарантирует результата: торговля связана с риском потери средств.
Автор — Виктор Скрин

Почему торговая стратегия на истории выглядит лучше, чем в торговле?
Потому что её правила подбирали по тем же данным, на которых потом считали результат. Автор берёт прошлые котировки, меняет уровни, периоды индикаторов и фильтры, пока кривая счёта не станет ровной. Такая кривая показывает, насколько хорошо правила подогнаны к прошлому. Будет ли стратегия работать на новых данных, по ней не узнать.
Проверка отвечает на другой вопрос: останется ли результат, если вычесть издержки и взять данные, которых стратегия не видела. Для этого нужны два этапа, бэктест и форвард-тест, и выборка сделок, по которой удачу можно отличить от закономерности.
Что такое бэктест и где он обманывает?
Бэктест — это применение правил стратегии к историческим данным с записью каждой сделки. Он работает как первый фильтр: если правила не дают результата даже на истории, рисковать ради них деньгами незачем. Положительный бэктест ещё ничего не доказывает, у него есть типовые ошибки.
| Ошибка | Что происходит | Что с этим делать |
|---|---|---|
| Переобучение | Параметры подогнаны под один участок истории и описывают шум | Проверять на данных, которые не участвовали в настройке |
| Заглядывание вперёд (look-ahead bias) | Сигнал использует данные, которых в тот момент ещё не было | Сверять время каждого значения, входить не раньше закрытия бара |
| Нет издержек | Результат завышен на комиссии, проскальзывание и фандинг | Вычитать издержки из каждой сделки |
| Ошибка выжившего | В тесте только активы, которые торгуются сейчас; снятые с торгов выпали | Брать состав рынка на каждую дату периода |
| Малая выборка | Несколько удачных сделок выглядят как система | Считать число сделок и погрешность (таблица ниже) |
Бэктест можно сделать и вручную: открыть исторический график, закрыть правую часть и идти бар за баром, записывая сделки по правилам в таблицу. Это медленно, зато сразу видно, выполнимы ли правила без подсказки из будущего.
Как учесть комиссии, проскальзывание и фандинг?
Издержки вычитают из каждой сделки бэктеста, иначе его результат завышен. Их три:
- Комиссия биржи. Берётся при открытии и при закрытии позиции; ставки для лимитных ордеров (мейкер) и рыночных (тейкер) разные. Актуальный тариф смотрите на странице комиссий биржи, на которой торгуете.
- Проскальзывание. Разница между ценой сигнала и ценой исполнения. Растёт вместе с объёмом ордера и в моменты резких движений.
- Фандинг. В бессрочных контрактах это периодический платёж между держателями лонгов и шортов. Если позиция держится дольше одного расчётного периода, он входит в результат. Как он устроен, разобрано в статье о ставке финансирования.
Условный пример, не результат реального счёта. Стратегия делает 20 сделок в день, каждая на 5 000 USDT номинала. Открытие и закрытие дают 10 000 USDT оборота на сделку и 200 000 USDT в день. При условной ставке 0,05% с оборота это 100 USDT комиссий в день и 3 000 USDT за 30 дней. Столько стратегия должна заработать, чтобы выйти в ноль, и это ещё без проскальзывания.
Что такое переобучение и как его распознать?
Переобучение (overfitting, curve fitting) — это когда правила описывают случайные особенности одного участка истории, а не повторяющуюся закономерность. На своей выборке такая стратегия выглядит отлично, на новых данных результат пропадает.
Признаки переобучения:
- Много настраиваемых параметров при малом числе сделок. Чем больше параметров, тем легче подогнать их под шум и тем больше данных нужно для проверки.
- Результат ломается при небольшом сдвиге параметра. Если период индикатора 20 даёт прибыль, а 19 и 21 дают убыток, найдена случайность.
- Форвард-тест намного хуже бэктеста. Некоторое ухудшение обычно; смена знака результата говорит о подгонке.
- Результат держится на нескольких сделках. Уберите пять лучших сделок и посмотрите, что осталось.
Защита одна: до начала работы разделить данные на часть для разработки и часть для проверки и не заглядывать во вторую.
Как провести форвард-тест?
Форвард-тест (out-of-sample) — это проверка на данных, которые не участвовали в разработке. Вариантов два: отложенный участок истории или торговля в реальном времени на демо-счёте либо минимальным объёмом.
- Разделите историю на две части, например 70% на разработку и 30% на проверку.
- Постройте и настройте стратегию только на первой части.
- Запишите правила: вход, выход, размер позиции, издержки.
- Один раз примените их ко второй части без правок.
- Сравните с бэктестом число сделок, долю прибыльных, среднюю сделку и самую глубокую просадку.
Если после четвёртого шага вы меняете правила и запускаете проверку снова, отложенный участок перестаёт быть независимым: он стал ещё одной выборкой для подгонки. Тогда нужен новый участок или торговля в реальном времени.
У демо-счёта своё ограничение. Ордера на нём не двигают цену и не ждут очереди в стакане, поэтому проскальзывание занижено. Торговля минимальным объёмом показывает исполнение честнее, но в ней уже есть риск потери денег.
Сколько сделок нужно для вывода?
Столько, чтобы погрешность оценки была меньше преимущества, которое вы хотите измерить. Для доли прибыльных сделок погрешность считается по формуле стандартной ошибки доли: √(p·(1−p)/n), где p — доля прибыльных сделок, n — их число. Расчёт для p = 50% и интервала 95% (±1,96 стандартной ошибки):
| Сделок в выборке | Погрешность доли прибыльных | Что это значит |
|---|---|---|
| 30 | около ±18 п. п. | Наблюдаемые 60% могут оказаться и 42%, и 78% |
| 100 | около ±10 п. п. | Различимы только крупные отличия от случайного результата |
| 300 | около ±6 п. п. | Хватает для предварительного вывода |
| 1 000 | около ±3 п. п. | Можно оценивать и редкие события: серии убытков, глубину просадки |
Формула исходит из независимых сделок. В торговле сделки часто связаны: одно движение рынка даёт несколько похожих входов, поэтому настоящая погрешность больше расчётной. Кроме числа сделок важен состав выборки: рост, падение, боковое движение, спокойный и резкий рынок.
Чем отличается проверка интрадей-стратегии?
Интрадей-стратегия набирает сделки быстро, но сильнее зависит от издержек и качества данных. Средняя сделка внутри дня мала, поэтому комиссия и проскальзывание съедают заметную её часть, как в примере выше. Для бэктеста нужны минутные или тиковые данные: на дневных свечах не видно, что сработало раньше, стоп или цель. И сотня сделок, набранная за две недели, описывает одно состояние рынка, так что период проверки должен быть длиннее, чем требует счёт сделок.
Как проверка стратегии связана с риск-менеджментом и оценкой управляющего?
Стратегия определяет, когда входить и выходить, а риск-менеджмент определяет, какой долей счёта рисковать в сделке. Проверяются они отдельно: стратегия с положительной выборкой может обнулить счёт на серии убытков, если позиция слишком велика. Расчёт размера позиции разобран в статье о правиле 1 процента.
Тот же подход годится, когда вы оцениваете чужую торговлю. История реальных сделок — это форвард-тест, а кривая из бэктеста им не является. На что смотреть, описано в статье о том, как проверить управляющего. На главной Sufics есть лента сделок. Результат сделки в ней указан в процентах к залогу позиции с плечом, а не к счёту, поэтому при сравнении с бэктестом единицы нужно привести к одним.
Когда торговую стратегию можно считать проверенной?
Когда выполнены все пункты:
- правила записаны так, что другой человек получит по ним те же сделки;
- бэктест посчитан с комиссией, проскальзыванием и фандингом;
- форвард-тест проведён один раз на данных, не участвовавших в разработке;
- в выборке сотни сделок из разных состояний рынка;
- результат сохраняется при небольшом изменении параметров;
- размер позиции и предел убытка заданы отдельно от сигналов.
Проверка снижает риск ошибки, но не убирает его: рынок меняется, и закономерность может исчезнуть. Поэтому результаты живой торговли постоянно сверяют с тестом, а при расхождении уменьшают объём или останавливают стратегию.
Торговля связана с риском потери средств. Материал образовательный и не является инвестиционной рекомендацией.
Главное
- Бэктест отсеивает нерабочие правила, но работу стратегии не доказывает: это делает форвард-тест на данных, которых она не видела.
- Комиссия, проскальзывание и фандинг вычитаются из каждой сделки теста.
- Признаки переобучения: много параметров, результат ломается при сдвиге параметра, форвард-тест намного хуже бэктеста.
- На 30 сделках погрешность доли прибыльных около ±18 п. п., на 1 000 сделок около ±3 п. п.
- Размер позиции проверяется отдельно от сигналов; проверенная стратегия не гарантирует результата.
Частые вопросы
Что такое бэктест простыми словами?
Бэктест — это расчёт того, какие сделки дала бы стратегия на прошлых котировках, если бы её правила выполнялись без отступлений. Он показывает, как правила вели себя на истории. Будущий результат он не гарантирует, а подгонка правил под один участок истории делает его бесполезным.
Чем форвард-тест отличается от бэктеста?
Бэктест считают на тех же данных, на которых стратегию настраивали. Форвард-тест проводят на данных, которые в настройке не участвовали: на отложенном участке истории или в реальном времени. Если на новых данных результат пропадает, правила были подогнаны под прошлое.
Можно ли проверить торговую стратегию без программирования?
Да. Откройте исторический график, закройте правую часть и двигайтесь бар за баром, записывая в таблицу каждую сделку по правилам: вход, выход, результат после комиссии. Это дольше автоматического теста, но для первой оценки достаточно, если правила записаны заранее и не меняются по ходу.
Подходит ли демо-счёт для проверки стратегии?
Подходит как форвард-тест правил, но исполнение на нём лучше настоящего: ордера не двигают цену и не ждут очереди, поэтому проскальзывание занижено. После демо-счёта стратегию обычно проверяют минимальным объёмом на реальном счёте, и это уже связано с риском потери средств.
Что такое look-ahead bias в бэктесте?
Это ошибка заглядывания вперёд: правило использует данные, которых в момент сделки ещё не было. Пример: вход по цене открытия бара на основании цены его закрытия. Такой тест показывает результат, который в реальной торговле получить нельзя.
Может ли проверенная стратегия перестать работать?
Может. Проверка показывает, что закономерность была на истории и на отложенных данных, но рынок меняется, и она может исчезнуть. Поэтому результаты живой торговли сверяют с тестом, а при расхождении уменьшают объём или останавливают стратегию. Торговля связана с риском потери средств.


