Einen Backtest durchzuführen reicht nicht

Der Backtest ist eine Möglichkeit, die Wirksamkeit einer Strategie in der Vergangenheit zu überprüfen. Funktioniert dieses Tool wirklich?

Wenn Sie in die Welt des Handels einsteigen, lernen Sie als erstes das Konzept des Backtestings. Das heißt, vor der Anwendung einer Strategie ist es ratsam, wenn nicht unbedingt erforderlich, die Ergebnisse einiger Regeln in früheren Perioden zu überprüfen. Wir nennen diese Regeln ein Handelssystem oder einfach ein System. Das Konzept an sich, oder zumindest die Idee, ist sehr gut. Obwohl es uns jetzt offensichtlich erscheint, war es das nicht immer. Darüber hinaus gibt es auch heute noch Händler oder Investoren, die es vorziehen, ihr Kapital aus Versehen oder aus Versehen der Zukunft des Schicksals anzuvertrauen.

Natürlich spekuliert jeder mit seinem Kapital, wie er es für richtig hält. Mit den Mitteln, die mindestens einen Klick entfernt sind, um zumindest zu versuchen, die Renditen einer Strategie in der Vergangenheit relativ einfach zu überprüfen, erscheint es natürlich zumindest absurd, dies nicht zu tun.

Hinweis: Wir lassen die Teile einer Analyse weg, die nicht quantifizierbar sind. Etwas, das bei allen Arten von Analysen passiert. Es gibt immer etwas, das wir vermissen.

Vergangene Renditen garantieren keine zukünftigen Renditen

Einige von denen, die zögern, ihre Strategien zu quantifizieren, mögen behaupten – und sehr gut argumentiert – dass vergangene Renditen keine Garantie für zukünftige Renditen sind. Aber wenn man bedenkt, dass sie recht haben, komme ich immer zu folgendem Schluss: Wenn Sie nicht sicher sein können, dass das, was funktioniert hat, auch weiterhin funktioniert, was lässt Sie denken, dass das, was nicht funktioniert hat, jetzt funktioniert. Es könnte klappen? Ja, aber es scheint eher ein Akt des Glaubens zu sein als alles andere.

Hoffnung ist das Letzte, was Sie verlieren, denn bevor Sie sie verlieren, verlieren Sie sicherlich Ihr Kapital.

Der Backtest funktioniert auch nicht

Mit unserer Vorstellung, dass ein Backtest besser ist, als sich auf Astrologie zu verlassen, müssen wir uns weiter verfeinern, um nicht die gleichen Fehler zu machen, die viele Trader gemacht haben, tun und leider auch weiterhin machen werden.

An dieser Stelle müssen wir Öl auf Leinwand bringen, um zu bestätigen, dass ein Backtest besser ist, als sich auf die Zufälligkeit des Ziels zu verlassen, aber er reicht bei weitem nicht aus.

Warum reicht es nicht?

Ein Backtest reicht aus, um zu überprüfen, ob wir mit einem bestimmten Handelssystem in der Vergangenheit bestimmte Ergebnisse erzielt hätten. Aber das Werkzeug endet hier. Das Wort selbst sagt es, „Zurück“ (Vergangenheit) und „Test“ (Beweis). Extrapoliert, ohne weiter zu analysieren, sind manche Ergebnisse immer noch – wenn auch in geringerem Maße – ein weiterer Glaubensakt. Da könnte es durch Zufall weiterarbeiten, und habe ein System gefunden, das funktioniert ohne zu wissen warum oder dass es funktioniert und man nicht weiß bis wann. Diese Vorgehensweise einiger quantitativer Analysten steht im Gegensatz zu ihrer unablässigen Kritik an der technischen Analyse. Das heißt, sie kritisieren etwas, das sie selbst unbewusst täglich anwenden.

Was gibt es zu analysieren?

Unter der Annahme, dass ein System feste Parameter hat, ist es notwendig, seine Gültigkeit in unterschiedlichen Marktumgebungen zu überprüfen. Auch in Umgebungen, die es nicht gibt. Prüfen Sie, wie ein System in Umgebungen mit hoher Volatilität und niedriger Volatilität, vor und nach strukturellen Veränderungen, in bullischen, bärischen und lateralen Märkten funktioniert hätte. Und so konnten wir fast unendlich weitermachen.

Wenn das System variable Parameter hat, was normalerweise in den meisten Fällen der Fall ist, werden wir den gleichen Prozess durchführen, wobei wir jedoch berücksichtigen, dass das System veränderbar und daher optimierbar ist. Und die Tatsache, dass sie optimiert werden kann, macht sie anfällig für eine Überoptimierung. Dieser Punkt ist von entscheidender Bedeutung, um in Zukunft stabile Renditen zu erzielen.

Der übliche Schritt nach der Suche nach einer Strategie, die in der Vergangenheit gut funktioniert hat, ist der Versuch, das Modell zu optimieren. Großer Fehler. Zuerst müsste man es unter Spannung setzen, oder das nenne ich Stress des Systems. Setzen Sie es in der schlechtesten Umgebung ein, die für solche Systeme bekannt ist. Wenn wir also beispielsweise ein Trendsystem haben, müssen wir es in längeren seitlichen Perioden einsetzen, um zu sehen, wie es sich verhält, wenn es kein günstiges Szenario für die Erzielung von Renditen aus dem System gibt. Der Grund für das oben Gesagte ist, dass wir nicht wissen, was in der Zukunft passieren wird, also führt uns das Versetzen in das schlimmstmögliche Szenario so weit wie möglich von der unvermeidlichen (und wünschenswerten) Zufälligkeit.

Was tun außer Stress?

Die Konzepte, die alles verändern, sind Forward-Test und Test-out-of-Sample. Aber wenn wir die Zukunft nicht kennen, wie sollen wir dann etwas an etwas testen, das wir nicht kennen? Wir haben zwei Möglichkeiten, die wir gleich sehen werden. Auf der anderen Seite haben wir das Konzept des Out-of-Sample. Die Auswahl dieser Stichprobe – von der ich empfehle, dass es sich um eine ganze Reihe (nicht nur eine) handelt und die Wahrscheinlichkeitsverteilungen mit unterschiedlichen Eigenschaften aufweisen – ist wesentlich, um ein funktionierendes System zu erhalten. Die Idee ist, dass Backtest und Optimierung in unterschiedlichen Zeiträumen durchgeführt werden. Somit bleiben kostenlose Muster erhalten. Obwohl dies dem Geschmack des Analysten überlassen bleibt. Es kann auch auf andere Weise geschehen, aber wir können statistische Fehler machen, die nicht das Ziel dieses Artikels sind.

• Der erste Weg, den Prozess durchzuführen, nennen wir traditionell: Wir machen ein System, wir optimieren es und nach Betrachtung einiger Metriken setzen wir es mit fiktivem Geld oder mit wenig echtem Geld ein. Wenn alles gut läuft, setzen wir es in die Tat um.
• Der zweite Weg, den Prozess durchzuführen, nennen wir „neu“, obwohl er in Wirklichkeit wenig Neues enthält: Wir führen ein System aus, wir optimieren es, wir prüfen die Stabilität der Parameter im Laufe der Zeit, wir führen aus Mustertests, künstliche Vorwärtstests und wir setzen es mit einem echten Vorwärtstest um. Wenn alles gut läuft, setzen wir es in die Tat um.

Die zweite Vorgehensweise basiert im Vergleich zur ersten auf zwei Konzepten: Stabilität der Parameter im Zeitverlauf und künstliche Vorwärtstests. Künstliche Vorwärtstests sind keine Art von Out-of-Sample-Tests, die versuchen, einen echten Vorwärtstest zu simulieren. Denken wir über Folgendes nach:

Wir haben im letzten Jahr einen Prozess für ein System durchgeführt. Es von diesem Monat (Juli) bis zum Jahresende (Dezember) in Betrieb zu nehmen, ist praktisch dasselbe, wie alle 6 Monate vorwärts zu gehen und den Vorwärtstest von Januar bis Juli zu simulieren. Es ist nicht dasselbe, denn reale Bedingungen bieten uns immer wieder Situationen, die schwer zu erfinden sind, aber wir kommen weiter und erzielen bessere Ergebnisse. Und nach diesen „Erfindungen“, weil es sich tatsächlich um Erfindungen handelt, haben wir den Vorwärtstest in Echtzeit durchgeführt. Das meine ich mit künstlichen Vorwärtstests. Manche mögen es vielleicht nicht so, aber anders zu denken ist mental voreingenommen. Wenn Sie diese Strategie 6 Monate früher entdeckt hätten, hätten Sie dasselbe getan.

Auf der anderen Seite haben wir die Stabilität der Systemparameter über die Zeit. Für mich ist dies die wichtigste Kennzahl und sagt uns, ob das System überoptimiert ist. Wenn die Parameter nach Optimierungen alle X Perioden im Zeitverlauf stabil bleiben, bedeutet dies, dass die Parameter weniger wahrscheinlich überoptimiert wurden als andere, die stärker variieren. Wenn wir dazu hinzufügen, dass wir für jede der Optimierungen einen künstlichen Vorwärtstest durchführen und die Ergebnisse auch stabil sind, stehen wir vor einem System mit der Wahrscheinlichkeit, dass es wirklich profitabel ist.

All dies kann viel komplizierter werden. Obwohl es komplex erscheint, ist es das nicht. Er ist schwer, aber einfacher als der Mechanismus einer Kanne. Wie immer hat jeder seine eigene Art, Dinge zu tun, das ist nicht der einzige Weg, aber was ich klarstellen wollte, ist, dass ein Backtest ohne Reisebegleiter nutzlos und nutzlos ist. Zumindest natürlich in der Welt des Handels.