95% of all AI projects fail. Iosif Itkin, Co-CEO of Exactpro, shows at Swiss Testing Day 2026 why, and what the remaining 5% do differently. The answer lies not in tools, frameworks, or best practices, but in the ability to distinguish real strategy from slogans.

Key Takeaways

• • Strategy is not a plan: A plan is about inputs, a strategy is about outputs. The output of software testing is found and described defects, nothing else

• • Four hallmarks of bad strategy: Fluff without definitions, failure to face the real challenge, mistaking goals for strategy, and bad strategic objectives (achievable by not testing at all)

• • The kernel of good strategy has three parts: Diagnosis (what is the challenge?), guiding policy (how do we deal with it?), and a set of coherent actions

• • Testers: get out of quality assurance: Software testing is about finding and describing bugs, not assuring quality. That is Michael Bolton’s most important contribution

• • Scout mindset over positive thinking: The motivation to see things as they are, not as you wish they were

The Problem: Ambition Without Direction

Organizations mistake ambition for direction. They chase “AI Transformation” without understanding the basics. The result: testing that confirms biases instead of discovering things.

Iosif Itkin, Co-CEO and Co-Founder of Exactpro, brings 20 years of software testing experience, his clients include half of the top 20 global exchange groups. At Swiss Testing Day 2026, he showed what an AI testing strategy really needs. His approach is based on Richard Rumelt’s classic “Good Strategy Bad Strategy,” whose principles he applies to software testing.

 

Iosif Itkin, Co-CEO of Exactpro, at Swiss Testing Day 2026 in Zurich.

What Strategy Is NOT

The list is long and sobering:

“Not everything that is nice and important is a strategy.”

• • Not a vision statement: “Become a leader in responsible AI” is not a strategy

• • Not a list of initiatives: Launching pilots or building models is not enough

• • Not a collection of best practices: Adopting fairness metrics, governance frameworks, or monitoring tools is not a strategy

• • Not optimism disguised as planning: Strategy is not a plan. A plan is about inputs. Strategy is about outputs

And the outputs of software testing? Detected defects and their descriptions. Period. Measurable across three dimensions: information quality (better detection and description), speed (faster testing), and cost (cheaper testing).

The Four Hallmarks of Bad Strategy

Rumelt identifies four hallmarks that Itkin maps to AI testing:

1. Fluff: words of no consequence. “You have 100% coverage, but defects still leaked into production.” What coverage? Cem Kaner listed 101 different coverage measures 30 years ago. The term “AI” itself is a fluffy word. So is “human always in the loop”; nobody explains what it concretely means.

2. Failure to face the challenge. Many of Exactpro’s exchange clients want to be simultaneously flexible like a startup, resilient like aviation, and scalable like Big Tech. In reality, they are none of those. Bad strategy tries to face someone else’s challenges instead of your own.

3. Mistaking goals for strategy. “Be more agile” or “improve quality” are nice goals. They are not strategy.

4. Bad strategic objectives. Itkin’s favorite list: 100% automated, easy to maintain, very fast, consistent and repeatable, vendor independent, no invalid bugs logged, no flaky results, full transparency, low cost. The problem: all of these can be achieved by not doing any software testing at all. In machine learning, this is called reward hacking.

 

Strategy is neither a vision nor a list of initiatives, neither a best-practice collection nor an optimistic plan.

Why Is There So Much Bad Strategy?

Three reasons according to Rumelt:

1. 1. The unwillingness or inability to choose. “The essence of strategy is choosing what not to do” (Michael Porter). But AI coding assistants make choice seem unnecessary: why choose when you can have everything at once?
   2. Template-style strategy. Mission, vision, values, goals — all nice, but not strategy. The tell: a copy of a copy of a copy. Interchangeable between any business, any system, any use case.
   3. New Thought: the belief in the power of positive thinking. “We shall overcome.” Amplified by the idea of AI as a solution, a friend, a digital teammate. In reality, the opposite is needed: Scout Mindset, the motivation to see things as they are.

1.  

The Kernel of a Good Strategy

“Good strategy is a coherent action backed up by argument.”

Three elements form the kernel:

1. Diagnosis: What is the challenge? In most large organizations, it is internal. There is no template and no best practice for it. Most of the time, the challenge is you.

2. Guiding Policy: Three practical guidelines.

• • Testers: get out of quality assurance. QA is not testing. Itkin calls Michael Bolton’s article “Testers: Get Out of the Quality Assurance Business” the best article ever published on software testing.

• • Software testing is just about finding and describing bugs. Testing shows the presence, not the absence of defects. Testers are responsible for the quality of their own work, not the product’s quality.

• • Focus on obstacles that make finding bugs difficult, slow, or expensive.

3. Coherent actions: Steps coordinated to work together. Perfection is achieved not when there is nothing more to add, but when there is nothing left to take away. AI technology makes it easy to add fields almost effortlessly. Coherence means removing what should never have been added.

The five contribution tiers at Exactpro: From “implement a feature” (Tier 1, achievable with limited IT background) to “improve coherence” (Tier 5, highest value contribution).

Practical Example: Testing RAG Systems Like the Stock Market

Exactpro tests RAG platforms: non-deterministic, adaptive, constantly changing. Their guiding policy: we have seen something like this before. What is more non-deterministic, adaptive, and arguably intelligent than the stock market? Smart Order Router concepts from trading provide the ideas transferred to RAG systems.

The coherent actions: reduce expensive API calls while thoroughly exploring the system. The method: strict separation between idea generation, scenario execution, and output interpretation.

What Does This Mean for Your Team?

1. 1. Examine your current “strategy”: Does it contain the four hallmarks of bad strategy? Vision instead of diagnosis? Template instead of specific challenge? Then it is not a strategy.
   2. Name your real challenge: Not the generic one, but yours. What specifically prevents your team from finding important bugs faster and cheaper?
   3. Define your terms: Every term in your strategy must be defined. “Coverage” without specification is worthless. “Human in the loop” without context is fluff.
   4. Separate testing from QA: Your testers are responsible for the quality of their work, not the product’s quality. This is a fundamental difference.
   5. Choose. The essence of strategy is deciding what NOT to do. Even when AI makes everything possible simultaneously: coherence comes from leaving things out.

1.   

Speaker

Iosif Itkin: Co-CEO & Co-Founder, Exactpro. 20 years of software testing and building software to test software. Client network spans half of the top 20 global exchange groups. Co-author of a book on AI testing.

---

Gute AI Testing Strategie vs. Schlechte AI Testing Strategie: Warum der Unterschied über Erfolg und Scheitern entscheidet

95 % aller AI-Projekte scheitern. Iosif Itkin, Co-CEO von Exactpro, zeigt am Swiss Testing Day 2026 warum, und was die verbleibenden 5 % anders machen. Die Antwort liegt nicht in Tools, Frameworks oder Best Practices, sondern in der Fähigkeit, echte Strategie von Floskeln zu unterscheiden.

Key Takeaways

• • Strategie ist kein Plan: Ein Plan handelt von Inputs, eine Strategie von Outputs. Der Output von Software Testing sind gefundene und beschriebene Defekte, sonst nichts

• • Vier Merkmale schlechter Strategie: Floskeln ohne Definition, Vermeidung der echten Herausforderung, Ziele mit Strategie verwechseln, und schlechte strategische Objectives (die man auch durch Nicht-Testen erreichen könnte)

• • Der Kern guter Strategie hat drei Teile: Diagnose (was ist die Herausforderung?), Guiding Policy (wie gehen wir damit um?), und ein Set kohärenter Aktionen

• • Tester raus aus der Quality Assurance: Software Testing ist Bugs finden und beschreiben, nicht Qualität sicherstellen. Das ist Michael Boltons wichtigster Beitrag

• • Scout Mindset statt positives Denken: Die Motivation, Dinge zu sehen wie sie sind, nicht wie man sie sich wünscht

Das Problem: Ambition statt Richtung

Organisationen verwechseln Ambition mit Richtung. Sie jagen der “AI Transformation” hinterher, ohne die Grundlagen zu verstehen. Das Ergebnis: Testing, das Vorurteile bestätigt, statt Dinge zu entdecken.

Iosif Itkin, Co-CEO und Co-Founder von Exactpro, bringt 20 Jahre Erfahrung im Software Testing mit, seine Kunden umfassen die Hälfte der Top-20-Börsengruppen weltweit. Am Swiss Testing Day 2026 hat er gezeigt, was eine AI Testing Strategie wirklich braucht. Sein Ansatz basiert auf Richard Rumelts Klassiker “Good Strategy Bad Strategy”, dessen Prinzipien er auf Software Testing überträgt.

 

Iosif Itkin, Co-CEO von Exactpro, am Swiss Testing Day 2026 in Zürich.

Was Strategie NICHT ist

Die Liste ist lang und ernüchternd:

“Not everything that is nice and important is a strategy.”

• • Kein Vision Statement: “Become a leader in responsible AI” ist keine Strategie

• • Keine Liste von Initiativen: Pilotprojekte starten oder Modelle bauen reicht nicht

• • Keine Sammlung von Best Practices: Fairness-Metriken, Governance-Frameworks oder Monitoring-Tools adoptieren ist keine Strategie

• • Kein Optimismus als Planung verkleidet: Strategie ist kein Plan. Ein Plan handelt von Inputs. Strategie handelt von Outputs

Und die Outputs von Software Testing? Gefundene Defekte und deren Beschreibungen. Punkt. Das Ganze messbar über drei Dimensionen: Informationsqualität (besser finden und beschreiben), Geschwindigkeit (schneller testen) und Kosten (günstiger testen).

 

Die vier Merkmale schlechter Strategie

Rumelt identifiziert vier Hallmarks, die Itkin auf AI Testing überträgt:

1. Fluff: Worte ohne Konsequenz. “Sie haben 100 % Coverage, aber Defekte gelangen trotzdem ins Produkt.” Welche Coverage? Cem Kaner listete vor 30 Jahren 101 verschiedene Coverage-Maße auf. Der Begriff “AI” selbst ist ein Fluff-Wort. Ebenso “Human always in the loop”; niemand erklärt, was das konkret bedeutet.

2. Die Herausforderung nicht benennen. Viele Börsen-Kunden von Exactpro wollen gleichzeitig flexibel wie ein Startup, resilient wie die Luftfahrt und skalierbar wie Big Tech sein. In Wahrheit sind sie nichts davon. Schlechte Strategie versucht, die Herausforderungen anderer zu lösen statt der eigenen.

3. Ziele mit Strategie verwechseln. “Be more agile” oder “improve quality” sind nette Ziele. Sie sind keine Strategie.

4. Schlechte strategische Objectives. Itkins Lieblingsliste: 100 % automatisiert, einfach zu warten, sehr schnell, konsistent und wiederholbar, vendor-unabhängig, keine falschen Bugs, keine Flaky Results, volle Transparenz, niedrige Kosten. Das Problem: All das lässt sich erreichen, indem man gar nicht testet. In Machine Learning nennt man das Reward Hacking.

Strategie ist weder Vision noch Initiativenliste, weder Best-Practice-Sammlung noch optimistischer Plan.

Warum gibt es so viel schlechte Strategie?

Drei Gründe nach Rumelt:

1. 1. Die Unwilligkeit oder Unfähigkeit zu wählen. “The essence of strategy is choosing what not to do” (Michael Porter). Aber AI-Coding-Assistenten machen Auswahl scheinbar überflüssig: warum wählen, wenn man alles auf einmal haben kann?
   2. Template-Strategie. Mission, Vision, Values, Goals: alles nett, aber keine Strategie. Das Erkennungszeichen: Eine Kopie einer Kopie einer Kopie. Austauschbar zwischen jedem Business, jedem System, jedem Use Case.
   3. New Thought: der Glaube an die Kraft des positiven Denkens. “We shall overcome.” Verstärkt durch die Idee von AI als Lösung, als Freund, als digitaler Teamkollege. In Wirklichkeit braucht es das Gegenteil: Scout Mindset, die Motivation, Dinge zu sehen wie sie sind.

1.   

Der Kern einer guten Strategie

“Good strategy is a coherent action backed up by argument.”

Drei Elemente bilden den Kern:

1. Diagnose: Was ist die Herausforderung? In den meisten großen Organisationen ist sie intern. Es gibt kein Template und keine Best Practice dafür. Die Herausforderung ist meistens man selbst.

2. Guiding Policy: Drei praktische Leitlinien.

• • Tester raus aus der Quality Assurance. QA ist nicht Testing. Itkin nennt Michael Boltons Artikel “Testers: Get Out of the Quality Assurance Business” den besten jemals über Software Testing publizierten Artikel.

• • Software Testing ist nur Bugs finden und beschreiben. Testing zeigt die Anwesenheit, nicht die Abwesenheit von Defekten. Tester sind verantwortlich für die Qualität ihrer eigenen Arbeit, nicht für die des Produkts.

• • Fokus auf Hindernisse, die das Finden von Bugs schwierig, langsam oder teuer machen.

3. Kohärente Aktionen: Schritte, die koordiniert zusammenwirken. Perfektion ist erreicht, nicht wenn nichts mehr hinzuzufügen ist, sondern wenn nichts mehr wegzunehmen ist. AI-Technologie macht es leicht, Felder fast mühelos hinzuzufügen. Kohärenz bedeutet, zu entfernen, was nie hätte hinzugefügt werden sollen.

Die fünf Contribution Tiers bei Exactpro: Von “Feature implementieren” (Tier 1, auch für Nicht-IT-Hintergründe) bis “Kohärenz verbessern” (Tier 5, höchster Wertbeitrag).

Praxisbeispiel: RAG-Systeme testen wie den Aktienmarkt

Exactpro testet RAG-Plattformen, nicht-deterministisch, adaptiv, ständig im Wandel. Ihre Guiding Policy: Das haben wir schon einmal gesehen. Was ist nicht-deterministischer, adaptiver und wohl intelligenter als der Aktienmarkt? Smart Order Router aus dem Trading-Geschäft liefern die Ideen, die auf RAG-Systeme übertragen werden.

Die kohärenten Aktionen: Teure API-Calls reduzieren bei gleichzeitig gründlicher Exploration des Systems. Das Mittel: Strikte Trennung zwischen Ideengenerierung, Szenarioausführung und Output-Interpretation.

Was bedeutet das für Ihr Team?

1. 1. Prüfen Sie Ihre aktuelle “Strategie”: Enthält sie die vier Merkmale schlechter Strategie? Vision statt Diagnose? Template statt spezifischer Herausforderung? Dann ist es keine Strategie.
   2. Benennen Sie Ihre echte Herausforderung: Nicht die generische, sondern Ihre. Was hindert Ihr Team konkret daran, wichtige Bugs schneller und günstiger zu finden?
   3. Definieren Sie Begriffe: Jeder Term in Ihrer Strategie muss definiert sein. “Coverage” ohne Spezifikation ist wertlos. “Human in the loop” ohne Kontext ist Fluff.
   4. Trennen Sie Testing von QA: Ihre Tester sind für die Qualität ihrer Arbeit verantwortlich, nicht für die Qualität des Produkts. Das ist ein fundamentaler Unterschied.
   5. Wählen Sie. Die Essenz von Strategie ist die Entscheidung, was man NICHT tut. Auch wenn AI alles gleichzeitig möglich macht, Kohärenz entsteht durch Weglassen. 

1.  

Speaker

Iosif Itkin: Co-CEO & Co-Founder, Exactpro. 20 Jahre Software Testing und Aufbau von Software zum Testen von Software. Kundennetzwerk umfasst die Hälfte der Top-20-Börsengruppen weltweit. Co-Autor eines Buchs über AI Testing.

Dieser Beitrag basiert auf der Session “Good AI Testing Strategy / Bad AI Testing Strategy: The Difference and Why it Matters” am Swiss Testing Day 2026, 26. März 2026, StageOne Zürich. Konferenz-Motto: “Defining Quality in a Dangerous Decade.”