Prompt Engineering: 5 Text-to-Text-Konzepte für Nicht-Nerds & Ausblick

Prompt Engineering: Jeder hat davon gehört.

Ist das Neuland? Ja und Nein.

Nein, weil wir seit Erfindung der Internet-Suchmaschinen täglich Prompts schreiben.

Ja, weil mit generativer KI das Prompt Engineering auf einmal deutlich komplexer ist.

In diesem Artikel geht es um 5 etablierte Konzepte fürs Prompt Engineering – sie sind nicht ganz aktuell, aber das ist super interessant: Denn das Prompting der Wissenschaftler und Forscher findet relativ schnell Eingang in die „Master-Programmierung“ der großen KI-Systeme.

Dabei konzentiere ich mich auf Text-to-Text-Anwendungsfälle – und zwar für Nicht-Nerds.

Und ein Extra-Thema gibt es auch: Prompt Engineering – für den Anwender – ist teilweise ein Auslaufmodell bzw. unnötig, da die KI-Anbieter immer mehr auf Templates und Patterns setzen.

Außerdem kann Machine Learning jegliche Prompts überflüssig machen – wir sehen das an TikTok, wo Wischen fast immer Prompt genug ist.

Inhalt

• Was ist Prompt Engineering?
  • Was macht ein Prompt Engineer?
  • Was ist ein Prompt Creative Director?
  • Prompt Engineering ist auch User-Experience-Verbesserung
• 5 bekannte Prompt-Engineering-Konzepte, für Nicht-Nerds erklärt
  • 1. Chain-of-Thought (CoT) Prompting: Strukturiert denken wie Wittgenstein
  • 2. Generated Knowledge Prompting: Erst Fakten, dann denken
  • 3. Least-to-Most-Prompting: Erst Mise en place, dann kochen
  • 4. Self-Refine: Die KI als rätselhafter Künstler-Kurator
  • 5. Directional-Stimulus Prompting: Feedback vorwegnehmen
• Dreifaches Fazit & Ausblick fürs Prompt Engineering
• Kontakt aufnehmen

Was ist Prompt Engineering?

Prompt Engineering ist das Ausdenken und Verbessern von Aufgabestellungen an Generative KIs, und zwar meistens durch die Eingabe von Wörtern in natürlicher Sprache.

Die simpelste Form von Prompt Engineering ist bei dialogbasierten KIs wie ChatGPT das System so zu zähmen, dass das gewünschte Ergebnis herauskommt – und das System nicht bockt.

Echtes Prompt Engineering ist hingegen eine Disziplin der Mathematik und Informatik: Teils wird mittels kleiner Sprachmodelle, die man programmieren und trainieren muss, eine Art Prompt-Engineering-Middleware geschaffen, damit die User – teils mit wenig Prompt-Talent gesegnet – gute Ergebnisse erhalten.

Was macht ein Prompt Engineer?

Ein Prompt Engineer schreibt in der Regel kurze Texte, mit denen ein Black-Box-KI-Tool wie ChatGPT, Claude, Midjourney, Dall-E etc. aufgefordert wird, ein gewünschtes Arbeitsergebnis zu generieren. Das sind meist Texte oder Bilder.

Der „Consumer“ Prompt Engineer ist dabei nur Anwender, der versucht das Maximum aus der KI herauszukitzeln.

Der „Professional“ Prompt Engineer arbeitet daran, dass die Consumer keine Prompt Engineers mehr sein müssen. Dafür muss er coden können, und das bedeutet in der KI-Welt: Python.

Ein Prompt Engineer ist entweder Freelancer bzw. KI-Berater oder arbeitet in einer Prompt-Engineering-Agentur, einer KI-Beratung, einer IT-Beratung, einer Werbeagentur, einer Prozessberatung oder in einer Konzernabteilung – oder direkt beim KI-Anbieter.

Beispiel: Ein echter Prompt Engineer bringt die KI richtig ans Arbeiten.

 <thinking>
        [Your step-by-step reasoning goes here. This is your internal thought process, not the final answer.]
        <reflection>
        [Your reflection on your reasoning, checking for errors or improvements]
        </reflection>
        [Any adjustments to your thinking based on your reflection]
        </thinking>
        <output>
        [Your final, concise answer to the query. This is the only part that will be shown to the user.]
        </output>

Thinking, Reflection, Output: Das Beispiel ist ein Teil eines Chain-of-Thought-Prompts von Asankhaya Sharma, dem CTO von Patched Codes (einer Workflow-Code-Review-und-Dokumentation-Automatisierung für Dev-Teams, ein Mix aus RPA und KI), der’s auf GitHub veröffentlicht hat: https://github.com/codelion/optillm/blob/main/cot_reflection.py

Das Format: Die Strukturierung erfolgt mit eckigen Klammern. Ebenso gut funktionieren Markup (also mit #, ##, ** etc. vor neuen Abschnitten) und JSON.

Und sogar ohne Klammern etc. funktioniert es.

Was ist ein Prompt Creative Director?

Ein Prompt Creative Director erstellt sehr gute Prompts bzw. verbessert diese und kann vor allem die Ergebnisse der KI aus kreativer und unternehmerischer Sicht bewerten. Vielleicht führt er auch ein Team aus Prompt Engineers in einer Prompt Engineering Agentur.

Im Bereich KI-Bildgenerierung ist das eine Herausforderung, da nachträgliche Änderungen in Bildern aufwändig sind – und „chatten mit dem Bildgenerator“ (noch) nicht immer perfekt funktioniert. Speziell für Midjourney bzw. ComfyUI-basierte KI-Bildgeneratoren muss man sich wirklich ins Thema einfuchsen, und bekommt dafür aber genau die gewünschten Ergebnisse. Möglicherweise werden die Tools aber alle anwenderfreundlicher, so dass Leute mit Canva-Sozialisation damit wunderbar arbeiten können.

In Texten ist das nicht so wild, ein paar Wörter sind schnell getauscht. Ein guter Prompt Creative Director ist wichtig, denn KI-generierte Texte und Bilder können a) schrottig sein, b) mit urheberrechtlich geschütztem Material kontaminiert sein und/oder c) mit einem KI-Wasserzeichen versehen sein, das die Zuordnung als „KI-generiert“ ermöglicht. All das will man nicht haben, vor allem will man aber Top-Qualität.

Prompt Engineering ist auch User-Experience-Verbesserung

Du kennst das vom Googeln: Durch KI-Methoden versucht Google, die Intention deiner Suchanfrage richtig zu erraten – und erstellt dann, je nach Intention, einen KI-generierten Text oder zeigt kaufbare Produkte an.

Wenn du beispielsweise nach „Sirup“ suchst, werden dir Shopping-Angebote angezeigt, obwohl aus dem einzelnen Wort noch keine Intention hervorgeht.

Trotzdem passt es meistens, da die Prompt-Interpretations-Engineers der Suchmaschine prädiktives Verhalten beigebracht haben: Wer nach Sirup sucht, will wahrscheinlich Sirup kaufen. Wer nach „Sirup selber machen“ sucht, bekommt Rezepte angezeigt. „Holunderblütensirup“ bringt dir Werbung für Produkte – und dann Rezepte. „Was ist Holunderblütensirup“, also Wissensfrage, nutzt Google zum Ausspielen eines KI-generierten Textes, der „Übersicht mit KI“.

Ähnliches gilt bei Chatbots für Unternehmen: Der User gibt Prompts ein, die der Bot richtig interpretieren muss. Im Vorfeld wird also der Chatbot mit Unternehmensdaten und Nutzungsszenarien trainiert.

5 bekannte Prompt-Engineering-Konzepte, für Nicht-Nerds erklärt

Ich sag’s direkt: Diese fünf Prompt-Engineering-Konzepte stehen bei der englischsprachigen Wikipedia, aber sie sind da nicht verständlich erklärt. Ich habe deshalb die Primärquellen (= Paper) durchgelesen, damit ich’s gut zusammenfassen kann.

1. Chain-of-Thought (CoT) Prompting: Strukturiert denken wie Wittgenstein

Beim Chain-of-Thought (CoT) Prompting, auf Deutsch in etwa „Gedankengang-Eingabe“ gibst du nicht konfuse Aufgaben ein, sondern strukturierst vorher deine Gedanken.

Das Ziel ist es, der KI eine leichter lösbare Aufgabe zu servieren. Speziell bei Aufgaben mit Mathe-Anteilen ist das wichtig.

Allerdings muss die KI darauf trainiert sein (oder dafür vorgepromptet werden), um solche Prompts zu verstehen.

Das CoT-Konzept hat ein Google-Team 2022 vorgestellt[1].

Möglicherweise setzen „langsame“ „Reasoning-“ LLMs im Hintergrund auf Chain of Thought – es ist der „Thinking“-Modus, möglicherweise in Kombination mit Self Refine (siehe weiter unten). In jedem Fall frisst CoT plus Self Refine Rechenleistung – also Token. Das erkennst du a) an der Trägheit, und b) am Preis der API Calls. Gehe mal von, als Beispiel, 6x so teuer und 6x so langsam aus. Auch Claude Opus von Anthropic ist verdächtig langsam und teuer, wird also ähnliche Techniken verbaut haben.

Wie sieht ein CoT-Prompt aus? Stelle dir deinen Prompt wie eine Mindmap vor, die du allerdings in die richtige Reihenfolge sortiert. Der Meister darin war der Philosoph Ludwig Wittgenstein[2].

Mit KI kann man übrigens auch bessere CoT-Basisprompts entwickeln lassen. Die Forscher hinter dem Directional-Stimulus-Prompting (kommt gleich) haben unter anderem folgenden Prompt entstehen lassen:

„Let’s think like a detective step by step. First,…“

Problem: Gedankengänge sauber sortieren macht Arbeit, und nicht immer haben wir Lust darauf.

Lösung: KI-Tools mit Templates bzw. Lückentexten verwenden. Beispielsweise hat Breeze, die KI von HubSpot, solche Lückentext-Templates. Hier ist die Reihenfolge des Gedankengangs vorgegeben, damit die KI sinnvollere Ergebnisse erzeugt. Die Ergebnisse sind zwar, tja, puh, aber das ist ja alles noch Beta.

Solche Lückentexte kannst du auch selbst bauen, z.B. mit der Claude-API.

Beispiel: „Schreibe einen LinkedIn-Artikel zum Thema {{Thema-Input}}.“

Diesen Prompt kannst als Code exportieren und auf Websites einbauen (dann muss allerdings noch der API-Aufruf eingepflegt werden, und die Zugangsdaten müssen für Hacker unzugänglich abgespeichert werden).

2. Generated Knowledge Prompting: Erst Fakten, dann denken

Beim Generated Knowledge Prompting geht es darum, die künstliche Intelligenz statt in den Modus „LSD-Rausch“ in den Modus „Fakten-Champion“ zu versetzen.

Um das zu erreichen, werden zuerst Fakten abgefragt oder gefüttert.

Formuliert hat das Konzept ein Team von der University of Washington[3].

Die Forscher nennen Beispiele: Zuerst versorgt man die LLM mit Basis-Daten wie „Ein Stativ hat drei Beine. Eine Staffelei ist eine Art Stativ.“ Damit kann die KI abstrahieren, dass die Staffelei drei Beine hat, ohne dass wir das konkret eingebrieft haben.

Problem: Du weißt nicht, ob das Sprachmodell mit Fakten zu deinem Thema trainiert wurde. Es kann also sein, dass das System „Ich habe keine Ahnung“ oder Märchen ausgibt.

Lösung: KI-Tools nutzen, bei denen du eine Knowledge Base anlegen kannst. Bei ChatGPT hast die Möglichkeit, dauerhaft Dokumente abzulegen. Dokumente für den aktuellen Job hochladen, bspw. PDFs, beherrschen fast alle KIs – ebenso hilfreich ist Websuche, die du auf bestimmte Seiten beschränken kannst.

3. Least-to-Most-Prompting: Erst Mise en place, dann kochen

Beim Least-to-Most-Prompting wird zuerst die Aufgabe in Teil-Aufgaben aufgedröselt, und dann werden diese Mini-Aufgaben nach und nach abgearbeitet.

In der Gastronomie nennt sich das Mise en Place, du kennst das vom Pizzabäcker: Der hat, bevor die echte Bestellung kommt, seine Mise en Place fertig. Teiglinge sind portioniert, Tomatensoße gekocht, Champignons etc. geschnibbelt und der Ofen vorgeheizt.

Problem: Du musst die Gesamtheit der Aufgabe verstehen und auch die Zwischenschritte kennen. Sonst schlägt dir die KI eine Nutella-Pizza mit Thunfisch-Teig und doppelt Gorgonzola vor – jeder Zwischenschritt ist plausibel, aber das Ergebnis ist grauslich.

Lösung: KI-Tools nutzen, die vor der Generierung Feintuning-Möglichkeiten der Einzelteile anbieten. Das ist dann ein Workflow, der aus mehreren Templates besteht. Im Bild ist ein Beispiel von Junia.ai.

So was bekommst du auch selbst hin: Lasse bei komplexen Aufgaben zuerst ein Grundgerüst generieren, lese drüber, lasse es verfeinern, und beauftrage erst dann die großen Arbeitspakete. Natürlich lässt sich das alles in einem Prompt abbilden, aber dann bekommst du fertige Ergebnisse, die dir vielleicht nicht gefallen.

4. Self-Refine: Die KI als rätselhafter Künstler-Kurator

Eine meiner Meinung nach typische Eigenschaft von Künstlern sind Selbstzweifel gepaart mit Ergebnisdruck. Selbstzweifel lassen Künstler lange an einem Ergebnis feilen, aber der Ergebnisdruck nötigt zur Abgabe eines Kunstwerks.

Mit Self-Refine-Prompting fordert man die KI auf, gleichzeitig Vorschläge zu entwickeln, zu bewerten, zu verfeinern und beispielsweise den besten daraus auszuwählen. Die Zwischenschritte sind intransparent, das Ergebnis nicht bewertbar.

Das Konzept stammt von einem Team vor allem von der Carnegie Mellon[4].

Problem: Mit minimalen Nuancen im Prompt kommt ein komplett anderes Ergebnis raus.

Lösung. Für kreativ-kommerzielle Zwecke diese Prompting-Art einfach nicht 1:1 verwenden. Stattdessen lieber 10 Vorschläge machen lassen, diese von der KI filtern lassen, dann überarbeiten lassen, noch mal filtern lassen und den Sieger küren lassen – inklusive Begründung.

Beispiel: Die Kunstmaler-Metapher wurde hier zum Sieger.

Aber ist sie wirklich stimmig?

Nein.

• Maler übermalen ihr Kunstwerk nicht. Sie machen erst Skizzen, dann Studien und malen dann das komplette Kunstwerk – das ist „Least to Most“.
• Ein Koch, der Rezepte entwickelt wäre das bessere Bild.
• Anschaulicher ist der Architekt: Der macht anschauliche Entwürfe, verfeinert sie, wählt den besten aus und schleppt ihn zur Wettbewerbspräsentation.

Wir lernen: Kritisches Denken bleibt uns nicht erspart.

Irgendwo stand, Quelle vergessen, dass KIs bei Fragen wie „Vergleiche A und B. Bewerte ob A oder B besser ist“ in der Tendenz zu B tendieren. Solcher Bias ist bei wirklich wichtigen Fragestellungen riskant.

5. Directional-Stimulus Prompting: Feedback vorwegnehmen

Eine Metapher für diese Prompting-Technik ist ein Fahrradnavi. Du willst von A nach B. Aber der Weg dahin hat Vorgaben. Dort willst du vielleicht einstellen, dass der Weg Ausschlüsse berücksichtigt (Autobahn, Feldwege, Wanderwege) oder Highlights berücksichtigt (nach spätestens 2 Stunden muss eine schöne Einkehr eingeplant werden, Eisdiele oder Café).

Für Directional Stimulus ist im Bereich Textzusammenfassung die (automatisierte) Generierung der Keywords zu den wichtigsten Fakten eines Artikels entscheidend. Directional Stimulus ist eine Idee eines Teams von der UCLA und von Microsoft[5].

Der Trick: Die Forscher haben ein Policy-Modell aufgesetzt, quasi ein Mini-Sprachmodell, und dieses von Hand trainiert, um bessere Text-Zusammenfassungen zu erhalten. Das trainierte Policy-Modell wird dann als Coach (oder Boss) dem großen Sprachmodell (LLM) vorgesetzt. Die Idee gibt es auch beim Konzept LLM as a Judge.

Dreifaches Fazit & Ausblick fürs Prompt Engineering

• Prompt Engineering ist Handarbeit. Du schreibst quasi Briefings für ein Outsourcing-Projekt und musst die Ergebnisse mit der Professionalität eines Creative Directors bewerten. Da der Outsourcing-Partner, also die Black-Box-KI. keine gute Qualitätskontrolle hat, ist Feintuning deinerseits gefragt.
  Oder du trainierst ein Briefing- und Verfeinerungs-Sprachmodell, um dir die Arbeit zu erleichtern.
  Extra-Punkt: Recht. Wenn du einen Prompt schreibst, der z.B. Mails deiner Mitarbeiter nach Emotionen sortiert, ist das illegal. Mehr dazu im Artikel über das KI-Gesetz der EU.
• Prompt Engineering verschwindet teilweise schon wieder. Mit Prompt-Patterns sowie GUI-KI-Tools mit Templates erhält man reproduzierbare Ergebnisse, und zwar deutlich einfacher als mit einer Dialog-artigen Kommandozeile. Daneben gibt es hybride Copilot-Ansätze: Mittels Lückentext-Dialog liegt der größte Teil des Prompts schon auf dem Silbertablett vor dir.
  Ich schätze mal, dass ein großer Teil des Anbietermarktes vollintegrierte CRM-KI-Marketing-Suites sein werden, oder per API / MCP / Webhook / Zapier integrierbar.
  Google wird mit Gemini vermutlich darauf abzielen, KI so einfach wie googlen zu machen.
  MIt dem Dashboard von Anthropic (oder dem Playground von OpenAI) kann man sich das eh selber bauen: Basisprompt fürs Sprachmodell plus „Temperature“, dann der „echte Prompt“, und in den kannst du {{Variablen}} einbauen.
  Außerdem kann man sich ja GPTs bauen (oder sie einkaufen) und mit dem Team teilen.
• Die Endkonsumenten bewerten die Outputqualität. KI im Marketing wird genutzt, um Menschen Ideen, Waren und Dienstleistungen zu verkaufen – oder Selfservice-Dienstleistungen anzubieten. Wenn die KI-Texte nicht inspirierend oder hilfreich sind, erreichst du deine Marketingziele nicht. Du brauchst also menschliche Profis, die sich in deine Zielgruppen hineinversetzen können. Das gilt vor allem dann, wenn die Marketingmaßnahmen nicht erfolgreich sind.

Kontakt aufnehmen

---

[1] Language Models Perform Reasoning via Chain of Thought. 11.05.2022. Jason Wei, Denny Zhou et al, Research Scientists, Google Research, Brain team (heute: Google DeepMind) https://blog.research.google/2022/05/language-models-perform-reasoning-via.html bzw. https://doi.org/10.48550/arXiv.2201.11903

[2] https://de.wikipedia.org/wiki/Tractatus_logico-philosophicus

[3] Jiacheng Liu, Alisa Liu, Ximing Lu, Sean Welleck, Peter West, Ronan Le Bras, Yejin Choi, and Hannaneh Hajishirzi. 2022. Generated Knowledge Prompting for Commonsense Reasoning. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 3154–3169, Dublin, Ireland. Association for Computational Linguistics. https://aclanthology.org/2022.acl-long.225.pdf

[4] Madaan, A., Tandon, N., Gupta, P., Hallinan, S., Gao, L., Wiegreffe, S., Alon, U., Dziri, N., Prabhumoye, S., Yang, Y., Welleck, S., Majumder, B., Gupta, S., Yazdanbakhsh, A., & Clark, P. (2023). Self-Refine: Iterative Refinement with Self-Feedback. ArXiv, abs/2303.17651 https://doi.org/10.48550/arXiv.2303.17651

[5] Li, Z., Peng, B., He, P., Galley, M., Gao, J., & Yan, X. (2023). Guiding Large Language Models via Directional Stimulus Prompting. ArXiv, abs/2302.11520. https://doi.org/10.48550/arXiv.2302.11520

---