Prompt Engineering: 5 Text-to-Text-Konzepte für Nicht-Nerds & Ausblick • Stefan Golling Konzepte

Prompt Engineering: Jeder hat davon gehört.

Ist das Neuland? Ja und Nein.

Nein, weil wir seit Erfindung der Internet-Suchmaschinen täglich Prompts schreiben.

Ja, weil mit generativer KI das Prompt Engineering auf einmal deutlich komplexer ist.

In diesem Artikel geht es um 5 etablierte Konzepte fürs Prompt Engineering.

Dabei konzentiere ich mich auf Text-to-Text-Anwendungsfälle – und zwar für Nicht-Nerds.

Und ein Extra-Thema gibt es auch: Prompt Engineering ist teilweise ein Auslaufmodell, da die KI-Anbieter immer mehr auf Templates und Patterns setzen.

Außerdem kann Machine Learning jegliche Prompts überflüssig machen – wir sehen das an TikTok, wo Wischen fast immer Prompt genug ist.

Tipp vorab: Am einfachsten mit verschiedenen Sprachmodellen rumspielen kannst du mit HuggingFace.

Über den Autor

Stefan Golling, Köln. Seit 2011 Freelance Creative Director, freier Texter, Creative Consultant und Online-Marketing-Berater mit Kunden von Mittelstand bis S&P 500. Erfahrung: 1998 mit Radiowerbung in Stuttgart gestartet, 2000 als Junior-Werbetexter zu Publicis München, 2001 Counterpart Köln, 2002 als Copywriter zu Red Cell Düsseldorf (heißt heute Scholz & Friends), dort ab 2007 Creative Director.

Inhalt

Was ist Prompt Engineering?
5 bekannte Prompt-Engineering-Konzepte, für Nicht-Nerds erklärt
Dreifaches Fazit & Ausblick fürs Prompt Engineering
Prompt Engineering Freelancer: Jetzt anfragen

Was ist Prompt Engineering?

Prompt Engineering ist das Ausdenken und Verbessern von Aufgabestellungen an Generative KIs, und zwar meistens durch die Eingabe von Wörtern in natürlicher Sprache.

Die simpelste Form von Prompt Engineering ist bei dialogbasierten KIs wie ChatGPT das System so zu zähmen, dass das gewünschte Ergebnis herauskommt – und das System nicht bockt.

Echtes Prompt Engineering ist hingegen eine Disziplin der Mathematik und Informatik: Teils wird mittels kleiner Sprachmodelle, die man programmieren und trainieren muss, eine Art Prompt-Engineering-Middleware geschaffen, damit die User – teils mit wenig Prompt-Talent gesegnet – gute Ergebnisse erhalten.

Was macht ein Prompt Engineer?

Ein Prompt Engineer schreibt in der Regel kurze Texte, mit denen ein Black-Box-KI-Tool wie ChatGPT, Midjourney, Dall-E etc. aufgefordert wird, ein gewünschtes Arbeitsergebnis zu generieren. Das sind meist Texte oder Bilder.

Der „Consumer“ Prompt Engineer ist dabei nur Anwender, der versucht das Maximum aus der KI herauszukitzeln.

Der „Professional“ Prompt Engineer arbeitet daran, dass die Consumer keine Prompt Engineers mehr sein müssen. Dafür muss er coden können, und das bedeutet in der KI-Welt: Python.

Ein Prompt Engineer ist entweder Freelancer bzw. KI-Berater oder arbeitet in einer Prompt-Engineering-Agentur, einer KI-Beratung, einer IT-Beratung, einer Werbeagentur, einer Prozessberatung oder in einer Konzernabteilung – oder direkt beim KI-Anbieter.

Beispiel: Ein echter Prompt Engineer bringt die KI richtig ans Arbeiten.

 <thinking>
        [Your step-by-step reasoning goes here. This is your internal thought process, not the final answer.]
        <reflection>
        [Your reflection on your reasoning, checking for errors or improvements]
        </reflection>
        [Any adjustments to your thinking based on your reflection]
        </thinking>
        <output>
        [Your final, concise answer to the query. This is the only part that will be shown to the user.]
        </output>

Thinking, Reflection, Output: Das Beispiel ist ein Teil eines Chain-of-Thought-Prompts von Asankhaya Sharma, dem CTO von Patched Codes (einer Workflow-Code-Review-und-Dokumentation-Automatisierung für Dev-Teams, ein Mix aus RPA und KI), der’s auf GitHub veröffentlicht hat: https://github.com/codelion/optillm/blob/main/cot_reflection.py

Was ist ein Prompt Creative Director?

Ein Prompt Creative Director erstellt sehr gute Prompts bzw. verbessert diese und kann vor allem die Ergebnisse der KI aus kreativer und unternehmerischer Sicht bewerten. Vielleicht führt er auch ein Team aus Prompt Engineers in einer Prompt Engineering Agentur.

Im Bereich KI-Bildgenerierung ist das eine Herausforderung, da nachträgliche Änderungen in Bildern aufwändig sind. In Texten ist das nicht so wild, ein paar Wörter sind schnell getauscht. Ein guter Prompt Creative Director ist wichtig, denn KI-generierte Texte und Bilder können a) schrottig sein, b) mit urheberrechtlich geschütztem Material kontaminiert sein und/oder c) mit einem KI-Wasserzeichen versehen sein, das die Zuordnung als “KI-generiert” ermöglicht. All das will man nicht haben, vor allem will man aber Top-Qualität.

Prompt Engineering ist auch User-Experience-Verbesserung

Du kennst das vom Googeln: Durch KI-Methoden versucht Google, die Intention deiner Suchanfrage richtig zu erraten.

Wenn du beispielsweise nach „Sirup“ suchst, werden dir Shopping-Angebote angezeigt, obwohl aus dem einzelnen Wort noch keine Intention hervorgeht.

Trotzdem passt es meistens, da die Prompt-Interpretations-Engineers der Suchmaschine prädiktives Verhalten beigebracht haben.

Ähnliches gilt bei Chatbots für Unternehmen: Der User gibt Prompts ein, die der Bot richtig interpretieren muss. Im Vorfeld wird also der Chatbot mit Unternehmensdaten und Nutzungsszenarien trainiert.

5 bekannte Prompt-Engineering-Konzepte, für Nicht-Nerds erklärt

Ich sag’s direkt: Diese fünf Prompt-Engineering-Konzepte stehen bei der englischsprachigen Wikipedia, aber sie sind da nicht verständlich erklärt. Ich habe deshalb die Primärquellen (= Paper) durchgelesen, damit ich’s gut zusammenfassen kann.

1. Chain-of-Thought (CoT) Prompting: Strukturiert denken wie Wittgenstein

Beim Chain-of-Thought (CoT) Prompting, auf Deutsch in etwa „Gedankengang-Eingabe“ gibst du nicht konfuse Aufgaben ein, sondern strukturierst vorher deine Gedanken.

Das Ziel ist es, der KI eine leichter lösbare Aufgabe zu servieren. Speziell bei Aufgaben mit Mathe-Anteilen ist das wichtig.

Allerdings muss die KI darauf trainiert sein (oder dafür vorgepromptet werden), um solche Prompts zu verstehen.

Das CoT-Konzept hat ein Google-Team 2022 vorgestellt[1].

Möglicherweise setzen “langsame” LLMs im Hintergrund auf Chain of Thought, wie Open AI o1, das bei ChatGPT Plus aufwärts Verwendung findet, möglicherweise in Kombination mit Self Refine (siehe weiter unten). In jedem Fall frisst CoT plus Self Refine Rechenleistung – also Token. Das erkennst du a) an der Trägheit, und b) am Preis der API Calls. Gehe mal von, als Beispiel, 6x so teuer und 6x so langsam aus. Auch Claude Opus von Anthropic ist verdächtig langsam und teuer, wird also ähnliche Techniken verbaut haben.

Wie sieht ein CoT-Prompt aus? Stelle dir deinen Prompt wie eine Mindmap vor, die du allerdings in die richtige Reihenfolge sortiert. Der Meister darin war der Philosoph Ludwig Wittgenstein[2].

Mit KI kann man übrigens auch bessere CoT-Basisprompts entwickeln lassen. Die Forscher hinter dem Directional-Stimulus-Prompting (kommt gleich) haben unter anderem folgenden Prompt entstehen lassen:

„Let’s think like a detective step by step. First,…“

Problem: Gedankengänge sauber sortieren macht Arbeit, und nicht immer haben wir Lust darauf.

Lösung: KI-Tools mit Templates bzw. Lückentexten verwenden. Beispielsweise hat Breeze, die KI von HubSpot, solche Lückentext-Templates. Hier ist die Reihenfolge des Gedankengangs vorgegeben, damit die KI sinnvollere Ergebnisse erzeugt. Die Ergebnisse sind zwar, tja, puh, aber das ist ja alles noch Beta.

HubSpot Breeze: Template für einen LinkedIn-Artikel

2. Generated Knowledge Prompting: Erst Fakten, dann denken

Beim Generated Knowledge Prompting geht es darum, die künstliche Intelligenz statt in den Modus „LSD-Rausch“ in den Modus „Fakten-Champion“ zu versetzen.

Um das zu erreichen, werden zuerst Fakten abgefragt oder gefüttert.

Formuliert hat das Konzept ein Team von der University of Washington[3].

Die Forscher nennen Beispiele: Zuerst versorgt man die LLM mit Basis-Daten wie „Ein Stativ hat drei Beine. Eine Staffelei ist eine Art Stativ.“ Damit kann die KI abstrahieren, dass die Staffelei drei Beine hat, ohne dass wir das konkret eingebrieft haben.

Problem: Du weißt nicht, ob das Sprachmodell mit Fakten zu deinem Thema trainiert wurde. Es kann also sein, dass das System „Ich habe keine Ahnung“ oder Märchen ausgibt.

Lösung: KI-Tools nutzen, bei denen du eine Knowledge Base anlegen kannst.

3. Least-to-Most-Prompting: Erst Mise en place, dann kochen

Beim Least-to-Most-Prompting wird zuerst die Aufgabe in Teil-Aufgaben aufgedröselt, und dann werden diese Mini-Aufgaben nach und nach abgearbeitet.

In der Gastronomie nennt sich das Mise en Place, du kennst das vom Pizzabäcker: Der hat, bevor die echte Bestellung kommt, seine Mise en Place fertig. Teiglinge sind portioniert, Tomatensoße gekocht, Champignons etc. geschnibbelt und der Ofen vorgeheizt.

Problem: Du musst die Gesamtheit der Aufgabe verstehen und auch die Zwischenschritte kennen. Sonst schlägt dir die KI eine Nutella-Pizza mit Thunfisch-Teig und doppelt Gorgonzola vor – jeder Zwischenschritt ist plausibel, aber das Ergebnis ist grauslich.

Lösung: KI-Tools nutzen, die vor der Generierung Feintuning-Möglichkeiten der Einzelteile anbieten. Das ist dann ein Workflow, der aus mehreren Templates besteht. Im Bild ist ein Beispiel von Junia.ai.

Junia.ai: Feintuning auf Artikelabschnittsebene, mit Keywords & Talking Points

4. Self-Refine: Die KI als rätselhafter Künstler-Kurator

Eine meiner Meinung nach typische Eigenschaft von Künstlern sind Selbstzweifel gepaart mit Ergebnisdruck. Selbstzweifel lassen Künstler lange an einem Ergebnis feilen, aber der Ergebnisdruck nötigt zur Abgabe eines Kunstwerks.

Mit Self-Refine-Prompting fordert man die KI auf, gleichzeitig Vorschläge zu entwickeln, zu bewerten, zu verfeinern und beispielsweise den besten daraus auszuwählen. Die Zwischenschritte sind intransparent, das Ergebnis nicht bewertbar.

Das Konzept stammt von einem Team vor allem von der Carnegie Mellon[4].

Problem: Mit minimalen Nuancen im Prompt kommt ein komplett anderes Ergebnis raus.

Lösung. Für kreativ-kommerzielle Zwecke diese Prompting-Art einfach nicht 1:1 verwenden. Stattdessen lieber 10 Vorschläge machen lassen, diese von der KI filtern lassen, dann überarbeiten lassen, noch mal filtern lassen und den Sieger küren lassen – inklusive Begründung.

Beispiel: Die Kunstmaler-Metapher wurde hier zum Sieger.

Aber ist sie wirklich stimmig?

Nein.

Maler übermalen ihr Kunstwerk nicht. Sie machen erst Skizzen, dann Studien und malen dann das komplette Kunstwerk – das ist „Least to Most“.
Ein Koch, der Rezepte entwickelt wäre das bessere Bild.
Anschaulicher ist der Architekt: Der macht anschauliche Entwürfe, verfeinert sie, wählt den besten aus und schleppt ihn zur Wettbewerbspräsentation.

Wir lernen: Kritisches Denken bleibt uns nicht erspart.

5. Directional-Stimulus Prompting: Feedback vorwegnehmen

GPT schlägt hier nach einer Self-Refine-Runde als Metapher für das Konzept Directional Stimulus das Navi im Auto vor, aber das ist nicht ganz richtig.

Eine korrekte Metapher wäre ein Fahrradnavi. Dort willst du vielleicht einstellen, dass der Weg Ausschlüsse berücksichtigt (Feldwege, Wanderwege) oder Highlights berücksichtigt (nach spätestens 2 Stunden muss eine schöne Einkehr eingeplant werden, Eisdiele oder Café).

Für Directional Stimulus ist im Bereich Textzusammenfassung die (automatisierte) Generierung der Keywords zu den wichtigsten Fakten eines Artikels entscheidend. Directional Stimulus ist eine Idee eines Teams von der UCLA und von Microsoft[5].

Der Trick: Die Forscher haben ein Policy-Modell aufgesetzt, quasi ein Mini-Sprachmodell, und dieses von Hand trainiert, um bessere Text-Zusammenfassungen zu erhalten. Das trainierte Policy-Modell wird dann als Coach (oder Boss) dem großen Sprachmodell (LLM) vorgesetzt.

So brieft das kleine Sprachmodell das große Sprachmodell. Das ist dann auch wieder eine Art Ziegenjockey.

Problem: Du musst vorher wissen, was du willst. Dafür ist ein Verständnis des Themas gefragt. Außerdem ist das Anlegen, Trainieren und Nutzen eines Policy-Modells ein ausgewachsenes Projekt.

Lösung: Ein typischer Einsatzzweck sind Texte, in die man noch zusätzlich SEO-Keywords reinwürgen will. Verwende KI-Tools, bei denen du Keywords für einzelne Textabschnitte vorgeben kannst.

Dreifaches Fazit & Ausblick fürs Prompt Engineering

Prompt Engineering ist Handarbeit. Du schreibst quasi Briefings für ein Outsourcing-Projekt und musst die Ergebnisse mit der Professionalität eines Creative Directors bewerten. Da der Outsourcing-Partner, also die Black-Box-KI. keine gute Qualitätskontrolle hat, ist Feintuning deinerseits gefragt.
Oder du trainierst ein Briefing- und Verfeinerungs-Sprachmodell, um dir die Arbeit zu erleichtern.
Extra-Punkt: Recht. Wenn du einen Prompt schreibst, der z.B. Mails deiner Mitarbeiter nach Emotionen sortiert, ist das illegal. Mehr dazu im Artikel über das KI-Gesetz der EU.
Prompt Engineering verschwindet teilweise schon wieder. Mit Prompt-Patterns sowie GUI-KI-Tools mit Templates erhält man reproduzierbare Ergebnisse, und zwar deutlich einfacher als mit einer Dialog-artigen Kommandozeile. Daneben gibt es hybride Copilot-Ansätze wie bei ChatSpot: Mittels Lückentext-Dialog liegt der größte Teil des Prompts schon auf dem Silbertablett vor dir. Darin integriert sind Recherchetools, wie eine Keyword-Recherche. Damit kannst du dann datenbasierte Outlines schreiben lassen, die dann mit einem Klick in den Blog-Editor rüberkopiert werden können.
Ich schätze mal, dass ein großer Teil des Anbietermarktes vollintegrierte CRM-KI-Marketing-Suites sein werden, oder per API / Webhook / Zapier integrierbar.
Google wird mit Gemini vermutlich darauf abzielen, KI so einfach wie googlen zu machen.
MIt dem Dashboard von Anthropic kann man sich das eh selber bauen: Basisprompt fürs Sprachmodell plus “Temperature”, dann der “echte Prompt”, und in den kannst du {{Variablen}} einbauen, die in einer App (z.B. als Gradio Notebook) für den User Input stehen oder für eine {{URL}} bzw. Automatisierungen.
Außerdem kann man sich ja GPTs bauen (oder sie einkaufen) und mit dem Team teilen.
Die Endkonsumenten bewerten die Outputqualität. KI im Marketing wird genutzt, um Menschen Ideen, Waren und Dienstleistungen zu verkaufen – oder Selfservice-Dienstleistungen anzubieten. Wenn die KI-Texte nicht inspirierend oder hilfreich sind, erreichst du deine Marketingziele nicht. Du brauchst also menschliche Profis, die sich in deine Zielgruppen hineinversetzen können. Das gilt vor allem dann, wenn die Marketingmaßnahmen nicht erfolgreich sind.

Prompt Engineering Freelancer: Jetzt anfragen

Telefon: +49-173-4412020

E-Mail: sg@stefangolling.de

[1] Language Models Perform Reasoning via Chain of Thought. 11.05.2022. Jason Wei, Denny Zhou et al, Research Scientists, Google Research, Brain team (heute: Google DeepMind) https://blog.research.google/2022/05/language-models-perform-reasoning-via.html bzw. https://doi.org/10.48550/arXiv.2201.11903

[2] https://de.wikipedia.org/wiki/Tractatus_logico-philosophicus

[3] Jiacheng Liu, Alisa Liu, Ximing Lu, Sean Welleck, Peter West, Ronan Le Bras, Yejin Choi, and Hannaneh Hajishirzi. 2022. Generated Knowledge Prompting for Commonsense Reasoning. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 3154–3169, Dublin, Ireland. Association for Computational Linguistics. https://aclanthology.org/2022.acl-long.225.pdf

[4] Madaan, A., Tandon, N., Gupta, P., Hallinan, S., Gao, L., Wiegreffe, S., Alon, U., Dziri, N., Prabhumoye, S., Yang, Y., Welleck, S., Majumder, B., Gupta, S., Yazdanbakhsh, A., & Clark, P. (2023). Self-Refine: Iterative Refinement with Self-Feedback. ArXiv, abs/2303.17651 https://doi.org/10.48550/arXiv.2303.17651

[5] Li, Z., Peng, B., He, P., Galley, M., Gao, J., & Yan, X. (2023). Guiding Large Language Models via Directional Stimulus Prompting. ArXiv, abs/2302.11520. https://doi.org/10.48550/arXiv.2302.11520

Artikel zu ähnlichen Themen

⌀ 4.5. Stimmen: 2