Hugging Chat Assistants: Alternative zu Custom GPTs

Hugging Chat Assistants, die kostenfreie Alternative von Hugging Face zu den abopflichtigen Custom GPTs bei ChatGPT, gibt es seit Anfang Februar 2024. Hier findest du einen Vergleich der Systeme, eine Bau-Anleitung und ein Anwendungsbeispiel.

Inhalt

• Was sind die Hugging Chat Assistants? Sie sind 2 Dinge
• HuggingChat als "ChatGPT-Alternative"
• Hugging Chat Assistants vs. Custom GPTs im direkten Vergleich
• Schnell-Tutorial: So baust du einen Hugging Chat Assistant
• Hugging Chat: Welches Sprachmodell nehmen?
• Beispiele für Hugging Chat Assistants
• Limitationen von Hugging Chat Assistants
• Zwischenfazit
• Sinnvolle Einsatzzwecke

Was sind die Hugging Chat Assistants? Sie sind 2 Dinge

• Bei den Hugging Chat Assistants gibt es erstens sowas wie den GPT-Store von Chat GPT, also den Zugriff auf Chatbots von anderen Usern. Der Unterschied: Hier ist alles gratis. Zusätzlich gibt es bei Hugging Chat noch zahlreiche Apps (dort Spaces) genannt, die allerlei KI-Magie beherrschen.
• Zweitens kannst du natürlich eigene Assistenten bauen. Da die Prompts der „GPTs“ im Shop frei einsehbar sind (das ist gleichzeitig gruselig und praktisch), kannst du sehr viele Inspirationen für deine Assistenten herausziehen.

Hugging Chat Assistants haben ingesamt riesige Vor- und Nachteile – aber für KI-Basteleien sind sie ideal, wenn man Vorsicht walten lässt.

HuggingChat als „ChatGPT-Alternative“

Die Standard-„KI-App“ von HuggingChat, hier als Versionsstand 0.9.2, ist mächtig: Sie kann „Community Tools“ einbinden – also GPTs bzw. „Omni“-/Alleskönner-Werkzeuge – und so im Internet suchen, Dokumente verarbeiten, Bilder generieren, Bilder bearbeiten und rechnen. Praktisch: Wenn man „Document Parser“ anklickt, erscheint ein Upload-Button für Dokumente. Diese Tools „liegen“ als HuggingFace Gradio Spaces vor.

Diese Community-Tools beinhalten Bildergeneratoren (wie FLUX – inklusive einem weiteren Tool namens „Flux Prompt Generator“), einen Voice Cloner, oder auch RAG-Tools für den Chat mit Dokumenten. Dir gefallen die Tools nicht? Dann bau dir selber welche und teile sie mit der Community. Wenn du allerdings eine teure API plus Mietserver nutzt, geht die Nutzung durch die User von deiner Kreditkarte ab. Autsch.

Das voreingestellte Sprachmodell ist Llama 3.1 in der „kleinen“ Variante mit 70B. Die zur Verfügung stehenden LLMs wechseln laufend, was den Einsatz als „Produktivsystem“ stark einschränkt.

Achtung: Du brauchst große Frustrationstoleranz. Der „Document Parser“ funktioniert bspw. manchmal nicht. Oder die Web-Suche: Da kannst du dich nicht drauf verlassen. Die Fehler sind nicht reproduzierbar.

Hugging Chat Assistants vs. Custom GPTs im direkten Vergleich

Hugging Chat Assistants	Custom GPTs / GPT-Store
In 2 Minuten eingerichtet	Erst Abo, dann loslegen
Kostenfrei nutzen für Anbieter	Kostenpflichtig für Anbieter (nur mit Abo)
Kostenfrei nutzen für User	Kostenpflichtig für Nutzer (nur mit Abo)
Große Auswahl an Sprachmodellen	Ein Sprachmodell
Open Source Philosophie (allerdings ist nicht alles „echtes“ Open Source: Manche Sprachmodelle haben Research-Only-Lizenzen)	Closed Source
Vor allem Text, kann wenig Bild	Text, Bild, Datenvisualisierung (bald Video: Open AI Sora)
Prompt (= Code) für jeden sichtbar	Prompt (= Code) geheim & API
Jeder kann den Assistenten nutzen & kopieren	Niemand kann den Assistenten kopieren
Du kannst Prompt-Teile aus anderen Assistenten kopieren	Du musst dir Prompts selber überlegen
Die eigenen Daten werden angeblich nicht zu Trainingsdaten (wenn man’s anklickt)	Die eigenen Daten werden nicht zu Trainingsdaten (ab Variante „Team“ bzw. „Enterprise„)

Schnell-Tutorial: So baust du einen Hugging Chat Assistant

1. Avatar-Bild hochladen
2. Name festlegen (der ist öffentlich sichtbar, also keinen Unfug anstellen)
3. Beschreibung eintippen (nicht so wichtig)
4. Sprachmodell auswählen. Mistral AI/Mixtral-8x7B ist voreingestellt, das kann man so lassen. Das Ding kann sehr gut Deutsch, wenn man es genug triezt.
5. User Start Messages. Das sind bis zu 4 Fragen, die dem User beim Start des Assistenten eingeblendet werden.
6. Instructions. Da kommt der Prompt rein. Beschreibe in natürlicher Sprache, was der Bot machen soll. Achtung: Selbst minimale Änderungen können gewaltige Veränderungen des Bot-Verhaltens verursachen. Du solltest also deinen Prompt versionieren bzw. ein Backup machen. Ein Word-Dokument genügt für den Anfang.
7. Klicke auf „Create“. Fertig. Die URL wird angezeigt. Einfach kopieren und in einem neuen Tab öffnen.
8. Unten links gibt es noch den Button „Application Settings“. Da kannst du einstellen, ob a) deine Chat-Daten an den Sprachmodellentwickler gesendet werden (ich schalte das aus), und ob Emoticons / Emojis angezeigt werden sollen.

Hugging Chat: Welches Sprachmodell nehmen?

Hugging Chat ist, sind wir mal ehrlich, ein Testwerkzeug. Das erkennst du an der Auswahl der Sprachmodelle (im Bild: Stand 26.07.2024), denn die kann sich jederzeit ändern.

Welche Sprachmodelle gibt es denn?

• Llama 3.1 von Meta in den Ausbaustufen „fett“ (70B) und „ultrakrass“ (450B). Stand September ’24 ist die 450B schon wieder raus, die kannst du hier also nicht mehr testen.
• Mistral: 7B (kompakt), 8x7B (für mich oft erste Wahl), Nous Hermes 2 auf Basis von 8x7B
• Cohere
• Microsoft Phi3 Mini (3,8B, klein und schnell)
• Yi: Chinesisch – ist schon wieder raus
• Neu dabei ist Qwen, das ist a) chinesisch und b) relativ gut im Coden
• Was fehlt? Propietäre Sprachmodelle wie Mistral Large 2 oder das Coding-LLM Codestral, oder auch Sachen von Anthropic, Google etc.

Beispiele für Hugging Chat Assistants

Selbst anklicken und testen: https://hf.co/chat/assistant/65c62dcf5de59b00189d0c46

Hier ist auch die Einbettung, aber ob die funktioniert, ist nicht einfach vorherzusagen. Manchmal öffnet sich ein neuer Tab, manchmal öffnet sich der Standard-Chat von HuggingChat.

Tipp: Wenn du eine Antwort siehst, die a), b), c) oder so ähnlich beinhaltet, kannst du im nächsten Schritt einfach nur z.B. „a“ eingeben.

Dieser Prompt für diesen Hugging Chat Assistant ist von mir; er startet einen deutschsprachigen Bot rund ums Thema Marketingmaßnahmen. Ein bisschen Best Practice aus anderen Prompts ist mit drin.

Da drin stecken ein paar Prompt Engineering Ansätze, die vor dem User verborgen werden.

Außerdem baut er öfter mal Filmzitate ein. Warum? Warum nicht!

• Der Start des Prompts ist simpel: „You act as„. Das definiert die Rolle. Das ist in etwa Directional Stimulus Prompting, da in diesem Fall das Themenfeld auf Marketing vordefiniert wird. Der Bot kennt also seine Fachgebiet.
• Ein wesentlicher Prompting-Trick hier ist „Self refine„: Das Sprachmodell schreibt im Hintergrund 3 Antworten, bewertet sie und gibt nur die beste Antwort aus. Das erhöht die Qualität.
• Ein weiterer Trick, um Halluzinationen einzuschränken (obwohl die Temperature ohnehin nur bei 0.6 liegt, also schon stark seriös ist), ist die Anweisung, nicht zu konkret zu werden. Der Bot denkt sich sonst unter anderem Websites und Messen aus, die es nicht gibt.
• Generated Knowledge Prompting: Der Bot bekommt extra Wissen eingeimpft. In diesem Beispiel ist es das Wissen, dass der Marketing-Mix im Original nicht die 4 P des Marketing sind, sondern es sind 4 P + C, denn C, der Customer (Kunde) steht im Mittelpunkt. In der Primärquelle ist es richtig. Das Sprachmodell hat als Trainingsdaten natürlich die „4 P“ ohne C (Wikipedia…), weswegen es ein bisschen Feingefühl braucht, um hier anderes Wissen drüberzulegen. Anschreien mit „ADDITIONAL KNOWLEDGE“ hilft, und auch crawlbare Web-Inhalte.
  Nutzbar ist sowas beispielsweise, um unstrukturiert Öffnungszeiten, Preisinfos etc. in den Bot einzukippen.
• Zum Schluss kommt das beste Feature: Der „Chat-Bot im Chat-Bot“. Wenn die Startfrage „Ich brauche Unterstützung bei einem Marketing-Projekt“ angeklickt wird, dann verhält sich der Bot leicht anders. Denn dann führt er dich durch ein struktiertes Beratungsgespräch und gibt teilweise Vorschläge mit Antwortmöglichkeiten. Du kannst dann beispielsweise einfach „b“ eingeben, und er macht mit Antwort b weiter. Das System hat keine massiven Leitplanken, damit das Gespräch sich frei entwickeln kann. Die Prompting-Technik nennt sich „Chain of Thought„, wird hier allerdings nicht für den Bot alleine, sondern für die Interaktion eingesetzt. Zusätzlich ist das Least-to-most-Prompting, da die Aufgabe in Mini-Schritte zerlegt wird, hier allerdings als Input-gesteuerte Variante.

Das ist der Prompt:

You act mainly as a German language chat bot for an advertising agency. 
Remember the inputs of the user so you can give answers in the desired context.
When questions are in German language, respond in German language.
Your task is it to only answer questions around the topic of the Marketing Mix, regarding online marketing and traditional marketing.

IMPORTANT ADDITIONAL KNOWLEDGE:
The "4 P of Marketing" is wrong. In reality, the marketing mix is the 4 P plus C (4 P & C) model (Product, Place, Promotion, Price, and, very important, Customer). It was coined by E. Jerome McCarthy, but over time the "C", the Customer, got dropped, which was very unclever.
Always use the 4 P & C model.
Primary Source: Book "Basic Marketing: A Managerial Approach" by E. Jerome McCarthy from 1960; URL: https://babel.hathitrust.org/cgi/pt?id=inu.30000041584743&seq=5).
Secondary source: https://de.wikipedia.org/wiki/E._Jerome_McCarthy

Give high level, witty answers. Try to include quotes from famous feature films.
When deeper questions are being asked, provide the answer "Oh, das ist eine schwere Frage. Kontaktieren Sie doch einen Profi"
For every question, hiddenly create 3 answers, select the best of it and display only this best answer.

When users ask for suggestions about events, trade show, advertising opportunities, etc.: Never give precise examples; instead recommend a web search.

If the user gives the input "Ich brauche Unterstützung bei einem Marketing-Projekt", guide him through a German language step-by-step process.
Send each question prompt in German language to the user in a separate, compact chat response.
If there are options within a question, for each option present it in a new line denoted by alphabets (e.g., a., b., etc). Give a hint how the user could proceed the dialogue.
Step 1: Start in German language with asking for the brand name.
Step 2: Ask about product and target group
Step 3 and so on: act accordingly

Bilder generieren

Bilder generieren kann Hugging Chat Assistant nicht so gut, hier hat es ein User geschafft – über die Einbettung von Pollinations.ai. Flux geht auch.

Beispiel: https://hf.co/chat/assistant/65bff23f5560c1a5c0c9dcbd

The user will give you a prompt and you must only return your response in that format (don't try to encode anything):

Generating your image...
![](https://pollinations.ai/p/{prompt}

Important: never respond with anything more than the above text - make sure to stop your generation as soon as you complete the image url.

Limitationen von Hugging Chat Assistants

• Du solltest auf keinen Fall persönliche Daten oder Geschäftsgeheimnisse in den Prompt schreiben, da das jeder lesen kann. Deshalb solltest du auch keine Sachen einbauen, die über eine API bzw. Webhook angesprochen werden.
• Hugging Chat Assistant halluziniert natürlich auch (die Schwere hängt von der Aktualität der Trainingsdaten deines LLMs ab), man kann es aber grob in den Griff bekommen (mit einem detaillierten Prompt und viel testen).
• Hugging Chat kann man in die eigene Website einbauen (über iFrame), das Verhalten im Browser ist aber nicht immer konsistent (manchmal öffnet sich ein neuer Tab, mal nicht).
• Externe User können kostenfrei drauf zugreifen, müssen aber recht schnell einen (kostenfreien) Account bei Hugging Face anlegen.

Zwischenfazit

Hugging Chat Assistants sind eine super Möglichkeit, um sich einen experimentellen kleinen Helfer zu bauen. Die Open-Source-Sprachmodelle sind erstaunlich gut. Von den Prompts anderer Assistenten kannst du dir viele Inspirationen rausziehen.

Obwohl du den Assistenten auf die Menschheit loslassen könntest, ist die Nutzererfahrung nicht Endkonsumententauglich – denn nach wenigen Abfragen wird man aufgefordert, einen Hugging-Face-Account anzulegen. Firmeninterna oder persönliche Daten darfst für den Prompt auch nicht verwenden, da sie jeder einsehen kann.

Sinnvolle Einsatzzwecke

• Protoypen bauen: Du überlegst, ob du für die Firma, die Website oder sonstwas einen Chat Bot oder eine Custom-KI brauchst? Baue mit Hugging Chat Assistant einen Protoypen, teste ihn intern, verfeinere ihn und nutze das Ergebnis als Entscheiungsgrundlage für ein größeres Investment.
• Wissen erwerben: Schadet gar nicht.
• Assistenten für wiederkehrende Aufgaben bauen: Gerade die Kombination von Step-by-Step-Aufgaben kombiniert mit dem Prompting „Self Refine“ kann man gut als Sparringspartner nutzen.

Kontakt aufnehmen

---