Großes Sprachmodell (LLM)¶
[! [Versions-Abzeichen] (https://img.shields.io/badge/Updated in-v4.65-blue.svg)] (.. /.. /.. /release-notes/4.65.md)
[Große Sprachmodelle (LLMs)] (https://en.wikipedia.org/wiki/Large_language_model) sind eine bestimmte Art von generativen KI-Modellen, die für die Generierung von menschenähnlichem Text auf der Grundlage der bereitgestellten Eingaben und des bereitgestellten Kontexts entwickelt wurden. Diese Modelle werden mit großen Mengen an Textdaten trainiert, sodass sie Muster, Syntax und semantische Beziehungen zwischen Wörtern und Phrasen erlernen können.
Mit LLMs können virtuelle Agenten von Cognigy Benutzereingaben auf natürliche Weise verstehen und darauf reagieren. Diese Modelle machen Gespräche ansprechender, indem sie relevante und kontextuell angemessene Antworten generieren. LLMs helfen auch bei der Verwaltung von Dialogen und der Bereitstellung mehrsprachigen Supports, um das allgemeine Gesprächserlebnis für die Benutzer zu verbessern.
Unterstützte Modelle¶
In der folgenden Tabelle sind die LLMs aufgeführt, die von Cognigy unterstützt werden.
| Modelle/ Cognigy-Funktionen |
Generierung von Absichtssätzen | KI-gestützte Ausgaben | Generierung von Lexikonen | Flow-Generierung | GPT-Konversationsknoten | LLM-Eingabeaufforderungsknoten & Suchextrakt-Ausgabeknoten | Node-Ausgabe generieren | Wissenssuche | Stimmungsanalyse |
|---|---|---|---|---|---|---|---|---|---|
| Microsoft Azure OpenAI | |||||||||
| gpt-3.5-turbo (ChatGPT) | + | + | + | + | + | + | + | - | + |
| GPT-3.5-turbo-instruct | - | - | - | - | - | + | - | - | - |
| GPT-4 | - | - | - | - | - | + | - | - | - |
| text-davinci-003 (Veraltet) | + | + | + | + | + | + | + | - | - |
| text-embedding-ada-002 | - | - | - | - | - | - | - | + | - |
| OpenAI | |||||||||
| gpt-3.5-turbo (ChatGPT) | + | + | + | + | + | + | + | - | + |
| GPT-3.5-turbo-instruct | - | - | - | - | - | + | - | - | - |
| GPT-4 | - | - | - | - | - | + | - | - | - |
| text-davinci-003 (veraltet) | + | + | + | + | + | + | + | - | - |
| text-embedding-ada-002 | - | - | - | - | - | - | - | + | - |
| Anthropisch | |||||||||
| claude-v1-100k | - | - | - | - | - | + | - | - | - |
| claude-instant-v1 | - | - | - | - | - | + | - | - | - |
| text-bison-001 (Barde) | - | - | - | - | - | + | - | - | - |
| Aleph Alpha | |||||||||
| Leucht-Erweiterte-Steuerung | - | - | - | - | - | + | - | - | - |
Hinzufügen eines Modells¶
Gehen Sie folgendermaßen vor, um Cognigy.AI ein Modell hinzuzufügen:
- Öffnen Sie die Cognigy.AI-Schnittstelle.
- Gehen Sie zu Build > LLM.
- Klicken Sie auf +Neuer LLM.
- Wählen Sie im Fenster Neuer LLM ein Modell aus der Liste Modelltyp aus.
- Fügen Sie einen eindeutigen Namen und eine Beschreibung für Ihr Modell hinzu und klicken Sie auf Speichern.
- Wechseln Sie im Fenster LLM-Editor zum Feld Generative AI Connection.
- Klicken Sie auf der rechten Seite des Feldes auf +.
- Gehen Sie je nach Modellanbieter wie folgt vor:
8.1 Füllen Sie die folgenden Felder aus:<br>- **Verbindungsname** – Erstellen Sie einen eindeutigen Namen für Ihre Verbindung.<br>- **apiKey** – Fügen Sie einen [Azure-API-Schlüssel](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/quickstart?tabs=command-line&pivots=rest-api#retrieve-key-and-endpoint) hinzu. Dieser Wert finden Sie im Abschnitt Schlüssel und Endpunkt, wenn Sie Ihre Ressource über das Azure-Portal untersuchen. Sie können entweder 'KEY1' oder 'KEY2' verwenden.<br>- **Ressourcenname** — Fügen Sie einen [Ressourcennamen](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/how-to/create-resource?pivots=web-portal#create-a-resource) hinzu. Diesen Wert finden Sie im Azure-Portal unter **Ressourcenverwaltung > Bereitstellungen** oder alternativ unter **Verwaltung > Bereitstellungen** in Azure OpenAI Studio.<br>8.2 Klicken Sie auf **Erstellen**.<br>8.3 Füllen Sie die restlichen Felder aus:<br>- **Bereitstellungsname** – fügen Sie einen [Modellnamen](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/how-to/create-resource?pivots=web-portal#deploy-a-model) hinzu.<br>- **API-Version** — Fügen Sie eine [API-Version](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/reference#rest-api-versioning) hinzu. Die API-Version, die für diesen Vorgang im Format "JJJJ-MM-TT" verwendet werden soll. Beachten Sie, dass die Version ein erweitertes Format haben kann, z. B. "YYYY-MM-DD-preview". <br>- **Benutzerdefinierte URL** – dieser Parameter ist optional. Um die Verbindung zwischen Ihren Clustern und dem Azure OpenAI-Anbieter zu steuern, können Sie Verbindungen über dedizierte Proxyserver weiterleiten und so eine zusätzliche Sicherheitsebene schaffen. Geben Sie dazu die URL nach folgendem Muster an: '<resource-name>https://.openai.azure.com/openai/deployments/<deployment-name>/completions?api-version=<api-verson>'. Wenn eine benutzerdefinierte URL hinzugefügt wird, werden die Felder **Ressourcenname**, **Bereitstellungsname** und **API-Version** ignoriert.
8.1 Füllen Sie die folgenden Felder aus:<br>- **Verbindungsname** – Erstellen Sie einen eindeutigen Namen für Ihre Verbindung.<br>- **apiKey** — fügen Sie einen API-Schlüssel aus Ihrem OpenAI-Konto hinzu. Diesen Schlüssel finden Sie in den [Benutzereinstellungen](https://help.openai.com/en/articles/4936850-where-do-i-find-my-secret-api-key) Ihres OpenAI-Kontos.<br>8.2 Klicken Sie auf **Erstellen**.<br>8.3 Füllen Sie das restliche Feld aus:<br>- **Benutzerdefiniertes Modell** - Geben Sie das jeweilige Modell an, das Sie verwenden möchten. Dieser Parameter ist hilfreich, wenn Sie mehrere Modelltypen auf der Seite des LLM-Anbieters haben und beabsichtigen, einen bestimmten Modelltyp zu verwenden. Wenn Sie beispielsweise GPT-4 haben, können Sie "gpt-4-0613" für Ihren Anwendungsfall angeben. Dieser Parameter ist optional. Wenn ein benutzerdefiniertes Modell hinzugefügt wird, wird das standardmäßige LLM-Modell ignoriert. Weitere Informationen zu den Modellen des Anbieters finden Sie in der [OpenAI-Dokumentation](https://platform.openai.com/docs/models/overview).<br>=== "Anthropisch"
8.1 Füllen Sie die folgenden Felder aus:<br>- **Verbindungsname** – Erstellen Sie einen eindeutigen Namen für Ihre Verbindung.<br>- **apiKey** — fügen Sie einen API-Schlüssel hinzu, den Sie über [Kontoeinstellungen](https://console.anthropic.com/docs/api#accessing-the-api) in Anthropic generiert haben.<br>8.2 Klicken Sie auf **Erstellen**.<br>=== "Google"
8.1 Füllen Sie das Feld **Verbindungsname** aus, indem Sie einen eindeutigen Namen für Ihre Verbindung angeben.<br>8.2 Um die JSON-Datei mit einem Schlüssel für Ihr Modell hochzuladen, müssen Sie diesen Schlüssel abrufen. Rufen Sie die Google Vertex AI-Konsole auf.<br>8.3 Klicken Sie auf die Schaltfläche **Alle empfohlenen APIs aktivieren**, um eine API-Verbindung zu aktivieren, falls diese nicht aktiviert ist. Stellen Sie sicher, dass die Vertex AI-API aktiviert ist.<br>8.4 Gehen Sie im Menü auf der linken Seite zu **IAM & Admin > Service Accounts**.<br>8.5 Wählen Sie **Aktionen** und klicken Sie auf **Schlüssel verwalten**.<br>8.6 Wählen Sie auf der Seite **Schlüssel** die Option **Schlüssel hinzufügen** aus, und klicken Sie auf **Neuen Schlüssel erstellen**.<br>8.7 Wählen Sie im angezeigten Fenster den Schlüsseltyp **JSON** aus und klicken Sie auf **Erstellen**. Die Datei wird heruntergeladen.<br>8.8 Klicken Sie in Cognigy im Fenster **Neue Verbindung** auf **JSON-Datei hochladen** und laden Sie die Datei hoch.<br>8.9 Klicken Sie auf **Erstellen**.<br>8.10 Füllen Sie die restlichen Felder aus:<br>- **Position** – Fügen Sie eine [Region](https://cloud.google.com/vertex-ai/docs/general/locations) für das Modell hinzu. Beispiel: 'us-central1'.<br>- **API-Endpunkt** – fügen Sie einen [Dienstendpunkt](https://cloud.google.com/vertex-ai/docs/reference/rest#service-endpoint) für das Modell hinzu. Beispiel: "us-central1-aiplatform.googleapis.com". Beachten Sie, dass der Endpunkt ohne "https://" oder "http://" angegeben werden sollte. <br>- **Publisher** – Fügen Sie den Namen eines Besitzers des Modells hinzu. Wenn nicht angegeben, wird standardmäßig "Google" verwendet.
Dieser Parameter ist optional.<br>=== "Aleph Alpha"
8.1 Füllen Sie die folgenden Felder aus:<br>- **Verbindungsname** – Erstellen Sie einen eindeutigen Namen für Ihre Verbindung.<br>- **Token*** — Geben Sie einen Schlüssel an, den Sie in Ihrem [Aleph Alpha-Konto](https://docs.aleph-alpha.com/docs/account/#create-a-new-token) erstellt haben.<br>8.2 Klicken Sie auf **Erstellen**.<br>8.3 Füllen Sie das restliche Feld aus:<br>- **Benutzerdefiniertes Modell** - Geben Sie ein bestimmtes Modell an, das Sie verwenden möchten, z. B. 'luminous-base'. Dieser Parameter ist optional. Wenn ein benutzerdefiniertes Modell hinzugefügt wird, wird das standardmäßige LLM-Modell ignoriert. Weitere Informationen zu den Modellen des Anbieters finden Sie in der [Aleph Alpha-Dokumentation](https://docs.aleph-alpha.com/docs/introduction/model-card).<br> 9. Um die Änderungen zu übernehmen, klicken Sie auf **Speichern**.
- Um zu überprüfen, ob die Verbindung eingerichtet wurde, klicken Sie auf Test.
Wenn das Modell hinzugefügt wird, wird es in der Liste der Modelle angezeigt.
Um dieses Modell für Cognigy-Features anzuwenden, wechseln Sie zu den Einstellungen, indem Sie auf LLM-Features verwalten klicken.
Anwenden eines Modells¶
Gehen Sie folgendermaßen vor, um ein Modell anzuwenden:
- Öffnen Sie die Cognigy.AI-Schnittstelle.
- Klicken Sie im Menü auf der linken Seite auf > Einstellungen verwalten.
- Aktivieren Sie im Abschnitt Generative KI-Einstellungen die Option Generative KI-Funktionen aktivieren. Diese Einstellung ist standardmäßig aktiviert, wenn Sie zuvor die Anmeldeinformationen für die generative KI eingerichtet haben.
- Navigieren Sie zum gewünschten Merkmal und wählen Sie ein Modell aus der Liste aus. Wenn für das ausgewählte Feature keine Modelle verfügbar sind, wählt das System automatisch Keine aus.
- Klicken Sie auf Speichern.
Klonen eines Modells¶
Gehen Sie folgendermaßen vor, um eine Kopie des vorhandenen Modells zu erstellen:
- Wechseln Sie zu Build > LLM.
- Bewegen Sie den Mauszeiger über das vorhandene Modell und klicken Sie auf! [vertikale-Auslassungspunkte] (https://docs.cognigy.com/assets/icons/vertical-ellipsis.svg).
- Wählen Sie Klonen aus der Liste aus.
Das Modell enthält die gleichen Einstellungen wie das ursprüngliche.
Ein Modell als Standard festlegen¶
Durch das Festlegen eines Standardmodells wird ein reibungsloser Übergang sichergestellt, wenn ein bestimmtes Modell entfernt wird. Es garantiert, dass immer ein Modell verfügbar ist, um kompatible Anwendungsfälle zu behandeln, auch wenn das zugewiesene Modell entfernt wird.
Gehen Sie folgendermaßen vor, um ein Modell als Standard festzulegen:
- Wechseln Sie zu Build > LLM.
- Bewegen Sie den Mauszeiger über das vorhandene Modell und klicken Sie auf! [vertikale-Auslassungspunkte] (https://docs.cognigy.com/assets/icons/vertical-ellipsis.svg).
- Wählen Sie Als Standard festlegen aus der Liste aus.
Die Einstellung wird auf das ausgewählte Modell angewendet.
Exportieren eines Modells als Paket¶
Um ein Modell in anderen Agents wiederzuverwenden, können Sie das Modell packen.
Gehen Sie folgendermaßen vor, um ein Modell zu packen:
- Wechseln Sie zu Build > LLM.
- Bewegen Sie den Mauszeiger über das vorhandene Modell und klicken Sie auf! [vertikale-Auslassungspunkte] (https://docs.cognigy.com/assets/icons/vertical-ellipsis.svg).
- Wählen Sie Paket erstellen aus.
- Sobald das Paket erstellt wurde, wird eine neue Aufgabe mit dem Titel Paket erstellen ausgeführt werden. Um die Aufgabe anzuzeigen, klicken Sie auf ! [Aufgaben-Menü] (.. /.. /assets/icons/task-menu.svg) in der oberen rechten Ecke.
Wenn die Aufgabe abgeschlossen ist, wird das Paket heruntergeladen.
Löschen eines Modells¶
Beachten Sie, dass ein Standardmodell nicht gelöscht werden kann. Vor dem Löschen müssen Sie das Standard-Tag entfernen.
Um ein Modell zu löschen, gehen Sie folgendermaßen vor:
- Wechseln Sie zu Build > LLM.
- Bewegen Sie den Mauszeiger über das vorhandene Modell und klicken Sie auf! [vertikale-Auslassungspunkte] (https://docs.cognigy.com/assets/icons/vertical-ellipsis.svg).
- Wählen Sie Löschen.
- Bestätigen Sie den Löschvorgang. Funktionen, die auf diesem Modell basieren, funktionieren nicht mehr, wenn kein Standardmodell für die Unterstützung dieser Funktionen konfiguriert ist.
Das Modell wird aus der Liste gelöscht.