Prototyperstellung mit KI-Modellen

Wenn Sie eine generative KI-Anwendung entwickeln möchten, können Sie GitHub Models verwenden, um kostenlos KI-Modelle zu finden und mit ihnen zu experimentieren. Sobald du bereit bist, deine Anwendung in der Produktion zu nutzen, melde dich für die kostenpflichtige Nutzung für dein Unternehmen an.

Inhaber einer Organisation können ihre bevorzugten benutzerdefinierten Modelle mithilfe der LLM-API-Schlüssel ihrer Organisation in GitHub Models integrieren. Weitere Informationen findest du unter Verwenden eigener API-Schlüssel in GitHub Modellen.

Weitere Informationen findest du auch unter Verantwortungsvolle Nutzung von GitHub-Modellen.

Finden von KI-Modellen

Um ein KI-Modell zu finden:

1. Wechsle zu github.com/marketplace/models.

2. Klicke auf Model: Select a Model.

3. Wähle ein Modell aus dem Dropdownmenü aus.

   Klicke alternativ im Dropdownmenü auf View all models, klicke auf ein Modell im Marketplace, und klicke dann auf Playground.

Das Modell wird im Modellspielplatz geöffnet. Details des Modells werden in der Randleiste auf der rechten Seite angezeigt. Wenn die Randleiste nicht angezeigt wird, erweitern Sie sie, indem Sie auf das Symbol rechts neben dem Playground klicken.

Experimentieren mit KI-Modellen im Playground

Der KI-Modell-Playground ist eine kostenlose Ressource, mit der du Modellparameter anpassen und Prompts übermitteln kannst, um zu sehen, wie ein Modell reagiert.

Um Parameter für das Modell anzupassen, wähle im Playground die Registerkarte Parameters in der Randleiste aus.

Um Code anzuzeigen, der den von Ihnen ausgewählten Parametern entspricht, wechseln Sie von der Registerkarte Chat zur Registerkarte Code.

Vergleich von Modellen

Du kannst einen Prompt gleichzeitig an zwei Modelle senden und die Antworten vergleichen.

Wenn ein Modell im Playground geöffnet ist, klicke auf Compare, und wähle dann im Dropdownmenü ein Modell für den Vergleich aus. Das ausgewählte Modell wird in einem zweiten Chatfenster geöffnet. Wenn du einen Prompt in einem Chatfenster eingibst, wird der Prompt im anderen Fenster gespiegelt. Die Prompts werden gleichzeitig übermittelt, damit du die Antworten aus jedem Modell vergleichen kannst.

Alle Parameter, die du festlegst, werden für beide Modelle verwendet.

Auswerten von KI-Modellen

Nachdem du mit dem Testen von Prompts im Playground begonnen haben, kannst du die Modellleistung mithilfe strukturierter Metriken auswerten. Auswertungen helfen dir, mehrere Promptkonfigurationen über verschiedene Modelle hinweg zu vergleichen und zu bestimmen, welches Setup am besten funktioniert.

In der Ansicht „Comparisons“ kannst du Bewertungen wie Ähnlichkeit, Relevanz und Groundedness anwenden, um zu messen, wie gut jede Ausgabe deine Erwartungen erfüllt. Du kannst auch eigene Bewertungskriterien mit einer benutzerdefinierten Promptbewertung definieren.

Eine Schritt-für-Schritt-Anleitung findest du unter Auswerten von Ausgaben.

Experimentieren mit KI-Modellen mithilfe der API

GitHub bietet kostenlose API-Verwendung, damit Sie mit KI-Modellen in Ihrer eigenen Anwendung experimentieren können.

Die Schritte zur Verwendung der einzelnen Modelle sind ähnlich. Sie müssen im Allgemeinen die folgenden Schritte ausführen:

1. Wechsle zu github.com/marketplace/models.

2. Klicke auf Model: Select a Model.

3. Wähle ein Modell aus dem Dropdownmenü aus.

   Klicke alternativ im Dropdownmenü auf View all models, klicke auf ein Modell im Marketplace, und klicke dann auf Playground.

   Das Modell wird im Model Playground geöffnet.

4. Klicke auf die Registerkarte Code.

5. Verwenden Sie optional das Sprach-Dropdown, um die Programmiersprache auszuwählen.

6. Optional können Sie das SDK-Dropdown verwenden, um auszuwählen, welches SDK verwendet werden soll.

   Alle Modelle können mit dem Azure AI Inference SDK verwendet werden, und einige Modelle unterstützen zusätzliche SDKs. Wenn du problemlos zwischen Modellen wechseln möchtest, solltest du „Azure AI Inference SDK“ auswählen. Wenn Sie „REST“ als Sprache ausgewählt haben, verwenden Sie kein SDK. Stattdessen verwenden Sie den API-Endpunkt direkt.

7. Öffnen Sie entweder einen Codespace oder richten Sie Ihre lokale Umgebung ein:

   • Um in einem Codespace auszuführen, klicken Sie auf Codespace ausführen und dann auf Neuen Codespace erstellen.
   • Lokal ausführen:
     • Erstellen Sie eine GitHubpersonal access token. Das Token benötigt models:read-Berechtigungen. Weitere Informationen findest du unter Verwalten deiner persönlichen Zugriffstoken.
     • Speichern Sie Ihr Token als Umgebungsvariable.
     • Installieren Sie die Abhängigkeiten für das SDK, falls erforderlich.

8. Verwenden Sie den Beispielcode, um eine Anforderung an das Modell zu stellen.

Die kostenlose Nutzung der API unterliegt einer Ratenbegrenzung. Weitere Informationen finden Sie unter Ratenbegrenzung weiter unten.

Speichern und Freigeben deiner Playgroundexperimente

Du kannst deinen Fortschritt im Playground mit Voreinstellungen speichern und teilen. Voreinstellungen speichern:

• Dein aktueller Status
• Deine Parameter
• Dein Chatverlauf (optional)

Um eine Voreinstellung für Ihren aktuellen Kontext zu erstellen, wählen Sie "Voreinstellung: VOREINGESTELLTER NAME " oben rechts im Playground aus, und klicken Sie dann auf " Neue Voreinstellung erstellen". Du musst deiner Voreinstellung einen Namen geben. Zudem kannst du für deine Voreinstellung eine Beschreibung eingeben, deinen Chatverlauf einbinden und zulassen, dass deine Voreinstellung freigegeben werden kann.

Es gibt zwei Möglichkeiten, eine Voreinstellung zu laden:

• Wählen Sie das Dropdownmenü "Preset:PRESET-NAME " aus, und klicken Sie dann auf die Voreinstellung, die Sie laden möchten.
• Öffnen Sie eine freigegebene Voreinstellung-URL

Nach dem Laden einer Voreinstellung kannst du diese bearbeiten, freigeben oder löschen.

• Um die Voreinstellung zu bearbeiten, änderst du die Parameter und rufst das Modell auf. Nachdem Sie mit Ihren Änderungen zufrieden sind, wählen Sie das Dropdownmenü "Preset:PRESET-NAME " aus, und klicken Sie dann auf "Voreinstellung bearbeiten ", und speichern Sie Ihre Updates.
• Um die Voreinstellung freizugeben, wählen Sie das Dropdownmenü "Preset:PRESET-NAME " aus, und klicken Sie dann auf "Voreinstellung freigeben ", um eine freigabefähige URL zu erhalten.
• Um die Voreinstellung zu löschen, wählen Sie das Dropdownmenü "Preset:PRESET-NAME " aus, und klicken Sie dann auf "Voreinstellung löschen ", und bestätigen Sie den Löschvorgang.

Verwenden des Prompt-Editors

Der Prompt-Editor in GitHub Models ist dafür konzipiert, Sie dabei zu unterstützen, Ihre Prompts iterativ zu überarbeiten, zu verfeinern und zu perfektionieren. Diese dedizierte Ansicht bietet eine fokussierte und intuitive Oberfläche zum Erstellen und Testen von Eingaben, sodass du folgende Möglichkeiten hast:

• Schnelles Testen und Verfeinern von Prompts ohne die Komplexität mehrfacher Interaktionen.
• Optimieren von Prompts, sodass sie präzise und relevant für deine Projekte sind.
• Verwenden eines speziellen Raums für einteilige Szenarios, um konsistente und optimierte Ergebnisse zu gewährleisten.

Um auf den Eingabeaufforderungs-Editor zuzugreifen, klicken Sie oben rechts im Playground auf den Eingabeaufforderungs-Editor .

Experimentieren mit KI-Modellen in Visual Studio Code

Wenn Sie lieber mit KI-Modellen in Ihrer IDE experimentieren möchten, können Sie die Erweiterung „AI Toolkit“ für Visual Studio Code installieren und dann Modelle mit anpassbaren Parametern und Kontext testen.

1. Installieren Sie in Visual Studio Code die Vorabversion des AI Toolkits für Visual Studio Code.

2. Klicke zum Öffnen der Erweiterung auf das KI-Toolkit-Symbol in der Aktivitätsleiste.

3. Autorisieren Sie das AI Toolkit, um eine Verbindung mit Ihrem GitHub Konto herzustellen.

4. Klicke im Panel „AI Toolkit“ im Abschnitt „My models“ auf Open Model Catalog, und suche nach einem Modell zum Experimentieren.

   • Um ein über GitHub Models remote gehostetes Modell zu verwenden, klicken Sie auf der Modellkarte auf Im Playground ausprobieren.
   • Um ein Modell herunterzuladen und lokal zu verwenden, klicke auf der Modellkarte auf Download. Klicke, nachdem der Download abgeschlossen ist, auf derselben Modellkarte auf Im Playground laden.

5. Gibt in der Randleiste Kontextanweisungen und Rückschlussparameter für das Modell an und sende dann ein Prompt.

In die Produktion gehen

Die im Playground angegebenen kostenlosen Ratenbegrenzungen und die API-Nutzung sollen dir bei den ersten Schritten mit Experimenten helfen. Wenn du nicht mehr das kostenlose Angebot nutzen möchtest, hast du außerhalb der kostenlosen Grenzwerte zwei Optionen für den Zugriff auf KI-Modelle:

• Sie können die kostenpflichtige Nutzung für GitHub Models aktivieren, damit Ihre Organisation auf erhöhte Ratenlimits, größere Kontextfenster und zusätzliche Funktionen zugreifen kann. Weitere Informationen findest du unter Abrechnung von GitHub Modellen.
• Wenn du ein vorhandenes OpenAI- oder Azure-Abonnement hast, kannst du deine eigenen API-Schlüssel (Bring Your Own Key, BYOK) verwenden, um auf benutzerdefinierte Modelle zuzugreifen. Abrechnung und Nutzung werden direkt über dein Anbieterkonto verwaltet, z. B. deine Azure-Abonnement-ID. Weitere Informationen findest du unter Verwenden eigener API-Schlüssel in GitHub Modellen.

Ratenbegrenzungen

Die Playground- und die kostenlose API-Nutzung sind durch Anforderungen pro Minute, Anforderungen pro Tag, Token pro Anforderung und gleichzeitige Anforderungen eingeschränkt. Wenn Sie eine Geschwindigkeitsbegrenzung erreichen, müssen Sie warten, bis die erreichte Begrenzung zurückgesetzt wird, bevor Sie weitere Anfragen stellen können.

Niedrige, hohe und Einbettungsmodelle weisen unterschiedliche Ratenbegrenzungen auf. Um zu sehen, welchen Modelltyp Sie verwenden, finden Sie die Informationen zum Modell in GitHub Marketplace.

Für benutzerdefinierte Modelle, auf die mit eigenen API-Schlüsseln zugegriffen wird, werden Ratenbegrenzungen vom Modellanbieter festgelegt und erzwungen.

Ratenbegrenzungsebene	Ratenbegrenzungen	Copilot Kostenlos	Copilot Pro	Copilot Business	Copilot Enterprise
Niedrig	Anforderungen pro Minute	15	15	15	20
	Anforderungen pro Tag	150	150	300	450
	Token pro Anforderung	8000 Eingang, 4000 Ausgang	8000 Eingang, 4000 Ausgang	8000 Eingang, 4000 Ausgang	8000 Eingang, 8000 Ausgang
	Gleichzeitige Anforderungen	5	5	5	8
Hoch	Anforderungen pro Minute	10	10	10	15
	Anforderungen pro Tag	50	50	100	150
	Token pro Anforderung	8000 Eingang, 4000 Ausgang	8000 Eingang, 4000 Ausgang	8000 Eingang, 4000 Ausgang	16000 Eingang, 8000 Ausgang
	Gleichzeitige Anforderungen	2	2	2	4
Einbettung	Anforderungen pro Minute	15	15	15	20
	Anforderungen pro Tag	150	150	300	450
	Token pro Anforderung	64000	64000	64000	64000
	Gleichzeitige Anforderungen	5	5	5	8
Azure OpenAI o1-Vorschau	Anforderungen pro Minute	Nicht zutreffend	1	2	2
	Anforderungen pro Tag	Nicht zutreffend	8	10	12
	Token pro Anforderung	Nicht zutreffend	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 8000 Ausgang
	Gleichzeitige Anforderungen	Nicht zutreffend	1	1	1
Azure OpenAI o1, o3 und gpt-5	Anforderungen pro Minute	Nicht zutreffend	1	2	2
	Anforderungen pro Tag	Nicht zutreffend	8	10	12
	Token pro Anforderung	Nicht zutreffend	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 8000 Ausgang
	Gleichzeitige Anforderungen	Nicht zutreffend	1	1	1
Azure OpenAI o1-mini, o3-mini, o4-mini, gpt-5-mini, gpt-5-nano und gpt-5-chat	Anforderungen pro Minute	Nicht zutreffend	2	3	3
	Anforderungen pro Tag	Nicht zutreffend	12	15	20
	Token pro Anforderung	Nicht zutreffend	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang
	Gleichzeitige Anforderungen	Nicht zutreffend	1	1	1
DeepSeek-R1, DeepSeek-R1-0528 und MAI-DS-R1	Anforderungen pro Minute	1	1	2	2
	Anforderungen pro Tag	8	8	10	12
	Token pro Anforderung	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang
	Gleichzeitige Anforderungen	1	1	1	1
xAI Grok-3	Anforderungen pro Minute	1	1	2	2
	Anforderungen pro Tag	15	15	20	30
	Token pro Anforderung	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 8000 Ausgang	4000 Eingang, 16000 Ausgang
	Gleichzeitige Anforderungen	1	1	1	1
xAI Grok-3-Mini	Anforderungen pro Minute	2	2	3	3
	Anforderungen pro Tag	30	30	40	50
	Token pro Anforderung	4000 Eingang, 8000 Ausgang	4000 Eingang, 8000 Ausgang	4000 Eingang, 12000 Ausgang	4000 Eingang, 12000 Ausgang
	Gleichzeitige Anforderungen	1	1	1	1

Diese Begrenzungen können ohne Vorherige Ankündigung geändert werden.

Hinterlassen von Feedback

Eine Möglichkeit für Fragen und Feedback findest du unter GitHub Models discussion post. Wenn Sie erfahren möchten, wie andere GitHub Models verwenden, besuchen Sie die GitHub-Community-Diskussionen zu Models.