Verwenden von GitHub Models zur Entwicklung KI-gestützter Anwendungen in Ihrem Unternehmen

GitHub Models ermöglicht Es Ihren Entwicklern, KI-basierte Anwendungen im Großen und Umfang zu erstellen, während Ihr Unternehmen die Kontrolle, Compliance und Kosteneffizienz aufrecht erhält.

Warum GitHub Models?

• Zentrale Modellverwaltung: Du bestimmst, welche KI-Modelle und -Anbieter für Entwickler in deiner Organisation zur Verfügung stehen.
• Schnelle KI-Entwicklung: Schnelle Prototyperstellung, Bewertung und Optimierung von Prompts und Modellen.
• API-Zugriff: Verwenden Sie die GitHub Models REST-API, um Unternehmensworkflows zu automatisieren und zu integrieren.
• Integration benutzerdefinierter Modelle: Verwenden Sie Ihre eigenen LLM-API-Schlüssel, um externe oder benutzerdefinierte Modelle anzubinden. So erhält Ihre Organisation mehr Flexibilität und Kontrolle darüber, welche Modelle in GitHub Models verfügbar sind, und bleibt zugleich mit Ihren bestehenden Zahlungsmethoden, Guthaben und Anbietern im Einklang.
• Kontrollmechanismen für Governance und Compliance: Setze die Standards deiner Organisation durch und überwache die Modellnutzung.
• Kostenoptimierung: Vermeide unerwartete Kosten durch hochpreisige Modelle.
• Zusammenarbeit: Teilen Sie Prompts und Ergebnisse unter Verwendung gängiger Entwicklungspraktiken GitHub.
• Sicherheitsorientierte Architektur: Seien Sie sicher, dass Ihre Daten innerhalb GitHub und Azure verbleiben und nicht mit Modellanbietern geteilt werden.
• Grafische Benutzeroberfläche: Ermögliche nicht technischen Teammitgliedern, neben Entwicklern einen Beitrag zu leisten.
• Versionskontrolle: Alle Prompt- und Modelländerungen durchlaufen einen standardmäßigen GitHub Commit- und Pull-Request-Workflow, sodass Sie wissen, wann und warum sich ein Prompt geändert hat.

Siehe Informationen zu GitHub Modellen.

Bewährte Methoden für die Verwendung GitHub Models im großen Maßstab

Die folgenden bewährten Methoden können Ihnen bei der effektiven Verwendung GitHub Models in Ihrer Organisation helfen.

Vergleichen und Bewerten von KI-Modellen aus Gründen der Governance und Compliance

Verschaffe dir einen Überblick über verfügbare KI-Modelle und bewerte sie anhand der Anforderungen an Governance, Datensicherheit und Compliance in deinem Unternehmen. Sie können dies in jedem für Models aktivierten GitHub Repository oder im GitHub Models Katalog von GitHub Marketplace unter https://github.com/marketplace?type=models tun. Dabei kannst du dir zu folgenden Punkten Gedanken machen:

• Governance und Sicherheit: Prüfe, ob bei den einzelnen Modellen Normen und Vorschriften wie die DSGVO, SOC 2 und ISO 27001 eingehalten werden, und sorge dafür, dass Daten nicht außerhalb deiner Organisation gespeichert werden, es sei denn, sie werden mit deiner ausdrücklichen Zustimmung protokolliert.
• Modellleistung: Führe Benchmarkbewertungen für deine internen Datasets durch, um Begründung, Kontextaufbewahrung und Halluzinationsraten zu bewerten.
• API-Steuerung und -Sichtbarkeit: Lege eine differenzierte Steuerung für Nutzungskontingente, Promptüberprüfungen und Ratenbegrenzungen auf Team- oder Organisationsebene fest.
• Kostenoptimierung: Berücksichtige dabei die Preise für Token, die Rückschlussgeschwindigkeit und die Verfügbarkeit von Modellvarianten für eine abgestufte Nutzung. So kannst du beispielsweise für die Testfallgenerierung kostengünstigere Modelle verwenden als für Architekturbesprechungen, für die anspruchsvolle Modelle erforderlich sind.

Nachdem Sie entschieden haben, welche Modelle Sie verwenden möchten, können Sie access in Ihrer Organisation auf diese Modelle beschränken, siehe Verwalten der Modellnutzung deines Teams.

Optimieren und Teilen von Prompts in verschiedenen Teams

Ihre Entwickler können den Eingabeaufforderungs-Editor GitHub Models verwenden, um Eingabeaufforderungen zu erstellen und zu verfeinern. Teams können mit unterschiedlichen Aufforderungsvariationen und Modellen in einer stabilen, nicht produktionsfremden Umgebung experimentieren, die in GitHub Entwicklungsworkflows integriert ist. Dank der grafischen Benutzeroberfläche können neben Entwicklern auch nicht technische Projektbeteiligte einen Beitrag leisten. Siehe Using the prompt editor.

Mit dem einfachen Auswertungstool kann dein Team Ergebnisse anhand gängiger Metriken wie Wartezeit, Relevanz und Fundiertheit vergleichen. Du kannst aber auch benutzerdefinierte Auswerter erstellen. Vergleiche die Prompt- und Modellleistung für deine spezifischen Anwendungsfälle für generative KI, wie etwa für die Erstellung von Code, Tests, Dokumentation oder Code-Review-Vorschlägen.

Wenn Ihr Team effektive Eingabeaufforderungen erstellt, können sie sie als YAML-Dateien speichern und zur Überprüfung mithilfe von GitHub Pullanforderungen freigeben. Bestätigte Eingabeaufforderungen sind für andere Teams und Workflows zugänglich und können mit den Standards Ihres Unternehmens in Einklang gehalten werden. Durch diesen zentralisierten und gemeinschaftlichen Ansatz zur Verwaltung von Prompts wird die Entwicklung beschleunigt und du kannst in deinem Unternehmen bewährte Methoden durchsetzen.

Auswerten und Optimieren der Nutzungskosten eines Modells

Wenn die Nutzung Ihrer KI-gestützten Anwendung zunimmt und sich KI-Modelle verbessern, verwenden Sie GitHub Models, um die Kosten und Leistung verschiedener Modelle und Modellaktualisierungen zu bewerten. Wähle die kostengünstigsten Optionen für die Anforderungen deines Unternehmens und verwalte die Ausgaben, während sich die Nutzung auf mehrere Teams verteilt.

Verwenden Sie die GitHub Models REST-API oder Erweiterungen zur programmgesteuerten Verwaltung

Um Ressourcen in allen Teams effizienter zu verwalten, können Sie die GitHub Models REST-API für Folgendes nutzen:

• Manage and update organization settings: Programmatisch die Zugriffsberechtigungen des Modells und die Governance-Einstellungen gleichzeitig in mehreren Teams aktualisieren, um Konsistenz und Compliance sicherzustellen.
• Auflisten und Abrufen von Prompts: Du kannst Prompts, die von verschiedenen Teams genutzt werden, auflisten, abrufen und überwachen, um die Nutzung zu überwachen, erfolgreiche Prompts zu teilen und ein zentrales Repository mit bewährten Methoden bereitzustellen.
• Ausführen von Modellinferenzanforderungen: Führe für bestimmte Modelle und Parameter wie Häufigkeitsstrafe, maximal zulässige Token, Antwortformat und Anwesenheitsstrafe Inferenzanforderungen aus.

Zum Ausführen von Inferenzanforderungen und zum Verwalten von Prompts kannst du auch folgende Erweiterungen verwenden:

• GitHub Models Erweiterung für GitHub CLI
• GitHub Models Erweiterung für GitHub Copilot Gespräch
• GitHub Models VS Code-Erweiterung

Überwachen, Iterieren und Integrieren

Mit integrierten Governancefeatures kannst du die Modellnutzung überwachen und die kontinuierliche Einhaltung von Unternehmensrichtlinien sicherstellen. Überwachungsprotokolle geben Aufschluss darüber, wer auf Modelle und Prompts zugegriffen oder diese geändert hat. Die GitHub Models Repository-Integration ermöglicht es allen Beteiligten, zusammenzuarbeiten und KI-gestützte Anwendungen kontinuierlich weiterzuentwickeln.

Beispiel: Verwenden Sie GitHub Models mit GitHub Actions, um Probleme zusammenzufassen.

Umfangreiche Softwareentwicklungsprojekte enthalten häufig Issues voller technischer Details. Sie können KI-basierte Problemzusammenfassungen mithilfe GitHub Models und GitHub Actionsbereitstellen.

Voraussetzung: Aktivieren Sie GitHub Models in Ihrer Organisation, und legen Sie die Modelle und Herausgeber fest, die Sie einzelnen Repositorys zur Verfügung stellen möchten.

1. Erstellen eines Prompts in einem Repository

   Erstelle im Prompt-Editor auf der Registerkarte „Models“ eines Repositorys einen Prompt.

   Beispiel für einen Systemprompt:

   Sie sind ein Zusammenfasser von GitHub-Issues. Hebe wichtige technische Punkte oder wichtige Fragen hervor.

   Beispiel für einen Benutzerprompt:

   Dieses Problem zusammenfassen – {{input}}

2. Führen Sie Ihr Prompt aus und verfeinern Sie es

   Führe deinen Prompt aus. Gib im Bereich „Variables“ als Wert von {{input}} einige Beispiele für Issueinhalte ein.

   Probier verschiedene Modelle aus (z. B. OpenAI GPT-4o), und vergleiche die Ergebnisse. Passe Parameter wie maximal zulässige Token und Temperatur an. Durchlaufe diese Schritte, bis du mit den Ergebnissen zufrieden bist.

3. Optionales Ausführen ausführlicherer Tests

   In der Ansicht „Compare“ kannst du mehrere deiner Prompts gleichzeitig mit verschiedenen Modellen vergleichen und die Ergebnisse in einer Rasteransicht anzeigen. Zudem kannst du Auswerter definieren und verwenden, um sicherzustellen, dass die Ergebnisse bestimmte Schlüsselwörter enthalten oder andere Standards erfüllen.

4. Bestätige deinen Prompt

   Benenne deinen Prompt und committe die Änderungen, um den Pull-Request-Prozess zu durchlaufen. Wenn du deinem Prompt beispielsweise den Namen summarize gibst, erhältst du auf Stammebene deines Repositorys eine summarize.prompt.yaml-Datei, die ungefähr wie folgt aussieht:

   messages:
     - role: system
       content: >-
         You are a summarizer of GitHub issues. Emphasize key technical points or
         important questions.
     - role: user
       content: 'Summarize this issue, please - {{input}}'
   model: openai/gpt-4o
   modelParameters:
     max_tokens: 4096
   

   Nachdem dein Pull Request überprüft und gemergt wurde, ist dein Prompt für alle Benutzer zur Verwendung im Repository verfügbar.

5. Aufrufen deines Prompts in einem Workflow

   Informationen zum Erstellen von Workflows findest du unter Schreiben von Workflows.

   Damit ein Prompt in einem Workflow aufgerufen werden kann, musst du die Berechtigung models: read festlegen.

   Hier ist ein Beispiel für einen Workflow, mit dem jedem neu erstellten Issue eine KI-generierte Zusammenfassung als Kommentar hinzugefügt wird:

   YAML

   name: Summarize New Issue
   
   on:
     issues:
       types: [opened]
   
   permissions:
     issues: write
     contents: read
     models: read
   
   jobs:
     summarize_issue:
       runs-on: ubuntu-latest
       steps:
         - name: Checkout repository
           uses: actions/checkout@v6
   
         - name: Install gh-models extension
           run: gh extension install https://github.com/github/gh-models
           env:
             GH_TOKEN: ${{ github.token }}
   
         - name: Create issue body file
           run: |
             cat > issue_body.txt << 'EOT'
             ${{ github.event.issue.body }}
             EOT
   
         - name: Summarize new issue
           run: |
             cat issue_body.txt | gh models run --file summarize.prompt.yml > summary.txt
           env:
             GH_TOKEN: ${{ github.token }}
   
         - name: Update issue with summary
           run: |
             SUMMARY=$(cat summary.txt)
             gh issue comment ${{ github.event.issue.number }} --body "### Issue Summary
             ${SUMMARY}"
           env:
             GH_TOKEN: ${{ github.token }}
   

6. Überwachen und Iterieren

   Sie können die Leistung der Aktion überwachen und Prompt sowie Modellauswahl mithilfe des GitHub Models Prompt-Editors iterativ optimieren. Sie können auch die CLI-Erweiterung verwenden, um lokal zu testen, oder die verwenden, um die Eingabeaufforderungs- und Modelleinstellungen programmgesteuert zu aktualisieren.

   Du kannst auch in Betracht ziehen, die Modellantwort als Datei in deinem Repository zu speichern, damit du die Leistung des Modells über die Zeit überprüfen und iterieren kannst. So kannst du die Qualität der Zusammenfassungen kontinuierlich verbessern und sicherstellen, dass sie den Anforderungen deines Teams entsprechen.