Использование GitHub Models для разработки приложений на основе ИИ в вашей организации

GitHub Models позволяет разработчикам создавать приложения с поддержкой искусственного интеллекта в масштабе, пока ваше предприятие поддерживает контроль, соответствие требованиям и эффективность затрат.

Почему GitHub Models?

• Централизованное управление моделями: управление моделями ИИ и поставщиками, доступными разработчикам в вашей организации.
• Разработка ИИ на скорости: быстрое прототип, оценка и оптимизация запросов и моделей.
• **Доступ к API:**GitHub Models Используйте REST API для автоматизации и интеграции с корпоративными рабочими процессами.
• Интеграция пользовательской модели: Предоставьте собственные ключи API LLM для подключения внешних или пользовательских моделей, обеспечивая вашей организации большую гибкость и контроль над доступными моделями GitHub Models, а также обеспечить соответствие существующим методам оплаты, кредитам и поставщикам.
• Управление и контроль соответствия требованиям. Применение стандартов организации и мониторинг использования моделей.
• Оптимизация затрат. Избегайте непредвиденных затрат из высокоценных моделей.
• Сотрудничество: Предоставление общего доступа к запросам и результатам с помощью стандартных GitHub методик разработки.
• Архитектура, ориентированная на безопасность: Убедитесь, что данные остаются в пределах GitHub и Azure и не совместно используются поставщиками моделей.
• Визуальный интерфейс: разрешить участникам команды, не являющихся техническими, участвовать вместе с разработчиками.
• Управление версиями: Все изменения запроса и модели проходят через стандартный GitHub поток фиксации и запроса на вытягивание, чтобы узнать, когда и почему запрос изменился.

См. О моделях GitHub.

Рекомендации по использованию GitHub Models в масштабе

Следующие рекомендации помогут эффективно использовать GitHub Models в организации.

Сравнение и оценка моделей ИИ для управления и соответствия требованиям

Просмотрите и сравните доступные модели искусственного интеллекта с учетом требований к управлению, безопасности данных и соответствию требованиям вашей компании. Это можно сделать в любом репозитории с поддержкой GitHub моделей или в каталоге GitHub Models из at GitHub Marketplacehttps://github.com/marketplace?type=models. Ваши рекомендации могут включать:

• Управление и безопасность. Проверьте соответствие каждой модели стандартам и нормативным требованиям, таким как GDPR, SOC 2 и ISO 27001, и убедитесь, что данные не сохраняются за пределами вашей организации, если явно не зарегистрировано согласие.
• Производительность модели. Выполнение тестовых вычислений на внутренних наборах данных для оценки причин, хранения контекста и галлюцинации.
• Управление API и видимость. Требуют детального контроля над квотами использования, проверкой запросов и ограничениями скорости на уровне команды или организации.
• Оптимизация затрат: включите цены на токены, скорость вывода и доступность вариантов модели для многоуровневого использования. Например, можно использовать более дешевые модели для создания тестового варианта по сравнению с расширенными моделями для обсуждения архитектуры.

Когда вы определитесь, какие модели хотите использовать, вы можете ограничить access в вашей организации только этими моделями, см. Управление использованием модели вашей команды.

Оптимизация и предоставление общего доступа к запросам между командами

Разработчики могут использовать редактор запросов для GitHub Models создания и уточнения запросов. Teams может экспериментировать с различными вариантами запросов и моделями в стабильной нерабокой среде, которая интегрируется с GitHub рабочими процессами разработки. Визуальный интерфейс позволяет не техническим заинтересованным лицам участвовать вместе с разработчиками. См. Использование редактора подсказок.

Упрощенное средство оценки позволяет команде сравнивать результаты между общими метриками, такими как задержка, релевантность и заземленность, или создавать пользовательские вычислители. Сравните производительность запросов и моделей для конкретных вариантов использования искусственного интеллекта, таких как создание кода, тестов, документации или предложения по просмотру кода.

По мере того как ваша команда создает эффективные запросы, они могут сохранить их в виде файлов YAML и поделиться ими для проверки с помощью GitHub запросов на вытягивание. Зафиксированные запросы доступны другим командам и рабочим процессам и могут быть согласованы со стандартами вашей компании. Этот централизованный и совместный подход к управлению запросами ускоряет разработку и помогает применять рекомендации по всей организации.

Оценка и оптимизация затрат на использование модели

При внедрении приложения с использованием искусственного интеллекта и улучшения моделей ИИ используйте GitHub Models для оценки затрат и производительности различных моделей и обновлений моделей. Выберите наиболее экономичные варианты потребностей вашей организации и управление затратами в качестве масштабирования использования в нескольких командах.

GitHub Models Использование REST API или расширений для программного управления

Для более эффективного GitHub Models управления ресурсами во всех командах можно использовать REST API для:

• Управление и обновление настроек организации: Программно обновлять модели access прав и настройки управления для нескольких команд одновременно, чтобы обеспечить согласованность и соответствие.
• Вывод списка и получения запросов: перечисление, извлечение и аудит запросов, используемых различными командами, для мониторинга использования, совместного использования запросов и поддержания центрального репозитория рекомендаций.
• Выполнение запросов вывода модели: выполнение запросов вывода для определенных моделей и параметров, таких как штраф частоты, максимальный маркер, формат ответа и штраф на наличие.

Вы также можете использовать эти расширения для выполнения запросов вывода и управления запросами:

• GitHub Models расширение для GitHub CLI
• GitHub Models расширение для Чат GitHub Copilot
• GitHub Models Расширение VS Code

Мониторинг, итерацию и интеграцию

С помощью встроенных функций управления можно отслеживать использование моделей и обеспечивать постоянное соответствие политикам компании. Журналы аудита обеспечивают видимость доступа к или изменению моделей и запросов. Интеграция GitHub Models репозитория позволяет всем заинтересованным лицам постоянно выполнять итерацию в приложениях, на основе ИИ.

Пример. Использование GitHub Models с GitHub Actions суммированием проблем

Крупные проекты разработки программного обеспечения часто содержат вопросы, полные технических сведений. Вы можете развернуть сводки проблем, управляемых ИИ, с помощью GitHub Models и GitHub Actions.

Предварительные требования: Включите GitHub Models в организации и задайте модели и издатели, которые вы хотите сделать доступными для отдельных репозиториев.

1. Создание запроса в репозитории

   На вкладке "Модели" репозитория создайте запрос с помощью редактора запросов.

   Пример системного запроса:

   Вы — обобщитель проблем с GitHub. Подчеркнуть ключевые технические моменты или важные вопросы.

   Пример запроса пользователя:

   Сводные сведения об этой проблеме : {{input}}

2. Выполнение и итерацию в запросе

   Запустите запрос. Укажите пример содержимого проблемы в области "Переменные" в качестве значения {{input}}.

   Попробуйте использовать разные модели (например, OpenAI GPT-4o) и сравнить результаты. Настройте такие параметры, как максимальные маркеры и температура. Выполните итерацию до тех пор, пока вы не удовлетворены результатами.

3. При необходимости выполните более обширные тесты

   Представление "Сравнение" позволяет одновременно запускать несколько запросов к разным моделям и видеть, как результаты сравниваются в представлении сетки. Вы также можете определить и использовать вычислители, чтобы убедиться, что результаты содержат определенные ключевые слова или соответствуют другим стандартам.

4. Фиксация запроса

   Присвойте запросу имя и зафиксируйте изменения для прохождения потока запроса на вытягивание. Например, если вы назовете запрос summarize, вы получите summarize.prompt.yaml файл на корневом уровне репозитория, который выглядит примерно так:

   messages:
     - role: system
       content: >-
         You are a summarizer of GitHub issues. Emphasize key technical points or
         important questions.
     - role: user
       content: 'Summarize this issue, please - {{input}}'
   model: openai/gpt-4o
   modelParameters:
     max_tokens: 4096
   

   После проверки и объединения запроса на вытягивание запрос будет доступен для всех пользователей, которые будут использоваться в репозитории.

5. Вызов запроса в рабочем процессе

   Сведения о создании рабочих процессов см. в разделе Написание рабочих процессов.

   Необходимо задать models: read разрешение, чтобы разрешить вызов запроса в рабочем процессе.

   Ниже приведен пример рабочего процесса, который добавляет сводку, созданную СИ, в качестве комментария к любой недавно созданной проблеме:

   YAML

   name: Summarize New Issue
   
   on:
     issues:
       types: [opened]
   
   permissions:
     issues: write
     contents: read
     models: read
   
   jobs:
     summarize_issue:
       runs-on: ubuntu-latest
       steps:
         - name: Checkout repository
           uses: actions/checkout@v6
   
         - name: Install gh-models extension
           run: gh extension install https://github.com/github/gh-models
           env:
             GH_TOKEN: ${{ github.token }}
   
         - name: Create issue body file
           run: |
             cat > issue_body.txt << 'EOT'
             ${{ github.event.issue.body }}
             EOT
   
         - name: Summarize new issue
           run: |
             cat issue_body.txt | gh models run --file summarize.prompt.yml > summary.txt
           env:
             GH_TOKEN: ${{ github.token }}
   
         - name: Update issue with summary
           run: |
             SUMMARY=$(cat summary.txt)
             gh issue comment ${{ github.event.issue.number }} --body "### Issue Summary
             ${SUMMARY}"
           env:
             GH_TOKEN: ${{ github.token }}
   

6. Мониторинг и итерацию

   Вы можете отслеживать производительность действия и выполнять итерацию по выбору запроса и модели с помощью редактора GitHub Models запросов. Вы также можете использовать расширение CLI для локального тестирования или использования для программного обновления параметров запроса и модели.

   Вы также можете рассмотреть возможность сохранения ответа модели в виде файла в репозитории, чтобы можно было просматривать и итерировать производительность модели с течением времени. Это позволяет постоянно улучшать качество сводок и обеспечивать их соответствие потребностям вашей команды.