Оптимизация приложения с использованием искусственного интеллекта с помощью моделей

При регулярном выпуске новых моделей ИИ выбор подходящего для вашего приложения может быть сложным. GitHub Models помогает оптимизировать приложение, на основе ИИ, позволяя сравнивать различные модели и запрашивать варианты для выборки входных данных, используя встроенные вычислители для проверки выходных данных модели.

В примере сценария мы создадим помощник по искусственному интеллекту, который помогает пользователям узнать, как использовать Git из командной строки. Мы рассмотрим сравнение различных моделей, и вы узнаете, как уточнить варианты запросов, чтобы повысить качество выходных данных.

Тестирование запроса

Представление сравнения** GitHub Models **позволяет настраивать параметры модели и запрашивать выходные данные модели.

1. Создание примера репозитория

Вы можете получить доступ к представлению "Сравнения " непосредственно на вкладке "Модели " в любом репозитории, но в этом руководстве мы создадим новый репозиторий для использования в качестве тестовой среды.

1. Перейдите на новую страницу репозитория .
2. В разделе "Владелец" убедитесь, что выбрана учетная запись пользователя.
3. В поле "Имя репозитория" введите models-playground.
4. Под полем описания выберите "Приватный ", чтобы задать видимость репозитория.
5. Щелкните Создать репозиторий.

2. Создание нового запроса

1. На главной странице нового репозитория щелкните вкладку "Модели ".
2. В разделе "Запросы" щелкните New Prompt.
3. В левом верхнем углу выберите модель в раскрывающемся меню.

3. Написание системного запроса

Системный запрос — это набор инструкций, определяющих роль, поведение и ограничения модели искусственного интеллекта перед взаимодействием с пользователями. В этом примере мы будем работать с приложением, на основе ИИ, которое объясняет, как использовать Git из командной строки.

В поле "Системный запрос" скопируйте и вставьте следующий текст:

You are an expert at using the Git version control system. I will ask questions looking for guidance on the best way to perform tasks using Git, and you will give clear, step-by-step answers that explain each step you are recommending.

You are an expert at using the Git version control system. I will ask questions looking for guidance on the best way to perform tasks using Git, and you will give clear, step-by-step answers that explain each step you are recommending.

4. Написание запроса пользователя

Запрос пользователя — это прямой вопрос или инструкция системы ИИ во время беседы, на которую отвечает система ИИ.

          **В поле "** Запрос пользователя" скопируйте и вставьте следующий текст:

I want to learn how to use Git from the command line. 

I want to learn how to use Git from the command line. 

5. Ввод примера входных данных

Переменная {{input}} в запросе **** пользователя в качестве заполнителя для примера входных данных. Чтобы управлять этим заполнителем, нажмите кнопку "Переменные" и введите следующий текст:

When should I use rebase or merge?

When should I use rebase or merge?

6. Выполнение примера запроса

1. В правом верхнем углу щелкните Play.
2. Внесите изменения в модель или запрос, а затем снова запустите запрос, чтобы увидеть, какие результаты вы получаете.

Тестирование различных моделей в запросе

Теперь определим, какая модель лучше всего подходит для нашего приложения, используя представление "Сравнения ". Это представление позволяет протестировать различные модели на одном входе, обнаруживая различия в точности, творчестве, тоне, причинах и надежности. Это поможет нам выбрать модель, которая лучше всего соответствует нашим потребностям с точки зрения качества, скорости, стоимости и согласованности.

1. В левом верхнем углу щелкните "Сравнения".

2. Чтобы сравнить различные модели, щелкните Добавьте запрос и выберите Скопируйте исходный запрос , чтобы дублировать существующие системные и пользовательские запросы. Создайте по крайней мере две копии исходного запроса для оценки трех различных моделей.

3. Рядом с каждым запросом щелкните . В раскрывающемся списке "Модель" выберите другую модель для каждого созданного запроса.

4. Щелкните Добавьте входные данные для создания новых строк для примеров входных данных.

   • Щелкните Добавить входные данные. Затем в поле "Входные данные" скопируйте и вставьте следующий текст:

     Text

     How do I modify the most recent commit message in my current branch?   
     

   • Щелкните Добавьте входные данные еще раз, а затем вставьте следующие входные данные:

     Text

     How do I move a specific commit from one branch to a different branch?
     

   • Щелкните Добавьте входные данные еще раз и вставьте следующие входные данные:

     Text

     How do I find the author of a specific commit in a repository's history?
     

5. Чтобы запустить запросы, в правом верхнем углу щелкните Run.

6. Попробуйте использовать различные модели в запросе, запишите задержку и использование маркера ввода** и **** вывода** различных моделей.

Тестирование вариантов запроса с помощью конкретной модели

Если вы создаете приложение с определенной моделью ИИ, вам потребуется, чтобы ответы были предсказуемыми и надежными. Тестирование вариантов запроса помогает:

• Оптимизация производительности и качества: незначительные изменения в выражениях могут повлиять на качество отклика. Проверив варианты, можно найти формулировку, которая получает лучший ответ.
• Уточняйте инструкции. Различая фразу запроса, можно определить, какая версия модели понимается наиболее четко.
• Адаптация к определенному поведению модели. Вы можете адаптировать входные данные к определенной модели, интерпретируемой языком.
• Проверьте формат выходных данных: может потребоваться список, абзац, блок кода или определенный тон. Вариант запроса тестирования помогает применить определенную структуру или стиль.

Теперь давайте используем GitHub Models для тестирования вариантов запроса на входные данные пользователя для конкретной модели.

1. Добавление вариантов запроса

В этом примере сценария выберите одну и ту же модель для каждого столбца, но укажите другой вариант запроса, изменив поле "Запрос пользователя" существующих запросов. Рядом с каждым запросом щелкните .

1. Щелкните в "Запрос 2". Затем в поле "Запрос пользователя" скопируйте и вставьте следующий текст:

   Text

   I want to learn how to use Git from the command line, but explain it to me like I am five years old.   
   

2. Щелкните в "Запрос 3", а затем вставьте следующие входные данные:

   Text

   I want to learn how to use Git from the command line. Give me instructions in the form of a haiku. 
   

2. Выполнение вариантов запроса

1. Чтобы запустить запросы, в правом верхнем углу щелкните Run.
2. Попробуйте различные варианты запроса и сравните типы выходных данных, которые дает модель.

Оценка выходных данных модели

Мы проверили различные модели и варианты запросов в GitHub Models, а следующий шаг — интерпретация и сравнение результатов для принятия обоснованных решений для нашего приложения, на основе искусственного интеллекта.

При выполнении моделей в примерах сценариев использование маркера ввода и вывода и задержка отображаются после каждого запуска. Использование маркеров имеет значение, так как оно непосредственно влияет на затраты, производительность и ограничения модели.

• Так как большинство моделей взимается за токен как для ввода, так и для вывода, использование дополнительных маркеров увеличивает затраты.
• Каждая модель также имеет максимальное ограничение маркера (называемое окном контекста), и превышение может привести к ошибкам или усеченным ответам.
• Длинные запросы могут замедлить время отклика или уменьшить ясность, а краткие запросы часто приводят к улучшению, более эффективным выходным данным.

Использование GitHub Models для тестирования использования маркеров и задержки помогает оставаться в пределах ограничений, управлять затратами и повысить общую эффективность приложения, на основе ИИ.

Использование вычислителей для оценки выходных данных

В зависимости от количества запросов и моделей, которые вы оцениваете, выходные данные модели могут быть подавляющими для сортировки вручную. Чтобы оценить качество выходных данных каждой модели, можно использовать вычислители для оценки результатов в ключевых измерениях, таких как ясность, точность и релевантность. Вы можете определить собственные критерии оценки или использовать встроенные вычислители для автоматической оценки выходных данных, что упрощает определение оптимальной модели и вариантов запроса.

В этом примере сценария давайте используем средство оценки строк для проверки строки в выходных данных.

1. В правом нижнем углу поля "Запросы " щелкните Добавьте средство оценки и выберите String check.

2.        **В поле "Имя"** введите "Изменить флажок", а затем скопируйте и вставьте следующие входные данные для **поля "Значение**".
   

   Text

   git commit --amend
   

3. Чтобы запустить запросы, в правом верхнем углу щелкните Run.

4. Выходные данные запроса теперь будут отображать метку Pass или Fail , чтобы узнать, какая модель содержит требуемую строку.

Дополнительные сведения о предварительно созданных вычислителях, таких как сходство, основания и релевантность, см. в разделе Оценка моделей ИИ.

Следующие шаги

Теперь, когда вы изучили, как протестировать модели, уточнить запросы и оценить выходные данные с помощью GitHub Models, вы готовы приступить к созданию запросов для приложения, на основе ИИ. После создания запроса вы можете сохранить, версию и поделиться им, зафиксировав .prompt.yml файл в репозитории. Это позволяет создавать запросы под управлением версиями и легко выполнять совместную работу по запросу и уточнению модели. Дополнительные сведения см. в разделе Хранение запросов в репозиториях GitHub.

Присоединиться к сообществу

Чтобы задать вопросы и поделиться отзывами, ознакомьтесь с этой записью обсуждения моделей GitHub.
Чтобы узнать, как другие используют GitHub Models, посетите обсуждения сообщества GitHub для моделей.