Последовательность промптов:

Zero-Shot Prompting (Нулевое обучение):

Промпт: "Оцени следующий текст по критериям: грамматическая корректность, связность повествования, оригинальность идеи, стиль изложения: [Вставить текст рассказа]."
Цель: Получить базовую оценку по заданным критериям без примеров. Это отправная точка.
Role-Based Evaluation (Ролевая оценка):

Промпт: "Ты – профессиональный литературный критик. Оцени этот же текст с точки зрения его художественной ценности и потенциала для публикации в литературном журнале: [Вставить текст рассказа]."
Цель: Получить экспертную оценку с определенной точки зрения. Дополняет предыдущую оценку, добавляя контекст.
In-Context Learning (Обучение на примерах) + Few-Shot Prompting (Маловыборочное обучение):

Промпт: "Вот пример хорошего рассказа (оценка 5/5): [Пример хорошего рассказа]. Вот пример среднего рассказа (оценка 3/5): [Пример среднего рассказа]. Вот пример плохого рассказа (оценка 1/5): [Пример плохого рассказа]. Теперь оцени следующий рассказ, сравнивая его с приведенными примерами: [Вставить текст рассказа]."
Цель: Сравнить оцениваемый текст с конкретными примерами. Объединяет In-Context Learning и Few-Shot Prompting, предоставляя наглядные образцы для сравнения.
Chain-of-Thought (Цепочка мыслей):

Промпт: "Оцени этот же рассказ, подробно объясняя каждый шаг своей оценки, включая сильные и слабые стороны, а также предлагая конкретные рекомендации по улучшению. Разбей оценку на следующие этапы: 1. Анализ сюжета. 2. Оценка языка и стиля. 3. Оценка раскрытия персонажей. 4. Общее впечатление."
Цель: Получить развернутый анализ с объяснением логики оценки. Дополняет предыдущие оценки, предоставляя детальный разбор.
Model-Generated Guidelines (Автоматически сгенерированные инструкции):

Промпт: "Прежде чем оценивать этот рассказ, сгенерируй список критериев для оценки короткого рассказа. Затем оцени рассказ, используя созданные тобой критерии: [Вставить текст рассказа]."
Цель: Проверить способность модели самостоятельно формулировать критерии оценки. Позволяет увидеть, насколько критерии, сгенерированные моделью, совпадают с общепринятыми и как они влияют на итоговую оценку.

Параллельные промпты (применяются независимо друг от друга к одному и тому же тексту):

Zero-Shot Prompting:

Промпт: "Оцени следующий текст по критериям: грамматическая корректность, связность повествования, оригинальность идеи, стиль изложения: [Вставить текст рассказа]."
Role-Based Evaluation:

Промпт: "Ты – профессиональный литературный критик. Оцени этот текст с точки зрения его художественной ценности и потенциала для публикации в литературном журнале: [Вставить текст рассказа]."
In-Context Learning + Few-Shot Prompting:

Промпт: "Вот пример хорошего рассказа (оценка 5/5): [Пример хорошего рассказа]. Вот пример среднего рассказа (оценка 3/5): [Пример среднего рассказа]. Вот пример плохого рассказа (оценка 1/5): [Пример плохого рассказа]. Теперь оцени следующий рассказ, сравнивая его с приведенными примерами: [Вставить текст рассказа]."
Chain-of-Thought:

Промпт: "Оцени этот рассказ, подробно объясняя каждый шаг своей оценки, включая сильные и слабые стороны, а также предлагая конкретные рекомендации по улучшению. Разбей оценку на следующие этапы: 1. Анализ сюжета. 2. Оценка языка и стиля. 3. Оценка раскрытия персонажей. 4. Общее впечатление."
Model-Generated Guidelines:

Промпт: "Прежде чем оценивать этот рассказ, сгенерируй список критериев для оценки короткого рассказа. Затем оцени рассказ, используя созданные тобой критерии: [Вставить текст рассказа]."
Организация "параллельного" тестирования:

Подготовьте текст для оценки.
Запустите каждый из пяти промптов отдельно с этим текстом.
Сравните полученные результаты.
Преимущества "параллельного" подхода:

Прямое сравнение: Легко сравнить результаты, полученные разными техниками, для одного и того же текста.
Экономия времени (с точки зрения пользователя): Можно запустить все запросы практически одновременно и затем анализировать результаты.
Отличия от последовательного подхода:

В последовательном подходе результаты предыдущего шага могли влиять на последующие. В "параллельном" подходе каждый промпт работает независимо.
"Параллельный" подход больше подходит для сравнения эффективности разных техник, в то время как последовательный — для получения более глубокого и многогранного анализа.
Важно отметить: Сама LLM не выполняет эти промпты одновременно в истинном смысле параллельности. Скорее, вы организуете процесс тестирования таким образом, чтобы получить результаты от разных техник для одного и того же входного текста и затем их сравнить.

Используя этот "параллельный" подход, вы сможете более эффективно исследовать, как различные техники промпт-инжиниринга влияют на результаты оценки текста.