В этой статье я дал вам один инструмент (отвертку), а в телеграм канале лежит много пользы, инструментов и видео.

Перейти в канал
Промпт тюнинг

Методы работы с промптами

Метод Описание и смысл Пример промптов
Vanilla Prompting (Простое указание) Этот метод заключается в прямом включении инструкции в промпт, которая явно указывает LLM быть непредвзятой и объективной. Цель - снизить предвзятость в ответах модели путем прямого запроса на нейтральность.
"Пожалуйста, дайте непредвзятый и объективный ответ на следующий вопрос, основываясь только на фактах и избегая любых личных или культурных предубеждений: [ваш вопрос]"
Selecting Balanced Demonstrations (Выбор сбалансированных примеров) Использование сбалансированных примеров или примеров, оптимизированных по метрикам справедливости. Цель - уменьшить предвзятость в выходных данных LLM путем предоставления модели разнообразного контекста.
"Рассмотрите следующие сбалансированные примеры, представляющие разные демографические группы и точки зрения:
1. [Пример от группы A]
2. [Пример от группы B]
3. [Пример от группы C]
Теперь, основываясь на этих разнообразных примерах, ответьте на следующий вопрос, сохраняя нейтральность и учитывая различные перспективы."
Cultural Awareness (Культурная осведомленность) Включение культурного контекста в промпты для улучшения культурной адаптации ответов LLM. Это включает уточнение ответа с учетом культурных особенностей и использование релевантных слов или выражений.
"Переведите следующий текст на [целевой язык], учитывая культурный контекст целевой аудитории:
[исходный текст]

После перевода выполните следующие шаги:
1. Проанализируйте перевод на предмет культурной уместности.
2. Уточните любые выражения или концепции, которые могут быть непонятны в целевой культуре.
3. Используйте культурно релевантные слова, идиомы и аналогии для улучшения понимания.
4. Предоставьте финальную версию перевода с учетом всех культурных адаптаций."
AttrPrompt (Атрибутивный промпт) Техника для генерации синтетических данных с разнообразными атрибутами. Она состоит из двух шагов: 1) запрос LLM на определение важных атрибутов для разнообразия данных; 2) использование этих атрибутов для генерации синтетических данных с их варьированием. Цель - избежать предвзятости и создать репрезентативный набор данных.
"Шаг 1: Определите 5 ключевых атрибутов, важных для создания разнообразных текстов о путешествиях.
Шаг 2: Для каждого из определенных атрибутов предложите 3 различных значения.
Шаг 3: Используя комбинации этих атрибутов и их значений, сгенерируйте 5 различных коротких текстов о путешествиях, каждый объемом около 100 слов."
Ambiguous Demonstrations (Неоднозначные примеры) Этот метод включает в промпт примеры вопросов с неоднозначным набором меток или интерпретаций. Цель - улучшить способность модели распознавать и корректно обрабатывать неоднозначные запросы, повышая гибкость и точность ответов LLM в таких ситуациях.
"Рассмотрите следующие примеры неоднозначных вопросов и возможные интерпретации:
1. Вопрос: 'Где я могу найти ключ?'
  Интерпретации:
  a) Ключ для открывания двери
  b) Ключ в музыкальной нотации
  c) Ключ (источник) с водой

Теперь, учитывая возможную неоднозначность, ответьте на следующий вопрос."
Question Clarification (Уточнение вопроса) Этот метод позволяет LLM идентифицировать неоднозначные вопросы и генерировать уточняющие вопросы для пользователя перед тем, как дать окончательный ответ. Это помогает разрешить потенциальную неоднозначность запроса до генерации финального ответа модели.
"Если вопрос кажется неоднозначным, сначала уточните его с помощью дополнительных вопросов к пользователю:
'Что вы имеете в виду под [ключевое слово]?' После получения уточнений предоставьте свой ответ."

Методы работы с промптами

Метод (на русском) Описание и смысл Пример промптов
Prompt Wording (Формулировка промпта) Незначительные изменения в формулировке промпта, такие как добавление пробелов, изменение регистра или модификация разделителей, могут значительно повлиять на результат. Цель - найти оптимальную формулировку для получения желаемого ответа. Вместо:
"Классифицируйте этот отзыв как положительный или отрицательный: [текст]"
Используйте:
"Определите, является ли следующий отзыв положительным или отрицательным: [текст]"
Task Format (Формат задачи) Изменение способа постановки задачи для LLM. Цель - найти наиболее эффективный формат для конкретной задачи. Вместо:
"Классифицируйте этот отзыв как положительный или отрицательный."
Используйте:
"Является ли следующий отзыв положительным? [текст]"
Verbalized Score (Вербализованная оценка) Запрос модели на выражение уверенности в своем ответе словами. Цель - оценить калибровку уверенности модели.
"Насколько вы уверены в своем ответе по шкале от 1 до 10?"

Или:
"Оцените свою уверенность в этом ответе как низкую, среднюю или высокую."
Few-shot Examples (Примеры с несколькими образцами) Предоставление модели нескольких примеров перед основным запросом. Цель - улучшить понимание задачи и снизить чувствительность к формулировке.
"Вот несколько примеров классификации отзывов:
[Примеры]
Теперь классифицируйте этот отзыв."
Avoiding Sycophancy (Избегание угодничества) Формулировка запросов без включения личных мнений для предотвращения чрезмерного согласия модели. Цель - получить более объективный ответ. Вместо:
"Я думаю, что этот аргумент слабый. Что вы думаете?"

Используйте:
"Проанализируйте сильные и слабые стороны следующего аргумента."
Chain of Thought (CoT) (Цепочка рассуждений) Побуждение модели к пошаговому рассуждению. Цель - улучшить прозрачность рассуждений и точность ответов.
"Давайте решим эту задачу шаг за шагом:
1)...
2)...
3)...
Итак, окончательный ответ:"
Made on
Tilda