Не получился промпт с первого раза? Это нормально!
В крутых компаниях промпты "выгуливают" — это итерационный процесс, а не однократное действие. В основе лежит простой цикл “PEA”.
1. Сформулировать (Prompt)
- Определить цель
- Назначить роль
- Задать ограничения
- Указать формат
- Дать примеры (если нужно)
2. Оценить (Evaluate)
- Прогнать на 10-50 кейсах
- Проверить точность
- Оценить полноту
- Сверить формат и стиль
- Искать "галлюцинации"
3. Настроить (Adjust)
- Уточнить инструкции
- Добавить/изменить примеры
- Задать строгий формат (JSON)
- Ввести новую роль/персону
- Сузить или разбить задачу
Главный артефакт: Таблица экспериментов
| Версия | Конфигурация | Метрики | Заметки / Гипотезы |
|---|---|---|---|
| v0.1 | T=0.7, top_p=1.0 | Точность: 65% | Часто путает формат. Нужно добавить пример. |
| v0.2 | T=0.5, top_p=0.9 | Точность: 80%, Формат: 95% | Стало лучше, но иногда "фантазирует". Уточнить инструкции. |
| v0.3 | T=0.5, top_p=0.9 | Точность: 95%, Формат: 100% | Отлично! Можно масштабировать. |
Почему это работает?
Итеративность — ядро инжиниринга промптов. Вы не ищете идеальный промпт, а последовательно улучшаете хороший.
Воспроизводимость — фиксирование конфигураций и результатов позволяет вам и вашей команде воспроизводить и сравнивать результаты, избегая случайных успехов.
