Adaptation of text generation style to a specific audience or content
Artykuł w czasopiśmie
MNiSW
5
spoza listy
| Status: | |
| Warianty tytułu: |
Адаптация стиля создания текста к конкретной аудитории или содержанию
|
| Autorzy: | Zhangbyrbay Zhassulan, Akhmetov Iskander, Pak Alexandr, Jaxylykova Assel, Komada Paweł |
| Dyscypliny: | |
| Aby zobaczyć szczegóły należy się zalogować. | |
| Rok wydania: | 2025 |
| Wersja dokumentu: | Drukowana | Elektroniczna |
| Język: | angielski |
| Numer czasopisma: | 3 |
| Wolumen/Tom: | 73 |
| Strony: | 141 - 154 |
| Efekt badań statutowych | NIE |
| Finansowanie: | This research was funded by the Science Committee of the Ministry of Science and Higher Education of the Republic of Kazakhstan (Grant No. AP23489782) |
| Materiał konferencyjny: | NIE |
| Publikacja OA: | TAK |
| Licencja: | |
| Sposób udostępnienia: | Witryna wydawcy |
| Wersja tekstu: | Ostateczna wersja opublikowana |
| Czas opublikowania: | W momencie opublikowania |
| Data opublikowania w OA: | 19 maja 2025 |
| Abstrakty: | rosyjski | angielski |
| Адаптация стиля генерации текста к конкретной аудитории или содержанию может быть достигнута без дорогостоящей тонкой настройки. Мы отказываемся от модельных весов и вместо этого (i) перебираем восемь гиперпараметров декодера с помощью байесовской оптимизации и (ii) добавляем однострочную стилевую подсказку, которая изменяет удобочитаемость. Эксперименты на пяти математических бенчмар- ках (AQUA-RAT, MathQA, GSM8K, MAWPS, SVAMP) с тремя контрольными точками с параметрами 8-14 B (LLaMA-3.1-8B, DeepSeek-Qwen-8B/14B) показали, что 50-пробный поиск Optuna повышает точность точ- ного соответствия на 36 процентных пунктов и закрывает 5–10 пунктов разрыва с базовыми точками с точ- ной настройкой 30–70 B. Те же настройки переносятся между задачами с потерей менее двух пунктов. До- бавление заголовка, ориентированного на детей, оставляет точность практически неизменной, вдвое снижая уровень оценки по Флешу-Кинкейду и сокращая трассы рассуждений. Все эксперименты укладываются в несколько GPU-часов на одном A100, что делает метод практичным для развертывания в условиях ограни- ченных ресурсов. Исследование демонстрирует, что тщательный контроль декодера в сочетании с микро- программами обеспечивает численную корректность и приемлемое для аудитории изложение без дополни- тельного времени на обучение или настройку. | |
| Adaptation of text generation style to specific audiences or content can be achieved without costly fine-tuning. We freeze model weights and instead (i) search eight decoder hyperparameters with Bayesian optimization and (ii) prepend a one-line style cue that modulates readability. Experiments on five mathematical question-answering benchmarks (AQUA-RAT, MathQA, GSM8K, MAWPS, SVAMP) with three 8–14 B-parameter checkpoints (LLaMA-3.1-8B, DeepSeek-Qwen-8B/14B) show that 50-trial Optuna searches raise exact-match accuracy by up to 36 percentage points and close 5–10 points of the gap to 30–70 B fine-tuned baselines. The same settings transfer across tasks with under 2-point loss. Adding the child-friendly header leaves accuracy virtually unchanged while halving the Flesch–Kincaid grade level and shortening reasoning traces. All experiments fit within a few GPU-hours on a single A100, making the method practical for resource-constrained deployments. The study demonstrates that careful decoder control combined with micro-prompts delivers numerical correctness and audience-appropriate exposition without additional training or tuning time. |
