Редактирование нейронных сетей с помощью языковых моделей
Может ли одна модель редактировать веса другой?
Может ли языковая модель починить классификатор, изменив его веса? В задаче определения дохода на данных UCI Adult веса классификатора заранее намеренно повредили. Одна правка подняла сбалансированную точность, которая одинаково учитывает обе группы дохода, на 0,43 процентного пункта. Общая точность и качество оценок вероятности снизились.
Отдельный эксперимент начался с неповреждённой SmolLM2-1.7B. После проверки кандидатов на вопросах по естественным наукам и бытовой физике поиск выбрал исходную модель.
Повреждённый классификатор
UCI Adult · Sol
| Исходное значение | Выбранный вариант | |
|---|---|---|
| Сбалансированная точность | 78,59 % | 79,02 % |
| Общая точность | 82,86 % | 82,63 % |
Неповреждённая языковая модель
SmolLM2-1.7B · ARC-Easy / PIQA
Выбраны исходные веса
Оригинальное название
Editing Neural Networks with Language Models
Первичные документы
Первоисточник · github.com Отчёт об исследовании Интерактивная презентация Измерения Editing Neural Networks with Language Models Study scope and methodsБиблиографическая ссылка
Davut Emre Taşar · Editing Neural Networks with Language Models · 2026 · detasar/llm-weight-editing-study · https://github.com/detasar/llm-weight-editing-study