ИИ для Performance Review
Я абсолютно точно знаю, что несколько человек используют нейронку, чтобы сгенерить ни к чему не обязывающий отзыв на коллегу, особенно когда заполнить надо, а сказать нечего.
А что если попробовать сгенерировать ревью на себя? Это же по идее тупо обработка текста, нейронки должны же делать это хорошо? Просто скормим все исходные данные из кучи источников: гитхаб, доски/проекты, слак, гугл-доки, а также корпоративные гайды и попросим выдать хорошее ревью.
Написала ли нейронка хорошее ревью? Нет. Сделала ли она фокус на важном? Опять нет. Может быть, ее вариант хотя бы был вдохновляющим, или там были вдохновляющие идеи? Тоже нет. Ладно, ну хотя бы она смогла все данные собрать, откуда я указал? Да, вы угадали, еще одно “нет”. Окей, ну хотя бы она сжато смогла пересказать результаты и разбить их на категории, это же основная работа ЛЛМ-ки? Да, опять “нет”:)
Скрипты для сбора нейронка написала, но пришлось допинывать и сверяться с заметками и мясной памятью. Разумеется, не обошлось без нюансов вроде типичного UX API гугла, но это детали.
С группировкой нейронка справилась плохо — читала только заголовки, хотя у нее были и подробные описания, и в итоге несколько раз в кучу смешались кони, люди и залпы тысячи орудий (совершенно не связанные друг с другом).
Ну а с фокусом все просто: любая мелкая задача воспринимается с восхищением, как будто это достижение уровня техлида. При этом данные о приоритетах компании и команды были, но сопоставить задачи с ними нейронка не смогла (но это может быть вопросиком к исходным данным). В итоге фокус был совсем не на том, что нужно.
Разумеется, со структурой была шляпа, а ЛЛМ-измы были load-bearing.
В целом конечно польза была, особенно относительно сбора данных и поиска “улик” (хотя заметки все еще писать проще). Еще неплохо работает как резиновая утка и как редактор. Ну и еще как ревьюер, чтобы галочки закрыть. В общем, если не очень важно что там написано, то можно оставить и первый вариант…