Я вот как раз в пятницу глянул парочку описаний проектов, сгенеренных LLM: DeepWiki и CodeWiki. Идея неплохая: быстро погрузить нового разработчика в контекст, чтобы информация всегда была актуальна. Казалось бы, задача, для которой LLM отлично подходят: обработай кучу данных, сделай выжимку, презентуй красиво, разжуй.

Реальность, разумеется, полна разочарований. Да, там есть некоторые факты, переписанная существующая документация, выжимки-описания кусков кода, но фокус, последовательность и полнота изложения вообще не в кассу. Про архитектуру полезной информации нет, какого-то внятного высокоуровневого описания тоже нет, затронутые аспекты/темы — ну очень выборочные, много написано про неважные моменты, а некоторые очень важные вообще не упомянуты. Более того, есть некоторые предложения, которые могут привести к совсем неправильным выводам.

Но если цель — произвести вау-эффект для несведующих или сделать документацию по проекту за 1 день — то да, прокатит :/

Я еще попробовал спросить у встроенного чата пару вопросов по участкам кода, которые недавно трогал и, ожидаемо, получил “правдоподобные” ответы, которые не давали нужной информации, а частично были вообще неправильные.

У коллег остались схожие впечатления.