Способны ли современные LLMs принести пользу в реальных рабочих проектах?
Однозначно – да, но все зависит от типа и формата проекта. Не буду углубляться в теорию и технические термины, а сразу расскажу, помогают ли LLMs в собственных проектах?
Эффект крайне неравномерен, сильно фрагментирован и нестабилен.
Оценка эффективности предельно прозрачна – совокупные ресурсы и время, затраченные на финализацию определенной задачи с использованием LLMs или без LLMs.
Например, какой бюджет токенов нужно консолидировать и сколько времени затратить на формализацию задачи, ожидание выполнения и фактчекинг с использованием LLMs и сколько ресурсов и времени уходит без LLMs.
В какой точки конструкция рассыпается? Главное и фундаментальное препятствие – затраты на верификацию результата.
Опыт использования комбинации самых мощных на сегодняшний день LLMs показывает, что они способны выдавать визуально блистательные (оформленные, как солидные академические и консалтинговые исследования) с очень правдоподобным (на первый взгляд) наполнением результаты.
Первый и беглый взгляд показывает – превосходная работа, но … при верификации все начинает рассыпаться, а именно:
Неверная развесовка факторов, параметров и искаженная иерархия приоритетов, что почти всегда ломает всю архитектуру проекта.
Неравномерная контекстная развертка, когда одни направления могут быть избыточно подробно описаны, а другие, наоборот, необоснованно поверхностно.
Концептуальные пробелы – неполное раскрытие вопросов и факторов, не учет множества обстоятельств.
Неверная декомпозиция задачи на составляющие элементы и неверное задание векторов исследования.
Очень частые ошибки в фактуре, как случайные, так и «намеренные», когда модели галлюцинируют, выдумывая «факты».
Неверная консолидация источников информации. Часто решается принудительным ограничением контекстного пространства / источников информации.
Очень часто сломанный стиль повествования, что требует глубокого рерайта.
Что получается на практике? LLMs генерируют огромное количество лонгридов, но на проверку, верификацию, переосмысление и рерайт которых уходит неприемлемое количество времени, сильно превышающее время на самостоятельное исследование.
Как это происходит на практике?
1. Формализация запроса с подробной проработкой техзадания для учета всех факторов, обстоятельств, требуемых векторов исследования и стиля повествования – 10% времени
2. Наполнение моделей контекстом – внутренний готовый набор данных, спектр внешних источников – 5% времени.
3. Ожидание генерации ответа (часто может идти десятки минут) сразу в нескольких моделях – 4% времени.
4. Правки по ходу выполнения – 3% времени.
5. Сведение результатов 3-5 LLMs в единую матрицу для концептуального наслоения – 13% времени.
6. Очень длительный процесс верификации полученного ответа – примерно 65% всего времени, а часто еще больше.
Таким образом, постановка задачи примерно 15% времени, генерация ответа – 7%, сверка результатов – 13%, а проверка и контроль – 65%.
Слабое звено – проверка и верификация, которые поглощают основные ресурсы.
На моем опыте, комбинация самых мощных LLMs приводит не к росту производительности, а к радикальному снижению. Насколько? Примерно в 5 раз.
Ту работу, которую можно делать самостоятельно за час, с использованием ИИ займет примерно в 5 раз больше времени и это в наиболее оптимизированном сценарии использования.
В моем классе задач, при моем опыте, накопленных знаниях и навыках, LLMs ухудшают работу, а не улучшают и речь идет о существенно, иногда кратном ухудшении.
Это не значит, что LLMs – плохи или бесперспективны для определенного спектра задач. Ни в коем случае. В будущем я приведу спектр и категории задач, где LLMs наиболее эффективны.
Я лишь описываю собственный опыт, но при всем этом я остаюсь техно-оптимистом, т.е. верю в то, что технологии будут улучшаться, захватывая все больше ранее нерешенных задач.
Причем значительный класс задач так и остается принципиально неразрешимым с использованием ИИ (об этом в других материалах).
