Примеры задач, которые нельзя доверять ИИ. Даже специализированная нейросеть иногда ошибается: почему

Дающему запрос важно трезво оценивать границы технологии. Система генерирует текст на основе вероятностей, и когда закон или практика не дают однозначного ответа, искусственный интеллект может начать домысливать.

Руководитель Нейроюриста от Яндекса Егор Староверов и менеджер по развитию продукта Роман Янковский рассказали «Клерку», c какими задачами юристов ИИ пока не справляются и как избежать разочарования при использовании таких инструментов в работе.

Роман Янковский рассказал про задачи, которые нельзя доверить ИИ.

«Важно трезво оценивать границы технологии. Очевидно, что живую консультацию для клиента ИИ не проведет, переговоры и медиацию — тоже, даже если просить технологию предоставить текстом направление для беседы. Ведь квалифицированный специалист в диалоге выясняет детали, которые ИИ может не считать важными, задает уточняющие вопросы, оценивает психологическое состояние, понимает скрытые мотивы. Система обрабатывает только текст запроса — и в нем всегда меньше контекста, чем в разговоре юриста с клиентом.

Стратегические решения в ситуации неопределенности также требуют комплексной экспертизы от специалиста: видения бизнес-задач, понимания репутационных эффектов, прогноза действий регуляторов и партнеров.

Здесь нужен багаж практики, глубокое знание индустрии, чувство неписаных правил рынка», — резюмирует Роман Янковский.

Егор Староверов объяснил, почему ИИ иногда ошибается и как получить максимум отдачи.

«Ошибки неизбежны даже для специализированных решений. Система генерирует текст на основе вероятностей, и когда законодательство или практика не дают однозначного ответа, модель может начать домысливать. RAG [RAG-технологии (Retrieval-Augmented Generation) — когда система не полагается на память устаревающего датасета, а запрашивает данные из постоянно обновляемой базы] существенно снижает такие риски, но не исключает полностью.

Часто проблема в самом запросе: нечеткая постановка задачи, пропуск значимых деталей, наводящая постановка вопроса сбивают систему с толку.

Третий фактор — завышенные ожидания: люди хотят готовое решение в уникальной ситуации или прогноз там, где нет устоявшейся практики.

Важно помнить: это инструмент для ускорения рутинных операций и черновой проработки, а не замена профессионала», — предупредил Староверов.

Эксперты Яндекса дали рекомендации для эффективной работы с ИИ:

• Максимально детализируйте запрос, включайте все значимые обстоятельства, юридические факты.

• Описывайте контекст: отрасль, сроки и хронологию, действующих лиц, их статус, потенциальные ограничения.

• Большие задачи дробите на простые составляющие, разбирайте комплексные ситуации на отдельные вопросы права и процесса.

• Меняя отрасль права или тему, начинайте новый диалог.

• Переспрашивайте и уточняйте при неполных или неясных ответах.

«Обязательно сверяйте ответ с источниками по ссылкам, которые дает система, — советует Роман Янковский. – Рассматривайте ИИ как помощника на этапе изучения вопроса и подготовки черновой версии документа, но не как единственного исполнителя».