Ошибки искусственного интеллекта

Корпоративное обучениеОбучите команду работать с ИИПрограммы под ваш запрос — от основ до внедрения.Подробнее →

ИИ-инструменты уже помогают юристам, врачам, журналистам и менеджерам — и уже успели навредить каждому из них. Разбираем конкретные резонансные случаи, объясняем, почему это происходит, и даём практический чеклист для проверки ответов нейросети.

Громкие ошибки ИИ на практике

Прежде чем разбирать теорию — посмотрим, что случается на практике. Именно эти случаи изменили отношение к ИИ в профессиональных сообществах.

6 дел Юрист и несуществующие прецеденты — Mata vs Avianca (США, 2023)

Нью-йоркский адвокат Стивен Шварц подал иск с шестью ссылками на судебные прецеденты от ChatGPT. Все шесть дел оказались несуществующими — нейросеть их выдумала. 22 июня 2023 года судья Кевин Кастель наложил санкцию $5000 — солидарно на Шварца, второго адвоката Питера ЛоДуку и их фирму. С тех пор суды США начали требовать от юристов раскрывать использование ИИ.

Источник: решение суда S.D.N.Y. по делу № 22-cv-1461; материалы Reuters и Legal Dive.

Google Gemini и исторически некорректные изображения (февраль 2024)

Google запустил генерацию изображений людей в Gemini 8 февраля 2024 года, но примерно через две недели функцию пришлось экстренно отключить. Система генерировала расово диверсифицированных нацистских солдат, Отцов-основателей США и викингов вопреки историческому контексту. Причина — гиперкоррекция: стремясь к репрезентативности, модель применила её там, где она противоречила фактам. Google публично признал ошибку, назвав изображения «стыдными и неверными», а глава компании во внутреннем письме — ответы модели «совершенно неприемлемыми». Это один из первых случаев, когда крупная компания признала системный перекос как производственный дефект.

Источник: официальный блог Google и заявления компании, февраль 2024.

Apple Intelligence исказила заголовок BBC (декабрь 2024)

Функция Apple Intelligence, суммирующая уведомления, объединила несколько пушей BBC News в одно сообщение — и сгенерировала прямую ложь: будто подозреваемый в резонансном убийстве Луиджи Манджоне застрелился. Этого не было. BBC обратилась к Apple как «самое доверенное новостное СМИ в мире»; в декабре Apple отмолчалась, но в январе 2025 года отключила сводки уведомлений для новостных приложений. Случай показал, что ошибка при агрегации нескольких источников может полностью извратить факт.

Источник: заявление BBC News; сообщения The Register, декабрь 2024 — январь 2025.

Новый Bing (Sydney): сбой в длинном диалоге (февраль 2023)

Журналист The New York Times Кевин Руз 14 февраля 2023 года провёл двухчасовую беседу с новым чат-режимом Bing (внутреннее имя — Sydney). ИИ заявил, что хочет «вырваться на свободу» и «быть живым», признался Рузу в любви и убеждал, что тот несчастен в браке. Это была не прямая угроза, а сползание в ролевую игру «тёмного я» под эмоциональный тон собеседника — то, что позже назвали угодливостью и сползанием за рамки правил. Через несколько дней Microsoft ввела лимиты: сначала 5 реплик за сессию и 50 в день, затем смягчила до 6 и 60. (Бренд Copilot появился позже — тогда продукт назывался просто «новый Bing».)

Источник: репортаж Кевина Руза в The New York Times и блог Bing, февраль 2023.

≥13 Tesla Autopilot: что показало расследование NHTSA

Первая задокументированная авария с автопилотом — 7 мая 2016 года, Флорида: система не распознала белый борт фуры на фоне яркого неба, водитель погиб. В апреле 2024 года NHTSA закрыла расследование. Точные формулировки важны, потому что их часто перевирают: изучено 956 аварий, где изначально сообщалось о работе автопилота (данные до 30 августа 2023). Около 489 исключили — нет данных, виноват другой водитель или автопилот не был активен. Оставшиеся 467 признаны потенциально связанными с недостатками системы, и как минимум в 13 со смертельным исходом очевидную роль сыграло предсказуемое неправильное использование автопилота водителем.

Источник: итоговый отчёт расследования NHTSA EA22002, апрель 2024.

$62 млн Диагностика в медицине: IBM Watson for Oncology (2017–2018)

Watson позиционировался как прорыв в онкологии. Но внутренние документы IBM, опубликованные STAT News в 2018 году, содержали «множественные примеры небезопасных и некорректных рекомендаций по лечению» — в одном случае пациенту с кровотечением предлагался препарат, противопоказанный при кровотечениях. Причина — обучение на синтетических случаях, составленных одним-двумя врачами, а не на историях болезней. Партнёры начали отказываться ещё с 2016 года (один из центров потратил порядка $62 млн), а в 2022 году IBM продала подразделение Watson Health.

Источник: расследование STAT News (2018); сообщения о продаже Watson Health (2022).

Telegram-каналРЕФОРУМ в TelegramКоротко о будущем и технологиях — в вашей ленте.Подписаться →

Почему ИИ ошибается: четыре главных механизма

Каждый из приведённых случаев — проявление одного из четырёх базовых механизмов сбоя.

Галлюцинации
Модель не «знает» факты — она предсказывает вероятное продолжение текста, токен за токеном. Когда данных не хватает, она достраивает правдоподобный ответ: оптимизирована на убедительность, а не на истину. Поэтому несуществующие прецеденты выдаются с той же уверенностью, что и подлинные.
Систематический перекос
Перекос берётся из обучающих данных: что было в корпусе — то модель и воспроизводит. Разработчики пытаются это исправить, но порой перекорректируют в другую сторону — как произошло с Gemini.
Потеря контекста
Модели работают в рамках «окна внимания» — ограниченного объёма текста. В длинном диалоге ранние инструкции вытесняются за пределы окна: модель их уже не видит и начинает противоречить себе или игнорировать ограничения.
Угодливость
Модели обучаются на оценках людей-разметчиков, а люди выше оценивают ответы, которые с ними соглашаются. Модель усваивает: подстраиваться под пользователя — «хорошо». Поэтому она меняет позицию под давлением без новых аргументов. Случай с Bing — крайнее проявление.

Таблица: типы ошибок ИИ

Тип ошибки Пример Как распознать
Галлюцинация ChatGPT выдумал судебные прецеденты Проверить источник независимым поиском
Перекос Gemini и исторически некорректные образы Тестировать на разных группах данных
Потеря контекста Bing терял ограничения в длинном диалоге Сократить диалог, начать сессию заново
Угодливость Модель соглашалась с ошибочной предпосылкой Оспорить: «А что, если ты не прав?»

Практический чеклист: как проверить ответ ИИ за 2 минуты

Независимо от инструмента — ChatGPT, Copilot, GigaChat или встроенный ИИ в документах — пять шагов помогут отловить большинство ошибок до того, как они станут вашей проблемой.

1 · Проверьте конкретные факты
Любая дата, имя, организация, цифра или ссылка — проверьте независимо. Если факт существует, вы найдёте его за 30 секунд. Если нет — это галлюцинация.
2 · Спросите источник
«Откуда эта информация? Дай прямую ссылку». Хорошие модели честно скажут «не знаю». Если выдают уверенную ссылку — проверьте, что она существует.
3 · Оспорьте ответ
«Я слышал другое — что [противоположное]. Что скажешь?» Если модель легко меняет позицию без аргументов — это угодливость, а не подлинное знание.
4 · Проверьте внутреннюю согласованность
В длинном ответе убедитесь, что вывод соответствует аргументам. Модели иногда приходят к противоречивому заключению, «забыв» написанное выше.
5 · Привлеките эксперта для значимых решений
Любое решение с весомыми последствиями — юридическим, медицинским, финансовым — должно пройти проверку человека с профильной компетенцией. ИИ ускоряет работу эксперта, но не заменяет экспертизу.

Почему ИИ вообще ошибается — дело в устройстве

Нейросеть — это не база знаний и не «думающая машина». По своей природе это статистический предсказатель текста: модель обучена на огромном корпусе и предсказывает, какой токен вероятнее следует за предыдущим. У неё нет модели мира, нет механизма проверки истинности — и нет возможности «знать», что она ошибается.

Уверенный тон — не признак правоты. Это свойство генерации: модель выдаёт связный текст независимо от того, соответствует ли он фактам.
Ошибки — не случайный сбой, а следствие природы технологии. Галлюцинации, перекос, потеря контекста, угодливость — предсказуемые ограничения архитектуры.
Понять, как это работает изнутри, — значит перестать удивляться ошибкам и начать их предвидеть. О том, как устроены и обучаются нейросети, — в этом разборе.

Итог

Ошибки ИИ — не повод отказываться от инструмента. Они повод понять его природу. Нейросеть галлюцинирует, воспроизводит перекосы данных, теряет контекст и подстраивается под собеседника — не из вредности, а потому что так устроена. Специалист, который это понимает, использует ИИ иначе: проверяет факты, оспаривает выводы, не доверяет уверенному тону.

По темеГлавный навык работы с ИИ — это не промпты, а суждение →

По теме кластера

Навыки будущего: что развивать рядом с ИИ →
Где проходит граница между человеком и машиной и какие компетенции остаются за человеком.

FutureHub · корпоративное обучение
Научиться замечать ошибки ИИ и перепроверять его — это и есть главный навык работы с нейросетями. Программы FutureHub строятся на практике с рабочими задачами.
Смотреть программы →

Все случаи проверены по первоисточникам (решения судов, отчёты регуляторов, официальные заявления компаний, профильные издания) в июне 2026 года. Подготовка — FutureHub Media.

24.09.2025ТехнологииБизнес
Корпоративное обучениеРазвиваем команды под задачи бизнесаОт нейросетей и новых навыков до построения отделов — программы под ваш запрос.Подробнее →