Что такое нейросеть простыми словами: как она устроена и почему отвечает по-разному

Коротко. Нейросеть - программа, которая не следует написанным правилам, а выводит их сама из огромного количества примеров. Ей не объясняли, что такое кошка: она посмотрела миллионы картинок и нашла закономерность. Языковая модель делает то же самое со словами - она предсказывает, какое слово уместно следующим. Отсюда и всё остальное: и то, что ответы каждый раз разные, и то, что она иногда уверенно выдумывает.

Чем нейросеть отличается от обычной программы

Обычную программу пишут правилами: если пришло вот это - сделай вот то. Всё, что она умеет, кто-то заранее описал.

С кошкой такой подход не работает. Попробуйте написать правило, отличающее кошку от собаки на фото: уши? бывают похожие. Усы? у собак тоже. Правил не хватит никогда.

Нейросеть заходит с другой стороны. Ей показывают миллион изображений с подписями и не объясняют ничего. Она сама подбирает внутренние настройки так, чтобы её ответы совпадали с подписями. Что именно она в итоге «поняла», человеку прочитать нельзя - это набор чисел.

Что такое обучение

Внутри - множество простых элементов, соединённых между собой. У каждого соединения есть вес: насколько сильно сигнал по нему проходит.

Обучение - это подбор весов. Модель делает предположение, сравнивает с правильным ответом, чуть-чуть подкручивает веса в сторону уменьшения ошибки - и так миллиарды раз.

Число таких настроек называют параметрами. Когда говорят «модель на 70 миллиардов параметров», речь про количество этих подкручиваемых ручек.

Как работает языковая модель

Языковая модель - та же идея, но про текст. Её задача формулируется до смешного просто: по началу фразы предсказать, какое слово идёт следующим.

Из этого вырастает всё остальное. Чтобы хорошо предсказывать продолжение, приходится усвоить грамматику, факты о мире, логику рассуждений и манеру речи. Никто не учил модель отдельно «отвечать на вопросы» - она научилась этому как побочному эффекту.

Отсюда два важных следствия.

Ответы каждый раз разные. Модель выбирает не единственное «правильное» слово, а одно из вероятных. Поэтому один и тот же вопрос даёт разные формулировки - это не сбой, а устройство.

Она может уверенно выдумывать. Модель предсказывает правдоподобное, а не проверенное. Если правдоподобно звучит несуществующая книга - она её назовёт, тем же тоном, что и настоящую. Это называют галлюцинациями, и лечится это только проверкой фактов на стороне.

Разные нейросети для разных задач

Общий у них только принцип - учиться на примерах, а не на правилах. Всё остальное разное, и модель для картинок не умеет разговаривать.

Про разницу между понятиями «ИИ» и «нейросеть» - в отдельном разборе: чем отличается ИИ от нейросети.

Почему нейросеть «помнит» разговор

Сама по себе модель ничего не помнит: каждый запрос для неё независимый. Память делается снаружи - предыдущие реплики просто подставляются в начало нового запроса.

Отсюда естественное ограничение: объём, который влезает за раз, конечен. Поэтому в длинных разговорах старое приходится сжимать в краткое изложение, а не тащить целиком. Как это устроено у персонажей, разобрано в статье про память ИИ-персонажа.

Значит ли это, что она думает

Нет, и это важно понимать без пафоса в обе стороны.

Модель не имеет намерений, не хочет ничего и не понимает смысла так, как понимает человек. Она находит статистические связи в тексте - но связей этих столько, что результат выглядит осмысленным, и в практическом смысле часто им и является.

Правильная позиция посередине: это не разум, но и не «просто автодополнение». Это инструмент, у которого есть сильные стороны и понятные ограничения.

Частые вопросы

Нейросеть подключена к интернету? Сама по себе нет. Она знает то, что было в обучающих данных; доступ к свежей информации добавляют отдельно.

Почему она иногда ошибается в простой арифметике? Потому что предсказывает текст, а не вычисляет. Для счёта модели подключают калькулятор отдельным инструментом.

Можно ли доверять её ответам? Как черновику - да. Как источнику фактов - проверять, особенно даты, цифры и имена.