Чтобы ИИ хорошо понимал текст, просто заменить каждое слово уникальным номером недостаточно. Почему? Выбери ответ.

Краткий ответ

Правильный вариант — третий:

«Так теряется информация о смысловой близости и контексте слов».

Почему именно он

Номер — это просто метка, «бирка» на слове. Она никак не связана со значением:

• Если «кошка» получит номер 25, а «собака» — 900, то разница между ними огромная, хотя по смыслу это близкие слова.
• А «кошка» (25) и, скажем, «стол» (26) окажутся «рядом», хотя общего у них нет.

Модель, которая видит только номера, не может понять, какие слова близки по смыслу и какие стоят рядом в предложении. А ведь именно из этого складывается понимание текста.

Второй важный момент — контекст. Слово «ключ» может означать предмет от двери, родник или музыкальный знак. У слова один номер на все случаи, значит отличить эти значения по номеру невозможно.

Поэтому в современных ИИ слова представляют не числами-бирками, а векторами (эмбеддингами): у близких по смыслу слов векторы похожи, а представление слова может меняться в зависимости от окружения в предложении.

Проверка остальных вариантов

1. «Компьютер умеет работать только с буквами» — неверно: компьютер как раз работает с числами, буквы для него тоже кодируются числами.
2. «Номера невозможно хранить в памяти компьютера» — неверно: целые числа хранятся в памяти без проблем.
3. «Все слова должны иметь один и тот же номер» — неверно и противоречит смыслу: тогда все слова стали бы неразличимы.