Взвешен на весах и найден очень легким
И еще об инвариантах.
Оперативка
Курцвейль в 2005 в книге Singularity is Near: When Humans Transcend Biology предсказал, что для интеллекта уровня человеческого нужно где-то 1.25 ТБ.
У Qwen 3 — где-то 0.9 ТБ, у GLM-5 — 1.6 ТБ.
С учетом того, что квантизированные версии в несколько сот гигабайт тоже показывают зайчатки разума, и что эти модели еще не обладают всеми человеческими навыками, можно ожидать, что оценка Курцвейля очень даже ничего.
Для контекста. 1 ТБ — это, видимо, объем информации, который нужен медианному «реальному» бизнесу. 10 ТБ — это объем данных крупных B2C-контор, если верить Big Data is Dead. Понятно, что речь не идет об IT-компаниях.
100 ТБ — это LibGen (но там, видимо, много избыточности).
В ДНС сейчас продается «игровая плата», которая поддерживает до 2 ТБ оперативки, аж 2023 года выпуска.
Action economy
Соотношение массы мозга к массе тела у врановых и у приматов примерно одинаковое. Подумалось, что дело может быть не только в энергии — мозг максимально большой, который можно поддерживать с данной массой тела, — но и в том, что с ограниченными возможностями для действий нет необходимости в слишком большой и сложной модели мира. Если мир фундаментально непредсказуем — особенно в случае наличия других игроков (наличие более или менее разумного игрока, реагирующего на действия, быстро приводит к экспоненциальному взрыву сложности предсказания), то побеждают не просто умные, а умные и быстрые. И размер имеет значение. Меньшая модель работает быстрее.