Все больше хочется катер и яблочный сад. А не It с волшебным российский менеджментом.

Закинул вчера на хабр заметку небольшую.

"Я долго думал, как будет выглядеть общество в эпоху ИИ.

Похоже, что будут взаимодействовать 3-4 типа интеллекта:

1. Собственно люди

2. ИИ (на базе LLM или что их заменит)

3. Киборги (люди с вживленными нейроимплантами)

4. Оцифрованное сознание людей (умерших или же просто дубли)

Пункт 4 – это пока фантастика, киборги только появляются, а вот люди с ИИ уже взаимодействуют во всю. И многие профессии начинают исчезать или изменяться. Переводчики уже стонут."

Далее читать здесь. Там и обсуждение небольшое.

Немного теории:
1. Расчет требуемой видеопамяти для LLM
2. Can you run it? LLM version
3. Transformer Math 101

Софт:
Сайтик для расчета требуемого железа для запуска моделей: LLM Inference: VRAM & Performance Calculator.
Похоже, что значения получаются чуть выше реального потребления.

Еще есть тулза на гитхабе llmfit
"A terminal tool that right-sizes LLM models to your system's RAM, CPU, and GPU. Detects your hardware, scores each model across quality, speed, fit, and context dimensions, and tells you which ones will actually run well on your machine."

Зря. Блокировкой недовольны даже подъездные бабки.