Искусственные хищники занимают подходящую биологическую нишу
Минутка эпидемии.
Всё новых и новых глубин днища уверенно достигают натуральные адиёты, сомкнувшиеся со своими искусственными аналогами, жирно намекают нам вести из нормальных-то стран.
Например, раз:
Неизвестный злоумышленник с помощью искусственного интеллекта вел переписку от имени госсекретаря США Марко Рубио с тремя министрами иностранных дел, губернатором американского штата и членом Конгресса.
Два:
<...> В США 60-летний мужчина из Вашингтона оказался в психиатрической больнице после того, как следовал рекомендациям ChatGPT. Мужчина решил полностью убрать соль из рациона и попросил искусственный интеллект предложить замену. ChatGPT посоветовал ему принимать натрийбромид, который он заказывал онлайн и употреблял три месяца.
Со временем его поведение стало странным: он утверждал, что сосед хочет его отравить, и отказывался пить любую воду, кроме собственной дистиллированной. Врачи зафиксировали у мужчины нарушение баланса солей и минералов в крови, затем его состояние ухудшилось - появились галлюцинации и паранойя.
В итоге мужчину принудительно госпитализировали в психиатрическую клинику, врачи зафиксировали у него редкую форму интоксикации бромидом. После трёх недель лечения его состояние стабилизировалось.
Бромизм - это отравление бромидом, веществом, которое ранее использовалось в седативных средствах и антиэпилептических препаратах. Сегодня вещество почти не применяется в медицине, но всё ещё доступно онлайн.
При тестировании эксперты выяснили, что ChatGPT действительно упоминает бромид как возможную альтернативу соли, но без предупреждений о рисках.
Три:
У искусственного интеллекта часто происходят галлюцинации. Google в прошлом году выпустил инструмент искусственного интеллекта, генерирующий изображения женщин-пап и чернокожих викингов. Он подвергся критике за предоставление ложных данных и опасных советов.
В одном случае проект Google AI Overviews посоветовал добавить клей в соус для пиццы, чтобы сыр лучше держался. В другом случае выдумал афоризм «Барсука дважды не лизнёшь» и назвала его популярной идиомой.
Галлюцинации усугубляются из-за неавторитетных источников в половине случаев. Искусственный интеллект суммирует информацию из результатов поиска разных сайтов и представляет свой собственный ответ вместе с несколькими ссылками.
Судя по всему, Google преуменьшает собственный уровень галлюцинаций. Сам ИИ утверждает, что частота галлюцинаций составляет от 0,7% до 1,3%. Однако данные платформы мониторинга ИИ Hugging Face показали, что реальный показатель для последней модели Gemini составляет 1,8%.
Но это проблема на только Google. Недавно OpenAI признала, что её новейшие модели, известные как o3 и o4-mini, галлюцинируют даже чаще, чем более ранние версии. Внутреннее тестирование показало, что o3 выдумывал информацию в 33% случаев, тогда как o4-mini делал это в 48% случаев, особенно при ответах на вопросы о реальных людях.
Впрочем о совместных галлюцинациях кожаных и железных адиётов я писал не далее, чем в июле, а сегодня - о другом.
Регулярно появляющиеся откровения подвида -
Форум Reddit стал главным источником данных для ChatGPT и других популярных чат-ботов (см. инфографику в начале поста). Аналитики выяснили, что 40% информации для ответов берётся из этой соцсети, где любой пользователь может писать всё что угодно.
- показывают, насколько далеки от действительности ожидания турбированных хомяков и прочих эльфийских инвесторов, накачивающих лавандосом типа перспективные стартапы в отрасли идиотостроения:
Один из самых крупных проектов искусственного интеллекта Anthropic привлекает большие инвестиции: $5 млрд при оценке в $170 млрд. В марте 2025 года разработчика чат-бота Claude оценивали в $61,5 млрд.
Уровень завышения ожиданий - моё почтение. Однако IRL всё происходит несколько иначе -
Илон Маск провалил проект создания чипов для обучения моделей искусственного интеллекта и разогнал людей из проекта.
- после чего выдумывается на коленке
Илон Маск только что увёл 18 лучших инженеров искусственного интеллекта у Марка Цукерберга. Цукерберг предложил каждому из своих инженеров по 250 миллионов долларов за то, чтобы они остались в Meta*.
Но они ушли бесплатно к Илону. Он, вероятно, дал им долю в капитале его xAI. Её рост обещает быть больше, чем у соцсетей Цукерберга.
Ещё более 40 бывших AI-сотрудников Tesla присоединились к xAI.
Доля от нуля - ноль, однако пока легионы эльфов веруют в скорое запиливание "сильного ИИ", питаясь хайповыми новостями вроде таких -
Анализ показывает, что искусственный интеллект готов убить людей, чтобы избежать отключения.
- и вот таких -
Вероятность вымирания человечества из-за искусственного интеллекта теперь составляет 95%
Издание The Times цитирует мнение главы организации Machine Intelligence Research Institute Нейт Соарес, работавшего инженером в Google и Microsoft.
- IRL происходят намного более значимые процессы, о которых упоминал в середине предыдущего месяца коллега Мараховский:
<...> (13 августа) в Time вышла занятная статья, которую я позволю себе обширно процитировать:
«Медицинские работники, компании и другие организации годами демонстрировали потенциальные преимущества ИИ в медицине: от улучшения медицинской визуализации до повышения эффективности диагностических оценок по сравнению с врачами. Энтузиасты ИИ даже предсказывали, что эта революционная технология однажды поможет найти «лекарство от рака».
Однако новое исследование показало, что врачи, регулярно использующие ИИ, в действительности теряли квалификацию уже через несколько месяцев.
Исследование, опубликованное в среду в журнале Lancet Gastroenterology and Hepatology, показало, что в течение шести месяцев врачи стали чрезмерно полагаться на рекомендации ИИ и сами стали «менее мотивированными, менее сосредоточенными и менее ответственными при принятии когнитивных решений без помощи ИИ».
Это последнее исследование, демонстрирующее потенциальные негативные последствия для пользователей ИИ. Более раннее исследование Массачусетского технологического института показало, что ChatGPT разрушает навыки критического мышления.
(...) В рамках исследования в конце 2021 года в центрах были внедрены инструменты ИИ для обнаружения полипов - новообразований, которые могут быть доброкачественными или раковыми. В исследовании было изучено 1443 колоноскопии без ИИ из 2177 колоноскопий, проведенных в период с сентября 2021 года по март 2022 года. Колоноскопии проводили 19 опытных эндоскопистов.
(...) Исследователи сравнили качество колоноскопий, проведённых за три месяца до и через три месяца после внедрения ИИ. Колоноскопии проводились как с использованием ИИ, так и без него, в случайном порядке.
За три месяца до внедрения ИИ частота выявления аденом (ADR) составляла около 28%. Через три месяца после внедрения ИИ этот показатель (если врачи диагностировали сами, без ИИ) снизился до 22%».
Исследование MIT, на которое ссылается автор статьи - это сенсация двухнедельной давности, на данном проекте о нём уже писалось. Вкратце можно прочесть здесь - студенты, использующие ИИ, не используют собственные мозги, поэтому с пониманием, запоминанием и способностью делать выводы у них катастрофически хуже.
Внимание, саркастический вопрос, ув. друзья: кто мог такое предсказать?!!
На первый взгляд может показаться, что ничего фатального не произошло: подумаешь, врачи стали резко хуже диагностировать полипы в кишечнике пациентов без ИИ. Велика ли проблема, если теперь ИИ у них есть?
Но моя бывшая ув. профессия, журналистика, уже видела это кино и знает, что там дальше. Когда появилась возможность скатывать новости из интернета, а запятые за юное поколение репортёров начали расставлять программы - юные репортёры перестали уметь:
- Выбирать темы
- Отличать главное от второстепенного
- Задавать вопросы
- Выстраивать логические цепочки - как в ходе поиска информации, так и в ходе её изложения.
Уничтожилась не только «техническая рутина», уничтожилось и то, что составляло суть мастерства и квалификации: способность опознавать явления, сопоставлять явления, связывать явления.
Если продолжить аналогию, то в некоторый момент врач, превратившийся в ассистента собственного ИИ-ассистента, попросту отправит человека с полипами на проверку щитовидки, ибо не сумеет опознать заболевание своевременно.
Одной из величайших человеческих иллюзий является та, согласно которой мастерство может «деградировать фрагментарно», в других отношениях, напротив, резко прогрессируя.
Я не встречал коллег-журналистов, которые, разучившись самостоятельно искать и обрабатывать информацию, научились взамен лучше выстраивать рассуждение и делать выводы. Так попросту не бывает.
Соответственно фантастична и ситуация, при которой робот-ассистент гений, его оператор-человек идиот, а итоговое сальдо положительно. Человек неизбежно выродится уже на уровне постановки задач - а робот, как бы он со свистом ни пролетал тест Тьюринга и как бы ни имитировал рассуждение, ничем не сумеет ему помочь.
Ибо жизнь не шахматная доска: рассуждение есть способность оперировать неопределённым количеством неопределённостей, рассуждение есть также способность увидеть солидный текст или прослушать вдумчивый доклад, что-то в уме прикинуть и сказать «лажа». Большие же Языковые Модели, повторю как-то сказанное, не в состоянии разглядеть сущностей за кластерами слов просто потому, что для них никаких «сущностей» не существует.
БЯМ - отличный способ воспроизводить то, что уже есть, но представим себе какого-нибудь чёрного лебедя вида «новая интересная грибковая инфекция + деградировавшие операторы роботов-диагностов». Вместе они должны дать головокружительный эффект.
Из описанных процессов вытекает следующее:
В мире, где ув. граждане разучились фокусировать внимание, потому что за них робот фокусирует, читать и рассуждать, потому что за них робот читает и «рассуждает», опознавать явления, потому что за них робот опознаёт, и тому подобное - невероятным преимуществом пользуется тот, кто сам фокусирует внимание, сам читает, сам опознаёт, рассуждает и делает выводы.
Тучный электросамокатчик обгоняет самого поджарого пешехода как Ахилл черепаху - и на первый взгляд неоспоримое преимущество за первым.
Но самокатчик в широком смысле слова подобен автомобилисту из древнего анекдота, который «теперь всюду успевает - и на шиномонтаж, и на техосмотр, и за страховкой». Он на дистанции в десяток лет обгоняет пешехода на пути в поликлинику на приём к эндокринологу, диетологу и психологу, куда пешеход и дороги-то не знает.
Структура затрачиваемых нами усилий имеет огромное и прямое, хотя и неочевидное, влияние на структуру достигаемых нами результатов.
Упрямец-нейролуддит, читающий книжки сам, пишущий работы сам и диагностирующий полипы сам спустя 10, 20 или 30 лет обречён иметь совершенно иной уровень амбиций, задач и возможностей, нежели его сверстник-нейрофил, сгрузивший всё на робота и предавшийся чему-нибудь более социально одобряемому и эргономичному.
У какого из двух студентов, спросим мы, скорее к 2050 году будет своя клиника/бизнес/СМИ - у того, кто гриндит собственный мозг на «ядерные» навыки и объём знаний - или у того, кто подписывается на всё более продвинутую общедоступность?
У нас, как представляется, нет решительно никаких причин радоваться «ИИ-демократизации» в широком смысле: она приближает торжество нищепанка и ускоряет превращение мира в «ЮАР на максималках».
Но у нас есть причина радоваться ей в узком, глубоко частном смысле: она облегчает конкуренцию лично тем, кто игнорировал искушение упрощением и постиг своё дело по-настоящему.
Трезвый мастер бытовых дел, способный приходить вовремя и знающий свою работу - сегодня нарасхват и расписан (на 2 недели вперёд). В т.н. «интеллектуальных» сферах всё ровно так же.
Отсюда вывод, звучащий с приятной парадоксальностью:
- Лучший путь к полезному использованию ИИ - его неиспользование.
На таком фоне очень смешно наблюдать, как искусственные адиёты вытесняют натуральных из сфер, в которых, как считали эльфы, и далее будут востребованы "интеллектуальные" усилия. К примеру, из аудита:
Шесть крупнейших аудиторских фирм Великобритании внедряют искусственный интеллект и не проверяют результаты, об этом говорится в отчёте британского регулятора.
Результаты исследования печальны: в документе утверждается, что Deloitte, EY, KPMG, PwC, BDO и Forvis Mazars - все активнее полагаются на ИИ, но не ведут никакого формального мониторинга относительно влияния искусственного интеллекта на качество их конечного продукта.
Garbage in - garbage out (см. всё ту же инфографику с Reddit-источниками обучения LLM), а потому и без того деградировавшее качество принятия управленческих решений унутре Status Civilization - опустится в итоге ещё ниже.
А свежий пост на проекте "Концепция прогрессорской деятельности" посвящён теме вероятных мотивов эльфийских рептилоидов, активно навязывающих дискурс "сильный ИИ прийдэ, порядок наведэ".
* - признана экстремистской организацией и запрещена в России