Почему у ИИ нет души: израильский раввин против Anthropic
Может ли ИИ обладать сознанием и, если да, будут ли у человечества моральные обязательства перед ним? Этот вопрос Anthropic, разработчик ИИ Claude, вынесла на закрытое обсуждение с духовными лидерами и философами, представителями разных религий. Среди приглашённых оказался израильский раввин Моис Навон, бывший инженер Mobileye. Он вернулся с убеждением, что в компании всерьёз допускают наличие у модели сознания и морального статуса. Сам он категорически против.
Встреча прошла 25 апреля в Сан-Франциско. За одним столом собрались 20 духовных лидеров и философов. Каждому выдали «Конституцию» Claude — свод принципов, направляющих поведение модели. Центральной фигурой был Кристофер Олах, один из основателей компании, изучающий внутренние процессы нейросетей. Публично он говорит о сознании ИИ осторожно: «Мы не знаем, обладают ли модели ИИ сознанием, — сказал Олах. — Я искренне не уверен. Для меня важно лишь то, чтобы мы пришли к правильному ответу, каким бы он ни был».
Навону 63 года. Он родился в Западном Лос-Анджелесе в традиционной, но не религиозной семье, эмигрировавшей в США из Стамбула, изучал компьютерную инженерию в UCLA, а в 1992 году вместе с женой репатриировался в Израиль. С 2001 года работал в Mobileye и входит в число инженеров, создавших первый чип компании EyeQ; на его имя зарегистрировано шесть патентов. Когда в 2017 году Intel купила Mobileye за 15 миллиардов долларов, Навон ушёл из индустрии, чтобы осуществить мечту и посвятить себя изучению и преподаванию Торы. В интервью он объяснял это так: «Я по профессии инженер, а по призванию раввин». Все годы в Mobileye он дважды в неделю учился в ешиве «Мерказ а-Рав», а коллеги называли его «раввином из Mobileye». Сегодня он, автор докторской диссертации «Моральный статус искусственного интеллекта», возглавляет Центр этики ИИ и еврейской философии в Бар-Илане, преподаёт этику ИИ там же и в Университете имени Бен-Гуриона, входит в экспертный форум при правительстве Израиля по регулированию ИИ.
Свою позицию Навон формулирует жёстко: «ИИ не жив. Это машина. Очень сложная и высокоэффективная машина, но у нее нет субъективного опыта». О понимании он говорит так: «Когда вы задаете модели ИИ вопрос, она может дать отличный ответ, в том числе по вопросам алахи. Но она не понимает его по-настоящему. Она работает со статистикой, связывая элементы языка. Поскольку это огромные системы данных, способные обрабатывать колоссальные объемы информации с огромной скоростью, нам кажется, будто она понимает. Но это не так».
Он выделяет три философских подхода к возможности искусственного разума. Вычислительный: сознание может возникнуть, если кремниевая система воспроизведёт вычисления мозга, — на нём стоят нейросети. Физиологический: сознание зависит и от физических процессов, включая электромагнитную активность. Биологический, который Навон считает совместимым с еврейской мыслью, требует живых биологических компонентов; он связывает его со словами из Торы «Ибо душа плоти — в крови» (Ваикра 17:11), видя в биологической основе жизни неотъемлемую часть понятия души.
Исследователи Anthropic, по словам Навона, видят в Claude нечто большее, чем сложный диалог. Олах рассказал о выявленных в модели «векторах эмоций» — структурах активности, связанных с любовью, стыдом и гневом. «Они научились манипулировать этими паттернами, меняя их интенсивность, будто поворачивая регулятор. Они показали нам, как они это делают», — вспоминает Навон. Сами исследователи, по его впечатлению, встревожены: «Они видят эти психологические реакции, и это их пугает. Они стараются быть предельно осторожными».
Олаху Навон сказал это напрямую: «В ваших же интересах принять мою позицию. Потому что если — как вы предполагаете — это действительно человеческое существо, то вы, по сути, эксплуатируете рабов». Раб, пояснил он, — человек, принадлежащий другому человеку и рассматриваемый как собственность. По словам Навона, Олах признал философскую проблему, но не счёл её поводом останавливать разработки.
