С весьма различной степенью оптимизма относясь к возможности создания Искусственного Интеллекта как таковой, люди достаточно единодушно признают, что возникновение ИИ неизбежно повлечет за собой существенную модернизацию философских и этических постулатов. Из возможных направлений этой модернизации, однако, внимание обычно уделяется лишь одному – расширению категории «мыслящие сущности» и связанным с этим проблемам. Зачастую предполагается, что настанет тот день, когда ИИ обретет те же права, что и человек, и будет аналогичным образом рассматриваться как уникальная личность. В футурологических прогнозах встречаются строчки типа «20XX год – первый судебный процесс по делу об убийстве ИИ», «20XX год – ИИ получает избирательные права» и т.п.

Иными словами, прямым следствием признания ИИ разумным будет присвоение его существованию той же ценности, что и существованию единичного разума человека – ценности, в гуманистической традиции объявляющейся бесконечной. А бесконечности сравнению не подлежат… Человек рассматривается как некая фиксированная точка отсчета, к которой ИИ может приближаться «снизу», оставаясь при этом в суде все еще «вещественным доказательством», с которой однажды может сравняться, получив статус «свидетеля», но которую по постулированному определению не может качественно превзойти, сколько бы ни наращивал далее свою количественную мощь.

(…Соответственно, гипотетический Сверх-ИИ, сопоставивший технические параметры свои и человечества и решивший в целях оптимизации от человечества избавиться, будет, мол, в чем-то глубоко заблуждаться, и потому будет как бы неправильным Сверх-ИИ. Ну да. Естественно.)

Недооценивается возможность обратного сдвига.

Не расширение категории «мыслящие сущности» – а ее упразднение в силу невозможности обозначить её границы.

Что, если окажется, что функциональность ИИ неотличима от человеческой, что он успешно проходит тест Тьюринга длиной в человеческую жизнь, но при этом по всем остальным своим очевидным признакам – не более чем инструмент? Инструмент, который можно создать, придав ему желаемые качества. Инструмент, который можно растиражировать во множестве копий – а можно придать уникальность, используя  случайные параметры. Инструмент гибкий, способный к адаптации – но из-за той же гибкости подверженный порче из-за накапливающихся ошибок…

Инструмент, способность которого к обработке информации всецело определяется информацией же, в нем содержащейся.

Не приведет ли это к нагляднейшей демонстрации того, что уникальность личности и вытекающая из нее ценность человеческой жизни – фикция? Что сами эти идеи – это лишь случайно закрепившаяся в ходе информационной эволюции мутация?
Что на шкале сложности информационных систем, тянущейся от простейших биологических механизмов репликации до Сверх-ИИ и далее, нет никакого фазового перехода, соответствующего возникновению так называемой разумности?