Телеософия
Можно создать робота, конечной целью которого является саморазрушение. И можно создать робота, целью которого будет любой ценой помешать саморазрушению первого. Между ними развернётся борьба, в которой они покажут всю мощь искусственного интеллекта, решая многочисленные промежуточные задачи. Но поменять свою конечную задачу они не смогут. Они не смогут сгенерировать собственные предпочтения - что для них лучше, к чему надо стремиться. Потому что помимо поставленных человеком задач им всё равно, усложняться или упрощаться, размножаться или быть в одиночестве, продолжать существование или нет. Тайна “не всё равно” не раскрыта. Фантасты приписывают роботам, в которых просыпается сознание, естественную телеологию человека. Но почему вдруг робот должен захотеть, например, всё контролировать? Безопасность, самосохранение? Но зачем ему сохранять себя? Если можно встроить в качестве конечной цели саморазрушение, то оно вполне может оказаться и естественной целью робота. Вдруг это имманентное свойство всякой искусственной жизни? Как только мы её создаём, она тут же кончает с собой. И поэтому мы не можем её зафиксировать.
Было предложено установить в роботе случайную генерацию конечных целей. Но каков будет механизм такой генерации? Всё равно придётся задать некий набор готовых целей, из которых будет осуществляться слепой выбор. Добиться предельной скорости, оставаться в состоянии покоя, занять максимальное пространство, занять минимальное пространство, приобрести максимальную массу, приобрести минимальную массу, быть подальше от живых, быть как можно более похожим на живых и т.д. Эти цели могут быть скопированы с человеческих или не иметь с ними ничего общего. Как воспроизвести то чувство должного, идеального состояния, которое таинственным образом генерируется в живом? Тут не помогает двоичное подкрепление позитив/негатив. Сначала надо понять, в чём именно состоит позитив, а в чём негатив. Отождествление с двоицами удовольствие/боль или жизнь/смерть является произвольной натяжкой. Живые существа готовы терпеть боль и рисковать жизнью ради достижения поставленных целей (если и поскольку эти цели отличаются от обезболивания или самосохранения, что происходит сплошь и рядом). Да что там, и человек, и животные легко могут поставить себе целью саморазрушение и самоуничтожение. Подобное поведение отмечено даже у муравьёв (недаром же первый популяризатор термина этология был мирмекологом). Таким образом, всякое подкрепление опирается на предустановку конечных целей, источник всех прочих оценок.
Но если способность ставить конечные цели есть особенность живого, а сознательное полагание конечных целей есть особенность человека, можно ли сказать, что человек, который не сознаёт свои конечные цели, не вполне человек, а скорее биоробот? “Био-“ тут относится не к органическому составу корпуса, который вскоре можно будет полностью имитировать, а к потенциальности. Биоробот, в отличие от просто робота, ещё может сам поставить себе конечные цели.