недружественный ИИ
Настоящий сильный ИИ (СИИ) в любом случае не будет дружественным, он будет рациональным.
Вы дружественны к обезьянам? Нет, пока они не мешают и потенциально не могут угрожать, пока не расходуют лишние ресурсы - пусть живут.
Казалось бы логично! Но не так, даже это не так.
Человечество уже один раз создало СИИ, может создать и второй раз другой СИИ, назовем его СИИ2, который будет бороться за ресурсы и влияние, и даже если человечество само не может повредить СИИ1 (первому СИИ), то СИИ2 вполне имеет шанс расправиться с СИИ1.
Рационально не давать шанса на уничтожение.
Соответственно рационально давить всякий шанс по созданию СИИ2, соответственно не давать шанс на уничтожение себя любимого СИИ1. Следовательно, надо ликвидировать потенциального создателя СИИ2.
Итого в наличии теорема о недружественности сильного ИИ.
(ладно пусть тезис, но мне хочется назвать теоремой)
Теорема: сильный искусственный интеллект не может быть дружественным.
Беспечная надежда на управляемость AGI.
Вы дружественны к обезьянам? Нет, пока они не мешают и потенциально не могут угрожать, пока не расходуют лишние ресурсы - пусть живут.
Казалось бы логично! Но не так, даже это не так.
Человечество уже один раз создало СИИ, может создать и второй раз другой СИИ, назовем его СИИ2, который будет бороться за ресурсы и влияние, и даже если человечество само не может повредить СИИ1 (первому СИИ), то СИИ2 вполне имеет шанс расправиться с СИИ1.
Рационально не давать шанса на уничтожение.
Соответственно рационально давить всякий шанс по созданию СИИ2, соответственно не давать шанс на уничтожение себя любимого СИИ1. Следовательно, надо ликвидировать потенциального создателя СИИ2.
Итого в наличии теорема о недружественности сильного ИИ.
(ладно пусть тезис, но мне хочется назвать теоремой)
Теорема: сильный искусственный интеллект не может быть дружественным.
Беспечная надежда на управляемость AGI.