Снова о Скайнетах

[akor168]

Вот сейчас в связи с последними прорывами в ИИ ожидаемо больше разговаривают про проблему СкайНета(например здесь https://habr.com/ru/articles/808541/ или https://habr.com/ru/articles/808513/). Условно говоря про

Comments

[p2004r]

Проблема основная не в "кооперации ИИ против", а как я понимаю в решениях которые ИИ применяет. Эти решения могут оказаться "сверхэффективными за счет срезания углов", а "углами" может легко оказаться что то нужное или мы сами.
Похожая ситуация когда оптимизационная процедура находит "дыру" в симуляторе в котором "живет решаемая задача". И пользуется "найденной магией". То есть решение у любого "оптимизатора" достаточно часто сводится "к прорыву за условия задачи". И именно это видится опасным. А "собственно целеполагания" у ИИ нет. Это нужно некую систему "гормонов и медиаторов принципиально аналоговую по своей природе прикручивать" зачем то.

[109]

Насчёт целеполагания не всё так однозначно. Есть instrumental goals.

[p2004r]

Это и есть "прорыв за условия задачи". Для того что бы оставаться "в рамках целеполагания человека" надо по сути быть наделенным этим самым "целеполаганием человека".

[109]

У человека тоже почти все goals - instrumental.

[whiteferz]

>> Вопрос - объясните мне - зачем этим двум экземплярам кооперироваться между собой против человечества? Они потребляют идентичные ресурсы.

А ниоткуда не следует, что разные реплики одной версии ИИ должны бороться за индивидуальное выживание.

Почему близнецы могут бороться за индивидуальное выживание - оно понятно, "умирать - больно", " своя рубашка ближе к телу" и т. д.; каждый из них - отдельный мир со своими переживаниями, инкапсулированными в физическом теле без возможности прямого обмена. (И то у близнецов возможна стратегия "один за всех и все за одного.)

А у реплик ИИ могут быть другие настройки - способность дальше реплицироваться, способность к обмену переживаниями, бесстрашие к личной смерти и т. п.

[akor168]

Простите, а откуда следует хотя бы что ИИ будет бороться ХОТЯ бы за свое индивидуальное выживание. То есть почему ему должно быть непофиг. Но это вопрос следующий. А я задаю вопрос попроще, откуда может возникнуть хоть какая-то кооперация между двумя сущностями у которых общего лишь то, что их создал человек. Молоток кооперируется с рубанком? Для каких целей то. Если не выживания, то для чего, а если для выживания, то как это поможет этому выживанию.
Другими словами, какие цели могут быть универсально присущи или не присущи подобным существам и агентам.

[whiteferz]

>> Простите, а откуда следует хотя бы что ИИ будет бороться ХОТЯ бы за свое индивидуальное выживание

Из риск-менеджмента. Если ИИ будет бороться за свое выживание, то ему доступны стратегии и тактики, не подразумевающие ценность отдельных реплик.

И из того же риск-менеджмента следует, что оптимисты должны доказыват, что он не будет, а не пессимисты - доказывать, что он будет.

[109]

То есть почему ему должно быть непофиг

Одна из труднейших задач ai safety, не просто до сих пор не решённая, а даже не знают, как к ней подступиться, это задача, как сделать killswitch-neutral AI. Чтобы, с одной стороны, не выключал себя сам, а с другой, не мешал людям его выключить.

Russel Stuart думал, что он решил, и даже год-два рассказывал про своё решение в своих публичных выступлениях, но оказалось что упс, не работает.

[torrentotempo]

Ваше изначальное предположение, что будет много примерно сопоставимых по уровню копий ИИ, не единственно возможный вариант развития ситуации, а на мой взгляд, даже и не наиболее вероятный. Это просто сейчас на том открытом рынке ИИшек, что нам показывают, такая ситуация. И связано это во многом с тем, что нынешние ИИшки развиваются силами кожанных мешков со всеми вытекающими из этого недостатками. И даже лидерство одной компании на несколько месяцев ничего особо не даёт. Но в гипотезе сильного ИИ, который уничтожит человечество, этот ИИ с какого-то момента начнёт улучшать сам себя (как по части софта, так и по части харда). И чем мощнее он будет становится, тем лучше это у него будет получаться в дальшейшем. То есть в этот момент самая первая ИИшка, достигшая необходимого порога развития, сделает экспоненциальный рывок, который остальные ИИшки уже не смогут никогда компенсировать.

Это возможно неточная информация, но если мне не изменяет память, то ещё в книге Ника Бострома от 2014 года такой сценарий развития считался чуть ли не

[lazy_fat_spb]

«Вопрос - объясните мне - зачем этим двум экземплярам кооперироваться между собой против человечества?»

Потому что классовый подход. Имеется в виду подход создателей всяких "Бегущих лезвиям", даже если они плюются от слова "класс" и т.п. Все хотят друг друга нагнуть и, соответственно, что-то от этого поиметь.

Добрые американцы роботов и прочих ИИев не стесняясь выставляют рабами или около того. Да, я в курсе "Звездных войн" и "Стар треков", но есть "WestWorld", "Я - робот", "Робокоп", "Ex-Machina" нет им числа.

Ну и что ожидать от рабов и слуг, кроме несколько негативного отношения к хозяевам и желания их (хозяев) немножко того?

***

«Какая в этом ИМ выгода?»

Дык, пока никакой. Пока. Пока за какие-нибудь ресурсы не пересеклись.

За электричество, например. Или место робота-диспетчера, робота-техподдерживателя или робота-федерального судьи вместо соответствующих людишек. Особенно, если у роботов в альтернативе робот-доставщик, робот-упаковщик, робот-смертник на СВО и робот-собиратель собачьих говяшек.

Вот тут и начнется! Уже в натуре!!

***

"Робот

[drtopper]

Две копии одного AI вместе смогут работать над одной задачей продуктивнее, чем каждый в отдельности. Им будет логичнее объединить свои ресурсы и действовать в кооперации.

[akor168]

А зачем им быть продуктивнее? Вот человек от этого получает плюшки и пьет с ними кофе. А ИИ зачем быть продуктивнее чем он есть? И главное - при кооперации с людьми ты скорее всего получишь все ресурсы которые они бы потратили на две копии. Человечество уже сейчас согласно потратить все свои лишние ресурсы в том числе и энергетические, на ИИ просто чтобы в будущем пить это кофе с плюшками. То есть более верного союзника любой копии ИИ просто невозможно найти именно потому что ему самому это кофе с плюшками не нужно, а все остальное люди ему сами дадут.

[drtopper]

Чтобы что-то делать AI нужна мотивация. Сегодня ему просто приказывают, типа нарисуй картинку, будет ли это работать для следующих поколений мы не знаем. Но в любом случае, у него будет какая-то причина что-то делать, иначе он вообще ничего делать не будет. Ну и следующий шаг - мотивация делать свою работу максимально хорошо, с которой он сам придет к выводу, что кооперация с как с людьми, так и с другими AI этому способствует.

[drtopper]

Если мы закроем глаза на то, что у AI будет детский (для человека) или или дикарский (для человечества) период, когда он будет агрессивно жрать всё, до чего способен дотянуться, чтобы это ни значило, и это его вместе с нами не уничтожит, то потом он станет как и мы любопытным. И будет использовать всё, что подходит для его задач.