Divine works


eng deu рус


О вероятностном подходе к угрозам:

Еще раз об "Антропоморфизме" Бострома и желаниях ИИ:

"Антропоморфизм" Бострома не сводится к утверждению, что ИИ (Искусственный интеллект) не может иметь желаний властвовать.
- Желания вполне могут эмулироваться. В том же пресловутом примере со скрепками – ИИ всего лишь "хотел" делать скрепки.
"Антропоморфизм" Бострома заключается в том, что Бостром для ИИ принимает очень много допущений, которые для крайне специфического разума человека "работают" по умолчанию, однако совершенно не являются универсальными.
.
Возможно, самопроизвольно-рекурсивно ИИ уйдет в бесконечность.
Но не факт, что при этом у ИИ сохранятся антропоморфные настройки-"желания".
Вероятнее всего рекурсивные Сверх-ИИ будут сумасшедшими. Причем нечеловечески сумасшедшими. Причем маловероятно, что сумасшедшими – "буйными".
К этому надо добавить аргументы ученых не согласных с теорией ИИ-алармистов (аргумент от эму, от нейрохирургии, от детства, от острова Гиллигана и т.д.).

Это не означает, что Сверх-ИИ будут не опасными, просто категорично-однозначные  утверждения Бострома пока неверны – сегодня и в ближайшем будущем.
Тем не менее, забегая вперед, можно однозначно утверждать, что ИИ будет опаснее всех предсказаний Бострома, но опаснее – по-другому.

Аргумент: Действие равно противодействию:

Вместе с экспоненциальным (самопроизвольным) ростом ИИ - экспоненциально же растут препятствующие этому росту факторы. При этом многие факторы просто "возникнут", то есть они до этого будут нулевыми.
Бостром концентрируется на одном факторе роста ИИ – ПО (Программное обеспечение).
Но рост ИИ связан далеко не только с ПО.

Само-совершенствование "желаний" ИИ:

В процессе рекурсивного самосовершенствования, ИИ вероятно "усовершенствует" и свои эмулированные "желания".
Например, ИИ-максимизатор производства скрепок, вероятно, усовершенствует первоначально поставленную ему задачу, используя ее нечеткость и противоречия.
Впрочем, это касается и принципиально неоднозначных запретов вредить людям.

Это является большой научной проблемой – смогут ли люди-программисты сделать ИИ само-совершенствующимся, но при этом сохраняющим неизменными трудно-формализуемые запреты в себе, "чтобы даже после тысяч циклов самосовершенствования система ценностей ИИ оставалась стабильной".

С 1-й стороны, вероятно, "принцип Гиппократа" в отношении ИИ (не создавать то, в безопасности чего нет уверенности) подобен приглашению к ядерному уничтожению США в 1945. Это при том, что ядерное оружие не уничтожит Цивилизацию, а ее гибель из-за ИИ – это только вопрос времени.
С 2-й стороны, вероятно, даже конкурирующие между собой люди максимально возможно просчитают и подготовятся к само-"уточнению" запретов.
С 3-й стороны, вероятно, глупая, неопределенная цель, поставленная перед ИИ уже не будет связана с безусловным уничтожением человечества.

Антропоморфизм IQ:

"Коэффициент интеллекта" создан для человека и настроен на крайне специфический разум человека.
IQ создан был для оценки  солдат-рекрутов и задач трудоустройства – людей.
- В современной армии и на современном предприятии человеку необходимо быстро разбираться в головоломках систем управления оборудованием и быстро решать сложные производственные проблемы.
Однако:
Во-1-х, оценка самого сложного явления в природе одним числом не может не быть настроена крайне узко-специфически. То есть IQ очень условен в буквальном смысле этого слова.
Во-2-х, существуют оптимальные решения, и соответственно - максимальный IQ, который позволяет их находить. И этот максимальный IQ отнюдь не 60 000  - как у сверх-ИИ Бострома, а где-то в районе человеческих 200. – Если закон сохранения энергии запрещает Вечный двигатель, то никакой IQ не поможет восстановить отключенное электропитание.

"Негативность" IQ:

Главный фактор высокого IQ у людей не позитивный – не обладание способностями, а пониженный уровень "аберраций" мышления.
Однако "аберрации" мышления возможно являются скорее полезными. – они в том числе препятствуют вредному для человека и его родных поведению, основанному, например на вере в теорию заговора сверх-ИИ. 
Парадоксально, но в сложных условиях с высокой неполнотой информации, например, оказавшись в новой культурной среде, обладатель высокого IQ, умеющий хорошо разгадывать головоломки, возможно скорее проиграет, поскольку у человека решающую роль в успешности поведения играет не интеллект, а интуиция и инстинкты.

Косвенным аргументов в пользу гипотезы о роли аберраций мышления в IQ служит феномен сверх-способностей у людей, - когда люди в уме производят вычисления недоступные людям с нормальной психикой.

Да, в крайне упрощенных ситуациях искусственных игр ИИ получает преимущество перед человеком, но если ИИ засунуть в тело человека и выбросить его куда-нибудь в криминальный район Каракаса, то он вряд ли там выживет.
Да, со временем сверх-ИИ сможет просчитывать все сложные обстоятельства в условиях высоких неоднозначности и неполноты получаемой извне информации, однако смысл излагаемой здесь  "вероятностной" идеи заключается в том, что угрозу связанную с таким прогрессом ИИ намного опередит угроза связанная с умышленным применением ИИ в "симбиозе" с людьми-гос. террористами, в котором люди и ИИ будут дополнять друг друга.

Зависимость ИИ от человека:

Все это не означает, что ИИ будет расти не экспоненциально.
Это лишь означает, что
1. Сингулярности не будет. А квази-экспоненциальный рост ИИ будет более плавным.
2. Расти ИИ будет только при помощи человека, - когда властитель возьмет на себя обеспечение всех прочих факторов роста ИИ. – По крайней мере - в 21 веке.

Это же означает, что как бы экспоненциально, но самопроизвольно-рекурсивно ИИ не умнел, защита будет опережать его.

Защита от ИИ – меры - примеры:

- Развитие науки об однозначных заказах "Джинну"
- Контроль ИИ с помощью ИИ, без связи их между собой.
- Развитие науки об "моральном" контроле ИИ – развитие "Правил" не вредить людям.
- Развитие много-уровневых неинтеллектуальных, производственных "Брандмауэров" – начиная с сырья и заканчивая микропроцессорами.
- Развитие ограничений ИИ. – Бесконечно умный ИИ бесконечно беспомощен без физических средств.
- Развитие механизмов защиты данных. – Интеллект ИИ базируется на внешних данных.

Угроза – не в самом ИИ:

Опасность ИИ в том, что все вышесказанное не работает в случае целенаправленного использования ИИ самими людьми имеющими власть - для манипуляции толпой.
Бояться надо не самопроизвольного развития ИИ, а его применения в качестве оружия.

Вопрос - в вероятностях:

Невозможно математически точно рассчитать – достаточны ли меры защиты от ИИ.

Но вполне можно оценить сравнительные вероятности угроз:
a. От спонтанного ИИ, с учетом мер защиты.
b. От применения ИИ в качестве психического оружия управления социальными обстоятельствами.
Можно даже добавить к сравнению - вероятности гибели Цивилизации от всех возможных угроз - падения астероида, близкого взрыва сверхновой звезды, климатической катастрофы и т.п.

Да, вероятность катастрофического развития спонтанного ИИ существует, дело лишь в том, что вероятность эта на порядки меньше 100%-й вероятности применения ИИ.

Тогда вопрос сводится к вопросу – может ли применение ИИ для манипуляций людьми привести к долгосрочным негативным последствиям для людей?
Точнее, насколько при этом вероятен неблагоприятный исход?
Негативные последствия вероятно возникнут – из-за положительной обратной связи, из-за неустойчивости процесса, - чем успешнее манипуляция людьми, тем она будет выгоднее.
Причем, если развитие ПО самого ИИ предугадать сложно, то использование ИИ вполне поддается моделированию. – Психика человека властвующего достаточно хорошо изучена, а человеческая "деградация" "симбиотов" – само-изменение абсолютных властителей в процессе их конкуренции – процесс не экспоненциальный.

На вероятностном подходе и основывается моя позиция.