Divine works


eng deu рус


Конспект Л

Хокинг  В ответ на фильм о сингулярности с участием Джонни Деппа «Превосходство» -
«Если бы превосходящая инопланетная цивилизация отправила нам послание “Мы прибудем через несколько столетий”, разве мы бы ответили, мол, хорошо, позвоните нам, когда Вы сюда доберетесь, двери будут открыты? Вероятно, нет, но это примерно то, что происходит с ИИ».

Маск сравнил использование ИИ с «вызовом демона» и назвал это самой большой и реальной угрозой для человечества. Маск призвал создать национальное и международное регулирование развития ИИ.

Баррат – книга «Наше последнее изобретение: искусственный интеллект

Виндж придумал термин «сингулярность»
https://habr.com/ru/company/robohunter/blog/381157/

 

человек — промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка
тест Тьюринга

 

Бостром, Ник
Искусственный интеллект. Этапы. Угрозы. Стратегии

Предисловие партнера

…У меня есть один знакомый, — сказал Эдик. — Он утверждает, будто человек — промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка с ломтиком лимона.
Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Компьютеры, а точнее алгоритмы, опирающиеся на непрерывно растущие вычислительные мощности, лучше людей играют в шахматы, шашки и нарды. Они очень неплохо водят самолеты. Они смогли пройти тест Тьюринга, убедив судей в своей «человечности». Однажды таксист в Дублине — городе, где расположены европейские штаб-квартиры многих глобальных IT-компаний, — сказал мне, что приветствует бурное развитие технологического сектора своей страны, но потом с сожалением добавил: «Одна беда — из-за этих умных ребят довольно скоро таксисты будут не нужны». Автомобили без водителей, управляемые компьютерами, уже проходят испытания на обычных дорогах в нескольких странах. По мнению философа Ника Бострома, чью книгу вы держите в руках, — все это звенья одной цепи и довольно скоро из-за развития компьютерных технологий нам всем, человеческому роду, может прийти конец.
Автор считает, что смертельная угроза связана с возможностью создания искусственного интеллекта, превосходящего человеческий разум. Катастрофа может разразиться как в конце XXI века, так и в ближайшие десятилетия. Вся история человечества показывает: когда происходит столкновение представителя нашего вида, человека разумного, и любого другого, населяющего нашу планету, побеждает тот, кто умнее. До сих пор умнейшими были мы, но у нас нет гарантий, что так будет длиться вечно.
Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, — все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат — как в поединке шахматного компьютера «Дип Блю» с первоклассником.

 

все больше объектов физического мира управляются с помощью компьютеров и программного обеспечения, часто несовершенного, дырявого и уязвимого; все большее число таких объектов имеют связь с интернетом, и угрозы кибермира быстро становятся проблемами физической безопасности, а потенциально — жизни и смерти.
Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) — понять, в чем они могут состоять.

 

«Рифтеры» Питера Уоттса.

Конспект 2

Каждый из нас носит на своих плечах небольшую коробку мыслящего мяса. Я использую свою, чтобы выступать, вы используете свои, чтобы слушать. Иногда в правильных условиях эти разумы способны рационально мыслить. В принципе это возможно.

www.ru.wikipedia.org/wiki/Пенроуз,_Роджер

пример с гепардом

Все угрозы, с которыми сталкивалось человечество до сих пор были природными ил около
У нас как у вида нет опыта противостояния подобной угрозе, которой м стать ИИ
Поэтому на сложно представить себе эту угрозу, или нам кажется неправдоподобной.
Поэтому угроза ИИ всерьез не воспринимается.
(Мах)

К Закону Мура
Возможно, улучшение физического носителя ()электронного мозга) даже не так важно как улучшение программ, более сложных алгоритмов, эффективнее использующих имеющие ресурсы. (электронного сознания на базе кремниевого носителя)
(Мах)

 

Допустим, однажды у вас на пороге появляются люди в смешной одежде, спрашивающие вас, не хотите ли вы присоединиться к их движению. Они считают, что через два года Землю посетит НЛО, и что наша задача состоит в том, чтобы подготовить человечество к Великому Восхождению по Лучу.
Внутренняя перспектива требует увлечься обсуждением их аргументов. Вы спрашиваете посетителей, откуда они узнали об НЛО, почему они считают, что он направляется к нам, чтобы забрать нас – задаёте всякие нормальные вопросы, которые задал бы скептик в подобном случае.
Представьте, что вы часок поговорили с ними и они вас убедили. Они железно подтвердили скорое пришествие НЛО, необходимость подготовки к нему, и вы ещё ни во что не верили так сильно в своей жизни, как теперь верите в важность подготовки человечества к этому великому событию.
Внешняя перспектива говорит вам нечто другое. Люди одеты странно, у них есть чётки, они живут в каком-то глухом лагере, говорят одновременно и немного страшновато. И хотя их аргументы железные, весь ваш опыт говорит, что вы столкнулись с культом.
Конечно, у них есть прекрасные аргументы, говорящие о том, почему вам следует игнорировать инстинкт, но это внутренняя перспектива. Внешней перспективе плевать на содержание, она видит форму и контекст, и результат ей не нравится.

 

Задать вопросы с точки зрение скептика.

 

Ответить:
"Мне кажется весьма подозрительной идея о том, что интеллект – это что-то вроде скорости процессора, то есть, что некое достаточно умное существо может эмулировать менее умных (типа своих создателей-людей) вне зависимости от сложности их умственной архитектуры".

Конспект 3

Если бы AdSense обрела разум, она бы закачала себя в компьютер робомобиля и съехала бы с обрыва.

 

Зачем всемогущество ИИ, бессмертие нам, простым смертным
Кому-то роботизация, а кому-то безработица

Один американский плутократ (скорее всего, Илон Маск, считающий, что шансы на то, что мы живём в симуляции, составляют миллиард к одному) нанял пару кодеров, чтобы они попытались взломать симуляцию.

 

Когда начнется программа пропаганды – тогда и будет актуальны Поселения.
Сейчас они воспринимаются как бред.

 

Люди, способные прийти к абсурдным заключениям на основе длинной цепочки абстрактных рассуждений, и остающиеся уверенными в их истинности – это не те люди, которым надо доверять управление культурой.

 

В своей книге Бостром перечисляет шесть вещей, в которых должен преуспеть ИИ перед тем, как захватить мир:

  1. Умножение интеллекта.
  2. Стратегическое мышление.
  3. Социальное манипулирование.
  4. Взломы.
  5. Технологические исследования.
  6. Экономическая продуктивность.

 

Сэм Альтман, руководитель YCombinator
занимается теневыми политическими махинациями
Такое поведение «плаща и кинжала», присущее техноэлите, спровоцирует негативную обратную реакцию людей, не причастных к технологиям, которым не нравится, когда ими манипулируют. Невозможно бесконечно тянуть за рычаги власти, это в итоге начнёт раздражать других членов демократического сообщества.

 

Станислав Лем

 

наше понимание разума находится примерно в том же состоянии, в котором алхимия находилась в XVII веке.

 

есть вещи, сложность которых мы критично недооцениваем.
Алхимик мог держать в одной руке камень, в другой – дерево, и считать их примерами «субстанции», не понимая, что дерево на порядки сложнее. Мы находимся на сходном этапе изучения сознания.
В недалёком будущем ИИ и машинное обучение, с которыми мы столкнёмся, будут сильно отличаться от фантасмагорического ИИ из книги Бострома, и будут представлять собственные серьёзные проблемы.

Как алхимики не различали сложности веществ, так и сейчас недооценивают сложность разума. Фантасмагоричность ИИ Бострома я и пытался передать в "антропоморфизме". (папа)

Гнетущие этические вопросы машинного обучения связаны не с тем, что машины осознают себя и завоюют мир, а с тем, как одни люди смогут эксплуатировать других, или в результате беспечности реализуют аморальное поведение автоматических систем.

Конспект 4

Мы должны выучить урок кота Стивена Хокинга: не давайте гениям, управляющим индустрией, ни в чём вас убедить. Действуйте самостоятельно!
В отсутствии эффективного лидерства со стороны первых людей индустрии, именно мы должны делать всё сами – в том числе, обдумывать все этические проблемы, которые реально существующий ИИ приносит в мир.

 

Среди алармистов популярен Бостром.

 

Идея не в том, чтобы сэкономить время людям, а в том, чтобы убедить их, что они тратят время на важное.

 

"Список дат, предсказанных для апокалиптических событий"

2239

Талмуд, иудаизм

Согласно Талмуду Мессия придет через 6000 лет после создания Адама, а мир может быть разрушен через 1000 лет.

2280

Rashad Khalifa Рашад Халифа

Согласно исследованию по Корану этого египетско-американского биохимика, мир закончится в этом году.

https://en.wikipedia.org/wiki/List_of_dates_predicted_for_apocalyptic_events

Эффект перспективы:

Джон Маккарти, предложивший термин “ИИ” в 1956-м, заметил: “как только он начинает работать никто больше не называет его искусственным интеллектом”.

Пока новый гаджет видится вдали на горизонте - он виден рядом с человеком, который тоже на горизонте, но когда гаджет уже рядом, то сравнивается с человеком, который по-прежнему остается на горизонте – по сравнению с этим гаджетом.
Т е претензии к ИИ повышаются
ИИ будет восприниматься как действительно ИИ, когда по-настоящему достигнет человеческого уровня во всем.