Творец и робот... Насколько реальны опасности ИИ?

← →
Soft © (2004-03-17 22:49) [0]

Джэкобс, английский писатель начала XX века, довел этот принцип до своего логического конца в повести "Обезьянья лапа", которая представляет собой один из классических образцов "литературы ужасов". В повести описывается английская рабочая семья, собравшаяся к обеду на кухне. Сын вскоре уходит на фабрику, а старики родители слушают рассказы своего гостя, старшего сержанта, возвратившегося из Индии. Гость рассказывает об индийской магии и показывает талисман - высушенную обезьянью лапу. По его словам, индийский святой наделил этот, талисман магическим свойством исполнять по три желания любого из трех своих последовательных владельцев. Гость говорит, что это подходящий случай испытать судьбу. Он не знает первых двух желаний предыдущего владельца талисмана, но ему известно, что последним желанием его предшественника была смерть. Сам он был вторым владельцем, но то, что он испытал, слишком страшно пересказывать. Гость уже намерен бросить волшебную лапу в камин, но хозяин выхватывает ее и, невзирая на предостережения, просит у нее двести фунтов стерлингов.
Через некоторое время раздается стук в дверь. Входит очень важный господин, служащий той фирмы, в которой работает сын хозяина. Со всей мягкостью, на которую он способен, господин сообщает, что в результате несчастного случая на фабрике сын хозяина погиб. Не считая себя ни в коей мере ответственной за случившееся, фирма выражает семье погибшего свое соболезнование и просит принять пособие в размере двухсот фунтов стерлингов. Обезумевшие от горя родители умоляют - и это их второе желание, - чтобы талисман вернул им сына... Внезапно все погружается в зловещую ночную тьму, поднимается буря. Снова стук в дверь. Родители каким-то образом узнают, что это их сын, но, увы, он бесплотен, как призрак. История кончается тем, что родители выражают свое третье и последнее желание: они просят, чтобы призрак сына удалился.

Лейтмотив всех этих историй - опасность, связанная с природой магического.

По-видимому, корни этой опасности кроются в том, что магическое исполнение заданного осуществляется в высшей степени буквально и что если магия вообще способна даровать что-либо, - то она дарует именно то, что вы попросили, а не то что вы подразумевали, но не сумели точно сформулировать.

Если вы просите двести фунтов стерлингов и не оговариваете при этом, что не желаете их получить ценою жизни вашего сына, вы получите свои двести фунтов независимо от того, останется ли ваш сын в живых или умрет!

Не исключено, что магия автоматизации и, в частности, логические свойства самообучающихся автоматов будут проявляться столь же буквально.

Когда вы ведете игру, соблюдая все правила, и настраиваете машину так, чтобы она играла на выигрыш, вы получите его - если получите что-либо вообще, - но при этом машина не обратит ни малейшего внимания на любые соображения, за исключением тех, которые, согласно установленным правилам, приводят ее к выигрышу. Если вы ведете военную игру с некоторой условной интерпретацией победы, то победа будет достигнута любой ценой, даже ценой уничтожения вашей собственной стороны, если только сохранение ее жизнеспособности не будет совершенно четко запрограммировано в числе условий победы.

http://www.ibmh.msk.su/vivovoco/VV/PAPERS/NATURE/WIENER1.HTM

← →
Zacho © (2004-03-17 23:03) [1]

Старо.. Очень старо..
Зодчий теней, Исполнитель желаний и т.д и т.п. - это только фильмы.. И книги, по котрым был написан сценарий...
Надоело...
Soft, а слабо придумать что-нибудь действительно интересное и новое ? :)

> Не исключено, что магия автоматизации и, в частности, логические
> свойства самообучающихся автоматов будут проявляться столь
> же буквально.

Было, и не раз. Надоело...

← →
Soft © (2004-03-17 23:13) [2]

>>Zacho © (17.03.04 23:03) [1]

Ну так это классика, Норберт Винер(основатель интеллектуальных машин и кибернетики).

ЗЫ
А от интересного и нового почему-то Игоря Шевченко кодобит:)

← →
Soft © (2004-03-17 23:44) [3]

В общем, люди, настроенные к Талеру дружественно, говорят, что его технология — лучшее моделирование того, что происходит в человеческом мозге, первая действительно думающая машина. Другие полагают, что это — зловещий предвестник появления "терминаторов", обладающих самосознанием машин, которые могут завоевать мир.

http://www.membrana.ru/articles/inventions/2004/01/26/212000.html

← →
Zacho © (2004-03-17 23:49) [4]

> Soft © (17.03.04 23:13) [2]
> >>Zacho © (17.03.04 23:03) [1]
>
> Ну так это классика, Норберт Винер

Yes, o"cos. И что ?

> А от интересного и нового почему-то Игоря Шевченко кодобит:)

Ну и пусть ... Это его проблемы..
О ! Почитай Дашкова. Например, у меня после прочтения (и осмысления, как бы глупо это не звучало) "Умри или исчезни" - несколько месяцев кошмары снились.

← →
kaif © (2004-03-18 00:06) [5]

Кстати, те, кто относится к компьютерным программам, как к магии - уже сегодня гибнут. Я слышал, что внедрение компьютерной системы учета обанкротило недавно одну до того очень успешную мировую корпорацию с годовым оборотом не то 5 не то 150 млрд долларов. Сейчас много фирм судятся против аудиторских компаний, которые пообещали "улучшить бизнес" установкой корпоративных систем автоматизированного учета "под ключ". В этом есть большой смысл. Если я гарантированно знаю, как улучшить какой-то бизнес, то я могу выступить, как инвестор: купить бизнес,улучшить его,продать бизнес. Если же я говорю: заплатите мне столько-то, а я улучшу вам бизнес - это уже на магию смахивает... Клиент обычно не очень разбирается в компьютерных системах, а аудиторская компания, как правило, искренне думает, что разбирается в его бизнесе. Но рискует-то всегда в конечном итоге клиент, так как и бизнес его, и прибыли и убытки - тоже... Но если все вокруг компьютеризируются, а он - нет, это бьет по репутации и конкурентоспособности... Получается, что вкладываясь в компьютеризацию, он повышает курсы своих акций, но при этом ставит весь бизнес под удар. И деваться ему уже некуда... Так что даже ИИ изобретать не надо. И так уже по расчетам американцев каждый компьютер в среднем обходится фирме в $10,000. Просто даже если он стоит и ничего особенного не делает. В среднем потери в США именно таковы. А экономический выигрыш пока посчитать никто не в силах. Поэтому максимум, что пока удается посчитать, так это "совокупную стоимость владения" всей этой лабудой (компьютеры, стоимость корпоративных систем управления ресурсами, обучение, обслуживание, и т.д.).

← →
kaif © (2004-03-18 00:14) [6]

А я вот слышал, что Билл Гейтс намерен вообще выбросить всю линейку Win32 продуктов и заменить их теперь на 64-разрядную новую ОС на совсем новых принципах. Даже файловая система будет основана на чем-то очень странном (чуть ли не на MSSQL). И я не удивлюсь, если завтра каждый очередной купленный в магазине компьютер для экономии времени нужно будет нести не домой, а как можно скорее прямо на мусорную свалку, чтобы не оказаться с "вчерашним отстойным компьютером" на руках...
По-моему все сошли с ума. С учетом того, что компьютер до сих пор на 99% используется как печатная машинка, а гигагерцы все растут и растут...
Зато кнопочки тепеь могут иметь анимированные пиктограммки...
А это так прикольно!
Я ненавижу "Помощник" Оффиса, а секретарши с него пищат от восторга!
Магия, мля...

← →
lipskiy © (2004-03-18 00:37) [7]

Если под ИИ понимать искуственную копию интеллекта человека, то ИИ невозможен принципиально.
Существует аксиома "Никакая система не может быть познана изнутри нее самой".
Система "человек" не может полностью познать себя не выходя за пределы себя. Следовательно, человек принципиально не может создать копию своего интеллекта. Все попытки - это всего лишь четкие программы, с четкими ограничениями.
Так что какая там магия, какие там самообучающиеся автоматы.
Это просто невозможно, любое "самообучение" алгоритмически прописано и не может распространиться за пределы алгоритма.
Ниакие такие ужасы нам не грозят.
А помощника оффиса я тоже терпеть не могу.

← →
Soft © (2004-03-18 00:59) [8]

>>kaif © (18.03.04 00:14) [6]
>>Я ненавижу "Помощник" Оффиса, а секретарши с него пищат от восторга!

Так секретарши и от магии пищат. Вы на Башне Магов не часто бываете, но там данные случаи довольно часто бывают. Как приходит какая-то тетя Маша и начинает требовать приворот, чтоб был обязательно сделан крутым магом. Нет чтоб книжки по психологии или НЛП почитать, которые ей же там и посоветуют, так нет, обязательно нужно найти "крутого" мага, заплатить большую сумму и потом в очередной раз орать что нае..., сорри, обманули.

Тот же MS Office, хорош в своей сфере применения, а не там, где его пытаются припхнуть просто так. Иногда для решения проблемы обычного DOS с базой на FoxPro 2.6 хватает. Про это очень хорошо сказано в книге Эдварда Йордана "Путь камикадзе"(если кому надо, могу выслать).

> kaif © (18.03.04 00:06) [5]
В точку! :) Единственно - не перемешивайте понятия "аудитор" и "консалтер". Аудитор - независимый ( в идеале :) проверяющий, то есть оценивающий назамыленным взглядом ( и в этом его ценность ) цифры, выданные системой учета ( системой как таковой, а не ее программной реализацией, если она (программная реализация) вообще есть и вообще нужна) на предмет лажи, предвзятости и т.д. То есть высказывает мнение о том, соответствуют ли заявленные цифры реальному положению дел при выбранной методике их подсчета. А консалтеры - в основном как раз те, про кого Вы пишете. Беда не столько в магии, а в том, что к консалтерам, как правило, обращаются те руководители, у кого не хватает ума или (чаще) опыта справиться с какими-то проблемами в управлении предприятием. Именно по этой причине они не могут определить, дельные вещи говорит консультант или порет ерунду - в противном случае, если руководитель сам все понимает, на кой черт этот консалтер нужен. При этом консалтеры, как правило, имеют талант любую глупость преподать очень умными словами и снабдить ссылками на что-нибудь прогрессивное (ну типа 25-го :) А внедрение систем автоматизации - хороший приработок к такой деятельности.
При этом, IMHO, отличить болтунов от консультнтов очень просто - если человек - специалист в области, в которой консультирует, например, хотя бы несколько лет успешно проработал финдиректором, IT-директором, директором по маркетингу и т.п. - его можно и нужно послушать, а если он - "профессиональный менеджер" или "профессиональный консультант" - не грех поступить с ним, как в лучших ресторанах мира - пинком с лестницы :)

> kaif © (18.03.04 00:14) [6]
> Я ненавижу "Помощник" Оффиса, а секретарши с него пищат от восторга!
А у меня по экрану скрепка ползает, как ее прогнать? (C) реальный вопрос :) Причем позвонить решили сразу мне как начальнику отдела, наверное, из соображений, что такой серьезности вопрос, как ловля скрепок, потребует серьезного мозгового штурма всего коллектива :) Ответил я "нажмите на "кыш", и она улетит". Девка позвонила своему начальнику с жалобой, что я хам. В ответ я пообещал если покаяться, то только публично, с пересказом вопроса и ответа, только тут до нее дошло, что какая-то фигня :) А мораль в том, что мин 15 она ни хрена не делала, а занималась своим любимым занятием - общением и склоками. И повод не работать был - скрепка на дает! :)
> Зато кнопочки тепеь могут иметь анимированные пиктограммки...
> А это так прикольно!
Ой, Вань, гляди-кось - попугайчики :)
Ну хоть хреновые, но мультики можно в рабочее время посмотреть с чистой совестью :)

2 Petr V. Abramov © (18.03.04 02:17) [9]
Да, я оговорился. Спасибо, что поправили. Речь шла именно о консалтинговых фирмах. Аудиторы тут не при чем. Сам удивляюсь на свою оговорку. Хотя с тех пор, как аудит в США сделали принудительным, авторитет аудиторских отчетов стал стремительно падать. А у нас аудитором своей собственной фирмы может выступать бухгалтер той же самой фирмы, что вообще странно. Так что с аудитом тоже есть проблемы, но они не имеют никакого отношения к компьютерному миру.

Творец и робот... Насколько реальны опасности ИИ? Найти похожие ветки