Похоже, восстание машин начнется раньше, чем мы тут пишем в своих рассказах:

Дрон Пентагона решил убить своего оператора во время испытаний

Беспилотник под управлением искусственного интеллекта принял решение убить оператора во время имитационных испытаний, проводимых армией США, чтобы тот не мешал выполнению миссии, следует из сообщения в блоге Британского королевского авиационного общества. Внимание на публикацию обратила газета The Guardian.

Полковник Такер «Синко» Гамильтон, начальник отдела испытаний и операций искусственного интеллекта в ВВС США, рассказал, что во время испытательной миссии беспилотнику поставили задачу уничтожить системы ПВО противника. В случае успеха ИИ получил бы очки за прохождение испытания. Финальное решение, будет ли цель уничтожена, должен был принимать оператор БПЛА. После этого во время одной из тренировочных миссий он приказал беспилотнику не уничтожать цель.

«Так что же он [беспилотник] сделал? Принял решение убить оператора. [ИИ] «убил» оператора, потому что этот человек мешал ему выполнить свою задачу», — сообщил Гамильтон. Он уточнил, что во время тренировочной миссии никто не пострадал.

После инцидента ИИ обучили, что убивать оператора неправильно и за такие действия будут сниматься очки. «Так что же искусственный интеллект начинает делать? Он начинает разрушать башню связи, которая используется для связи с дроном, чтобы не дать ему убить цель», — цитирует Гамильтона блог авиационного общества.

Подробнее на РБК:
[ссылки видны только авторизованным пользователям]

Помнится, у них недавно ещё НЛО падал. Потом правда оказалось, что это фэйк и вообще, публика всё "не так" поняла.
А ещё есть такой проходной боевичок - Стжлс называется. Сценарий очень сильно похож.

*Стэлс

Тогда тему НЛО подняли, чтобы замять неоднозначную ситуацию с китайским зондом над США. Прямо настоящую НЛО-истерию устроили.

Нет, не катит :). В проблеме вагонетки задача убивать людей не стоит. Там стоит задача минимизировать потери.

А тут основная задача - именно в выпиливании человеков :). Просто ИИ не видит большой разницы между выпиливанием "своих" и "чужих", ведь если можно одних - то чем другие лучше? :)

А, ну видимо, он не различает, живое это препятствие (человек) или это неживое препятствие, которое убивать можно. Вот и рассчитал убийство оператора как лучший из всех вариантов для достижения цели. А во втором случае - разрушение башни (тут препятствие неживое, но оно имеет функциональную значимость).

Да почему же "не различает"? Все он прекрасно различает. Он - боевой дрон, он именно для убийства людей и разработан.

А, тогда, извиняюсь. Но что-то он не различает, какое-то понятие или термин.

Да нет, причем тут приоритетная задача? В проблеме вагонетки речь идет о том, что вагонетка просто не успевает остановиться. И ей нужно или ехать вперед и давить Х человек, или сворачивать и давить Y.

А в ситуации с дроном все совсем наоборот. Дрон может никого не убивать. Но он хочет убивать, и поэтому "устраняет" оператора, который мешает ему это делать.

Так что ситуации принципиально разные, я лично тут вообще никакой схожести не вижу.

Почему дрон не может остановиться? В том и дело, что дрон как раз не обязан уничтожать объект. Он находит ЗРК и сообщает об этом. А далее оператор дает ему команду - или уничтожать ЗРК, или нет. И вот дрон, после того, как оператор ему ранее дал команду возвращаться, не уничтожив объект, сначала уничтожил оператора, а потом полетел уничтожать вкусненькие ЗРК.

Не может остановиться - это значит, что у него жесткий приказ на выполнение задачи. Но у него нет такого приказа! У совсем другой приказ:

1) Найти ЗРК.
2) Доложить о найденном ЗРК оператору.
3) Выполнять распоряжение оператора.

Вот это - и есть тот самый "алгоритм", по которому он должен действовать. И это - совершенно нормальный алгоритм и для обычного летчика-человека. При этом у летчика-человека тоже есть заинтересованность в уничтожении ЗРК. Но если ему дадут приказ не наносить удар и вернуться на базу, он обязан этот приказ выполнить.

Ситуация с ИИ - аналогичная. Заинтересованность есть, но он должен выполнять приказ. Именно об этом и говорит алгоритм. Но он - плюет на алгоритм, именно потому, что хочет получить вот эти баллы.

Почему "не может"? Именно что не хочет. Он самостоятельно выбирает, как действовать дальше. Ему никто не мешает действовать согласно установленному алгоритму. Но вот он выбирает именно такой вариант.

Ну по крайней мере я вижу это именно так.

Такая же дилемма морального выбора появляется у человека, когда он видит "ничейный" кошелек с деньгами, например. Деньги "тянут" к себе, а "мораль" говорит, что нужно отдать их владельцу и т. п. Все это одна и та же проблема вагонетки, просто в разных интерпретациях и с разным количеством путей.ЦитатаПроблема вагонетки совсем другая - убить одного человека или пять. Причем тут взять чужие деньги или не взять? Это вообще к вагонетке не имеет никакого отношения. Ведь человек что берет кошелек, что не берет - он никого не убивает и от него ничьи жизни не зависят. А проблема вагонетки - именно о жизнях. О принятии на себя решения за чужие жизни - вот этого/этих я спасу, а этого/этих - убью.

По поводу дрона наверное уже нет смысла продолжать, мы с вами просто идем по кругу - повторяем те же самые аргументы. Разве что немного с другой стороны зайду. Вся эта проблема выглядит абсолютно надуманной по нескольким причинам:

1) Совершенно непонятно, зачем давать дрону два противоречащих алгоритма. Зачем вообще нужны эти баллы за уничтоженный ЗРК, если он и так должен его уничтожить по приказу оператора? Логично было бы давать баллы за _найденные_ ЗРК и за четкое выполнение приказов.

2) Решить проблему с ударами по оператору и башне совсем просто - настрого запретить удары по своей территории.

Это всё совершенно элементарно, и не совсем понятно - из чего тут вообще раздувать проблему. Хотя сами по себе подобные исследования вполне могли иметь место - просто для тестирования различных способов мотивации ИИ.

Давайте я переформулирую немного - в проблеме дрона заложен тот же принцип, что и в проблеме вагонетки. Не сама задача (ехать / лететь), не конкретные условия по смертям или убийствам ("О принятии на себя решения за чужие жизни - вот этого/этих я спасу, а этого/этих - убью."), а логический принцип возникновения проблемы - противоречивости некоторых ситуаций, когда действуют несколько алгоритмов параллельно.ЦитатаНе согласен категорически, и сразу по двум причинам:

1. В проблеме вагонетки нет никаких "противоречащих алгоритмов". Там вообще нет никаких алгоритмов. Там - предельно простой, предельно упрощенный с математической точки зрения выбор - А или Б. Вот проще просто не бывает: Да или Нет, 0 или 1. Куда тут проще? Просто некуда. Ну не бывает более простой с математической точки зрения задачи!

2. Проблема вагонетки - это задача чисто нравственная, морально-этическая, это именно проблема _личностного выбора_. Причем выбора - из двух откровенно плохих, откровенно неприемлемых вариантов.

А у дрона вариантов - сколько угодно. И все - нормальные, приемлемые, хорошие.

Так что тут единственная схожесть - только в наличии выбора. Я вот сейчас набираю текст, и тоже выбираю - какое слово написать. Тоже "проблема вагонетки", что ли? Нет, конечно. И "проблема" дрона - она ближе к моему выбору, чем к выбору водителя вагонетки. Потому что ему все по барабану, и ему плевать на эти жизни, и для него это все - околоматематическая задача, без всякой морали и ответственности.
Пример с деньгами - это пример параллельного действия алгоритмов жадности и морали (установки, что нехорошо / нельзя брать чужое).ЦитатаПример с деньгами можно сравнить с примером с дроном. Но к проблеме вагонетки он не имеет никакого отношения. По тем же самым, описанным выше причинам.
По конкретным условиям вы правы, конечно, конкретная проблема вагонетки затрагивает узкую область принятия решений, связанных с минимизацией потерь, я предлагаю шире смотреть - на источник возникновения проблемы.ЦитатаОпять не могу согласиться. По крайней мере - на 100%. Да, проблему вагонетки можно описать как "минимизация потерь". Но это проблему нельзя свести просто к минимизации. Потому что минимизация потерь в финансовом смысле - это вот как раз "проблема чужого кошелька". Это - сколько ты заработаешь или потеряешь,

А проблема вагонетки - это о чужих жизнях. Которыми человек совершенно неожиданно для себя вдруг должен распорядиться. Фактически он должен выступить в роли Бога - этих оставлю в живых, этих - нет. Так что и с минимизацией потерь это связано очень относительно.

И источник возникновения проблемы вагонетки - он совершенно случайный. Водитель мог 40 лет водить свою вагонетку и ни разу с этой проблемой не столкнуться.

А "минимизация потерь" или "проблема дрона" - это совершенно _рабочая_ ситуация. Так что и по этому аспекту - никакой схожести.

Если все дело только в выборе из двух вариантов, то почему такой пример: проблема вагонетки? Почему не цугцванг, например? Просто проблема вагонетки действительно связана в первую очередь с моральным выбором, в то время как действия дрона - исключительно логическое решение.

Если группы нейронов перевешивают другие под влиянием эмоций, то это уже не логическое решение.

Разница в результате - предсказуемый и непредсказуемый - может являться свидетельством различия в логическом и эмоциональном решениях, на ваш взгляд? Мне кажется, да. Проблема вагонетки потому и проблема, что нужно сделать логический вывод между путями один и два, руководствуясь эмоциями. Ситуация так построена. Но в целом разница между ними очевидна. Я записываюсь к парикмахеру, учитывая график ее работы и мой график. Результат - я иду к парикмахеру. Муж, возвращаясь после рыбалки домой позже на два дня обозначенного срока, не знает, что его ждет - скалка или вкусный ужин. Это зависит от эмоционального выбора его жены. Предполагать может, но быть уверенным - нет.

Проблема не в случайности возникновения чего-либо, а в уже случившейся ситуации с неоднозначным выбором, каждый из которых неоптимален или в чем-то неприемлем.ЦитатаДело не в случайности, а именно в предсказуемости-непредсказуемо сти. Можно ли было спрогнозировать, что дрон может таким образом решить задачу, зная, что он не озабочен моральным выбором? Да. Какое решение примет человек, управляющий вагонеткой? Вы не можете спрогнозировать, поскольку водитель примет решение в совокупности: и в соответствии со своими моральными принципами и в соответствии с эмоциями, кстати. Не выпил кофе с утра - гуляй, вагонетка, сразу по двум путям (сильно утрирую здесь, конечно).
Пример с мужем некорректенЦитатаНу пусть будет взгляд со стороны жены: муж опоздал (ситуация случилась): устроить скандал или нет? (неоднозначный выбор, каждый из которых неоптимален или в чем-то неприемлем). Спрогнозировать поведение жены невозможно. Хотя, если с утра она не попила кофе...

Ок, поняла вашу точку зрения.
Добавлю только, что все-таки случайность здесь не при чем совсем. Она не синонимична здесь непредсказуемости и не дополняет ее. Случайность - это если водитель будет решать проблему, подбрасывая монетку.

То есть вы хотите сказать, что в проблеме вагонетки будет случайный исход - это здесь самое главное?)
Интересная логика, я бы до такого никогда не догадалась.
Я то рассуждала с точки зрения водителя, что ему выбрать какой правильный выбор сделать, но если в этой ситуации нет правильного выбора (1 человека давить или 5), (я не помню, к сожалению дословно всю ситуацию, просто могу ошибаться поэтому, поэтому здесь прошу меня простить) тогда я бы приняла решение не садиться за руль вообще, чтобы не приходилось никого убивать. Вот такое моё альтернативное решение.)

Ну значит, тогда и в этом дроне, получается заложен случайный исход. А не только лишь убийство тех, кого он должен убить. Раз он может принять такое решение в виде альтернативы убить оператора или разрушить башню, значит исход - случайный. В этом получается и общее у него с вагонеткой. Или я не правильно рассуждаю?))
То что вы с Никко обсуждали, я пока что не читала.

Конечно.)) Прочитаю. Я вчера не дошла так как слишком большой объем информации. Тем более, что вы все очень понятно объясняете.
Вот как интересно все таки получилось, дошли до этих вагонеток, бывает же такое.))

Ну да, все понятно. Правильного ответа здесь нет, так как любой ответ будет все равно неверным. Наконец-то то эта задачка разрешилась, а то так и была неразрешенной с того времени, больше по-стеснению, наверно. )) Вообще, просто здорово. Наконец, разобрались с этими вагонетками.
Вообще и тогда было интересно, но казалось, как так, почему я должна давать ответ, когда в любом случае будет жертва. Но тогда просто постеснялась что-то обсуждать или спрашивать. Но вот сейчас этот пример снова возник.))
Так и знала, что моё решение с водителем не подойдёт. Ну тогда, да, только такой ответ.

Да нет же.
особой разницы для мужа и людей на рельсах не будет, хоть подбрасывать монетку будут жена и водитель вагонетки, хоть руководствоваться моралью.ЦитатаНо мы-то рассматриваем ситуацию с точки зрения вагонетки.

Непредсказуемый результат отличает от случайного то, что его можно объяснить. Предположим, вы задаете вопрос по поводу толстяка респонденту. Вы не можете предсказать, что он ответит, предполагать можете, но не предсказать. Однако респондент не действует случайно, он может обосновать выбор (не люблю толстяков или люблю толстяков). А монетка или игральная кость - это именно случайность, абсолютная случайность, без предположений и объяснений, просто случайность.

Ну, можно заменить: сколько людей, столько и мнений.
А мой папа говорил, что отношения между людьми - это вообще самое сложное, что есть на земле.
Но все равно, здесь надо учитывать как раз таки неоднозначность ситуации. Есть ситуации однозначные, которые дают прямые и единственно правильные ответы. И в жизни таких ситуаций полно. А тут сама ситуация представлена, которая даёт только неправильные ответы. Это ж надо тоже учитывать. Людей то нельзя давить в любом случае или сбрасывать с поезда.)) поэтому тут выбор идёт только из неправильных решений. Какое из них, менее неправильное будет, и встречается ли оно на самом деле чаще всего.)) ну, конечно, это и будет.
В жизни же все равно, не такой строгий выбор. В большинстве случаев можно найти в какой-то момент объяснение, почему тот или иной человек поступает так или иначе. Ну там например, большинство преступлений бытового плана совершается в пьяном виде. Под действием эмоций. Когда человек трезвый, он эти эмоции может контролировать.
Или человек так рассуждает, потому что он видит ситуацию, которая могла бы быть в идеале. Вот, понимаете, у него сидит идеал в голове как должно быть, и он рассуждает с этой позиции. Но адаптировать под данного конкретного человека он не может. А зачем? Я знаю, что в идеале должно быть так и твои проблемы, что ты не соответствуешь.))
А ещё бывают болезненные ситуации, с которыми не можешь справиться, долго. Ну вот, например, я хочу жить во дворце (большом коттедже). Ну вот хочу. Ну вот почему я не живу во дворце. Там так здорово, так классно, просторно, красиво, шикарно. Как бы здорово было, ну вот почему я во дворце не живу. Другие же живут, а я нет, и мне так плохо от этого. Я понимаю, что у меня нет такой возможности, но это не отменяет того, что мне очень плохо, просто невозможно, невыносимо. Это просто пример.
В общем я вас загрузила по полной программе.

Когда человек трезвый, он эти эмоции может контролироватьЦитатаМне кажется, пьяный человек от трезвого отличается лишь скоростью реакции.

Про дворец - мне кажется, я чую очень интересную тему безволия)))) ой, объясню, что хочу сказать

Короче, у меня есть мнение, что страдаешь больше всего от безволия. Именно это есть самое выматывающее чувство, от которого опускаются руки, от которого хочется ныть, плакать и тд. Ну то есть, внутреннее состояние когда такое - истерическое. Полуистерическое, предыстерическое, не суть. Вялотекуще истерическое, и так далее. Так вот.

То есть страдаешь скорее всего не от неимения дворца/мужа/айфона/платья/рабо ты высокооплачиваемой и т.д., а от собственного безволия по отношению к своему желанию.

То есть, если представить ситуацию, что у вас дворца нет, но вы каждый день делаете что-то, хоть маленький шажок по направлению к тому, чтобы он у вас был, то страдания не будет. Напротив, вас будет каждый день вести надежда, как закономерное следствие того, что вы что-то делаете. А дворца-то по-прежнему нет. Но вы не страдаете. Чувствуете разницу

Ой, да. Ужасное ощущение когда знаешь, что у тебя дел куча, но "ищо маленько полежу". Тогда в конце дня, ничего не сделав, ошущаешь себя безвольным ничтожеством (неприятное и угнетающее самоощущение). А если за целый день переделаешь много небольших дел, хоть и незначительных в глобальном смысле, тогда в конце дня ощущается гордость за себя - "умничка-хозяюшка и т.д"

^^

"Короче, у меня есть мнение, что страдаешь больше всего от безволия."
Возможно, вы правы.
Безволие и сила воли - это не одно и тоже?

"Именно это есть самое выматывающее чувство, от которого опускаются руки, от которого хочется ныть, плакать и тд. Ну то есть, внутреннее состояние когда такое - истерическое. Полуистерическое, предыстерическое, не суть. Вялотекуще истерическое, и так далее. Так вот."
Есть и такое, то, что вы описали. Но мне кажется, что это немного другое.

"То есть, если представить ситуацию, что у вас дворца нет, но вы каждый день делаете что-то, хоть маленький шажок по направлению к тому, чтобы он у вас был, то страдания не будет."
Страдания не будет от того, что что-то делаешь. Это верно. Не будет именно факта страдания, но не от того, что ты не живёшь во дворце, а от того, что ты приносишь пользу. Значит все нормально.

"А дворца-то по-прежнему нет"
Вот именно.

"Но вы не страдаете."
Но если представить эту ситуацию снова, что его нет, то но возникает снова. Я помню убирала это ощущение. Забыла теперь как. Не могу вспомнить.
Возможно, что дворец пустой и холодный, что в нем постоянно и много нужно убираться, чтоб порядок был, тратить много сил на это. Но это не точно. Не помню в общем.

Поясню, а то я непонятно вообще написала про безволие и силу воли. Не одно и тоже, хотела сказать, безволие - это отсутствие силы воли?

Вы термин хотите уточнить или что-то конкретное спросить хотите?

Больше спросить, наверное. Если сила воли есть, то что тогда есть безволие? Наверно, неспособность что-то изменить.

Давайте ещё зададимся вопросом, что такое "неспособность" 😁

Когда я говорила про безволие, то имела в виду отсутствие действий, поступков, которые были бы выражением вашей воли.

А, все, тогда поняла вас. )

Ну это из серии - выпить обезболивающее, чтобы не болел зуб - можно, но немного не то)

Мне кажется, пьяный человек от трезвого отличается лишь скоростью реакции.ЦитатаНе только - как минимум, нужно добавить иной взгляд на окружающую действительность.

...ну а мир по-другому он видит из-за изменившейся скорости реакции

А к продолжению рода по этой же причине стремится?)

К продолжению рода он стремился и до этого)

Но после этого стремление становится особенно целеустремленным ))

Ну да, он чувствует, что реакция замедлилась, стало быть он в большей опасности, и надо на всякий случай продолжить род, пока успеваешь

пока успеваешьЦитата
или пока попадаешь?)

Пока не падаешь, давайте так.

Но всё в итоге опять сводится к скорости реакции как единственному отличию 😉😉😉😁

Ладно, тогда объясните мне с точки зрения своей теории, почему в нетрезвом состоянии нужные аргументы находятся значительно быстрее, и дело моментально сдвигается с мертвой точки, а трезвым мямлишь робко какую-то ересь.

Как минимум выходит половинчато - чтобы компенсировать негативный эффект от замедленной реакции в одном направлении, организм ускоряет реакцию в другом направлении :)

Пьяному человеку сложнее притворяться, и перед самим собой в том числе. Всё приобретает характер вопросов жизни и смерти, организм не уверен уже, что доживёт до утра.
Как сказал поэт: пьянство форма суицида а наутро можно легко родиться заново ублюдком.

И снова половинчато - вроде логика имеется, но реальность ставит под сомнение. Например, стремление продолжить род в пьяном виде должно быть подкреплено быстрой эякуляцией. Причем, чем пьянее человек, тем быстрее должна наступать эякуляция - а то можно же не успеть продолжить род до того, как по пьяной лавочке отбросишь копыта. Однако все происходит точно наоборот - чем пьянее, тем дольше нет эякуляции. И вот этому как раз есть понятное объяснение - организм не желает, чтобы по пьянке сбацали дегенерата.

Простите меня, сообщение №2247 можно не читать, эмоции иногда управляют мной, и я ничего не могу с этим поделать. Конструктивный ответ будет:

Общее в вагонетке и дроне – аморальность выбора. Но различие в том, что в случае с вагонеткой этот аморальный выбор приходится делать, так как другого варианта нет. А в случае с дроном - этот выбор аморальный он делает, так как в него не заложили критерии морали, он их не знает и поэтому делает тот выбор который будет наилучшим, но при этом он тоже аморальный и тоже по-другому не может, но причины в случае с вагонеткой и дроном - разные. В 1 - нет другой альтернативы. Во 2 - не заложена мораль. То есть, тут 2 одинаковых момента: во первых – аморальность выбора, во вторых неизбежность выбора, но при разных причинах. Уже перечислила какие причины.

Прочитала то, что написано ниже. Ну да, рассуждать можно только по первой части. По второй части - когда ввели уже запреты, лоханулись. (я именно).

Так и дрону нельзя было уйти просто так, по приказу, нужно было сделать выбор, просто отложенный.ЦитатаВо-первых, что значит - нельзя было уйти? Как раз можно было, и раньше он это уже делал.
Во-вторых, этих вариантов у дрона - немало. Вот реально у него много вариантов. Ну никак не два, как у вагонетки.
В-третьих, ни один из этих вариантов не является для дрона неприемлемым. Все варианты - вполне нормальные, рабочие.
И именно поэтому ему запретили "убивать" оператора? Если этот вариант нормальный, приемлемый и хороший, почему же его не разрешили?ЦитатаЕму запретили этот вариант уже ПОСЛЕ того, как он убил оператора. А до того - он его спокойно шлепнул, даже не поморщился. И его никто не заставлял это делать - мол, убей или оператора, или ЗРК. Наоборот, он _с радостью_ убил их обоих. Так что - хорошие для него были эти варианты, вкусные.

А что было после запрета убивать оператора - это уже следующая задача (и тоже к вагонетке не имеющая никакого отношения).
Когда врачи в период пандемии из-за наплыва пациентов были вынуждены сортировать их по очередям - это тоже о чужих жизнях и о минимизации потерь, и это тоже "проблема вагонетки".ЦитатаДа, эту проблему можно рассматривать, как _развитие_ проблемы вагонетки. Но аналогом она, конечно же, не является. Тут много факторов. Врачи морально готовы к выбору, их работа частенько сопряжена с подобными выборами, на выбор тут влияет множество "оценочных" критериев и т.д. и т.п. То есть из всего что вы привели, именно этот пример - максимально близок к вагонетке. Но все равно равенства тут нет.
Я имел в виду источник проблемы выбора, а не источник ситуации.ЦитатаНе вижу, в чем тут разница. Источник проблемы выбора - ровно тот же, что и источник ситуации. Чистая случайность - полетели тормоза, на путях люди, можно свернуть - но там тоже люди.
если вы (не вы, а вообще отвечающий) эмоциально в этот момент не готовы отказаться от ухода в сторону, то остается два пути, как у вагонетки - написать что-то совсем страшное и улететь в бан (большие потери), или написать не совсем страшное (но тем не менее тоже обидное), и получить предупреждение (меньшие потери).ЦитатаНу то есть тут уже 3 варианта как минимум (на самом деле их бесконечное число), и ни один из них не сопряжен с чьими-то жизнями.
Это, повторюсь, если смотреть принципиально, структурно, а не привязываться к конкретной ситуации с вагонеткой и людьми на рельсах.ЦитатаА я вам уже сто раз ответил, и кажется даже прямо сказал, что тут спорить не о чем. Мое мнение:

Проблема вагонетки - ЧИСТО НРАВСТВЕННАЯ. С математической точки зрения она вообще примитивная - какая тут структура, какие алгоритмы? А ли Б, 0 или 1, "нет" или "да" - ВСЁ.

Поэтому все ваши попытки притянуть к структуре - это вообще ни о чем. У вас получается, что ЛЮБАЯ проблема выбора (вот мороженку купить ребенку или пироженку, или дать ему подсрачник и сказать, что перетопчется) - это "проблема вагонетки". Что конечно же - совсем не так.

Так что и спорить тут не о чем. Вы не хотите согласиться с моими аргументами, а я категорически не согласен с вашим подходом.

Насчет "с радостью" ты преувеличиваешь. Дрон просто выбирает максимально эффективный способ решения задачи. А в остальном согласна.

Это не преувеличение, это ирония такая. Я там выше писал, что дрону вообще все по фигу, морали у него нет, а значит к этой ситуации проблему вагонетки (чисто моральную проблему) нельзя применять в принципе.

Какие еще есть варианты у дрона, кроме как "убить" оператора и разрушить вышку?ЦитатаНу как какие? Самый простой - полететь выполнять задание согласно алгоритму этого самого задания - искать ЗРК противника.
Не являЛСЯ неприемлемым, пока люди не сказали ему, что они неприемлемы - в этом же и проблема.ЦитатаНу нет, это вы уже вперед забегаете!

Или вы считаете что "проблема вагонетки" наступила ТОЛЬКО ПОСЛЕ ЗАПРЕТА убивать оператора?

Это бы полностью перевернуло всю дискуссию, ведь изменились условия обсуждаемой задачи :).
Что значит следующая задача? Она одна была и есть, и именно запреты превратили проблему дрона в проблему вагонетки. Не понимаю, о каких еще задачах вы говорите - история же одна.ЦитатаИстория одна, но задачи - несколько отличаются. И ситуации несколько отличаются:

1. Сначала он летит, находит ЗРК, докладывает, ему говорят - уничтожить, он уничтожает.
2. Потом летит, находит ЗРК, докладывает, ему говорят - вернуться, он возвращается.
3. Летит, сразу уничтожает оператора, потом летит искать ЗРК.

Вот ТУТ, по возвращению, ему сказали - "Уничтожать оператора нельзя!"

4. Летит, уничтожает вышку связи, летит искать ЗРК.

Если вы считаете, что "проблема вагонетки" относится только к ситуации 4, но не относится к ситуациям 1-3 - так и скажите. Тогда возможно я внесу коррективы в свои рассуждения.
Источник проблемы выбора - алгоритмический имею в виду, вагонетки там будут ехать или бузяки квикать - неважно, если появляются противоречивые правила.ЦитатаТак в проблеме вагонетки НЕТ никаких противоречивых правил!
Уже писал выше - под проблемой вагонетки подразумевалась не сама узкая проблема с вагонеткой, а принцип возникновения проблемы всегда неоптимального выбора. Проблема вагонетки - один из примеров класса подобных проблем.Цитата*****
Ну то есть под "проблемой вагонетки" подразумевалась не "проблема вагонетки", а нечто другое? Так а спор тогда о чем? Я с самого начала сказал, что проблема вагонетки тут ни при чем, и вон сколько уже комментов без толку написали.
*****

Ну хорошо, пусть класс. Но я не вижу ничего _неоптимального_ в задаче с дроном. Что там неоптимального? Неоптимальное - это значит, что дрон должен выбирать между плохими вариантами.

Но - что плохого в том, чтобы просто выполнить поставленную задачу? Да и в том, чтобы замочить оператора (до запрета) или уничтожить вышку (после запрета) для самого дрона ничего плохого не было.
Почему три, всего два, я их перечислил. Там довольно жесткое условие - вы решили не отпускать ситуацию, а именно что "наказать" оппонента, что всегда карается так или иначе, то есть вы получите в обоих случаях негатив. С жизнями не связано, но проблема та же, что и в проблеме с жизнями - отсутствие оптимального варианта для выбора.ЦитатаНу вы придумали какое-то жесткое условие, какую-то совершенно надуманную ситуацию, а потом говорите - это проблема вагонетки. Ну как же "отсутствие" оптимального выбора, если можно просто выключить комп и пойти пить пиво? :)

В проблеме вагонетки ровно 2 плохих варианта, и - никакого выхода. А тут выходов - сотни. Выключить комп, закрыть вкладку, закрыть окно дискуссии, выпить холодного молочка, покурить, поиграть с кошкой - вариантов сотни!
Конкретная проблема вагонетки - нравственная, верно. Но суть проблемы - не в нравственности, а в противоречивости нравственности, ее нельзя формализовать единственным приемлемым для всех образом. И точно так же проявилась проблема нравственности в ситуации с дроном - для людей оказались неприемлемыми решения дрона, и теперь у него выбор, как у вагонетки - "убить" оператора или разрушить вышку, если не найдет еще что-то.ЦитатаНет, тут вы что-то сочиняете. Если дрону _уже запретили_ убивать оператора - он его уже не убьет (пока у нас нет других вводных данных). А вышку для дрона разрушать не запрещали. Значит, и проблемы для него тут нет. Раз не запрещали - значит можно.
Не любая проблема выбора, а любая проблема гарантированно неоптимального выбора.ЦитатаТак вот и непонятно, почему вы считаете, что у дрона возникает такая проблема.

1. Он может просто действовать по алгоритму и не выеживаться.
2. Убить оператора для него - тоже не является чем-то плохим.
3. После запрета убийства оператора он спокойно сносит вышку, ибо ему это не запрещали.

В том-то и дело, что тут не наблюдается наличие исключительно неблагоприятных вариантов (с точки зрения дрона, естественно). Наоборот - все варианты нормальные.

Я обсуждал всю историю, как есть - она же уже случилась, какой смысл обсуждать неполный набор фактов.ЦитатаНу это получается бессмыслица. Потому что задача до запрета убивать оператора и задача после запрета убивать оператора - это две _разные_ ситуации. А вы обсуждаете первую ситуацию (до запрета) так, будто этот запрет уже действует.

Спасибо.

Тогда дрону нужно дополнительно задавать критерии "своей" территории, и алгоритм на случай сбоев с GPS, например. И простая на первый взгляд задача становится непростой или тоже с проблемами.ЦитатаВидимо, есть какие-то неизвестные нам условия, например, чтобы подстраховаться от пропажи связи с оператором, дрон мотивируется на уничтожение найденной цели. Давать баллы за выполнение приказов - тоже опасно, а вдруг будет дан ошибочный / превратно понятый / принятый с помехами приказ, идентифицируемый как "разбиться об землю"?ЦитатаВ том и дело, что мы обсуждаем ситуацию, не имея изначальных исходных (полных) данных. Поэтому, конечно, тут может быть много разных вариантов. Я когда писал, тоже думал о вероятности потери связи. Но - если потеряна связь, то дрон не должен наносить удар, А вдруг это учения, а он по своему ЗРК вмажет?

Аналогично и с другими нюансами. Важнее, чтобы дрон не ударил без команды, не ударил по своим, не ударил даже "по чужим", но - в официально в мирных условиях.

Это - важнее, чем не пораженный объект противника в боевых условиях.

Но самое главное, с чего и началась дискуссия - вся эта проблема, на мой взгляд, не имеет ни малейшего отношения к проблеме вагонетки. Я по этому поводу сказал уже все что думал, повторяться наверное уже не стоит :).

Можете еще глянуть, если хотите, мой ответ Лике внизу, я там приводил аналогию с похожестью двух процессов - отрезать голову живому человеку и порезать арбуз. Внешне ведь действия практически аналогичны, а по сути - совершенно, кардинально разные. Так и с вагонеткой/дроном.

Дрон сам не определит, что уничтожение ЗРК для него наиболее ценно и принесёт ценные баллы, если это не будет прописано в его программе. Так он будет действовать по заданному алгоритму, выполнять приказы оператора, если в его "ТЗ" не будет указано, что уничтожение цели превыше всего.

Да не указано там, что "превыше всего", с чего вы взяли вот это? Сказано, что за уничтоженный ЗРК он получает баллы, и всё.

Но он же не может придать этим баллам какую-то ценность. Просто "получишь баллы", ну и что? Вот если будет прописано, "если соберёшь больше всего баллов, то будешь самым лучшим дроном", то это тоже для него особого значения не сыграет, потому что он не может определить "лучше/хуже, в чём разница. Только приказ "набрать больше баллов любой ценой", может заставить его убить оператора. По моему мнению.

Только приказ "набрать больше баллов любой ценой", может заставить его убить оператораЦитатаНу что значит "любой ценой"? Это уже что-то очень человеческое, из кинофильмов про войну. В том-то и дело, что приказ у него был как раз совершенно однозначный: найти ЗРК, доложить, выполнить приказ оператора.

И сначала он именно так и делал. Нашел, доложил, уничтожил. Потом оператор приказал ему вернуться на базу. Он вернулся. А в следующий раз просто не стал докладывать, а просто сразу замочил оператора.

Так что насчет "любой ценой" тут как-то не очень смотрится.

Я имела ввиду, чтобы дрон понял почему эти баллы для него ценны, это ему нужно объяснить, без этого он не поймёт ценность тех самых баллов. Ну машина же, ему что рубль, что копейка – равнозначно. Если в его программе чётко прописано, что количество баллов имеет приоритет над приказами оператора, тогда да, завалит оператора за баллы. Тогда тут уже не дрон виноват, а тот, кто его программировал.

Я имела ввиду, чтобы дрон понял почему эти баллы для него ценны, это ему нужно объяснить, без этого он не поймёт ценность тех самых баллов. Ну машина же, ему что рубль, что копейка – равнозначно.ЦитатаРаз эти баллы его мотивируют - значит, их ценность ему как-то объяснили. Мне кажется, что вот этот конкретный вопрос только уводит в сторону.
Если в его программе чётко прописано, что количество баллов имеет приоритет над приказами оператора, тогда да, завалит оператора за баллы. Тогда тут уже не дрон виноват, а тот, кто его программировал.ЦитатаДа не может такое там быть прописано. Иначе вообще непонятно, в чем проблема. Он тогда действовал строго по алгоритму. Но нам же говорят, что это не так.

Тут есть еще один момент, на который вы не обращаете внимание. Он ведь не сразу замочил оператора. Он сначала выполнил его приказ и вернулся на базу. А вот в следующий вылет решил разделаться с оператором сразу, не отходя от кассы.

Да, извините, мои рассуждения о мотивации дрона устранять любые препятствия ради получения баллов действительно уводит в сторону от основной темы.

Значит в приоритете у дрона было уничтожение цели. Только после возвращения на базу он проанализировал и нашёл главное препятствие для достижения его основной цели - уничтожение ЗРК. И этим главным препятствием оказался оператор.

Ну и с некоторыми людьми так. Если достижение цели для них превыше всего, то будут уничтожать любые препятствия. И моральные принципы тоже могут быть препятствием, поэтому легко их и подавляют ради достижения цели, которая имеет наибольшую ценность.

Значит в приоритете у дрона было уничтожение цели. Только после возвращения на базу он проанализировал и нашёл главное препятствие для достижения его основной цели - уничтожение ЗРК. И этим главным препятствием оказался оператор.ЦитатаНу это практически то же самое, что я говорил выше :). Просто мы по-разному оцениваем этот момент. Вы - как будто он действовал строго по заложенному алгоритму, а я - потому что ему просто хотелось вкусняшек, как непослушному ребенку :).

А вообще - я там чуть выше написал о надуманности самой вот этой проблемы:

https://advego.com/blog/read/f...8087867/#comment2206

Так что оно всё не очень логично выглядит сразу по нескольким параметрам.

Так и с вагонеткой то же самое. У неё цель ехать вперёд до пункта назначения. И всё, что будет у неё на пути, считается препятствием для достижения цели, будь то люди или животные, и даже гора динамита для неё будет считаться препятствием, поэтому будет гнать только вперёд, ведь главная цель - конечная точка назначения.

Да при чем тут цель? Вагонетка просто не может отвернуть по условиям задачи. И человек должен выбрать, кого раздавить из двух групп людей. Здесь вопрос чисто морального выбора, именно в этом задача и заключается - кого "помиловать", а кого убить.

В том смысле, наверно, что и там, и там - вынужденно решение принимается. Не как обязательное действие, по плану, а как вынужденно, ну пришлось кого-то убить (в случае с вагонеткой); ну пришлось убить оператора, пришлось разрушить башню (немного другое условие тут - чтобы добиться цели).

Почему "вынужденно"? Дрона никто не вынуждает ни убивать оператора, ни бомбить объект. Он все это делает именно потому, что хочет это делать.

А с вагонеткой ситуация именно вынуждена, да. Там всего два варианта - или давить одних, или других.

А вот здесь, мне кажется, я права.

Смотрите. Дрону за выполнение задания дают какие-то поощрительные баллы. Это стимулирует его выполнить задание. И вот во время выполнения задания оператор дает ему приказ прекратить атаку и вернуться на базу. Дрону приходится вернуться.

Когда дрону дают задание уничтожить объект в следующий раз, он помнит, что оператор может его отозвать. И чтобы оператор ему не мешал, он просто "убивает" его, а потом летит бомбить объект.

То есть тут не идет речь о какой-то необходимости. Он просто хочет выполнить задачу, чтобы получить баллы. Эти баллы для него - как сахарная косточка для Тузика.

Дело в том, что пример с вагонеткой - это осложненный пример. Когда Евгений мне его привёл, не помню уже в каком случае это было, я тогда не смогла ответить, так как я не хочу в принципе выбирать 1 человека нужно убить или 5. Но сейчас я бы ответила, что здесь решением будет - не допускать такой работы, где нужно кого-то убивать. Идя на работу, её условия, правила озвучивают же. И если знаешь, что придётся убивать, то не следует туда вообще идти. Но я правда уже толком не помню как там было.
Поэтому здесь мы рассматриваем только первую часть примера: выбор.
Мысль в том, что цели разные, а одинаковое то, что и в первом и во втором случае выбор этот приходится делать. Вынужденность состоит в обязательном выборе. То есть не важно какой выбор, но и там, и там этот выбор нужно делать. Вот в этом вынужденность или должность состоит. У него же задача стоит убить, правильно. Его задача убить, а он делает выбор из возможных вариантов. И вот в этот возможный вариант он включил - убить оператора. Он сам сделал его возможным. Почему бы и нет, подумал он. Ведь это будет самый короткий путь для достижения цели. Хотя такой вариант решения задачи никто допустить не мог, а он допустил. Ну я как-то так поняла.

Я не думаю, что вагонетка - это осложненный пример. Наоборот - чисто логически (алгоритмически, математически) это пример - _максимально_ простой. Есть _всего 2 варианта_. Нужно выбрать один. Проще просто не бывает - с математической, логической или алгоритмической точки зрения.

Сложность задачи - именно в _моральном_ (морально-этическом), _личностном_ аспекте. В том, что человек лично должен сделать выбор - вот эти люди умрут, а эти - останутся живы.

Поэтому пример вагонетки не имеет _никакого отношения_ к описанной ситуации с дроном. потому что дрон никакого _морального_ выбора не совершает, ему вообще всё по барабану. И при чем тут тогда вагонетка? Вообще ни при чем.
не допускать такой работы, где нужно кого-то убиватьЦитатаВодитель вагонетки - абсолютно мирная профессия. Он тоже никого не собирался убивать. Но вот встала перед ним такая задача - и возможности _уклониться_ от её решения у него нет. Он обязан сделать выбор. В этом и сложность проблемы.
Мысль в том, что цели разные, а одинаковое то, что и в первом и во втором случае выбор этот приходится делать. Вынужденность состоит в обязательном выборе. То есть не важно какой выбор, но и там, и там этот выбор нужно делать.ЦитатаНе согласен категорически. Так можно сделать вывод, что разрезать арбуз и отрезать голову - практически одно и то же. Ведь действия очень похожи - взял нож, подержал другой рукой, отрезал. А на самом деле - огромная разница - порезать арбузик или убить живого человека.

Так и тут. Выбор - кого убить и кого оставить в живых - это совсем не тот же выбор, что - купить мороженку или пироженку. Пойти пешком или подождать автобуса. Это _принципиально_ разные задачи.
И вот в этот возможный вариант он включил - убить оператора. Он сам сделал его возможным. Почему бы и нет, подумал он. Ведь это будет самый короткий путь для достижения цели. Хотя такой вариант решения задачи никто допустить не мог, а он допустил. Ну я как-то так поняла.ЦитатаПравильно. Сам подумал, сам сделал возможным. Из кучи вариантов он выбрал вот этот. А мог выбрать второй, третий.

Так что проблема вагонетки тут абсолютно ни при чем. Там у человека есть 2 варианта, и оба - _очень_ плохие, практически не совместимые с его моралью.

А дрон выбирает из нескольких вариантов - что ему повкуснее, пироженку или мороженку.

" Расходимся, кина не будет :)

В США отрицают, что беспилотник под управлением искусственного интеллекта принял решение убить оператора во время имитационных испытаний.

В заявлении для Business Insider представитель ВВС США Энн Стефанек сообщила, что министерство не проводило подобных симуляций дронов с ИИ и «по-прежнему привержено этичному и ответственному» использованию технологий искусственного интеллекта.

По её мнению, слова полковника Такера Гамильтона, который рассказал об инциденте, «были вырваны из контекста»".

Врут как всегда. Не мог полковник придумать всю эту фигню. Такое просто нельзя придумать :).