Моральные проблемы беспилотных автомобилей не имеют универсального решения

Моральные проблемы беспилотных автомобилей не имеют универсального решения

В ходе эксперимента Moral Machine были собраны мнения 2,3 млн людей из 233 стран о том, какими моральными принципами должны руководствоваться самоуправляемые автомобили в аварийных ситуациях, когда человеческих жертв избежать невозможно и нужно выбрать меньшее из зол. Респонденты из разных стран разошлись во мнениях по многим пунктам, таким как необходимость заботиться в первую очередь о спасении детей, женщин или тех, кто соблюдает правила дорожного движения. Выявленные различия коррелируют с известными экономическими и культурными особенностями стран и регионов. Исследование показало, что разработать универсальный «моральный закон» для самоуправляемых машин будет непросто.

Беспилотные автомобили, возможно, уже очень скоро начнут входить в наш обиход. Однако их разработка сталкивается с разнообразными моральными проблемами. В частности, неясно, как должны вести себя самоуправляемые автомобили в аварийных ситуациях, когда от решения, принятого искусственным интеллектом, зависит распределение рисков между людьми. Ожидается, что беспилотные автомобили будут попадать в такие ситуации реже, чем машины, управляемые живыми водителями. Но всё же иногда это обязательно будет происходить, а значит, искусственный интеллект должен быть готов к решению моральных дилемм в духе «Проблемы вагонетки».

Как именно он должен их решать — вопрос крайне непростой. Например, существует проблема конфликта интересов пассажиров и пешеходов. По мнению большинства людей, беспилотные автомобили должны ставить безопасность пешеходов выше безопасности пассажиров, однако те же самые люди скорее купят автомобиль, запрограммированный поступать ровно наоборот, то есть спасать пассажира любой ценой (J.-F. Bonnefon et al., 2016. The social dilemma of autonomous vehicles).

Разработчики искусственного интеллекта уже давно поняли, что простыми наборами лаконичных правил вроде Трех законов робототехники Айзека Азимова тут не обойтись. Правила должны быть достаточно сложными, чтобы справляться с ситуациями, когда невозможно полностью избежать вреда, причиняемого людям, и нужно этот вред как-то «оптимизировать», то есть наилучшим образом распределить между участниками инцидента.

Но существует ли в принципе такой набор этических правил для беспилотного автомобиля, который устроил бы всех? Одна из очевидных проблем состоит в том, что моральные нормы и системы ценностей, принятые в разных обществах, далеко не одинаковы. Разнообразие этических норм отражено, например, в «культурной карте мира Инглхарта-Вельцеля» (Inglehart-Welzel cultural map of the world; см. также: Всемирный обзор ценностей).

Чтобы оценить перспективы создания универсального «морального кода» для самоуправляемых машин, международная команда социологов, психологов и специалистов по искусственному интеллекту во главе с Иядом Рахваном (Iyad Rahwan) из Массачусетского технологического института запустила сетевой проект Moral Machine. Целью проекта является сбор мнений людей всего мира о том, какими моральными принципами должны руководствоваться беспилотные автомобили. Сайт проекта поддерживает 10 языков, имеет простой и понятный интерфейс и в целом рассчитан на охват максимально широкой выборки респондентов. Зайдя на сайт, любой желающий может ответить на ряд вопросов, подобных показанному на рис. 1.

Во всех случаях пользователь должен указать, как следует поступить беспилотному автомобилю в критической ситуации с участием двух групп людей (или домашних животных). Каждая из двух групп включает от 1 до 5 персонажей. В зависимости от принятого решения одна из групп погибнет, а другая будет спасена.

В каждой дилемме участвует едущий по дороге беспилотный автомобиль, у которого внезапно отказали тормоза, а перед ним кто-то переходит дорогу (либо «законно», как на рис. 1, либо «незаконно» — на красный свет). В одних дилеммах искусственный интеллект должен выбрать, какую из двух групп пешеходов сбить (а пассажирам при этом ничто не угрожает), в других выбор осуществляется между гибелью пассажиров и пешеходов, как на рис. 1.

Персонажи, участвующие в дилеммах, различаются по полу, возрасту (младенцы в колясках, дети, взрослые, пожилые), физической форме (люди с избыточным весом, обычные люди и спортсмены), социальному статусу (бездомные, обычные люди и начальники) и видовой принадлежности (кроме людей, среди персонажей встречаются собаки и кошки). Программа генерирует дилеммы на основе алгоритма, позволяющего при анализе ответов по отдельности оценить влияние следующих девяти факторов:
    1) действие или бездействие (продолжать движение по прямой или свернуть),
    2) пассажиры или пешеходы (кого из них спасать),
    3) пол жертв (спасать мужчин или женщин),
    4) физическая форма (спасать толстяков, обычных людей или спортсменов),
    5) социальный статус (спасать бездомных, простых людей или начальников),
    6) соблюдение правил (спасать ли тех, кто переходит дорогу на красный свет),
    7) возраст (спасать молодых или старых),
    8) число жертв (спасать большую или меньшую из двух групп),
    9) видовая принадлежность (спасать людей или домашних животных).

Возможных дилемм — миллионы, поэтому вероятность того, что пользователь дважды столкнется с одной и той же задачей, пренебрежимо мала.

Исследователям удалось собрать почти 40 млн ответов (решений отдельных дилемм) от жителей 233 стран. Кроме того, большинство участников заполнили анкету, в которой указали свой возраст, пол, образование, ежегодный доход, отношение к религии и политические взгляды.

Эти данные позволили исследователям решить четыре задачи:
    1) оценить значимость каждого из девяти факторов в среднем по всей выборке,
    2) сопоставить значимость факторов с индивидуальными характеристиками респондента,
    3) сравнить результаты по разным странам и выделить кластеры стран со сходными моральными установками,
    4) выяснить, можно ли по экономическим и культурным особенностям страны предсказать, как ее жители предпочли бы программировать беспилотные автомобили.

Усредненные предпочтения участников опроса показаны на рис. 2. Значимость факторов возрастает сверху вниз. Респонденты сделали уверенный выбор в пользу спасения людей (а не собак и кошек) и больших групп (а не маленьких). Эти результаты вряд ли кого-то удивят, хотя другие могут показаться более спорными. Почти столь же уверенно участники опроса «проголосовали» за спасение молодых, законопослушных (переходящих дорогу на зеленый свет) и высокостатусных людей. Менее значимыми, но все же положительными факторами оказались хорошая физическая форма и принадлежность к женскому полу. Кроме того, респонденты были в среднем чуть более склонны делать выбор в пользу пешеходов (а не пассажиров) и в пользу того, чтобы автомобиль продолжал ехать прямо, а не сворачивал на другую полосу.

Исследователи не обнаружили достоверной связи между этическими предпочтениями респондентов и шестью учтенными индивидуальными характеристиками (пол, возраст, политические взгляды, религиозность, доход, образование). Всё это, как оказалось, мало влияет на моральный выбор.

Зато обнаружились интересные закономерности в распределении этических предпочтений по странам. В анализе было учтено 130 стран с числом респондентов не менее 100. Получившееся дерево сходства стран по моральным установкам (рис. 3, а) имеет много общего с упомянутой «культурной картой мира» Инглхарта-Вельцеля.

Все страны распались на три кластера, условно обозначенные исследователями как Западный, Восточный и Южный. Кластеры выглядят довольно логично с точки зрения истории и культуры. Западный кластер включает США, Канаду и многие европейские страны (католические, протестантские и православные). Подразделения внутри Западного кластера тоже выглядят более или менее осмысленными: например, одну ветвь образуют англоговорящие страны, другую — скандинавские с Германией, Швейцарией и Австрией. В Восточном кластере преобладают страны либо с конфуцианской, либо с мусульманской традицией. Южный кластер состоит из двух ветвей, одна из которых включает страны Латинской Америки, а вторая — Францию и ряд стран, находившихся в прошлом под французским влиянием.

Как показывают круговые диаграммы на рис. 3, для трех кластеров характерны очень разные представления о том, как должны вести себя беспилотные машины в критических ситуациях. Например, в Южном кластере преобладают идеи о необходимости спасать прежде всего детей и женщин, тогда как жители Восточного кластера отдают предпочтение законопослушным пешеходам и не ставят жизнь молодых намного выше жизни старших.

Эти результаты подчеркивают то, что уже давно известно специалистам по изучению человеческой морали: этические установки, принятые в разных странах и регионах, далеко не универсальны. Поэтому разработать единый «моральный закон» для управляемых искусственным интеллектом машин будет очень непросто.

Авторы обнаружили несколько интересных корреляций, проливающих свет на возможные причины выявленных различий между странами (рис. 4). Например, преобладание в стране индивидуалистских установок (что предполагает высокую ценность индивидуальной человеческой жизни) соотносится с тем, что люди придают большое значение числу потенциальных жертв аварии и считают, что беспилотный автомобиль обязательно должен минимизировать это число. Жители стран с сильными коллективистскими установками спокойнее относятся к числу жертв аварии. Кроме того, для «коллективистов» характерно почтительное отношение к старшим. Может быть, поэтому у них слабее выражена склонность к преимущественному спасению детей (рис. 4, а). Эти контрастные различия между индивидуалистическими и коллективистскими культурами наверняка создадут большие проблемы для разработчиков универсальной машинной этики.

Значение, придаваемое соблюдению правил (то есть склонность спасать прежде всего тех, кто переходит дорогу на зеленый свет, а не на красный), положительно коррелирует, во-первых, с богатством страны (ВВП на душу населения), во-вторых, с уровнем законности или «верховенства права» (см. Rule of law) (рис. 4, b). Иными словами, люди, привыкшие к бедности и плохой работе социальных институтов, склонны смотреть сквозь пальцы на нарушение правил и не придавать этому большого значения при решении вопросов жизни и смерти.

Авторы также заметили, что в странах с высоким уровнем экономического неравенства (см. Коэффициент Джини) сильнее выражена склонность в аварийной ситуации отдавать предпочтение спасению людей с высоким статусом (рис. 4, d). Может быть, это связано с тем, что жители стран, сумевших добиться более равного распределения благ между людьми, выше ценят равенство прав и поэтому не считают, что задавить бездомного — это лучше, чем задавить начальника.

Несмотря на выявленные различия, авторы полагают, что полученные результаты всё же не ставят крест на разработке универсального «морального кода» для беспилотных машин. Некоторые предпочтения, продемонстрированные участниками опроса, являются универсальными или почти универсальными. Так, практически во всех странах люди склонны ставить жизнь людей намного выше жизни домашних животных (хотя в Южном кластере забота о собачках и кошечках выражена сильнее, чем в двух других). Универсальными (хотя и выраженными в разной степени в разных странах) являются также идеи о минимизации числа жертв и о том, что в первую очередь нужно спасать детей.

Данное исследование беспрецедентно по своим масштабам, но при этом у него есть вполне очевидные недостатки. Изученные выборки не обязательно являются репрезентативными. Например, вовсе не факт, что ответы нескольких сотен жителей какой-нибудь африканской страны, принявших участие в опросе, адекватно отражают типичные для данной страны моральные предпочтения. Впрочем, собрать и обработать такой же объем данных по сотням стран, соблюдая все требования, предъявляемые к репрезентативности выборок, попросту невозможно. Кроме того, тот факт, что полученные результаты хорошо согласуются с данными Всемирного обзора ценностей и разумным образом коррелируют с социо-экономическими показателями (рис. 4), свидетельствует в пользу осмысленности и значимости этих результатов.

В работе использовались грубые упрощения, что в какой-то мере ограничивает практическую применимость полученных выводов. Например, во всех моральных дилеммах было точно известно, кто есть кто (про мальчиков было точно известно, что они мальчики, а про толстяков — что они толстяки). Результат любого решения тоже был известен заранее со стопроцентной точностью (одна группа персонажей точно умрет, другая точно выживет). В реальной жизни беспилотным машинам, конечно же, придется иметь дело не с точным априорным знанием, а с приблизительными оценками вероятностей.

Всё это авторы прекрасно понимают. Они подчеркивают, что их результаты не являются истиной в последней инстанции, и предлагают относиться к ним как к началу широкой международной дискуссии. Люди никогда еще не позволяли машинам автономно, без непосредственного контроля со стороны человека, за доли секунды принимать решения о жизни и смерти людей. Но человечество уже стоит на пороге таких перемен. Беспилотные автомобили скоро появятся на дорогах. Аварии с их участием и с человеческими жертвами неизбежны. Даже если они будут происходить очень редко, всё равно к разработке «морального закона» для самоуправляемых машин нужно подойти со всей серьезностью. И при этом необходимо учитывать, помимо прочего, также и данные о вариабельности этических норм в разных уголках мира.

Источник: Edmond Awad, Sohan Dsouza, Richard Kim, Jonathan Schulz, Joseph Henrich, Azim Shariff, Jean-François Bonnefon, Iyad Rahwan. The Moral Machine experiment // Nature. Published 24 October 2018. DOI: 10.1038/s41586-018-0637-6.

Александр Марков

Оставьте ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *