3.3 Этичное применение искусственного интеллекта

Авторы раздела
Готовцев П. М.
Душкин Р. В.
Кузнецов О. П.
Мильке В. Э.
Незнамов А. В.
Потапова Е. Г.

Время чтения — 23 минут

Внедрению И И и других цифровых технологий препятствует низкий уровень доверия граждан к алгоритмам и новым технологиям в принципе, а также отсутствие понятных этических рамок в применении ИИ. В настоящем разделе мы даем общую характеристику и наиболее перспективные подходы к решению основных этических проблем, связанных с применением систем ИИ:

  • ответственность за этичное/неэтичное поведение ИИ, за принятие ошибочных решений, ущерб из-за сбоев и т. п.;
  • предубежденность алгоритмов (bias);
  • обеспечение и регулирование прозрачности ИИ (объяснительная компонента);
  • проблема приватности при применении технологий ИИ;
  • надежность технологий ИИ.

3.3.1 Ответственность ИИ

Проблема ответственности за действия систем ИИ ― начиная от беспилотного автомобиля и заканчивая гипотетическими системами принятия решений планетарного масштаба ― самая обсуждаемая, когда речь идет о применения ИИ. Проблема ответственности появляется в тех областях доверия, где человеку приходится полагаться на действия системы ИИ, имеются в виду автомобильный транспорт, фармацевтика, медицина, образование и т. д. По словам основателя проекта «Робоправо» А. В. Незнамова, на это есть ряд причин: «Во-первых, институты ответственности могут иметь отдельные нюансы для разных категорий роботов в зависимости от степени их общественной опасности, контролируемости или способности к обучению. Во-вторых, в ряде случаев, в принципе, трудно восстановить фактические обстоятельства причинения вреда. В-третьих, одна и та же ситуация может получить разное решение с точки зрения конкретной юрисдикции. Поэтому национальные особенности конкретной правовой системы часто не позволяют учитывать существующий опыт других стран».

При обсуждении высказываются различные подходы к принципам установления ответственности за действия ИИ, в том числе:

  • полное освобождение кого-либо от ответственности за действия ИИ (по аналогии с обстоятельствами непреодолимой силы);
  • частичное освобождение от ответственности (освобождение конкретного лица от какой-либо ответственности и одновременная выплата пострадавшим компенсации вреда из различных источников);
  • ответственность по вине, наступающая только в зависимости от вины конкретного субъекта, например производителя, разработчика, лица, ответственного за обучение ИИ, владельца, пользователя и т. д.;
  • безвиновная ответственность (определенное лицо (скорее всего, производитель) по общему правилу считается ответственным за действия системы ИИ);
  • личная ответственность роботов при условии наделения роботов правосубъектностью (правами и обязанностями, статусом электронной личности).

Так как тема остается дискуссионной и ученые и разработчики, вероятно, не скоро придут к единому решению, в данном докладе мы представляем разные точки зрения по вопросу ответственности ИИ.

А. В. Разин
Д-р филос. наук, проф, зав. каф. этики философского факультета МГУ им. М. В. Ломоносова
“
В этике есть понятие разделенной ответственности: в той или иной степени ответственность несут все участники — и разработчик системы искусственного интеллекта, и ее владелец, и пользователь (если он имеет возможность настраивать ее), и сама система.

В. Э. Карпов
Канд. техн. наук, вице-президент Российской ассоциации искусственного интеллекта, начальник лаборатории робототехники НИЦ «Курчатовский институт»
“
Чаще всего эту ответственность возлагают на «программиста», но он лишь оператор, который закладывает правила поведения, определяемые экспертом, специалистом в некоторой предметной области. В случае этики — неким моральным философом, например. Именно эксперт — моральный философ и несет ответственность за суть поведения системы и то, на чем должна основываться логика принятия решений. Какой «моральный кодекс» будет предоставлен, такой и будет реализован «программистом».

О. П. Кузнецов
Д-р техн. наук, председатель научного совета Российской ассоциации искусственного интеллекта, проф., гл. науч. сотр. ИПУ РАН
“
Третьей стороной, выступающей между философом и разработчиком, является законодатель. Проблема ответственности решается в правовом режиме. Кто-то должен подать иск об ущербе, и иск подается не разработчику. Ведь пользователь не знает, кто разработчик, и не обязан это знать, а предъявляет претензии тому, кто его обслуживает. При этом интеллектуальная система никогда не будет сама ответственна, в случае ошибки всегда будет виноват тот или иной конкретный человек.

П. М. Готовцев
Канд. техн. наук, координатор российской Рабочей группы по этике искусственного интеллекта, заместитель начальника отдела биотехнологий и биоэнергетики НИЦ «Курчатовский институт»
“
Как и в любой ситуации, нельзя четко провести границу и сказать: «Всегда виноват пользователь или всегда виноват разработчик». Здесь этого не получится по многим причинам, как в любой другой технической системе. Например, при аварии самолета происходит разбирательство, кто виноват ― производитель, авиакомпания, пилот. И здесь нужна такая же граница. В частности, если у нас появятся стандарты, то первый вопрос будет, валидирована ли система по стандартам или нет. В принципе, когда возникает какая-то сложная, технически обусловленная ситуация, естественно, собирают технических специалистов, анализируют, проводят в сертифицированных центрах исследования, анализ. Аналогично должно быть и с системами искусственного интеллекта.

Р. В. Душкин
Директор по науке и технологиям Агентства искусственного интеллекта
“
Есть несколько вариантов, кому нести ответственность: разработчику, владельцу, пользователям и самому искусственному интеллекту. Четвертый вариант — радикальный, его я и проповедую. В большинстве стран законодательство устроено так, что если что-то случилось, человек, который виноват, возмещает ущерб деньгами или попадает в тюрьму. Соответственно, интеллектуальная система тоже может отвечать за свои ошибки деньгами. Возьмем автономный беспилотный автомобиль, у него есть определенные потребности: топливо, электричество, техническое обслуживание, запчасти и потребность в деньгах для всего этого. Он их зарабатывает своей функциональностью, непрерывным передвижением по городу, перевозкой пассажиров из точки, А в точку Б, за что пассажиры платят ему, как сейчас платят Яндексу или Uber. Машина тратит меньше, чем зарабатывает, и копит деньги, которыми она будет отвечать, если что-то случится, и с нее будет взыскано возмещение ущерба.

В. Э. Мильке
Соискатель степени PhD в области компьютерных наук и машинного обучения, Университет Англия Раскин (Кембридж, Великобритания)
“
Этика в ИИ в большей степени зависит от производителей этих решений и совсем немного — от потребителей или сервисных компаний — юридических владельцев систем искусственного интеллекта. Мы много концентрируемся на вопросе «Кто виноват, если???». На самом деле, когда начинается обсуждение этики искусственного интеллекта, то рассматривается более широкий вопрос: каким путем развивать искусственный интеллект, чтобы избежать всевозможных рисков. Не нужно придумывать что-то новое, когда есть десять заповедей: не укради, не убей, не делай себе кумира, почитай отца и мать твои и т. д. Многие известные этические принципы, например, с Асиломарской конференции, написаны современным техническим языком, но говорят о том же: не своруй данные, не причини вреда своими разработками, системные сбои в искусственном интеллекте должны быть открыты и исследованы, сверхразум должен быть разработан исключительно для пользы человечества, а самообучаемые системы должны находиться под контролем человечества и т. д. Я уверен, что формальный документ «Этические принципы разработки искусственного интеллекта в РФ» тоже будет базироваться на этих общих принципах.

А. В. Незнамов
Канд. юрид. наук, исполнительный директор ПАО «Сбербанк»; основатель проекта «Робоправо», ст. науч. сотр. Института государства и права РАН
“
У термина «искусственный интеллект» нет единого определения; поэтому достаточно сложно говорить о единых правилах применения искусственного интеллекта во всех сферах. Соответственно, вопрос ответственности также нельзя решить однозначно. На сегодняшний день универсальным можно назвать только одно правило: ответственность несет человек. В большей или в меньшей степени, но ответственность за действия искусственного интеллекта в конечном счете всегда будет нести конкретное лицо. Представляется необходимым избегать двух крайностей: когда ответственность не несет вообще никто и когда ответственность несет сама система искусственного интеллекта. Оба этих варианта кажутся совершенно нерелевантными в существующих условиях.

3.3.2 Степень прозрачности ИИ

Системы И И, способные самообучаться, совершенствоваться и развиваться, становятся все сложнее. Одним из наиболее значительных становится вопрос, как именно конкретная система ИИ приняла решение, поскольку она делает это в результате работы очень большого и очень сложного алгоритма. Действия И И должны быть прозрачными для широкого круга заинтересованных сторон по ряду причин:
Прозрачность важна для пользователей, поскольку она формирует доверие к системе, предоставляя простой способ понять, что и почему делает система.
Валидация и сертификация прозрачности ИАС важны, поскольку они раскрывают процессы, происходящие в системе, для проведения проверки на соответствие ИС действующему законодательству. Например, система автоматизированного принятия решения о выдаче субсидии должна рассматривать заявки по открытым и прописанным в законодательстве критериям. Результат работы системы должен совпадать с результатом, достигнутым человеком при тех же расчетах.
ИАС должна быть прозрачной для расследования аварии, несчастного случая; так чтобы можно было легко проследить, какой внутренний процесс привел к аварии.
При расследовании несчастного случая прозрачность необходима и адвокатам и другим экспертам.
Наконец, революционные технологии, например беспилотные автомобили, должны быть в определенной мере прозрачны для более широких кругов общества, чтобы повысить доверие общественности к технологиям.

Канадская служба по вопросам иммиграции, приема беженцев и гражданства (Immigration, Refugees and Citizenship Canada) с 2014 года разрабатывает систему для автоматизации миграционной службы. Алгоритмические системы используются на всех этапах иммиграции в Канаду, при этом правительство не раскрывает:

  • какие критерии используются для оценки мигрантов и беженцев;
  • какой тип данных будет собран и введен в автоматизированную систему;
  • кто будет иметь доступ к информации и как она будет передана другим ведомствам;
  • что правительство считается приемлемым пределом погрешности этих систем.
Принцип прозрачности ИИ, как и ряд других этических принципов (см. раздел 3.9), заложен и в российскую Национальную стратегию развития искусственного интеллекта на период до 2030 года: «…Алгоритмы работы нейронных сетей крайне сложны для интерпретации, и, следовательно, результаты их работы могут быть подвергнуты сомнению и отменены человеком. Отсутствие понимания того, как искусственный интеллект достигает результатов, является одной из причин низкого уровня доверия к современным технологиям искусственного интеллекта и может стать препятствием для их развития».
Отметим, однако, что прозрачность ИИ не может быть абсолютной. Существуют И С различных типов, и в зависимости от последних меняются критерии прозрачности. Степень прозрачности одной и той же системы может различаться с точки зрения функционала, целевой аудитории и т. д. Также алгоритм может быть прозрачным для одних (например, для разработчиков системы скоринга), но непрозрачным и непонятным для других (в случае со скорингом — для клиентов банка и даже его менеджмента, не имеющего специальных знаний).
Как и другая интеллектуальная собственность, уникальные алгоритмы, созданные разработчиками, не должны быть раскрыты полностью (кроме открытого кода или отдельных случаев, оговоренных договором на разработку). Соответственно, объяснительная компонента ИС должна работать таким образом, чтобы показывать ход работы системы, не раскрывая всей «механики» ее функционирования. Наличие объяснительной компоненты — неотъемлемое свойство системы ИИ, в противном случае доверие к ней и, следовательно, ее ценность ставятся под сомнение. Экспертная система должна уметь предъявить пользователю всю цепочку рассуждений, система интеллектуального анализа данных — выдать сформированные ей гипотезы в явном, понятном человеку виде; система, доказывающая теоремы, ― показать всю цепь вывода.
У ИИ на основе нейронных сетей объяснительная компонента пока не реализована технически, и такая система представляет собой «черный ящик». С одной стороны, большинство практических применений ИИ ― это действительно нейронные сети, но разрабатываемые ИС не ограничиваются только нейронными сетями. С другой стороны, при наличии соответствующих стандартов и других аспектов регулирования такие компоненты могут быть разработаны и для нейронных сетей.

3.3.3 Предвзятость алгоритмов

Проблема предвзятости систем ИИ в целом и программ-советчиков в частности — одна из наиболее критических при применении ИИ. Незаметные на первый взгляд предубеждения и предположения могут скрываться в данных, на их основе строятся системы, которые наследуют и то и другое, что влияет на объективность системы и делает принятые ею решения предвзятыми. В итоге ИИ может иметь серьезные «слепые пятна» и выдавать рекомендации или совершать действия, которые только укрепляют и воспроизводят эти предубеждения. Справедливость алгоритмов ― это одно из важнейших направлений в создании этичного ИИ.
ИИ может помочь уменьшить предвзятость. Как показывают исследования, алгоритмы способны помочь уменьшить расовое неравенство в системе уголовного правосудия. Аналогично автоматизированные системы финансового андеррайтинга могут быть полезны для заявителей с недооцененной кредитной историей. Наконец, в отличие от человеческих, решения, принимаемые ИИ, в принципе, могут быть раскрыты, исследованы и детально проверены.
Kleinberg J., Lakkaraju H., Leskovec J.et al. Human decisions and machine predictions // The Quarterly Journal of Economics. 2018. Vol. 133, no 1. P. 237–293.
Gates S. W., Perry V. G., Zorn P. M. Automated underwriting in mortgage lending: Good news for the underserved? // Housing Policy Debate. 2002. Vol. 13, no 2. P. 369–391.

Изучение кредитной истории при принятии решения о найме на работу может повредить социально незащищенным гражданам, хотя наличие связи между качеством кредитной истории и поведением на работе не доказано. В США программа прогнозирования преступлений PredPol обучалась на этнически искаженной выборке, поэтому чаще посылает полицию по адресам, где живут представители этнических меньшинств. Обученная на частично вымышленных историях болезни программа IBM Watson иногда выдает смертельно опасные рекомендации по лечению рака.
Silberg J., Manyika J. Tackling bias in artificial intelligence (and in humans) // McKinsey Global Institute.
Lum K., Isaac W. To predict and serve? // Significance. 2016. Vol. 13, no 5. P. 14–19.
Создание справедливого непредвзятого ИИ ― тема многочисленных дискуссий, исследований, стандартизации и т. д. Рассмотрим кратко основные возможности. Первая ― это выявление и уменьшение влияния человеческих предубеждений.
Ларина Е. С., Овчинский В. С. Искусственный интеллект. Большие данные. Преступность. М.: Книжный мир, 2018.

Специалисты лондонской компании DeepMind предложили в качестве защиты от влияния человеческих предубеждений использовать метод «гипотетическая справедливость» (counterfactual fairness). Чтобы сформулировать справедливое и непредвзятое суждение о гражданине, ИИ формирует гипотетическую ситуацию, в которой данный гражданин обладает противоположными признаками: женщина превращается в мужчину, бедный ― в богатого, афроамериканец ― в белого и т. п. Таким образом, реальный статус не влияет на оценку деяний гражданина. Суждение формируется в гипотетической ситуации. Такое суждение считается свободным от предубеждений, а значит, справедливым.
Chiappa S. Path-Specific Counterfactual Fairness // [Silvya Chiappa.]
Вторая возможность — совершенствование самих систем ИИ, начиная от способов использования данных и заканчивая процессами разработки, внедрения и применения, чтобы предотвратить закрепление индивидуальных и общественных предубеждений или возникновение предвзятости и связанных с ней проблем. Междисциплинарное сотрудничество призвано обеспечить дальнейшую разработку и внедрение технических усовершенствований, методов работы и этических стандартов (см. разделы 3.5 и 3.8).
Для того чтобы система ИИ была справедливой, необходимо исключить предвзятость и предубеждения в исходных данных, на которых ИИ обучается. Как показывает практика, даже при тщательной подготовке данных это не всегда возможно.

Компания Amazon прекратила использовать систему подбора персонала, после того как в алгоритме обнаружились погрешности, связанные с гендерными предрассудками. Алгоритм распознавал шаблоны слов в резюме, а не соответствующие наборы навыков. Исходными данными для обучения системы оказались в основном резюме белых мужчин. Алгоритм исключал резюме, которые содержали слова, чаще используемые женщинами. В результате проявлялась предвзятость в отношении женщин при приеме на работу.
Предвзятость может быть не только естественной, образовавшейся случайно из-за особенностей входящих данных, но и искусственной, заложенной намеренно, например в виде предпочтения интересов неких третьих лиц. Примером подобной предвзятости может служить небольшое намеренное изменение маршрута пользователя на карте в навигационной системе, чтобы он проехал или прошел мимо определенной точки, например магазина, заказавшего рекламу.
Наконец, алгоритм машинного обучения может выявить статистические корреляции, которые социально неприемлемы или незаконны. Например, модель ипотечного кредитования обнаруживает, что у пожилых людей выше вероятность не соблюсти график платежей, на этом основании сокращает объем кредитования в зависимости от возраста. Общество и правовые институты могут считать это незаконной дискриминацией по возрасту.

В США алгоритмический аудит программы для прогнозирования объема необходимой медицинской помощи выявил предвзятое отношение алгоритма к афроамериканцам. Несмотря на единую методику расчета для всех пациентов, алгоритм считал чернокожего пациента менее нуждающимся в медицинской помощи, чем белого, даже если у первого больше объективных причин получить медпомощь. В коде не было заложено преимущество белокожих пациентов, и алгоритм работал правильно. Ошибочной была исходная идея разработчиков, что равные расходы на медпомощь свидетельствуют об одинаковой потребности в ней, поэтому алгоритм рассчитывал рекомендации на основании расходов пациентов на медпомощь в прошлом. Однако расходы человека на медицинские услуги сильно зависят от уровня дохода и социального положения. Следовательно, алгоритм закрепил дискриминацию, существовавшую еще до него: пациенты, которые в прошлом получали меньше медпомощи из-за низкого уровня дохода, окажутся обделены ею и в будущем.

Как мы определяем и измеряем справедливость, чтобы минимизировать предвзятость?

Сложность обеспечения справедливости систем ИИ состоит еще и в том, что само понятие справедливости требует отдельного определения и исследования. Существует чуть более 20 различных определений справедливости, и даже они «не являются исчерпывающими». Как правило, в определениях говорится об индивидуальной справедливости, одинаковом обращении с похожими людьми или о групповой справедливости. Вероятно, никогда не удастся создать единое, универсальное определение справедливости или системы показателей для ее измерения. Вместо этого, скорее всего, потребуются различные системы показателей и стандарты в зависимости от обстоятельств и варианта использования.
Silberg J., Manyika J. Tackling bias in artificial intelligence (and in humans) // McKinsey Global Institute.
Narayanan A. Tutorial: 21 fairness definitions and their politics / FAT. [S.l.,] 2018.
Zemel R., Wu Y., Swersky K. et al., Learning Fair Representations //Proceedings of the 30th International Conference on Machine Learning.2013. Vol. 28, no 3. P. 325–333.
Chiappa S., Isaac W.S.A causal Bayesian networks viewpoint on fairness // Privacy and Identity Management. Fairness, Accountability, and Transparency in the Age of Big Data // IFIP Advances in Information and Communication Technology. 2019. Vol. 547. P. 3–20.
Важной составляющей справедливости систем ИИ является непосредственное участие человека. Хотя статистические показатели справедливости, безусловно, полезны, но они не могут учитывать нюансы социальных условий, в которых развертывается система ИИ, и потенциальные проблемы, связанные, например, со сбором данных. Предстоит ответить на вопросы:
Где именно и в какой форме необходимо человеческое суждение при разработке и эксплуатации ИИ?
Кто решает, когда система ИИ уже минимизировала предвзятость и пригодна для безопасного использования?
В каких ситуациях вообще допустимо полностью автоматизированное принятие решений?
Green B., Hu L. The myth in the methodology: Towards a recontextualization of fairness in machine learning // 35th International Conference on Machine Learning. Stockholm, 2018; Richardson R., Schultz J., Crawford K. Dirty data, bad predictions: How civil rights violations impact police data, predictive policing systems, and justice // New York University Law Review Online. 2019. March.
Данные вопросы ни один алгоритм оптимизации не может решить самостоятельно, и их нельзя доверить ни одной машине. Они требуют человеческого суждения и осмысления с опорой на множество дисциплин, включая гуманитарные науки, особенно социальные науки, право и этику. Эта работа только начинается. Институт McKinsey дает верхнеуровневые рекомендации по работе с ИИ для снижения предвзятости (рисунок 5), они адресованы практическим специалистам по ИИ и руководителям.
Рисунок 5
Рекомендации по работе с ИИ для снижения предвзятости
Предвзятое принятие решений людьми или машинами не только приводит к разрушительным последствиям для людей, подвергающихся дискриминации, но и наносит ущерб всем гражданам и государству в целом, необоснованно ограничивая возможности отдельных лиц участвовать и вносить свой вклад в развитие экономики и общества. Кроме того, минимизация предвзятости в системах ИИ критична, в противном случае люди не смогут доверять этим системам. Последнее необходимо, чтобы ИИ смог реализовать свой потенциал для государства, для экономики посредством увеличения производительности и для общества благодаря вкладу в решение насущных социальных проблем.

3.3.4 Надежность ИИ

Silberg J., Manyika J. Tackling bias in artificial intelligence (and in humans) // McKinsey Global Institute.
Manyika J.,Bughin J.The promise and challenge of the age of artificial intelligence / McKinsey Global Institute // McKinsey.
Проблемы безопасности и надежности ИИ, далекие от этики на первый взгляд, все же имеют непосредственное отношение к ней и заслуживают рассмотрения в нескольких аспектах. Первый аспект, сугубо технический, касается надежности и безопасности технических (программно-технических) систем вообще. В обычных системах существует не меньший риск ошибок и технических сбоев, чем в интеллектуальных, поэтому этот аспект не является специфичным для ИИ. Ошибка в ПО (не интеллектуальном) системы управления ядерным реактором, скорее всего, гораздо опаснее по сравнению с ошибками в ИИ для выдачи потребительского кредита.
Второй аспект касается самой сути работы ИС. Поскольку И И занимается решением слабо формализуемых задач, используя различного рода эвристики (сложно доказать корректность правил, но на практике они дают приемлемые результаты), правдоподобные рассуждения и тому подобные механизмы, зачастую от систем ИИ и не ждут оптимального, единственно верного решения, обходясь решением «субоптимальным», «разумным», «пригодным». Именно для проверки корректности, контроля требуется объяснительная компонента, о которой говорилось выше. Здесь проблема надежности пересекается с проблемой прозрачности ИИ.
Когда прозрачная система ИИ начинает работать неправильно, ненадежно, разработчики могут быстро найти причину ошибки. В непрозрачную систему с «черным ящиком» можно скрыто внести изменения, так что она будет достаточно долго принимать решения по-новому, не вызывая подозрений, и на выявление ошибки (изменения) потребуется гораздо больше усилий и времени.
Третьим аспектом можно назвать проблему программы-советчика («опыт оператора»), которая имеет непосредственное отношение к этике. Проблема актуальна не только для ИС, но именно с началом их применения она выходит на новый уровень. Экспериментальные исследования показывают, что в условиях неопределенности и дефицита времени у людей возникает сверхдоверие к системам ИИ и роботам: люди склонны более доверять системе, чем себе. Доверие к ИИ возрастает, если программа комментирует свои действия. Целиком полагаясь на систему ИИ, человек реже принимает решения самостоятельно и осознанно, что способствует как риску ошибок, так и потере квалификации. Для владельцев ИС существует соблазн нанять менее квалифицированного специалиста и предложить ему зарплату поскромнее. Поэтому важно, чтобы на опасных производствах, в медицине, образовании специалисты сохраняли стабильно высокий уровень квалификации. Нельзя снижать уровень образования оператора опасного производства или врача, так чтобы он только знал, как работать с системой и какие кнопки нажимать. Напротив, каждый из них должен детально понимать свою область. Какой бы умной и интеллектуальной система ни была, второй уровень человеческого контроля нужен, и соответствующих специалистов надо готовить максимально качественно.
Robinette P., Howard A., Wagner A.R. Conceptualizing overtrust in robots: Why do people trust a robot that previously failed? // Autonomy and Artificial Intelligence: A Threat or Savior? Cham: Springer International Publishing, 2017. P. 129–155. DOI:10.1007/978-3-319-59719-5_6; Wagner A.R., Borenstein J., Howard A. Overtrust in the Robotic Age // Communications of the ACM. 2018. Vol. 61, no 9. P. 22–24. DOI:10.1145/3241365.
Chen J. Y. C., Barnes M. J., Wright J. L. et al. Situation awareness-based agent transparency for human-autonomy teaming effectiveness // Proc. SPIE 10194, Micro- and Nanotechnology Sensors, Systems, and Applications IX, 101941V. 2017. May 18. DOI:10.1117/12.2263194;

Chen J. Y. C., Barnes M. J.,Wright J. L. et al. Situation awareness-based agent transparency for human-autonomy teaming effectiveness // SPIE.

Pynadath D. V., Barnes M., Wang N. et al. Transparency Communication for Machine Learning in Human-Automation Interaction // Human and Machine Learning. Visible, Explainable, Trustworthy and Transparent / Ed. by J. Zhou, F. Chen. Cham: Springer, 2018. P. 75–90. DOI: 10.1007/978-3-319-90403-0_5.

Стандартизация призвана повысить надежность систем, поставить минимальный уровень, находясь ниже которого, система не может считаться надежной. В то же время эта планка не должна быть превышать возможности сегодняшних технологий, чтобы разработчики не были ограничены в процессе создания новых прорывных решений и не уводили часть технологий с легального рынка.

3.3.5 Приватность информации, полученной с помощью анализа метаданных

Алгоритмы И И способны получать новую персональную информацию о людях путем анализа больших данных, извлекать ее из метаданных (см. раздел 5.2). Собирая все больше данных о человеке в цифровом профиле, владелец алгоритма ― компания, государственная организация, органы полиции и т. д. ― может с высокой степенью точности предсказать, что дальше будет посещать и слушать данный пользователь, за кого он склонен проголосовать, с помощью чего можно им манипулировать и многое другое. Рассказывая о своих вкусах, предпочтениях, местах и сайтах, где они бывали, люди не задумываются о том, что когда-то (возможно, через годы) кто-то воспользуется этой информацией, чтобы сделать статистические срезы, выборки и т. д. (см. раздел 5.1.1).
Уже сегодня государству и обществу вольно или невольно придется сформировать свое отношение к допустимому уровню обработке таких данных. Один из подходов к решению проблем приватности, прозрачности и справедливости ИИ — это создание стандартов на разработку этически ориентированных ИС (см. раздел 3.5).
Предыдущая часть
3.2 Что такое искусственный интеллект?
Читать дальше
3.4 Машинная этика