Авторы раздела

Готовцев П. М.

Ройзенсон Г. В.

Характеристика проектов стандартов на этичный
искусственный интеллект IEEE

Готовцев П. М., канд. техн. наук, координатор российской Рабочей группы по этике искусственного интеллекта, заместитель начальника отдела биотехнологий и биоэнергетики НИЦ «Курчатовский
институт».

Ройзенсон Г. В, канд. техн. наук, ст. науч. сотр. Института системного анализа Федерального исследовательского центра «Информатика и управление» РАН, член российской Рабочей группы по этике искусственного интеллекта, член научного совета Российской ассоциации искусственного интеллекта.
Как было отмечено в докладе «Этика и "цифра"» (см. раздел 3.5), инициатива по стандартизации в области ИИ и данных реализуется крупной международной организацией ― Институтом инженеров в области электротехники и электроники (Institute of Electrical and Electronics Engineers, IEEE), разрабатывающей стандарты на электронные и электротехнические устройства.
Разработка стандартов ведется с целью определить позицию по поводу этики при работе с системами искуственного интеллекта (ИИ) многих специалистов из разных областей науки. Первый установочный документ Ethically Aligned Design описывает в целом существующие в этой сфере вопросы, затрагиваемые области науки и рекомендует дополнительные источники по теме. В разработке комплекта стандартов этичного ИИ участвует российская рабочая группа, члены которой стали авторами данного материала. Ниже представлен актуальный на декабрь 2019 года список проектов стандартов Ethically Aligned Design (таблица 1) и их краткая характеристика.
Таблица 1
Основные категории, этики (категории морального сознания)

P7000. Model Process for Addressing Ethical Concerns During System Design

Проект стандарта модельного процесса для решения этических проблем при проектировании систем
Цель стандарта: Обеспечить практическое применение методологии проектирования на основе ценностей.
Разработчики, руководители проекта и другие заинтересованные стороны нуждаются в методологии для выявления, анализа и согласования этических проблем конечных пользователей с самого начала жизненного цикла систем и программного обеспечения. В рамках данной методологии анализ ценностей и возможности их соблюдения могут помочь в разработке этической составляющей систем ИАС. Этот стандарт предоставит инженерам и технологам полезный инструмент, выстраивающий процессы управления инновациями, подходы к разработке ИС и методы разработки программного обеспечения с целью минимизации этического риска для организаций, заинтересованных сторон и конечных пользователей.

P7001. Transparency of Autonomous Systems

Проект стандарта модельного процесса для решения этических проблем при проектировании систем
Цель стандарта: Обеспечить прозрачность работы алгоритма, не нарушая интеллектуальное право разработчика на ноу-хау или новую технологию.
Почти в каждой системе ИИ нужна возможность восстановления объяснительной компоненты для понимания того, как система приняла решение, а также в случае ошибки или неверного решения — что случилось, и кто несет ответственность.
Для разработчиков стандарт предоставит руководство для собственной оценки прозрачности в процессе разработки и даст механизмы для повышения прозрачности (например, необходимость защищенного хранения данных датчиков и данных о внутреннем состоянии аналогично регистратору данных полета или «черному ящику»).

P7002. Data Privacy Process

Проект стандарта обеспечения конфиденциальности данных
Цель стандарта: Сформировать единый общий методологический подход, который определяет методы управления вопросами конфиденциальности в процессах жизненного цикла систем / программ.
Стандарт P7002 ориентирован на защиту приватности граждан и в основном касается использования персональных данных граждан рекламными сетями при помощи ИС. Когда система анализирует метаданные и выдает новую информацию (причем косвенную, которая в данных пользователя напрямую оставлена не была), по умолчанию она принимает решение выдать всю найденную информацию. Данный стандарт регламентирует не сбор и обработку данных, а то, как сами ИС обрабатывают и выдают данные, насколько глубоко можно проводить анализ данных, где граница, которую ИС не должна переходить в извлечении данных.
Стандарт предлагает установить своего рода «фильтр», который определяет, какие категории данных не выдавать, как отнести анализы метаданных к категориям. Для стандартизации пока выделены несколько групп людей: участники взаимоотношений «работник—работодатель», дети (несовершеннолетние), студенты.

P7003. Algorithmic Bias Considerations

Проект стандарта учета предвзятости алгоритма
Цель стандарта: Обеспечить разработчикам алгоритмов для автономных информационных систем (АИС) четко сформулированную отчетность и ясность в отношении того, как и с какой целью работают алгоритмы, как происходит оценка и как это влияет на пользователей и заинтересованные стороны, использующие указанный алгоритм.
С развитием технологий ИИ увеличивается риск того, машины в результате общения друг с другом будут принимать решения на основе входных данных, непрозрачных для людей, по принципу «черного ящика».
Данный стандарт вполне может стать одним из первых принятых в качестве базового. Он обязывает разработчиков (в первую очередь, систем машинного обучения как самого популярного сейчас направления) ответственно подходить к данным, используемым для обучения, к их разметке, к тестированию и валидации систем.
Сертификация в соответствии с этим стандартом позволит разработчикам алгоритмов сообщать пользователям и регулирующим органам, что в разработке, тестировании и оценке алгоритма использовались современные передовые методы, что, в свою очередь, позволит избежать необоснованных дифференцированных последствий (дискриминации) для пользователей.

P7004. Standard for Child and Student Data Governance

Проект стандарта управления данными детей и студентов)
Цель стандарта: Предоставить организациям, работающим с данными о детях и учащихся, ориентированные на управление, и сертификацию процессы, гарантирующие прозрачность и подотчетность их действий в том, что касается безопасности и благополучия детей, их родителей, учебных заведений и общества, где они проводят время.
Стандарт также поясняет, что большинство родителей не разбирается в проблемах использования данных и в инструментах и услугах, которые обеспечивают сбор данных о семье при использовании интернета и цифровых сервисов. Поэтому родителей необходимо соответствующим образом информировать о защите данных их детей.
Защита прав детей и детства — одна из важнейших задач социальной политики любого государства. Защита студентов и их данных имеет значимость как потенциальный источник предвзятого отношения со стороны преподавателей и будущих работодателей (последнее тесно связано со стандартом P7005).

P7005. Standard for Transparent Employer Data Governance

Проект стандарта для прозрачного управления данными работодателя
Цель стандарта: Предоставить организациям набор четких рекомендаций и сертификатов, гарантирующих, что они хранят, защищают и используют данные сотрудников этическим и прозрачным способом.
Поскольку большинство людей не обладают достаточными техническими навыками, чтобы понимать основные проблемы использования данных, необходимо соответствующим образом информировать их о безопасности данных сотрудников, обеспечить их инструментами и услугами для выбора информации, которой они обмениваются на рабочем месте.
Этот стандарт разработан в соответствии с законом ЕС по защите ПД — GDPR (см. раздел 5.1) и является своего рода «GDPR для работников». Он будет гарантировать, что работники, сталкивающиеся с широко распространенными проблемами автоматизации, связанными с потенциальной потерей рабочих мест, сохранят контроль и управление своими ПД, которые напрямую являются базовым активом их идентичности и жизни, вне зависимости от того, получена ли она в результате мониторинга производственного процесса или из хранилища ПД.
В настоящее время разработано уже много продуктов для анализа метаданных потенциальных работников, вплоть до детских фотографий, если они есть в интернете, выступлений в институте, фотографий с каких-то мероприятий и т.д. Необходимо определить границы того, что работодатель должен и может знать о (потенциальном) работнике и его прошлом, в том числе не связанном с профессиональной деятельностью.

P7006. Standard for Personal Data Artificial Intelligence (AI) Agent Standard for Personal Data Artificial Intelligence (AI) Agent

Проект стандарта для интеллектуального агента управления персональными данными
Цель стандарта: Информировать государственные и коммерческие субъекты о том, как их интересам соответствует создание механизмов, которые помогут людям обучать персональных агентов ИИ управлять своими ПД.
Для создания ИИ на основе этических принципов нужно определить ценности, правила и входную информацию, которые направляли бы развитие персонализированных алгоритмов и ИИ. Обществу понадобится агент, который сможет представлять индивидуальные права и возможности людей в системе общих социальных норм, этики и прав человека и который к тому же будет предвидеть этические последствия обработки данных и помогать их смягчить. Такой подход позволит людям безопасно организовывать и распространять свою личную информацию на машиночитаемом уровне и даст возможность персонализированному ИИ действовать в качестве их представителя при принятии решений машинами.

P7007. Ontological Standard for Ethically Driven Robotics and Automation Systems

Проект онтологического стандарта робототехники и систем автоматизации, управляемых на основе этики
Цель стандарта: Обеспечить точное взаимопонимание экспертов в области робототехники, автоматизации и этики, для чего в стандарте дается набор определений и их взаимосвязей.
Данный стандарт — это попытка создать онтологию для роботизированных автономных систем с точки зрения этических решений. Преждевременно говорить о скором формировании законченной, полноценной онтологии, в настоящее время более значим сам факт ее существования, лишь недавно признанного учеными возможным.
Онтология, сформированная данным стандартом, способна обеспечить развитие робототехники и систем автоматизации в соответствии с мировыми теориями в области этики и морали, а также понимание инженерным сообществом того, как рационально разрабатывать системы автоматизации и гармонично их внедрять.

P7008. Standard for Ethically Driven Nudging for Robotic, Intelligent and Autonomous Systems

Проект стандарта для учета этических принципов в робототехнике, интеллектуальных и автоматизированных системах
Цель стандарта: установить регламенты взаимодействия человека и ИИ, с учетом «подталкивания к соблюдению этических норм».
Данный стандарт пока еще мало разработан, а термин «ethically driven nudging» применительно к ИС еще не широко известен. На русский его можно перевести как «подталкивание к соблюдению этических норм».
Стандарт касается непосредственного взаимодействия человека и ИИ и возможностей системы контролировать, чему она обучается от человека в процессе общения, а именно не допускать обучения явно неэтичному поведению.

P7009. Standard for Fail-Safe Design of Autonomous and Semi-Autonomous Systems

Проект стандарта проектирования безотказных автономных и полуавтономных систем
Цель стандарта: Установить практическую техническую основу конкретных методологий и инструментов для разработки, внедрения и использования эффективных надежных механизмов в автономных и полуавтономных системах.
Стандарт P7009 касается устойчивости системы от полного выхода из строя и начала вынесения заведомо неверных результатов и решений. Стандарт еще недостаточно проработан, но очевидно, что он будет достаточно узким и касаться базовых технических критериев, в частности, включать четкие процедуры измерения, тестирования и сертификации способности системы надежно работать в интервале от слабых до сильных нагрузок, а также инструкции по ее усовершенствованию в случае неудовлетворительной работы. Стандарт служит основой для разработчиков, пользователей и регуляторных органов в части создания устойчивых к отказам механизмов надежным, прозрачным и ответственным образом.
Данный стандарт связан со стандартом P7003 общей темой валидации систем на соответствие стандартам и в принципе валидации этичности. Научное направление этической валидации может быть одним из стимулов развития ИАС как науки в целом.

P7010. Wellbeing Metrics Standard for Ethical Artificial Intelligence and Autonomous Systems

Проект стандарта метрик благосостояния для систем искусственного интеллекта и автономных систем, действующих на основе этических принципов
Цель стандарта: Помочь программистам, инженерам и технологам эффективнее анализировать, как именно продукты и услуги, которые они создают, могут повысить благосостояние людей, на основе более широкого набора показателей, нежели только рост и производительность, а также в принципе обозначить возможность измерения и улучшения благосостояния человека (помимо экономического роста).
Системы с датчиками распознавания эмоций количественно оцениваются в первую очередь по своей экономической ценности на рынке за пределами сферы их применимости в определенных областях (психология и т. д.). Хотя часто понимается, что этические соображения для интеллектуальных и автономных систем могут препятствовать инновациям из-за введения нежелательного регулирования, тем не менее, без метрик, оценивающих психическое и эмоциональное здоровье, как на уровне индивидуума, так и общества, инновации невозможно количественно оценить.

P7011. Standard for the Process of Identifying and Rating the Trustworthiness of News Sources

Проект стандарта определения и оценки надежности новостных источников
Цель стандарта: Предоставить репрезентативный образец набора новостных сообщений для формирования осмысленной и точной шкалы рейтингов новостных источников.
На практике данный стандарт поможет, первую очередь, интеллектуальным агрегаторам новостей, которые распространяют новости в автоматическом режиме, но в настоящее время не могут достаточно точно в таком же автоматическом режиме определять недостоверные источники с ложными новостями.
Открытая система легких для понимания рейтингов поможет в устранении негативных последствий неконтролируемого распространения ложных новостей, в восстановлении доверия к определенным поставщикам новостей и дискредитации практики публикации ложных новостей.

P7012. Standard for Machine Readable Personal Privacy Terms

Проект стандарта для машиночитаемых правил конфиденциальности личных данных
Цель стандарта: Предоставить людям средства для выставления своих собственных требований к уровню конфиденциальности их данных машиночитаемыми способами. В более формальном смысле цель стандарта — дать индивидуумам возможность быть главными в соглашениях с другими сторонами (в основном компаниями).
Следует обратить внимание, что данный стандарт не касается вопроса соблюдения политик конфиденциальности, поскольку он предполагает наличие соглашения двух сторон.
Анализируя метаданные, АИС способна выявить и непреднамеренно сделать публичными те факты из частной жизни человека, которые он по каким-либо причинам не желает делать публичными. Как выяснилось рядом исследований, у каждого человека есть такие индивидуальные пожелания к конфиденциальности, касающиеся состояния его здоровья, взаимоотношений с другими людьми, интересов и др. Стандарт P7012 предполагает индивидуальную настройку АИС под персональные запросы конкретного человека по поводу его приватности (права на неприкосновенность личной жизни гражданина).

P7013. Inclusion and Application Standards for Automated Facial Analysis Technology

Проект стандарта включения и применения технологии автоматизированного анализа состояния лица
Цель стандарта: Предоставить руководящие принципы для разработки и сравнительной оценки автоматизированной технологии анализа лица для смягчения демографической и фенотипической предвзятости и дискриминации.
ИИ, используемый для автоматизированного анализа (распознавания) лиц, подвержен тенденциозности, которая может усугублять человеческие предрассудки и систематически дискриминировать людей по признаку пола, этнической принадлежности, возраста и других факторов.
Этот стандарт представляет собой попытку провести разумную границу между ценностями частной жизни и безопасности общества и может оказаться особенно важным для правоохранительных органов, поскольку потенциально способен ограничить их деятельность. С точки зрения охраны порядка технология имеет много положительных эффектов, такие как заметное снижение уличной преступности, нахождение лиц, находящихся в розыске, раскрытие совершенных преступлений (таких как кражи и незаконное проникновение на территорию). Вторая сторона медали, отрицательная, связана с применением дискриминационных возможностей.

P7014. Standard for Ethical considerations in Emulated Empathy in Autonomous and Intelligent Systems

Проект стандарта этических понятий в эмуляции эмпатии в автономных и интеллектуальных системах
Цель стандарта: Определить модель этических понятий и практики при проектировании, создании и использовании эмпатической технологии, включая системы, которые способны идентифицировать, количественно определять, реагировать или моделировать аффективные состояния, такие как эмоции и когнитивные состояния. Это включает в себя «аффективные вычисления», «искусственный интеллект эмоций» и смежные области.
Стандарт P7014 посвящен эмулируемой эмпатии в работе с ИС. Стандарт носит в основном рекомендательный характер, предлагая стандарты эмпатии, подходящие и адекватные не для всех, но для большинства пользователей. Он еще далек от законченной формы и не может вместить все подходы, взгляды и технологии, существующие в этой области, и результаты исследований на тему имитации эмпатии роботами, имитации человеческого лица роботами, но является важным шагом в этом направлении.
Назад
Статьи и материалы
Следующая статья
Этика разработчика