in ,

Утечка конфиденциальных данных с помощью атак на модели искусственного интеллекта с выводом членства.

В статье “Атаки на вывод членства в моделях искусственного интеллекта ” (Membership Inference Attacks on Machine Learning Models) показано, как легко определить

Что модели могут непреднамеренно разглашать конфиденциальную информацию о данных, которые они изучают Здесь показано, как легко определить, что модели могут непреднамеренно разглашать конфиденциальную информацию о данных, которые они изучают.

Утечка через атаки на вывод членства (по сути, позволяющие злоумышленнику определить, использовалась ли та или иная запись данных в обучающем наборе модели машинного обучения) – еще одна причина, по которой исследования в области дифференциальной конфиденциальности столь интересны и ценны.

Большинство компаний часто имеют дело с конфиденциальными данными, и очень важно гарантировать, что эти данные не будут подвергнуты обратному инжинирингу или раскрытию.

Авторы данной статьи провели ряд экспериментов и оценок, чтобы продемонстрировать, что модели машинного обучения, особенно модели с обратной разработкой, уязвимы для этого типа атак.

Авторы показывают, что модели ведут себя по-разному при запросе данных, которые они видели, и данных, которые они не видели. Это различие в поведении может быть использовано для получения информации о принадлежности.

Важным вкладом данной работы является введение новой техники, называемой теневым обучением. В этом методе модель (так называемая теневая модель), имитирующая поведение целевой модели, обучается на данных, аналогичных данным обучения целевой модели.

Затем теневая модель используется для создания набора данных для обучения модели атаки, которая учится определять выход целевой модели по данным обучения и тестирования.

Эта атакующая модель используется для вывода информации о принадлежности новых записей данных. Это имеет далеко идущие последствия.

При возникновении сомнений в целесообразности использования методов повышения конфиденциальности следует обратить внимание на риски, связанные с атаками на членство, и принять меры по их снижению.

Это включает в себя признание компромисса между точностью модели и уязвимостью к таким атакам и реализацию стратегий по предотвращению чрезмерной подгонки.

Некоторые из вопросов, вытекающих из данного исследования, которые могут потребовать дальнейшего изучения, следующие:

  1. Как эффективно измерить восприимчивость модели к партнерским атакам?
  2. Каковы лучшие практики внедрения shadowing в реальных ситуациях и как обеспечить его эффективность?
  3. Существуют ли конкретные типы данных или архитектуры моделей, которые уязвимы для таких атак?

Мы заинтересованы в общении с исследователями, которые в настоящее время занимаются этим вопросом, чтобы изучить возможности сотрудничества для устранения этих уязвимостей.

И мы хотели бы изучить возможности совместной работы по устранению этих уязвимостей.

What do you think?

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

GIPHY App Key not set. Please check settings