Гость / Вход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
  • Страница 1 из 1
  • 1
Форум » Рефлексивные процессы и системы / Reflexive processes and systems » Троянское обучение » Материалы от Поддьякова » facebook: Атака на модели машинного обучения
facebook: Атака на модели машинного обучения
BoДата: Четверг, 17.08.2017, 12:51 | Сообщение # 1
Группа: Пользователи
Сообщений: 32
Репутация: 0
Статус: Оффлайн
«Атака на модели машинного обучения сбивает робоавтомобили»
http://ai-news.ru/…/ataka_na_modeli_mashinnogo_obucheniya_s…
Оригинальная статья “Robust Physical-World Attacks on Machine Learning Models” https://arxiv.org/abs/1707.08945
Я думаю, в какой-то момент атаки на системы обучения ИИ станут такими, что начнет сбываться мой прогноз.
Possible directions of development of AI systems can be design of systems that are able to:
(a) counteract other systems' learning, decrease their learning abilities and general "intellectual level", teach them "with evil intent" (e.g., by designing and presenting patterns of irrelevant examples, etc.), and make them take decisions which contradict the aims of owners and/or users of the systems taught (it can be more profitable than halt or termination of the systems).
(b) learn and increase level of their leaning abilities and general "intellectual level" in conditions of counteraction to their own learning and attempts of their Trojan horse teaching
https://www.researchgate.net/…/242109909_Development_and_in…
О том же на русском http://old.computerra.ru/354133/, параграф «Обучение и системы искусственного интеллекта».
Александр Поддьяков Быстро нарыл источников: то, что я назвал designing and presenting patterns of irrelevant examples, активно изучается под названиями poisoning attacks (системе машинного обучения скармливают corrupted data, "Such attacks inject specially crafted training data", etc.). http://icml.cc/2012/papers/880.pdf

Есть люди, изучающие poisoning attacks в самых разных видах: Poisoning Adaptive Biometric Systems, Poisoning behavioral malware clustering, Poisoning attacks to compromise face templates, etc.http://dblp.uni-trier.de/pers/hd/b/Biggio:Battista

При этом идея некоторой дебилизации алгоритма обучения (так сказать, скрытого понижения IQ) пока не обнаруживается - как и идея повышения IQ в условиях атаки.
 
anny_di929Дата: Суббота, 02.03.2019, 04:54 | Сообщение # 2
Группа: Пользователи
Сообщений: 6
Репутация: 0
Статус: Оффлайн
I congratulate, you were visited with an excellent idea
 
lizzirom2Дата: Четверг, 25.07.2019, 23:48 | Сообщение # 3
Группа: Пользователи
Сообщений: 31
Репутация: 0
Статус: Оффлайн
Не могу сейчас поучаствовать в обсуждении - очень занят. Но освобожусь - обязательно напишу что я думаю.

Добавлено (25.07.2019, 23:53)
---------------------------------------------
ет точно)!

Добавлено (25.07.2019, 23:54)
---------------------------------------------
пропустил, нада будет глянуть

Добавлено (25.07.2019, 23:54)
---------------------------------------------
ВАУ....=)

Добавлено (26.07.2019, 00:01)
---------------------------------------------
Вы отдалились от беседы

Добавлено (26.07.2019, 00:06)
---------------------------------------------
Согласен, эта весьма хорошая мысль придется как раз кстати

Добавлено (26.07.2019, 05:50)
---------------------------------------------
Я считаю, что Вы не правы. Предлагаю это обсудить.

 
Форум » Рефлексивные процессы и системы / Reflexive processes and systems » Троянское обучение » Материалы от Поддьякова » facebook: Атака на модели машинного обучения
  • Страница 1 из 1
  • 1
Поиск: