Хобрук: Ваш путь к мастерству в программировании

Потери генератора GAN сводятся к нулю

Я новичок в глубоком обучении, пожалуйста, потерпите меня. У меня есть GAN, структура модели скопирована из: https://machinelearningmaster.com/how-to-develop-a-generative-adversarial-network-for-an-mnist-handwritten-digits-снуля-in-keras/

Он будет тренироваться, скажем, 100-200 эпох с довольно хорошими результатами, затем внезапно потери генератора упадут до нуля ... вот выдержка из журнала:


epoch,step,gen_loss,discr_loss
...
189,25,0.208,0.712
189,26,3.925,1.501
189,27,0.269,1.400
189,28,7.814,2.536
189,29,0.000,3.387 // here?!?
189,30,0.000,7.903
189,31,16.118,7.745
189,32,16.118,8.059
189,33,16.118,8.059
189,34,16.118,8.059
... etc, it never recovers

Это проблема исчезающих градиентов? Что еще мне не хватает?

keras tensorflow deep-learning generative-adversarial-network
08.08.2019

Ответы:


1

В комментариях к записи в блоге люди спорят о проблеме коллапса GAN, здесь у вас есть комментарий:

Иногда возникали проблемы с обнулением дискриминатора. Кажется, это известная особенность GAN. Помогают ли в этом какие-либо известные взломы GAN? Глядя на дискриминатор через 100 эпох, он находился в запутанном состоянии, когда все, что в него входило, было с вероятностью 50% настоящим / фальшивым. Я закодировал несколько сгенерированных примеров на основе вероятности разграничения (красный = поддельный, зеленый = настоящий, синий = неуверенный на основе произвольной полосы), и, как вы упомянули, выходные данные субъективного и дискриминатора не всегда совпадают. (пример размещен на linkedin). Не было достаточного разброса в выходных данных вероятности дискриминатора, чтобы сделать это значимым.

08.08.2019
  • О боже, это ужасно неловко - я совершенно не заметил этого! Так что это известная проблема .. В любом случае, спасибо за комментарий! 09.08.2019
    • Новые материалы
    Не зря же это называют интеллектом
    Стек — C#, Oracle Опыт — 4 года Работа — Разведывательный корпус Мне пора служить Может быть, я немного приукрашиваю себя, но там, где я живу, есть обязательная военная служба на 3..
    LeetCode Проблема 41. Первый пропущенный положительный результат
    LeetCode Проблема 41. Первый пропущенный положительный результат Учитывая несортированный массив целых чисел, найдите наименьшее пропущенное положительное целое число. Пример 1: Input:..
    Расистский и сексистский робот, обученный в Интернете
    Его ИИ основан на предвзятых данных, которые создают предрассудки. Он словно переходит из одного эпизода в другой из серии Черное зеркало , а вместо этого представляет собой хронику..
    Управление состоянием в микрофронтендах
    Стратегии бесперебойного сотрудничества Микро-фронтенды — это быстро растущая тенденция в сфере фронтенда, гарантирующая, что удовольствие не ограничивается исключительно бэкэнд-системами..
    Декларативное и функциональное программирование в стиле LINQ с использованием JavaScript с использованием каррирования и генератора ...
    LINQ - одна из лучших функций C #, которая обеспечивает элегантный способ написания кода декларативного и функционального стиля, который легко читать и понимать. Благодаря таким функциям ES6,..
    Структуры данных в C ++ - Часть 1
    Реализация общих структур данных в C ++ C ++ - это расширение языка программирования C, которое поддерживает создание классов, поэтому оно известно как C с классами . Он используется для..
    Как я опубликовал свое первое приложение в App Store в 13 лет
    Как все началось Все началось три года назад летом после моего четвертого класса в начальной школе. Для меня, четвертого класса, лето кажется бесконечным, пока оно не закончится, и мой отец..