Эта статья продолжает общий обзор исследования «Объяснимое глубокое обучение и визуальная интерпретируемость».
Введение
Глубокое обучение привело к беспрецедентным прорывам во многих областях, таких как компьютерное зрение, распознавание голоса и автономное вождение. Недавно он доказал свою эффективность при решении крупномасштабных задач реального мира. Он был принят во многих крупномасштабных приложениях обработки информации, таких как распознавание изображений, языковой перевод и автоматизированная персонализация. Мы надеемся, что эти же методы смогут диагностировать смертельные заболевания, принимать торговые решения и делать многое другое, что потенциально изменит нашу жизнь и отрасли.
В то время как глубокая нейронная сеть изучает эффективные представления и обеспечивает превосходную производительность, понимание этих моделей остается сложным из-за их изначально непрозрачной природы и неясного механизма работы. Их часто считают методами черного ящика, которые выполняют поставленные задачи для пользователей.
Имея четкое представление о том, как и почему работает модель, пользователю легче определить, когда модель работает правильно, когда она дает сбой и как ее можно улучшить. Следовательно, пользователи относятся к нейронным сетям как к черным ящикам и не могут объяснить, как было выполнено сопоставление входных данных с выходными, или определить причины его предсказаний. Это отсутствие прозрачности является недостатком их применения, связанного с принятием решений с высокой долей участия, особенно в регулируемых отраслях, где требуется использовать методы, которые можно понять и проверить.
Кроме того, автоматические решения, принимаемые этими моделями, имеют далеко идущие социальные последствия: расширение социального классового и расового неравенства, а также усиление предвзятости и дискриминации в их системах. Следовательно, в последнее время все больше внимания уделяется проблемам прозрачности и справедливости, и предпринимаются усилия, чтобы сделать модели глубокого обучения более интерпретируемыми и контролируемыми людьми, включая создание моделей, которые могут объяснить их решения, обнаружить предвзятость модели и установить доверие и прозрачность в том, как они будет вести себя в реальном мире.
Модели глубокого обучения сложнее интерпретировать, чем большинство моделей машинного обучения, поскольку они изучают сложные представления для извлечения и представления в удобочитаемой форме. Хотя это может быть подходящим для некоторых моделей, это не совсем верно для модели, основанной на зрении, такой как сверточная нейронная сеть (CNN), потому что представления, полученные глубокой сетью, такой как CNN, очень чувствительны к части визуализации, потому что они являются представлениями визуального концепции.
В этой работе предлагается инструмент визуального исследования — DeepViz, который использует объяснимый системный подход, методы локализации изображения и визуализации для интерпретации вывода задачи визуальной классификации, который обосновывает решение модели с использованием визуальных доказательств с использованием следующих методов. Используя визуальные доказательства, инструмент совместно предсказывает метку класса и показывает, почему ожидаемый заголовок подходит для данного изображения.
- Чувствительность изображения: помогает выделить область изображения, в наибольшей степени связанную с решением о классификации, путем локализации обнаруженного элемента или объекта на входном изображении.
- График активации: визуализация промежуточных выходных данных скрытых слоев, чтобы показать, как сеть преобразует входные данные через последовательные слои.
В следующем разделе представлен краткий обзор исторического контекста глубокого обучения и происхождения нейронных сетей. Часть 3 дает обзор распространенных архитектур глубоких нейронных сетей. Затем обсуждаются проблемы и вызовы моделей «черных ящиков» и в заключение освещаются социальные последствия системы «черных ящиков» и их широкомасштабное влияние на различные общественные сферы. В части 4 подчеркивается важность объяснимых и интерпретируемых систем, а также последние разработки в этой области исследований. В части 5 описываются методологии, используемые в процессе исследования, исследовательская гипотеза, цели и задачи разработки. В части 5 также рассматриваются детали реализации, в том числе технический дизайн и настройка среды. Глава 4 завершается результатами исследования и выводами пользовательского тестирования прототипа.
В следующей статье этой серии рассказывается о хронологии развития глубокого обучения:
https://medium.com/deepviz/explainable-deep-learning-and-visual-interpretability-part-3-a3ea472fd5ba
