С помощью нескольких строк кода любой может создать модель машинного обучения (ML), но создание хорошей модели машинного обучения — это совсем другая история.

Что я имею в виду, когда говорю, что модель машинного обучения ХОРОША?

Это отличается, но в целом вы будете оценивать свою модель машинного обучения, используя определенные заданные критерии. Когда дело доходит до оценки моделей классификации, вы почти наверняка будете использовать матрицу путаницы и связанные с ней показатели. Оценка модели, мониторинг модели и управление моделью — все это выигрывает от матриц путаницы!

Мы рассмотрим, что такое матрица путаницы, некоторые ключевые концепции и измерения, и все это в этой статье.

Итак, без лишних слов, давайте начнем!

Что такое матрица путаницы и как она работает?
Матрица путаницы, также известная как матрица ошибок, представляет собой сводную таблицу, используемую для оценки эффективности модели классификации. Количество правильных и неудачных прогнозов суммируется и разбивается по классам с использованием значений счетчика.

Истинно положительный (TP): результат, при котором модель правильно прогнозирует положительный класс.
Истинно отрицательный (TN): результат, при котором модель прогнозирует отрицательный класс должным образом.
Ложноположительный результат (FP):Также известный как ошибка типа 1, это результат, в котором модель предсказывает положительный класс, когда на самом деле он отрицательный.
Ложноотрицательный (FN): Также известный как ошибка типа 2, это результат, в котором модель предсказывает отрицательный класс, когда он на самом деле положительный.

Метрики для матрицы путаницы
Мы можем углубиться в некоторые важные метрики, которые вы можете рассчитать с помощью матрицы путаницы, теперь, когда вы понимаете основную структуру матрицы путаницы, а также сопутствующие ключевые термины. .

Точность
Это всего лишь процент прогнозов, правильно классифицированных моделью. Точность — это один из показателей, используемых для измерения эффективности моделей классификации в машинном обучении.

Точность
Точность — это доля релевантных экземпляров среди восстановленных экземпляров, также известная как положительная прогностическая ценность. Другими словами, он дает ответ на вопрос: «Какой процент положительных идентификаций был правильным?»

Или просто отношение правильных положительных прогнозов к общему количеству положительных прогнозов называется точностью.
Сколько ожидаемых положительных результатов на самом деле являются положительными.

Отзыв
Доля общего количества релевантных экземпляров, которые были фактически извлечены, называется отзывом, также известным как чувствительность, частота попаданий или доля истинно положительных результатов (TPR). Он дает ответ на вопрос: «Какой процент фактически положительных результатов был точно идентифицирован?»

Количество положительных результатов, которые ваша модель может извлечь из данных, называется отзывом.
Проще говоря, сколько положительных результатов правильно предсказано из всех положительных записей.

Очки F1

Оценка F1 — это гармоническое среднее точности и полноты, а также мера правильности теста. Он имеет максимальную оценку 1 (идеальная точность и память) и самую низкую оценку 0 (отсутствие точности или отзыва). В целом, это мера точности и устойчивости вашей модели.

Какую метрику выбрать: точность или полноту?
Производительность модели оценивается с использованием как точности, так и полноты. Какой из них выбрать, определяется проблемой, которую мы пытаемся решить.

Пример отзыва

Для Covid Prediction, если модель предсказывает нековидные записи, это опасная ставка. Все наши записи пациентов с COVID-19 должны быть соответствующим образом спрогнозированы.
В этом случае показатели отзыва имеют приоритет над точностью. Скорость запоминания должна быть 100%. Все данные пациентов, которые являются положительными, следует ожидать соответствующим образом. Значение False Negative должно быть равно нулю.
При оценке производительности модели для этого набора данных показателям отзыва придается больший вес.
Не так опасно, если данные, не связанные с коронавирусом, прогнозируются как данные о COVID.

В наборе данных covid 100 записей, 94 из которых — пациенты с covid и 6 пациентов без covid. Однако модель правильно предсказывает 90 из 94 записей covid. Четыре сообщения о ковиде были ошибочно ожидаемы [ 4 — FN ]

Отзыв = 90/(90+4) = 0,95 или 95%

Точность — фильтрация спам-звонков в качестве примера

Если модель прогнозирует приличные звонки как спам в наборе данных, это опасная ставка. Мы не хотим, чтобы какое-либо из наших законных сообщений было ошибочно принято за спам. В результате при оценке этой модели метрике точности придается больший вес. Количество ложных срабатываний должно быть равно нулю.
Если в наборе данных фильтрации спама есть 100 записей, ожидается, что 94 из них будут письмами со спамом. Только 90 из 94 записей угадываются правильно. Четыре совершенно законных электронных письма были помечены как спам. Это опасный ход. Он имеет точность 95%. Должно быть сто процентов. Когда дело доходит до звонков, не должно быть такого понятия, как «Спам». Для этой модели частота ложноположительных результатов должна быть равна нулю.

Заключение
Результатом классификации может быть либо класс, либо вероятность. Матрица путаницы используется для решения проблем классификации с учетом выходных данных класса. В этом блоге мы изучили, как рассчитать метрики для проблем классификации с выходными данными класса.

источник изображения — (https://image.shutterstock.com/shutterstock/photos/1428255122/display_1500/stock-vector-chaotic-or-chaos-and-order-comic-brain-electric-lamp-idea-doodle-faq -бизнес-загрузка-концепция-1428255122.jpg)

Поток исходного стека