Когда вы научили компьютерную модель делать прогнозы — скажем, угадывать, какой товар купит клиент, или определять, больной лист у растения или здоровый, — нужно обязательно проверить, насколько хорошо она научилась. Нельзя просто верить на слово: надо измерить её точность. В Python для этого есть специальные инструменты, которые сильно облегчают жизнь.
Как правильно готовить данные
Главное правило проверки: модель должна учиться на одних примерах, а проверяться на других. Представьте, что ученик заучил ответы к контрольной из решебника, который спрятан под партой. На контрольной он просто подсмотрит — и получит пятёрку, но знаний у него не прибавится. С моделью то же самое: если мы проверим её на тех же данных, на которых она училась, мы не узнаем, умеет ли она применять знания на новых примерах.Поэтому, purgedcv - честная проверка точности моделей на Python, делит все имеющиеся данные мы делим на две части. Одну часть отдаём модели для обучения. На ней она «видит» правильные ответы и подстраивает свои настройки. Вторую часть прячем до поры до времени — это контрольная работа. Когда модель скажет: «Всё, я готова», мы даём ей эти спрятанные примеры и смотрим, насколько часто она угадывает.
Как оценивать модели, которые делят на группы
Если задача модели — отнести что-то к одной из групп (например, «спам» или «не спам», «кошка» или «собака»), то самый простой способ оценки — посчитать, сколько ответов было верным. Если из 100 писем она правильно определила 95, значит, её точность — 95%. Звучит здорово, но тут есть подвох.Представьте, что у вас огромная куча писем, и только 5 из 100 — важные, а остальные 95 — спам. Если модель просто будет всегда говорить «спам», она тоже наберёт 95% точности. Но пользы от такой модели ноль: все важные письма она отправит в корзину. Поэтому смотрят на более тонкие показатели.
Например, анализируют, в чём именно ошибается модель. Сколько важных писем она приняла за спам? Сколько спама пропустила и отправила во входящие? Эти цифры помогают понять, насколько модель полезна на самом деле. Также смотрят на баланс между двумя вещами: с одной стороны, чтобы модель не пропускала важные случаи, а с другой — чтобы она не ошибалась слишком часто, называя обычное письмо спамом.
Как оценивать модели, которые предсказывают числа
Совсем другая история, когда модель предсказывает число. Например, цену квартиры или температуру воздуха. Тут нельзя сказать просто «верно» или «неверно». Если модель сказала «2 миллиона», а на самом деле «2,1 миллиона», это всё равно неплохой прогноз. А если сказала «500 тысяч» — вот это уже серьёзная ошибка.В таких случаях смотрят на среднюю величину ошибки. Грубо говоря, считают, на сколько в среднем модель промахнулась по всем прогнозам. При этом иногда особенно наказывают за большие промахи: если ошибка в 10 раз больше обычной, она сильнее испортит общую оценку. Ещё смотрят на то, насколько модель лучше простого предположения «возьмём среднее значение по рынку». Если она справляется ненамного лучше, значит, смысла в ней немного.
