Skip to content

Прогнозирование спроса на такси

Notifications You must be signed in to change notification settings

schatzederwelt/taxi-demand-prediction

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

6 Commits
 
 
 
 

Repository files navigation

Прогнозирование спроса на такси

Описание проекта

ЦЕЛЬ ПРОЕКТА:

Для сервиса такси построить модель прогнозирования количества заказов на следующий час.

Это позволит эффективно управлять ресурсами и привлекать большее количество таксистов в пиковые часы.

Целевой KPI - RMSE <= 48


ЛИЧНЫЕ ЦЕЛИ:

Научиться базовым принципам работы с временными рядами и определять их характеристики:

  • cтационарность
  • сезонность
  • тренды

Испытать на практике возможности статистической автокорреляции PCAF и ACF, метод дифференцирования, а также познакомиться с возможностями бустера XGBoost.

Посмотреть проект

Новые навыки


✔️ Анализ и дифференцирование временных рядов ✔️ Upsampling

✔️ Исследование стационарности ✔️ Тест Дики — Фуллера

✔️ Автокорреляция и визуализация ACF& PACF ✔️ Сезонная декомпозиция

✔️ Генерация календарных и lag-признаков ✔️ rolling-window признаки

✔️ Модель XGBoost

Этапы исследования

Для достижения цели мы воспользовались разными подходами:

  1. Провели детальный анализ динамики заказов и сезонности

  2. Исследовали стационарность временного ряда:

    • Тест Дики-Фуллера
    • Сэмплирование и дифференцирование
    • Поиск закономерностей с помощью автокорреляции ACF
  3. Сгенерировали признаки 3-х типов для SupervisedLearning:

    • Лаги
    • Календарные признаки
    • "Скользящие" статистики (rolling-window)
  4. Для отбора признаков использовали:

    • Статистические графики с автокорреляцией PACF и ACF
    • FeatureImportance Линейной Регрессии и XGBoost
  5. Провели анализ ошибок и выявили аномалии, что позволило улучшить результаты.

  6. Визуализировали предсказания для оценки качества построенной модели

Также познакомились с возможностями XGBoost, который в текущем проекте показал большую устойчивость к overfitting, чем RandomForest.

Результат проекта

Мы успешно построили forecasting модель для предсказания спроса на такси в ближайший час.

Лучшие результаты на всех этапах показала Линейная Регрессия:

==> Кросс-валидация

  • RMSE: 24.06 | MAE : 18.63 - обучающий датасет

  • RMSE: 31.01 | MAE : 24.08 - валидационная выборка

==> Тест

  • RMSE: 24.87 | MAE : 19.22 - обучающий датасет

  • RMSE: 36.41 | MAE : 29.04 - тестовая выборка

Поставленный KPI с RMS <= 48 достигнут!

Возможности для развития проекта:

  • Добавить в качестве признаков результаты дифференцирования
  • Использовать для предсказаний готовые модели, например, fbpropet

Исходные данные

import pandas as pd

pd.set_option("display.max_colwidth", 500)
df = pd.read_csv("/datasets/toxic_comments.csv")

df.sample(5)
datetime num_orders
13640 2018-06-03 17:20:00 11
167 2018-03-02 03:50:00 21
24054 2018-08-15 01:00:00 51
8732 2018-04-30 15:20:00 9
24587 2018-08-18 17:50:00 11