Ежедневно работодатели публикуют тысячи вакансий в самых разных сферах деятельности. Тот факт, что зарплата часто не указывается в тексте вакансии, усложняет процесс размещения…
Ежедневно работодатели публикуют тысячи вакансий в самых разных сферах деятельности. Тот факт, что зарплата часто не указывается в тексте вакансии, усложняет процесс размещения вакансий для самих же работодателей, т.к. им в итоге сложно оценить обстановку на рынке и предоставить соискателям интересное предложение. При этом, если заработная плата указана, работодателям проще и рекомендовать вакансию заинтересованным людям, и подбирать подходящих кандидатов. В рамках данной задачи Вам предлагается построить модель, которая будет прогнозировать предлагаемую работодателем заработную плату на основе описания вакансии. Данные Для построения модели Вам будут доступны данные о размещенных вакансиях, включая род деятельности компаний, требования к кандидатам и предлагаемые условия. Целевая переменная представляет собой среднюю заработную плату, указанную в вакансии. Вам необходимо сделать прогнозы для всех объектов, которые находятся в файле с тестовыми данными. Ссылка на скачивание набора данных. Метрика Качество решения MAPE определяется по следующей формуле: , где N – общее количество объектов, ytrue – реальное значение целевой переменной, ypred – спрогнозированное значение целевой переменной. Расчет балла Промежуточный балл, отображаемый в таблице результатов до момента завершения раунда, рассчитывается по формуле: Score = - MAPE , где MAPE – значение метрики, рассчитанное по указанной выше формуле. Таким образом, промежуточный балл строится по принципу "чем больше абсолютная величина ошибки, тем меньше результат". Максимально возможный промежуточный балл равен 0. Окончательный балл рассчитывается после завершения раунда по следующей формуле: Points = 200 * percentileofscore(MAPEs, MAPE) , где percentileofscore – функция, вычисляющая percentile rank, MAPEs – значения метрик MAPE всех участников, меньшие, чем метрика MAPE за “базовое решение” (опубликованный пример файла решения). То есть участники, загрузившие на проверку только пример решения и не улучшившие этот результат, получат 0 баллов, MAPE – значение метрики MAPE данного участника
Понимаю, передо мной стоит задача построить модель прогнозирования заработной платы по описанию вакансии на основе данных, включающих различные признаки вакансий и компании. Вам нужно подготовить модель, которая будет предсказывать среднюю зарплату, а также оценивать её качество с помощью метрики MAPE. В дальнейшем предусмотрена автоматическая проверка и расчет баллов.
Вот шаги, которые рекомендуется выполнить для решения задачи:
Загрузка данных
- Скачать и изучить оба набора данных: обучающий и тестовый.
- Определить структуру данных: какие признаки есть, как они закодированы, есть ли пропуски.
Предобработка данных
- Обработка пропусков: заполнение или удаление.
- Кодирование категориальных признаков (например, с помощью OneHotEncoder или LabelEncoder).
- Масштабирование признаков, если необходимо.
Анализ данных
- Провести разведочный анализ: выявить важные признаки, зависимость зарплаты от признаков.
- Построить графики, чтобы понять распределение целевой переменной и признаки.
Построение модели
- Можно начать с простых регрессионных моделей: Linear Regression, Random Forest Regressor, Gradient Boosting.
- Настроить гиперпараметры, используя кросс-валидацию, чтобы достичь лучшей точности.
Обучение и прогнозирование
- Обучить модель на обучающем наборе.
- Сделать прогнозы для тестового набора.
Оценка качества и подготовка файла для загрузки
- Для оценки использовать метрику MAPE, чтобы понять качество модели.
- Подготовить файл с предсказаниями в требуемом формате для загрузки на платформу.
Итоговая проверка
- После загрузки результирующего файла получим оценку MAPE и баллы.
Если у вас есть конкретные данные или их фрагменты, могу помочь с конкретными кодами: пример загрузки, обработки и построения моделей. Также могу дать советы по оптимизации прогноза и документации.
Пожалуйста, пришлите файлы с данными или уточните, есть ли у вас уже начальный код, который нужно доработать.
