randomForest

[vladhr_1989]

Доброго времени суток! Проблемка с пакетом randomForest. Для начала, я разделил датасет на обучающую и тестовую выборку, но ошибка прогноза на тестовой выборке оказалась намного выше, чем на обучающей - то есть модель переобучена :( Как я понимаю, причина в том, что во-первых - маленькие группы, во-вторых - пердикторов больше, чем наблюдений...

Comments

[p2004r]

1. Вы делите данные на обучающую и тестирующую не обращая внимание на сохранение соотношения между классифицируемыми исходами.

2. Сделать правильную выборку трудно ещё потому, что исходов крайне мало. Случайный лес крайне плохо экстраполирует на области не покрытые данными. Вам лучше использовать любой линейный метод.

Например просто сделать biplot(prcomp(data[,-1]), xlabs=data[,1]) И увидеть четко разделимые естественные группировки. Использовать модель через predict(prcomp(data[,-1]), newdata).

Ну или линейный дискриминантный анализ использовать.

3. Проверить можно кроссвалидацией (только выбрать метод который извлекает семплы с оглядкой на data[,1])

> data <- read.csv2("data.csv

[vladhr_1989]

Главные компоненты использовал, там-то всё сработало очень хорошо. После шкалирования и центрирования вообще всё разделилось. Через randomForest просто хотел попробовать узнать вклады предикторов в модель... А сто делает функция predict(prcomp(data[,-1]), newdata) ?

[p2004r]

Эта функция помещает в пространство PC новые данные. Вклады предикторов видны по стрелочкам на biplot и в таблице нагрузок первых двух компонент. Всё что слабо нагружает можно выкидывать.

Узнать степень вклада и выбрать занчимые предикторы можно использовав пакет Boruta или менее строгая var.select из randomForestSRC (есть ещё варианты)

[vladhr_1989]

как я понимаю, для начала главные компоненты рассчитываются по исходным данным, а функция predict располагает тестовые данные (newdata) в полученном пространстве главных компонент? В остальном анализ главных компонент довольно понятен и нагляден. Спасибо за исчерпывающие ответы :)

[vladhr_1989]

Можете 3 пункт насчёт кроссвалидации объяснить?

[p2004r]

Есть традиция бить данные на уравновешенные по исходам куски (например на 10) и каждый раз объявлять тестовым один кусок из 10, а остальные обучающей. Выводится среднее качество прогноза по 10 моделям.

Если это всё (методы, кроссвалидацию их, подбор параметров, выделение оптимального набора предикторов) перебирать, то лучше сразу использовать мета пакет типа caret, там встроено всё, включая корректный семплинг.

[vladhr_1989]

То есть после кроссвалидации и randomForest можно юзать?

[p2004r]

Нет, он не работает на пространстве в котором нет точек-случаев, и ничего по своей природе (дерево правил) экстраполировать не способен. Надо применить любой линейный метод (или обучить-выбрать в caret по ошибке кроссвалидации достаточно зарегуляризированный нелинейный (типа SVM))