Управление памятью в сетевой подсистеме и ядре FreeBSD в целом

[nuclight]

Эта статья будет полезна системным администраторам и программистам, работающим в ядре FreeBSD. Осмыслив изложенное здесь, можно понять, почему же бывает паника по kmem, что такое состояние keglim/zoneli, как читать непонятные циферки в выводе vmstat -m / vmstat -z, и что же такое эти самые mbuf и nmbclusters. Программистам, приступающим к работе не

Comments

[swizard]

Спасибо огромное, крайне интересно.

А accf_http весь запрос тоже по mbuf-cluster-ам раскладывает, или там по-другому память выделяется?

[nuclight]

По ним, только он не раскидывает, а читает то, что система туда уже положила.

[ext_1033425]

Как раз по теме, вот сегодня на одном из своих серверов поимел такую картину, и как и описано в статье по SSH не зайти, исчерпались mbuf

[nuclight]

Однозначно увеличивать размеры. Вот тут товарищ dadv из комментов выше на нагруженном сервере с mpd вообще 900 Мб отводит под них, например (смотреть по нагрузке и размерам ОЗУ, конечно). А динамические правила ни при чем, они не в mbuf, да.

[ext_1033425]

Спасибо. Увеличил nmbclusters до 262144, стало гораздо легче, сейчас подключу эти параметры к cacti и буду отслеживать. Вопрос в догонку, объясни плс в двух словах что есть "mbuf+clusters out of packet secondary zone in use", что это за вторая зона?

PS: Еще раз спасибо за статью, очень помогла в понимании проблемы.

[nuclight]

> Вопрос в догонку, объясни плс в двух словах что есть "mbuf+clusters out of packet secondary zone in use", что это за вторая зона?

Ну, это зона с именем mbuf_packet в vmstat -z, код в netstat -m, который показывает циферки, считает их из значений счетчиков зон так:

printf("%ju/%ju/%ju mbufs in use (current/cache/total)\n",
mbuf_count + packet_count, mbuf_free + packet_free,
mbuf_count + packet_count + mbuf_free + packet_free);

printf("%ju/%ju/%ju/%ju mbuf clusters in use "
"(current/cache/total/max)\n",
cluster_count - packet_free, cluster_free + packet_free,
cluster_count + cluster_free, cluster_limit);

printf("%ju/%ju mbuf+clusters out of packet secondary zone in use "
"(current/cache)\n",
packet_count, packet_free);
Оттуда аллокейтит функция m_getcl(), возвращающая сразу mbuf с прицепленным к нему кластером (ман сообщает, что она эффективнее раздельного выделения ввиду возможности сделать это без лишнего перелочивания).

[ext_862972]

Можно товарища сразу в наш уютненький срачик на наге позвать, чо уж :)

[nuclight]

Срачик этот я ваш полистал, но где-то до 50 страницы, потом утомило. Местами дельные замечания по сетевизмам попадались, я их себе в todo утаскивал (на wiki.freebsd.org еще пока не попало), но это как жемчужины в куче навоза. Там что-то более конструктивное после той страницы встречалось