Web programming: Indexed tar files

[muzyka_sfer]

.
Большинство веб-программистов, когда речь заходит о хранении данных для вебсайта, автоматически вводят базу данных. Это - тренированная реакция, как у собаки Павлова, тиражированная в миллионах экземпляров по всему миру, и она не проходит через мыслительные фильтры.
Действительно, если на секунду задуматься, не удивительно ли:

• создали веб сервер

Comments

[mejedi]

Базы дают concurrency и durability (ACID). Как эти проблемы предлагается решать в вашем подходе?

[dph]

Базы еще и производительность дают, кроме ACID.
На получении по индексу 3 килобайтного блоба (аналогично указанному примеру) уйдет где-то 20 миллисекунд для первых миллионов записей.
И зачем нужен tar?

БД проигрывает ФС при отдаче больших объемов данных, так как не поддерживает некоторые системные фенечки для этого, но схема с tar точно так же ничего такого не поддерживает, поэтому быстрее точно не будет.
Брр, 0.2 секунды на запрос, ужас какой.

Нет, у вас в голове смешались разные вещи

[mejedi]

На получении по индексу 3 килобайтного блоба (аналогично указанному примеру) уйдет где-то 20 миллисекунд

НЕТ поиск по подстрочке не обеспечит ни один индекс. Для использования индекса надо знать ТОЧНОЕ ЗНАЧЕНИЕ поискового термина.

Если я не помню (типичный сценарий) точного написания имени пользователя ЖЖ, но помню подстрочку "мнямня_алекс" ?

Любая база данных в таком случае будет просто сканировать столбец, применяя к нему те же самые регэкспы.

Re: Нет, у вас в голове смешались разные вещи

[gds]

> Для использования индекса надо знать ТОЧНОЕ ЗНАЧЕНИЕ поискового термина.
Онаним, Вы сильно ошибаетесь. Посмотрите на запросы вида " .. LIKE 'qwerty%'" в нормальных базах данных (хотя бы в oracle).

[grax]

> даже если страница с сервера приходит за доли секунды, типичный веб-читатель видит её через несколько, и она "залипает" при прокручивании и появлении новых элементов (уже сидящих в локальном кэше браузера).

Я почему-то сразу подумал про livejournal.RU

[muzyka_sfer]

Я отключаю javascript в браузере (опера, там это просто выводится на кнопочку), и, вы не поверите, все начинает работать нормально ;))

[grax]

Ну так-то всё верно, если отключить, то убыстряется. Но изначально-то вопрос не в отключении. ;-)

[muzyka_sfer]

исследование Yahoo по оптимизации сайтов где-то на youtube.
Насколько помню, избавление от жабаскрипта у них стоит на ПЕРВОМ месте как причина отвратительности сайтов для пользователей.

[greenfactory]

Хм... Этот "разжиревший монстр"(БД MySQL) + Perl(в качестве CGI скрипта) + Apache + nginx
Обрабатывает запрос на изменение данных в 2 местах и возвращение результата за 200-400 мс...
Отсюда вопросы, что у кого и где покрылось жиром?
А по теме "Скрипач не нужен"(с) Кин-дза-дза

[npopok]

Даунлодирую стоя!

[npopok]

Из отзывов тут ясно видно, где корень беды: посредники _искренне_ не понимают, зачем эта неэффективная ерунда, когда всегда к вашим услугам они, в комбинезонах с бейджиком, с полным набором гаечных ключей под рукой. Нуль-транспортировка не проходит автомобильного техосмотра.

Чтобы бывалого, обмасленного автомеханика в возрасте научить начальным научным навыкам, надо показать, что в природе "силы" бывают не только лошадиного свойства; сделать пусть игрушечный, но вертолёт. Например, в полсотне лисповых строчек скрутить лингвоанализатор "дискурсного расстояния" между выбранными двумя пользователями русского ЖЖ.

[thornik]

Музыкин! Я возможно недопонял идеи, но tar выигрывает перед "обычными файлами" в единственном - своей непрерывности. Т.е. становится более просто делать поиск, вместо дёрганья директорий-поддиректорий и т.д. Оно? :)

[blacklion]

Он (+его индекс) выигрывает в том, что многие FS загибаются на больших директориях. Нормальные - не загибаются, и толку от tar становится ноль. Но судя по отсылкам к 500Mhz-компьютеру, статья не новая.

[vitus_wagner]

Ты забываешь про VPS-ы. У меня один из немногочисленных вебмастеров, заинтересовавшихся проектом stilllife, пытался его вставить на VPS которой был выделен эквивалент 300МHz процессорных ресурсов. (хотя stilllife изначально затачивался под shared hosting)

[blacklion]

Я просто видел английский оригинал когда-то давным давно.