знатокам веб-программирования

до вчерашнего дня сайт висел на мониторинге у провайдера с целью выяснения причин торможения в его работе или вообще тотальной неработы, что многие могли наблюдать последние 2-3 месяца.

вердикт провайдера, который похож на правду и подкрепляется анализом логов сайта - офигенная нагрузка идет из раздела Download, где у нас лежит NISSAN FAST, различные программы и руководства по ремонту (общий объём раздела более 2Гб). нагрузка объясняется тем, что народ не читает написанное на красном фоне и качает в несколько потоков с одного IP, под каждый из которых создаётся отдельный процесс apache... при достижении некоторого числа процессов (это либо один человек тянет в множество потоков, либо одновременно несколько разных людей качают) происходит то, что мы наблюдали.

на данный момент раздел download тотально отключен, ибо у меня не хватает знаний как с этим бороться (ну, кроме разве что покупки отдельного хостинга под это, что хоть и является решением, но явно запасным). а задача такая - отдавать контент в один момент времени в определённое количество потоков в независимости от количества желающих.

видятся следующие решения:

1. отключить раздел нафик и забить (не хочу);
2. ввести ограничения на время доступа к разделу (скажем, только ночью);
3. ввести ограничения на количество потоков.

очевидно, п.3 самый правильный, но это надо программить или искать какие-то готовые скрипты.

в общем суть данного топика сводится к следующему - как и рыбку съесть (раздел сохранить), и на карусели покататься (не ухудшить работоспособность сайта) ?

предложенное техническое решение, как мне видится, должно обладать следующим функционалом:

1. ссылки в явном виде не публикуются, а генерируются на ходу по мере обработки запроса на скачивание (по аналогии с тем, как сейчас файлы с форумов забираются);
2. генерируемая ссылка является динамической, т.е. повторно использовать её для закачки нельзя, а значит и на другом сайте опубликовать нельзя, что потребует от людей зайти к нам в раздел;
3. желательно иметь возможность настроить скорость отдачи контента и количество одновременных сессий (как к конкретно скачиваемому файлу, так и совокупности файлов - лучше);
4. ещё можно, к примеру, заставить пользователя щёлкнуть по нескольким баннерам на специальной странице, прежде чем разрешить скачивать.

есть готовые решения? ведь как-то работают всякие там сервисы типа megaupload.com
если кто-то готов напрограммить сам - готов обсудить вознаграждение

спасибо за ссылки, только вернулся из алматы, поэтому на выходных ознакомлюсь и отпишусь

Андрей_Сургут сказал(а):

zavr сказал(а):

спасибо за ссылки, только вернулся из алматы, поэтому на выходных ознакомлюсь и отпишусь

Нажмите, чтобы раскрыть...

Офф: С кем нибудь виделся?

Нажмите, чтобы раскрыть...

увы... зная график, даже не пытался ничего планировать и с кем-либо связываться, хотя не могу не отметить, как много цефирок в городе.
ps: честно говоря, город по сути видел только из окна машины

Vacilich сказал(а):

zavr сказал(а):

до вчерашнего дня сайт висел на мониторинге у провайдера с целью выяснения причин торможения в его работе или вообще тотальной неработы, что многие могли наблюдать последние 2-3 месяца.
вердикт провайдера, который похож на правду и подкрепляется анализом логов сайта

Нажмите, чтобы раскрыть...

простите что вмешиваюсь... это говорит только об одном что хостер не компетентен в вопросах хостинга, тем более что зенон не из самых лучших...

Нажмите, чтобы раскрыть...

мы с зеноном 7 лет, и уж чего-чего, а их кухню, тех политику, службу поддержки и прочее я хорошо представляю и объективных причин их менять не вижу. и в 2002 году как раз и выбрал их, т.к. это был чуть ли не единственный хостер, кто реально заботился о разграничении нагрузки по каждому из виртуальных серверов (своё время на макс исполнение процесса, свой лимит на объём памяти и прочее, чтобы не зависит от неродивого соседа по серверу, кто кривые неоптимизированные скрипты пишет), так что не надо необоснованных "ля-ля". у них есть тариф "свободный", где все эти ограничения на сессии и прочее как раз заточены под скачку больших файлов, но он нам дополнительно не нужен.

Vacilich сказал(а):

Как решить проблему??...
dedicated не пробовали? при этом оговаривается ширина каналов, если брать агава

Нажмите, чтобы раскрыть...

уважаемый, заносите деньги - будет dedicated, занесёте больше - будет даже collocation
вы думаете что-то тут новое сказали, о чём я не знал?

PS: наш коллега по клубу otto заканчивает скрипт, ради которого этот топик

решение проблемы задерживается по причине моей нерасторопности (=занятости)
вся программная часть написана otto более двух недель назад, остались небольшие доделки, но времени катастрофически не хватает. на данный момент могу только сказать, что на следующей неделе не стоит ожидать улучшений (командировка)

ещё не всё подчищено и отлажено, но для тех, кому очень надо, вполне может потестировать
https://www.cefiro.ru/downloads/

из известных на данный момент багов:
- если выскакивает [70]: Username is not provided, то вернитесь на страницу со ссылками и нажмите рефреш, после чего снова жмакните по ссылке, которую хочется скачать.

в будущем возможно алгоритм будет доработан под авторизацию пользователя с форума, сейчас пользователь - это ваш IP

обо всех проблемах просьба отписываться в этой ветке.

zavr сказал(а):

из известных на данный момент багов:
- если выскакивает [70]: Username is not provided, то вернитесь на страницу со ссылками и нажмите рефреш, после чего снова жмакните по ссылке, которую хочется скачать.

Нажмите, чтобы раскрыть...

баг исправлен