знатокам веб-программирования
- Автор темы zavr
- Дата начала
до вчерашнего дня сайт висел на мониторинге у провайдера с целью выяснения причин торможения в его работе или вообще тотальной неработы, что многие могли наблюдать последние 2-3 месяца.
вердикт провайдера, который похож на правду и подкрепляется анализом логов сайта - офигенная нагрузка идет из раздела Download, где у нас лежит NISSAN FAST, различные программы и руководства по ремонту (общий объём раздела более 2Гб). нагрузка объясняется тем, что народ не читает написанное на красном фоне и качает в несколько потоков с одного IP, под каждый из которых создаётся отдельный процесс apache... при достижении некоторого числа процессов (это либо один человек тянет в множество потоков, либо одновременно несколько разных людей качают) происходит то, что мы наблюдали.
на данный момент раздел download тотально отключен, ибо у меня не хватает знаний как с этим бороться (ну, кроме разве что покупки отдельного хостинга под это, что хоть и является решением, но явно запасным). а задача такая - отдавать контент в один момент времени в определённое количество потоков в независимости от количества желающих.
видятся следующие решения:
очевидно, п.3 самый правильный, но это надо программить или искать какие-то готовые скрипты.
в общем суть данного топика сводится к следующему - как и рыбку съесть (раздел сохранить), и на карусели покататься (не ухудшить работоспособность сайта) ?
предложенное техническое решение, как мне видится, должно обладать следующим функционалом:
есть готовые решения? ведь как-то работают всякие там сервисы типа megaupload.com
если кто-то готов напрограммить сам - готов обсудить вознаграждение
вердикт провайдера, который похож на правду и подкрепляется анализом логов сайта - офигенная нагрузка идет из раздела Download, где у нас лежит NISSAN FAST, различные программы и руководства по ремонту (общий объём раздела более 2Гб). нагрузка объясняется тем, что народ не читает написанное на красном фоне и качает в несколько потоков с одного IP, под каждый из которых создаётся отдельный процесс apache... при достижении некоторого числа процессов (это либо один человек тянет в множество потоков, либо одновременно несколько разных людей качают) происходит то, что мы наблюдали.
на данный момент раздел download тотально отключен, ибо у меня не хватает знаний как с этим бороться (ну, кроме разве что покупки отдельного хостинга под это, что хоть и является решением, но явно запасным). а задача такая - отдавать контент в один момент времени в определённое количество потоков в независимости от количества желающих.
видятся следующие решения:
- отключить раздел нафик и забить (не хочу);
- ввести ограничения на время доступа к разделу (скажем, только ночью);
- ввести ограничения на количество потоков.
очевидно, п.3 самый правильный, но это надо программить или искать какие-то готовые скрипты.
в общем суть данного топика сводится к следующему - как и рыбку съесть (раздел сохранить), и на карусели покататься (не ухудшить работоспособность сайта) ?
предложенное техническое решение, как мне видится, должно обладать следующим функционалом:
- ссылки в явном виде не публикуются, а генерируются на ходу по мере обработки запроса на скачивание (по аналогии с тем, как сейчас файлы с форумов забираются);
- генерируемая ссылка является динамической, т.е. повторно использовать её для закачки нельзя, а значит и на другом сайте опубликовать нельзя, что потребует от людей зайти к нам в раздел;
- желательно иметь возможность настроить скорость отдачи контента и количество одновременных сессий (как к конкретно скачиваемому файлу, так и совокупности файлов - лучше);
- ещё можно, к примеру, заставить пользователя щёлкнуть по нескольким баннерам на специальной странице, прежде чем разрешить скачивать.
есть готовые решения? ведь как-то работают всякие там сервисы типа megaupload.com
если кто-то готов напрограммить сам - готов обсудить вознаграждение
Сразу скажу, что в Apache и PHP не силён, но погуглив, нашёл вот это:
http://www.gayadesign.com/diy/download-counter-in-php-using-htaccess/
http://www.mtdev.com/2002/06/download-counting-with-apache-and-php
да и вообще, достаточно много статей на эту тему, в т.ч на русском (http://forum.vingrad.ru/forum/topic-52881.html), даже форум есть http://forum.modrewrite.com/.
Официальная документация на mod_rewrite:
http://httpd.apache.org/docs/1.3/mod/mod_rewrite.html
Суть там, насколько я понял, в том, что можно вмешаться в процесс отдачи контента сервером на клиент путём перенаправления на скрипт (PHP), который перед отдачей контента (или вместо этого) может сделать всё, что необходимо.
Первые два примера реализуют счётчик количества скачиваний того или иного файла.
http://www.gayadesign.com/diy/download-counter-in-php-using-htaccess/
http://www.mtdev.com/2002/06/download-counting-with-apache-and-php
да и вообще, достаточно много статей на эту тему, в т.ч на русском (http://forum.vingrad.ru/forum/topic-52881.html), даже форум есть http://forum.modrewrite.com/.
Официальная документация на mod_rewrite:
http://httpd.apache.org/docs/1.3/mod/mod_rewrite.html
Суть там, насколько я понял, в том, что можно вмешаться в процесс отдачи контента сервером на клиент путём перенаправления на скрипт (PHP), который перед отдачей контента (или вместо этого) может сделать всё, что необходимо.
Первые два примера реализуют счётчик количества скачиваний того или иного файла.
увы... зная график, даже не пытался ничего планировать и с кем-либо связываться, хотя не могу не отметить, как много цефирок в городе.Андрей_Сургут сказал(а):
ps: честно говоря, город по сути видел только из окна машины
простите что вмешиваюсь... это говорит только об одном что хостер не компетентен в вопросах хостинга, тем более что зенон не из самых лучших...zavr сказал(а):
Как решить проблему??...
dedicated не пробовали? при этом оговаривается ширина каналов, если брать агава
попробуйте фпт серв который может срезать ширину канала например pure-FTPd завеси всех пользователей форума в ldap и через него раздать авторизацию по фтп на котором срезать канал
а если не сложно кинте авторизацию от вашего фтп, а то так есть хочется что аж переночевать не где....Pure-FTPd with pqsql сказал(а):
мы с зеноном 7 лет, и уж чего-чего, а их кухню, тех политику, службу поддержки и прочее я хорошо представляю и объективных причин их менять не вижу. и в 2002 году как раз и выбрал их, т.к. это был чуть ли не единственный хостер, кто реально заботился о разграничении нагрузки по каждому из виртуальных серверов (своё время на макс исполнение процесса, свой лимит на объём памяти и прочее, чтобы не зависит от неродивого соседа по серверу, кто кривые неоптимизированные скрипты пишет), так что не надо необоснованных "ля-ля". у них есть тариф "свободный", где все эти ограничения на сессии и прочее как раз заточены под скачку больших файлов, но он нам дополнительно не нужен.Vacilich сказал(а):
уважаемый, заносите деньги - будет dedicated, занесёте больше - будет даже collocationVacilich сказал(а):
вы думаете что-то тут новое сказали, о чём я не знал?
PS: наш коллега по клубу otto заканчивает скрипт, ради которого этот топик
Добрый день! наверно я не в той теме пишу но мне очень нужно пароль к вашему серваку скачать мануал на машинку Nissan Cefiro прошу очень надо
скинь те в личку или на почту rend88@mail.ru
скинь те в личку или на почту rend88@mail.ru
решение проблемы задерживается по причине моей нерасторопности (=занятости)
вся программная часть написана otto более двух недель назад, остались небольшие доделки, но времени катастрофически не хватает. на данный момент могу только сказать, что на следующей неделе не стоит ожидать улучшений (командировка)
вся программная часть написана otto более двух недель назад, остались небольшие доделки, но времени катастрофически не хватает. на данный момент могу только сказать, что на следующей неделе не стоит ожидать улучшений (командировка)
ещё не всё подчищено и отлажено, но для тех, кому очень надо, вполне может потестировать 
https://www.cefiro.ru/downloads/
из известных на данный момент багов:
- если выскакивает [70]: Username is not provided, то вернитесь на страницу со ссылками и нажмите рефреш, после чего снова жмакните по ссылке, которую хочется скачать.
в будущем возможно алгоритм будет доработан под авторизацию пользователя с форума, сейчас пользователь - это ваш IP
обо всех проблемах просьба отписываться в этой ветке.
https://www.cefiro.ru/downloads/
из известных на данный момент багов:
- если выскакивает [70]: Username is not provided, то вернитесь на страницу со ссылками и нажмите рефреш, после чего снова жмакните по ссылке, которую хочется скачать.
в будущем возможно алгоритм будет доработан под авторизацию пользователя с форума, сейчас пользователь - это ваш IP
обо всех проблемах просьба отписываться в этой ветке.
