HwKeeper
В результате анализа логов за 4 дня, удалось выявить потенциальную проблему такой большой нагрузки.
Огромную долю трафика и запросов к сайту совершают боты разного толка, причем от классических поисковиков вида Google, Yandex вреда мало, а вот боты вида GPTBot, Amazonbot, AwarioBot, MJ12bot представляют прямо угрозу.
За эти 4 дня суммарно боты сделали около 800 тыс. запросов из общего числа 1.9 млн. и потребили около 29 Гб трафика из 56 Гб.
Я добавил скрипт, который должен ограничивать доступ к сайту ботов при превышении определенного порога запросов в минуту, а некоторых полностью заблокировал.
Думаю, эти меры в результате должны стабилизировать работу сайта.
Огромную долю трафика и запросов к сайту совершают боты разного толка, причем от классических поисковиков вида Google, Yandex вреда мало, а вот боты вида GPTBot, Amazonbot, AwarioBot, MJ12bot представляют прямо угрозу.
За эти 4 дня суммарно боты сделали около 800 тыс. запросов из общего числа 1.9 млн. и потребили около 29 Гб трафика из 56 Гб.
Я добавил скрипт, который должен ограничивать доступ к сайту ботов при превышении определенного порога запросов в минуту, а некоторых полностью заблокировал.
Думаю, эти меры в результате должны стабилизировать работу сайта.