stefankittel
Goto Top

Ich suche eine Software um Auslastungsänderungen bei NGINX+Apache-Webservern aufzuspüren

Hallo,

Ich suche eine Software um Auslastungsänderungen bei NGINX/Apache-Webservern aufzuspüren.
Grundlage sind die Access-Log-Dateien.

Ich werde hin und wieder gefragt wenn ein Web-Server auf einmal sehr langsam ist.
Meist sieht man die CPU Last bei 100% und meist stellt sich herraus, dass irgendein Bad-Bot ganz wild die Webseite crawlt.
Dann blockt man diese IP und gut.

Manchmal ist es aber auch Bing oder Google die spontan entscheiden zeitgleich die Anzahl der Zugriff deutlich zu erhöhen.

Ich nutzt WebLog-Expert Professional, aber das hilft nur bedingt.

Auf die Frage was ist von 08:00 bis 08:10 anders als von 07:30 - 07:40 hilft es eher gar nicht.
Ich nutzte dann Excel um die IPs oder Agents zu gruppieren und auszuwerten um Muster zu finden die vorher nicht da waren.
Aber das ist sehr mühsam.


Kennt Jemand eine Software mit der man solche Änderungen aufspüren kann?
Ich stelle mir einen Slider Oben vor und Unten verschiedene Listen die dann nach Anzahl sortiert werden.

Danke

Stefan

Content-Key: 656097

Url: https://administrator.de/contentid/656097

Ausgedruckt am: 29.03.2024 um 07:03 Uhr

Mitglied: godlie
godlie 25.02.2021 um 09:38:00 Uhr
Goto Top
Hallo,

auf die schnelle fallen mir die üblichen Verdächtigen ein:


wenn du was buntes zum klicken suchst, dann musst du inzwischen ein paar Scheine rüberreichen ....
Mitglied: NetzwerkDude
NetzwerkDude 25.02.2021 um 09:39:20 Uhr
Goto Top
schau dir mal mod_status bei apache an
Mitglied: godlie
godlie 25.02.2021 um 09:44:05 Uhr
Goto Top
Zitat von @NetzwerkDude:

schau dir mal mod_status bei apache an

Danke auf den hab ich ganz vergessen, stellt zwar nur den Momentanwert dar, aber da gibt es eine nette Auffrischung "Visuel"
https://github.com/axelhahn/pimped-apache-status/tree/master
Mitglied: NordicMike
NordicMike 25.02.2021 um 09:50:05 Uhr
Goto Top
Liegt die Webseite bei Euch lokal und macht die DSL Leitung dicht?
Mitglied: StefanKittel
StefanKittel 25.02.2021 um 10:58:37 Uhr
Goto Top
Zitat von @godlie:
auf die schnelle fallen mir die üblichen Verdächtigen ein:
Die helfen aber alle nicht bei der Frage was von 08:00 - 08:10 anders ist als von 07:50 - 08:00.

wenn du was buntes zum klicken suchst, dann musst du inzwischen ein paar Scheine rüberreichen ....
Gute Software kostet Geld... Kein Problem.


Zitat von @NetzwerkDude:
schau dir mal mod_status bei apache an
Bei 200 Zugriffen pro Sekunde hilft das auch nicht bei der Frage was jetzt gegenüber vor 15 Minuten anders ist.


Zitat von @NordicMike:
Liegt die Webseite bei Euch lokal und macht die DSL Leitung dicht?
Cluster im Rechenzentrum mit Load Balancer
Es ist definitiv die CPU-Leistung und diese bedingt durch die Anzahl der Zugriffe.

Heute morgen waren auf einmal 80% aller Zugriff von Bing und Google gegenüber den sonst üblichen 10%.

Stefan
Mitglied: NordicMike
NordicMike 25.02.2021 um 11:37:58 Uhr
Goto Top
Du kannst Google auch sagen was es nicht durchsuchen darf.
Mitglied: StefanKittel
StefanKittel 25.02.2021 um 12:50:00 Uhr
Goto Top
Zitat von @NordicMike:
Du kannst Google auch sagen was es nicht durchsuchen darf.
Man kann über die robots.txt den Bots vorgeben was sie durchsuchen und wie schnell.
Aber leider halten sich selbst Google und Bing nicht an das Rate-Limit und die Bad-Bots halten sich an gar nichts.
Mitglied: NetzwerkDude
NetzwerkDude 25.02.2021 um 20:51:28 Uhr
Goto Top
Okay, dann die Apache Logs in einen ELK-Stack kippen und dann die "Baseline" finden wie normaler traffic aussieht und die peaks sollten dann von allein auffallen.
Such mal nach "Apache ELK", da kommen ganz gute Ergebnisse schon auf Seite 1
Mitglied: Gentooist
Gentooist 15.03.2021 um 20:38:14 Uhr
Goto Top
Für Apache gibt es für diesen Zweck mod_evasive. Das ist definitiv besser als nur stupides Auswerten von Logfiles. Allerdings ist es auch so komplex, dass man sich damit die eigene Webseite ziemlich zerschießen kann.