Hallo zusammen,
heute morgen wurde ich nicht wie üblich von meinem Lichtwecker geweckt. FHEM war tot. Neustart half nur so lange, bis man einmal das Webinterface (Vermutung: die Plots) öffnete.
SSH brachte 100% CPU-Last durch FHEM und ein 24 GB Großes Logfile zu tage, was hiermit vollgefloddet ist (per tail herausgefunden):
2016.09.02 06:53:25.732 1: Accept failed (system.telnet.global: Too many open files)
2016.09.02 06:53:25.732 1: Accept failed (AMADCommBridge: Too many open files)
2016.09.02 06:53:25.732 1: Accept failed (WEB: Too many open files)
2016.09.02 06:53:25.732 1: Accept failed (system.telnet.global: Too many open files)
2016.09.02 06:53:25.732 1: Accept failed (AMADCommBridge: Too many open files)
2016.09.02 06:53:25.732 1: Accept failed (WEB: Too many open files)
2016.09.02 06:53:25.732 1: Accept failed (system.telnet.global: Too many open files)
2016.09.02 06:53:25.732 1: Accept failed (AMADCommBridge: Too many open files)
2016.09.02 06:53:25.732 1: Accept failed (WEB: Too many open files)
2016.09.02 06:53:25.732 1: Accept failed (system.telnet.global: Too many open files)
2016.09.02 06:53:25.733 1: Accept failed (AMADCommBridge: Too many open files)
2016.09.02 06:53:25.733 1: Accept failed (WEB: Too many open files)
So ... das letzte FHEM-Update liegt 2 Wochen zurück, das letzt Ubuntu-Update eher 3 ... und ich kann das Logfile nicht Handeln und mich zur entscheidenden Stelle hinspulen - irgendjemand ne Idee wie man so einen Koloss durchforsten kann?
Edit: OK das Problem ist offenbar gar nicht so unbekannt wenn man den richtigen Suchbegriff nimmt - sorry! Aber eine wirkliche Lösung scheint es noch nicht zu geben!? Insbesondere herauszufinden woran es genau lieht scheint ja nicht drin zu sein ... das ist ja sehr suboptimal ...
Ich würde Dir empfehlen, erstmal das System wieder zum laufen zu kriegen:
- FHEM stoppen (und sonstige "unwichtigen Dienste)
- Logfile wegsichern (wegkopieren).
- Platz schaffen (Logfile wegwerfen)
- Server rebooten ("Too many open files" könnte auch andere Programme treffen)
- Nach dem Start Server prüfen (Fhem sollte laufen).
Ansonsten würde ich im Logfile schauen, wann das erste mal "Too many open files" auftaucht und dann in der Nähe suchen .....
Ab Zeile:
grep -n -m1 "Too many open files" logfile
bzw. gleich mit Ausgabe
grep -C10 -m1 "Too many open files" logfile
Bitte das System nach Bereinigung des Logfiles neustarten und nicht apptime in Verbindung mit AMAD verwenden. Also entweder apptime oder AMAD.
Danke Werniemann, für den Tipp mit grep - das ging gut :) Und brachte mich dann tatsächlich darauf, dass ich gestern Abend einige Stunden zuvor mal apptime angeworfen hatte - Cooltux, deine Diagnose war ein Volltreffer :)
Herzlichen Dank also euch beiden - jetzt kann ich beruhigt sein, weil ich die Ursache kenne. Läuft mittlerweile bei mir schon zuviel damit, als dass so ein Fehler ungeklärt in der Luft schweben darf ;)