Modul 93_Log2Syslog - FHEM Logs an Syslog-Server leiten und Syslogs empfangen

Begonnen von DS_Starter, 14 August 2017, 23:40:10

Vorheriges Thema - Nächstes Thema

SusisStrolch

Einen hätte ich noch...
Aug 17 17:40:20 192.168.254.20 1 2017-08-17T17:40:20.526Z DiskStation syslog_fhem 31485 FHEM - :5: LCG.miniCUL433: dispatch OK 22 20 135 3 222 240 0 3 222 240 0 0 58 215 170 0 6 90 42 1 0

Das 'Z' im Timestamp "2017-08-17T17:40:20.526Z" bezieht sich auf "ZULU" - da müsste also die GMT-Zeit drin stehen, nicht die Lokalzeit.
Synology DS1515+, 16GB RAM, 4x 6TB WD-Red
- Docker (FHEM), MariaDB, MariaDB10, Surveillance Station
Gateways: LCG miniCUL433, LCG miniCUL868, AVR-X4000, VU-Solo SE, Kodi
ESP8266: ESPEasy (S0-Counter, Temp/Hum), Sonoff TH, Sonoff 4ch

SusisStrolch

... und noch ein Wunsch:
entweder den 'Hostname' konfigurierbar oder den 'Program Name' (syslog_event, syslog_fhem).
Hintergrund: Wenn du bspw. zwei Docker-Instanzen auf dem gleichen Host laufen hast, kannst Du im Syslog ansonsten nicht unterscheiden von wem die Einträge kommen.
Synology DS1515+, 16GB RAM, 4x 6TB WD-Red
- Docker (FHEM), MariaDB, MariaDB10, Surveillance Station
Gateways: LCG miniCUL433, LCG miniCUL868, AVR-X4000, VU-Solo SE, Kodi
ESP8266: ESPEasy (S0-Counter, Temp/Hum), Sonoff TH, Sonoff 4ch

DS_Starter

ZitatDas 'Z' im Timestamp "2017-08-17T17:40:20.526Z" bezieht sich auf "ZULU" - da müsste also die GMT-Zeit drin stehen, nicht die Lokalzeit.
Das stimmt natürlich, arbeite ich nach.

Zitat... und noch ein Wunsch
Ahh... ok. Das sind dann so die Feinheiten.

Was nutzt du gerade als Logserver ? Du hast ja auch eine Syno ... das Protokollcenter ?
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

SusisStrolch

ZitatDas stimmt natürlich, arbeite ich nach.
Musst eigentlich nur das Z weglassen...

Ich habe mir nochmal den Fall c) angeschaut.
Als Versuchskaninchen habe ich bei meinen EC3000 mal verbose=5 gesetzt, da kommt dann schon etliches ins fhem.log. Allerdings sind es nicht berauschend viele Daten.
Für mich sieht es so aus, als ob beim Senden selbst Pakete verloren gehen.
Entweder kommen die Events oder die FHEM-Logeinträge. Aber nicht beide.

Schiebst Du die Daten erst in eine FIFO bevor du sie abschickst?
Synology DS1515+, 16GB RAM, 4x 6TB WD-Red
- Docker (FHEM), MariaDB, MariaDB10, Surveillance Station
Gateways: LCG miniCUL433, LCG miniCUL868, AVR-X4000, VU-Solo SE, Kodi
ESP8266: ESPEasy (S0-Counter, Temp/Hum), Sonoff TH, Sonoff 4ch

DS_Starter

Es wird nur ein Socket UDP oder TCP geöffnet und dann der zusammengestellt Payload mit send auf den Socket verschickt. Das wars. Syslog erwartet und bekommt ja auch keine Betätigung. Ich lasse hier so nebenbei mein Protokollcenter laufen und da rauscht alles rein Events und Logs gleichermaßen (UDP).
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Aber jetzt fällt mir noch etwas auf bzw. ein. Die Messages dürfen nicht zu lang (>1024 Byte) sein. Zumindest ist das in der RFC3164 definiert. Das muß ich noch mit einbauen. In der RFC5424 für IETF habe ich das noch nicht gelesen ... aber lass mich mal schauen.
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

SusisStrolch

Ich mach mal nen tcpdump auf dem Server damit brauchbare Infos vorliegen.
Synology DS1515+, 16GB RAM, 4x 6TB WD-Red
- Docker (FHEM), MariaDB, MariaDB10, Surveillance Station
Gateways: LCG miniCUL433, LCG miniCUL868, AVR-X4000, VU-Solo SE, Kodi
ESP8266: ESPEasy (S0-Counter, Temp/Hum), Sonoff TH, Sonoff 4ch

DS_Starter

ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

SusisStrolch

Nö - das war ein falsches Beispiel da auf dem Device 'Event-on-change' gesetzt ist.
Ich mach morgen einen sauberen Test
Synology DS1515+, 16GB RAM, 4x 6TB WD-Red
- Docker (FHEM), MariaDB, MariaDB10, Surveillance Station
Gateways: LCG miniCUL433, LCG miniCUL868, AVR-X4000, VU-Solo SE, Kodi
ESP8266: ESPEasy (S0-Counter, Temp/Hum), Sonoff TH, Sonoff 4ch

DS_Starter

Ok. Ich mache noch meine Änderungen rein die ich ergänzen will wegen der Längenbegrenzung und lade das Modul wieder runter auf contrib.
Dann nimm das neue morgen gleich für den Test.

ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Die V2.2.0 ist nach contrib geladen. Die Zeit ist korrigiert, die Längenbegrenzung nach RFC3164 eingebaut und im payload werden Zeichen entfernt die nach RFC5424 vermieden werden sollten.

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Ich habe soeben die Version 2.3.0 nach ./contrib hochgeladen.
Es gibt im Define nun die optionale Angabe des "ident". Ist dieser Parametergesetzt wird der Programmname aus diesem Wert zzgl. "fhem" oder "event" zusammengesetzt wie es sich SusisStrolch gewünscht hat. Ist er nicht gesetzt, wird wieder der Devicename statt dessen verwendet.
Der Anfangsbeitrag ist entsprechend angepasst.

Edit: Ich habe noch einen Screenshot angehängt der zeigt wie auch umfangreiche Payload vom Syslog-Server akzeptiert und dargestellt wird. Das Bild zeigt die raw-Messages in einem Splunk-Server.

VG
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

SeppiDeluxe

#27
Guten Morgen,

habe gerade das Modul aktiviert. Folgende erste Auffälligkeiten.

Das speichern der der (FHEM) Konfig wird im Syslog auf der Syno als Error interpretiert. In der Nomenklatur sieht man auch das errorflag (1).

Danke für Feedback. Falls weitere Infos oder Tests nötig sind, gern.

Grüße Sebastian


DS_Starter

Hallo Sebastian,

bei den fhem logs werden die Verbose-Level direkt in die Severity Übersetzt. Also Meldungen mit Verbose 1 in Fhem ergeben in Syslog "error". Ich nehme das mal mit in die Beschreibung auf.
Achte auch darauf dass das logFormat BSD bzw. IETF mit den Einstellungen auf der Syno übereinstimmt.

Grüße
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Soeben habe ich die V2.4.0 nach ./contrib geladen.
Eingebaut ist der verbose Level support für das EIGENE Sys2SysLog-Device. Verbose 4,5 Ausgaben werden NUR in das FHEM Logfile geschrieben und nicht weitergeleitet damit keine Schleifen entstehen.

Ausgaben für verbose 4,5 sind bisher nur an zwei Stellen eingebaut, aber man kann schon vergleichen welche Payload mit den Events bzw. fhemlog-Einträgen erstellt wird.

Gerne wieder weitere Tests und Feedback.

schönen Sonntag @all,
Heiko
ESXi@NUC+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter