[FHZ] flush-logs

[Guest]

Originally posted by: <email address deleted>

Hallo,

ich bin gerade dabei mein altes Laptop von 2,5" ide auf 8GB-CF-Karte
umzustellen. Mittlerweile habe ich div. Einstellungen auf meiner
Debian Installation vorgenommen, um die Schreibzugriffe zu reduzieren,
z.B. diese  http://www.vbox4php.org/unix/linux/sd-speicher-statt-festpla tte
BTW: Der Verbrauch liegt z.Z. bei 13 Watt für 800 MHZ PIII mit 8GB-CF
und geschlossenem Deckel.

Mein fhem Logfile landet derzeit in einer Ramdisk und soll zukünftig
nur einmal am Tag auf die CF-Karte kopiert werden (wohl mit archive-
Funktion oder per cron). Falls mal was verloren geht, ist das nicht
weiter schlimm.

Meine restlichen FileLogs landen derzeit noch sofort und direkt auf
der CF-Karte, da ein Verlust vermieden werden soll und die Logs alle
über 1 Monat oder teilweise sogar über ein Jahr laufen. Eine Idee wäre
jetzt diese evtl. auch in die Ramdisk zu packen und per cron z.B.
täglich per append auf die CF-Karte zu schreiben...

Eine schöne Alternative wäre natürlich ein Attribut flushlog [sec] der
es erlauben würde, die Filelogs gezielt alle x-Sekunden zu schreiben.
Natürlich auch bei ordentlichem Beenden des fhem-Prozesses.

Wenn das zu kompliziert ist, kann man die Filelogs eigentlich
irgendwie über den syslog umleiten, der beherst das ja schon mit dem
"-" in /etc/syslog.conf ?

Oder denke ich wieder zu kompliziert und es gibt eine einfachere
Lösung?

Gruß
 Holger

--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[rudolfkoenig]

                                                   

> Oder denke ich wieder zu kompliziert und es gibt eine einfachere
> Lösung?

Mein Server schreibt die Logs auch auf einem USB-Stick. Ich habe die
Kernel-Parameter (/proc/sys/vm/laptop_mode & /proc/sys/vm/dirty*) so
modifiziert, dass es nur selten auf dem Stick geschrieben wird. Es
laeuft seit ca. 18 Monaten stabil...

Gruss,
  Rudi
--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[Dr. Boris Neubert]

                                             

Hallo,

sweetie-pie wrote:
> Mein fhem Logfile landet derzeit in einer Ramdisk und soll zukünftig
> nur einmal am Tag auf die CF-Karte kopiert werden (wohl mit archive-
> Funktion oder per cron). Falls mal was verloren geht, ist das nicht
> weiter schlimm.

alle fhem-Logs liegen bei mir auf einer 128MB-RAM-Disk (Cache). Das
Init-Skript /etc/rc.d/fhem
- sichert die Logs nach dem Herunterfahren von fhem auf der Platte
(Persistent),
- bevoelkert den Cache vor dem Start von fhem von der Platte,
- kann die Logs abscheiden und den den Teil vor heute archivieren
(on-demand und wenn der Speicher auf der RAM-Disk knapp wird).

Bei einem Crash des Servers waeren die Logs im Cache weg - ist aber seit
  > 1 Jahr nicht mehr vorgekommen (openSUSE 11.x und UPS).

Skript stelle ich bei Interesse gerne zur Verfuegung.

Gruesse,
Boris


--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[Dirk]

Originally posted by: <email address deleted>

Hi,

mittlereweile gibt es filesysteme speziell für Flash-Speicher.
Da braucht man sich keine Sorgen dann um Schreib/Lese-Zugriffe
machen.

PS:
Moderne Flash-Karten vertragen auch soviele Schreib/Lese-Operationen,
dass kaum ein Unterschied bei permanenter Zugriff zu merken sein wird.

Gruß,
Maz
--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[Dirk]

Originally posted by: <email address deleted>

On 12 Jul., 15:30, Rudolf Koenig wrote:
> Mein Server schreibt die Logs auch auf einem USB-Stick. Ich habe die
> Kernel-Parameter (/proc/sys/vm/laptop_mode & /proc/sys/vm/dirty*) so
> modifiziert, dass es nur selten auf dem Stick geschrieben wird. Es
> laeuft seit ca. 18 Monaten stabil...

Das habe ich ja auch schon getan und alles auf 2 Minuten gesetzt:
/proc/sys/vm/laptop = 120
/proc/sys/vm/dirty_background_ratio = 1
/proc/sys/vm/dirty_expire_centisecs = 12000
/proc/sys/vm/dirty_ratio = 10
/proc/sys/vm/dirty_writeback_centisecs = 12000

Wenn ich mit: "echo 1 > /proc/sys/vm/block_dump"
 den Dump der Festplattenzugriffe einschalte, sehe ich mit
"while true ; do dmesg -c ; done" immer noch regelmäßige Zugriffe,
die FileLogs werden sofort geschrieben.

@Rudi: Wie sehen denn dein Einstellungen aus?
Hast Du mal mit verschieden Einstellungen experimentiert?

@Boris:
Mit soviel Ram kann ich leider nicht herumasen, habe nur 386 und das
alte SODRAM ist nicht mehr zu marktüblichen Preisen zu erhalten,
ansonsten könnte ich noch einen 128MB Riegel gegen einen 256er
austauschen. Aber deine Lösung hört sich interessant an, wenn Du magst
kannst Du mir das Skript ja mal zumailen, oder gleich in contrib... ?

Gruß
 Holger
--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[erwin]

Originally posted by: <email address deleted>

Hi,

Maz:
> mittlereweile gibt es filesysteme speziell für Flash-Speicher.

Welche?

> Moderne Flash-Karten vertragen auch soviele Schreib/Lese-Operationen,
> dass kaum ein Unterschied bei permanenter Zugriff zu merken sein wird.
>
Das Problem ist, dass die Schreibzugriffe zur Hälfte immer an derselben
Stelle stattfinden (inode, superblock, ...) und die Algorithmen der
Flash-Firmware, die diese Schreibzugriffe auf den gesamtem Speicher
verteilen _sollen_, teilweise ziemlich daneben sind.

Dummerweise sieht man das den USB-Sticks etc. nicht an; das merkt man
nur, wenn man plötzlich nicht mehr schreiben kann.

--
Matthias Urlichs  |  {M:U} IT Design @ m-u-it.de  |   smurf@smurf.noris.de
Disclaimer: Das Zitat wurde zufällig ausgewählt.  |   http://smurf.noris.de
 - -
Wussten Sie schon ...
... dass sich die alten Rittersleut' ihre Morgensterne
  auch am Abend auf die Schädel droschen?

--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[ilmtuelp0815]

Originally posted by: <email address deleted>

On 13 Jul., 09:44, Matthias Urlichs wrote:
> > mittlereweile gibt es filesysteme speziell für Flash-Speicher.
> Welche?

Bekannte sind JFFS(2), LogFS oder YAFFS

Die haben alle ihre Vor- und Nachteile, das wearleveling (also das
Verteilen der Schreibzugriffe) funktioniert aber bei allen gut.

> > Moderne Flash-Karten vertragen auch soviele Schreib/Lese-Operationen,
> > dass kaum ein Unterschied bei permanenter Zugriff zu merken sein wird.

> Das Problem ist, dass die Schreibzugriffe zur Hälfte immer an derselben
> Stelle stattfinden (inode, superblock, ...) und die Algorithmen der
> Flash-Firmware, die diese Schreibzugriffe auf den gesamtem Speicher
> verteilen _sollen_, teilweise ziemlich daneben sind.

Das hängt von dem Controller ab, der in der Karte bzw. dem Stick
verbaut ist. Das ist ein Qualitätsmerkmal, was man natürlich nicht im
Laden überprüfen kann.
--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[rudolfkoenig]

Originally posted by: <email address deleted>

Hi,

Till:
> On 13 Jul., 09:44, Matthias Urlichs wrote:
> > > mittlereweile gibt es filesysteme speziell für Flash-Speicher.
> > Welche?
>
> Bekannte sind JFFS(2), LogFS oder YAFFS
>
Da musst du aber die Filesysteme, die direkt auf Flash-Hardware
aufsetzen (/dev/mtd**), von denen unterscheiden, die mit dem
blockbasierten Festplatten-ählichen Interface (/dev/sd**) arbeiten,
wie es zB von einem USB-Stick zur Verfügung gestellt wird.

JFFS* zB funktioniert nur mit Ersterer.

--
Matthias Urlichs  |  {M:U} IT Design @ m-u-it.de  |   smurf@smurf.noris.de
Disclaimer: Das Zitat wurde zufällig ausgewählt.  |   http://smurf.noris.de
 - -
Was ist das Gegenteil von Fantasie?
Cola-du!

--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[ilmtuelp0815]

Originally posted by: <email address deleted>

> Da musst du aber die Filesysteme, die direkt auf Flash-Hardware
> aufsetzen (/dev/mtd**), von denen unterscheiden, die mit dem
> blockbasierten Festplatten-ählichen Interface (/dev/sd**) arbeiten,
> wie es zB von einem USB-Stick zur Verfügung gestellt wird.

Ist das überhaupt möglich, wenn die CF-Karte so wie bei mir jetzt mit
Adapter am IDE-Port hängt?
Außerderm muss man sich dann noch mit entsprechendem Bootloader
auseinandersetzen...

Weiterhin war mein Ansatz in erster Linie das bestehende System zu
erhalten und von Festplatte auf CF-Karte umzuziehen. Dieser Ansatz
ging sogar recht schnell: CF-Karte mit PCMCIA-Adapter im Server neu
partioniert, neue Partition gemountet und via cp -ax / /mnt alles
rüberkopiert, devices und procs eingehängt und nach chroot grub
installiert... keine Stunde.

Sollte dies mit den FlashFileSystem genauso schnell gehen, bitte ich
um Aufklärung, denn dann würde ich das evtl. noch ändern...

Gruß
 Holger
--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[Guest]

Originally posted by: <email address deleted>

Hi,

sweetie-pie:
> > Da musst du aber die Filesysteme, die direkt auf Flash-Hardware
> > aufsetzen (/dev/mtd**), von denen unterscheiden, die mit dem
> > blockbasierten Festplatten-ählichen Interface (/dev/sd**) arbeiten,
> > wie es zB von einem USB-Stick zur Verfügung gestellt wird.
>
> Ist das überhaupt möglich, wenn die CF-Karte so wie bei mir jetzt mit
> Adapter am IDE-Port hängt?

Nö. Das ist ein stinknormales Block Device.

Im aktuellen Kernel gibt es dafür auch ein log-basiertes Filesystem,
soweit ich mich erinnere, aber damit habe ich mich noch gar nicht
befasst.  :-/

--
Matthias Urlichs  |  {M:U} IT Design @ m-u-it.de  |   smurf@smurf.noris.de
Disclaimer: Das Zitat wurde zufällig ausgewählt.  |   http://smurf.noris.de
 - -
Ahhhh...  Ich wußte es.  Dennis war der Missing Link.
      -- Klaus Knopper

--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[Guest]

Originally posted by: <email address deleted>

> > Ist das überhaupt möglich, wenn die CF-Karte so wie bei mir jetzt mit
> > Adapter am IDE-Port hängt?
> Nö. Das ist ein stinknormales Block Device.

Gerade gefunden:
LogFS also provides a (very) basic, slow support for use with block
devices like Solid-state drives (SSDs), USB flash drives and memory
cards.

Dies könnte somit tatsächlich eine Lösung sein, aber noch ist dies
Development-Status. Ich vertraue mal den namhaften Hersteller meiner
CF-Karte und seinen Algorithmen. Sollte die Karte trotz all der
diversen "Tuning-Maßnahmen" zeitig versagen, werde ich den Hersteller
hier öffentlich benennen..

Gruß
  Holger



--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[Dennis]

Originally posted by: <email address deleted>

> Mein Server schreibt die Logs auch auf einem USB-Stick. Ich habe die
> Kernel-Parameter (/proc/sys/vm/laptop_mode & /proc/sys/vm/dirty*) so
> modifiziert, dass es nur selten auf dem Stick geschrieben wird. Es
> laeuft seit ca. 18 Monaten stabil...
ähnliches ist zu vermelden bei mir. 2 Jahre läuft nun der USB Stick
und ich benutze ihn wie eine normale Platte; regelmäßige Sicherung auf
zentrales System und e2fsck. Filesystem ist JFFS; kleiner Asus Router
WL 500G auf OPENWRT Basis mit 7,6 Watt Verbrauch.

Um die Log-Menge einzudämmen habe ich FHEMLOG bei mir gemoddet und
speichere Records nur wenn sich device Stati verändern (z.B.
interessiert es mich nicht wirklich wenn alle 5 Minuten meine FHTs
melden dass der Actuator auf  0% ist). Filtern ist auf Deviceebene und
Feld im Record möglich. Wenn Interesse besteht kann ich die Moddings
mal ins Repository einstellen.

--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-

[Dr. Boris Neubert]

Originally posted by: <email address deleted>

On 16 Jul., 10:28, klaus wrote:
> ähnliches ist zu vermelden bei mir. 2 Jahre läuft nun der USB Stick
> und ich benutze ihn wie eine normale Platte; regelmäßige Sicherung auf
> zentrales System und e2fsck. Filesystem ist JFFS; kleiner Asus Router

Also dein Router selber mag JFFS haben, dein USB-Stick aber vermutlich
nicht.
Sieh auch hier:  http://www.linux-mtd.infradead.org/faq/jffs2.html#L_stick_jf fs2

Gruß
  Holger


--~--~---------~--~----~------------~-------~--~----~
You received this message because you are subscribed to the Google Groups "FHEM users on Linux" group.
To post to this group, send email to fhem-users@googlegroups.com
To unsubscribe from this group, send email to fhem-users+unsubscribe@googlegroups.com
For more options, visit this group at http://groups.google.com/group/fhem-users?hl=en
-~----------~----~----~----~------~----~------~--~-