[gelöst] DBLog / MariaDB zieht load nach oben, FHEM laggt extrem

[Wernieman]

@DS_Starter

Die Plattenperformance spielt natürlich eine Roile, aber meistens kann man dort nicht mehr dran drehen, ohne den Server zu tauschen.

Eventuell wäre noch interessant, welches Filesystem etc. ....

[Lucky2k12]

Danke für die Vergleichswerte.
Mit der Vermutung HD hat einen Schuss bist du auf der richtigen Spur, Heiko.

Code Auswählen Erweitern


dd if=/dev/zero of=tempfile bs=1M count=1024 conv=fdatasync,notrunc
1024+0 Datensätze ein
1024+0 Datensätze aus
1073741824 Bytes (1,1 GB, 1,0 GiB) kopiert, 241,245 s, 4,5 MB/s

Schnarchlangsam!
@Beta-User: Könntest du bitte wieder den Vergleichs-Benchmark liefern?

Edit: FS ist ext4.
Die ganzen Memorysettings zu optimieren, kann so ja keinen spürbaren Effekt haben.

Ich denke, ich ziehe die Installation auf die bereits verbaute 2.5" SSD per dd um.

Ursprünglich war der Plan, dort eine 2. Parallel-Installation mit docker containern aufzubauen und das Produktivsystem solange auf der serienmäßigen SSD zu belassen. Das muss ich dann eben verschieben...

Das mit dem swap off war eher eine Vorsichtsmaßnahme um die SSD zu schonen(und ggf den Platz zu nutzen), ist aber vermutlich unnötig.

[DS_Starter]

Bei diesem Datendurchsatz ist freilich kein Blumentopf zu gewinnen. 

@Beta-User,

für diesen Einstellungscheck gibt es den configCheck. Ich erweitere ihn noch um bulkInsert.
Die Empfehlung diesen auszuführen, steht in der Hilfe zu DbLog.

Bezüglich memoryleak habe ich dblog auch schon unter die Lupe genommen, aber nichts feststellen können. Eine Kleinigkeit habe ich momentan noch im Test und werde sie demnächst einchecken. Hatte bei mir zwar keinen Effekt, aber vorsichtshalber ändere ich eine kleine Sache.

Hier https://forum.fhem.de/index.php/topic,84372.msg974569.html#msg974569
hatte ich ein Hilfsmittel bereitgestellt um Devices/Module bzüglich memory verbrauch beurteilen zu können. Vllt. hilft es dir.

Grüße,
Heiko

[Wzut]

1073741824 Bytes (1,1 GB, 1,0 GiB) kopiert, 241,245 s, 4,5 MB/s

1073741824 Bytes (1,1 GB, 1,0 GiB) kopiert, 5,44676 s, 197 MB/s
interne 2,5" SSD auf einem HP T610

[Wernieman]

@Lucky2k12

Es ist eine SSD? Mit den Werten?

Es is doch eine aktuelle Linux-Distri? Ansonsten mal "fstrim -av" gestartet?

[Lucky2k12]

Es ist die im T610 serienmäßig verbaute SSD, sollte eine Apacer 8c.f1dd2.lr10b, 16GB MLC SATA module, hf wie hier sein.
https://assets.catawiki.nl/assets/2017/8/31/2/7/7/2778e53c-2f44-40ec-bae5-6afc2af81db5.jpg
Ich guck heut abend mal, ob ich noch eigene Fotos finde.
"fstrim -av" hat nur auf meiner 2.5" SSD Blöcke freigegeben, nicht auf dieser.


OS ist "SMP Debian 4.9.144-3-1"

[Wernieman]

16GB ... dürfte etwas älter sein? Dann kennt sie eventuell das SATA-Trimm-Kommando nicht .. und damit bringt Dir der fstrim wenig.

Außerdem .. ist sie gebraucht? Dann hat sie eventuell in der Richtung ein "Problem" ....

[Lucky2k12]

Ja klar, genauso alt wie der T610, den ich für 58Eur gebraucht aber angeblich getestet aus der Bucht gefischt habe.
Aber gut zu wissen, dass es SSDs gibt auf denen fstrim nichts bewirkt, Danke.
Und viel Spass beim Treffen

[Lucky2k12]

Ich kann erst morgen weiter unterstützen ... heute Abend ist ja FHEM-Stammtisch. 

Ja, viel Spaß dabei (läuft ja schon)
und ich bin bis Sonntag abend unterwegs und weitgehend offline, bitte nicht wundern.

Aber die Ursache scheint ja weitgehend eingegrenzt
Danke für eure Hilfe!!!

[Wernieman]

Du solltest in eine neue SSD investieren ...

[Lucky2k12]

Ja, wie gesagt, es steckt schon eine 2.5" Samsung drin.
Ich muss nur noch das System umziehen.   

Code Auswählen Erweitern


sudo smartctl -a /dev/sda
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.9.0-8-amd64] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     16GB SATA Flash Drive
Serial Number:    E0113428800700000188
Firmware Version: SFDDA01A
User Capacity:    16.013.942.784 bytes [16,0 GB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Form Factor:      2.5 inches
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 2.6, 3.0 Gb/s
Local Time is:    Thu Sep 26 21:44:23 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Total time to complete Offline
data collection:                (   30) seconds.
Offline data collection
capabilities:                    (0x00)         Offline data collection not supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x00) Error logging NOT supported.
                                        No General Purpose Logging support.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   050    Pre-fail  Always       -       16777215
  2 Throughput_Performance  0x0005   100   100   050    Pre-fail  Offline      -       0
  3 Spin_Up_Time            0x0007   100   100   050    Pre-fail  Always       -       0
  5 Reallocated_Sector_Ct   0x0013   100   100   050    Pre-fail  Always       -       0
  7 Unknown_SSD_Attribute   0x000b   100   100   050    Pre-fail  Always       -       0
  8 Unknown_SSD_Attribute   0x0005   100   100   050    Pre-fail  Offline      -       0
  9 Power_On_Hours          0x0012   100   100   000    Old_age   Always       -       6523
10 Unknown_SSD_Attribute   0x0013   100   100   050    Pre-fail  Always       -       0
12 Power_Cycle_Count       0x0012   100   100   000    Old_age   Always       -       288
168 Unknown_Attribute       0x0012   100   100   000    Old_age   Always       -       0
175 Program_Fail_Count_Chip 0x0003   100   100   010    Pre-fail  Always       -       0
192 Power-Off_Retract_Count 0x0012   100   100   000    Old_age   Always       -       0
194 Temperature_Celsius     0x0022   040   100   000    Old_age   Always       -       40 (Min/Max 30/60)
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
240 Unknown_SSD_Attribute   0x0013   100   100   050    Pre-fail  Always       -       0
160 Unknown_Attribute       0x0000   100   100   010    Old_age   Offline      -       234
161 Unknown_Attribute       0x0000   100   100   010    Old_age   Offline      -       234
162 Unknown_Attribute       0x0000   100   100   005    Old_age   Offline      -       28
163 Unknown_Attribute       0x0000   100   100   001    Old_age   Offline      -       23411
164 Unknown_Attribute       0x0000   100   100   001    Old_age   Offline      -       23169
165 Unknown_Attribute       0x0000   100   100   001    Old_age   Offline      -       23169
241 Total_LBAs_Written      0x0000   100   100   000    Old_age   Offline      -       13730772840

SMART Error Log not supported

SMART Self-test Log not supported

Selective Self-tests/Logging not supported



sudo smartctl -i /dev/sdb

Code Auswählen Erweitern


smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.9.0-8-amd64] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Samsung based SSDs
Device Model:     Samsung SSD 840 EVO 250GB
Serial Number:    S1DBNEADA09734T
LU WWN Device Id: 5 002538 8500a6577
Firmware Version: EXT0CB6Q
User Capacity:    250.059.350.016 bytes [250 GB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2, ATA8-ACS T13/1699-D revision 4c
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Thu Sep 26 21:07:29 2019 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled



[Lucky2k12]

So, Umzug dank clonezilla geschafft.
(mit dd und resize2fs hats mir immer die UUIDs in grep zerhauen.)

Aktuelles Ergebnis auf der 2.5" Samsung SSD 840 EVO 250GB

Code Auswählen Erweitern


dd if=/dev/zero of=tempfile bs=1M count=1024 conv=fdatasync,notrunc
1024+0 Datensätze ein
1024+0 Datensätze aus
1073741824 Bytes (1,1 GB, 1,0 GiB) kopiert, 4,82667 s, 222 MB/s

Das sieht doch wesentlich freundlicher aus
Auch der load liegt jetzt unter 0.2, wa bei 0.0

Lessons learned: Scheint so als wäre die Uralt SSD im T610 doch der bottleneck bei mysql gewesen.

Danke für eure Unterstützung, ich setze das hier auf solved.