Modul 93_DbRep - Reporting und Management von Datenbankinhalten (DbLog)

[ch.eick]

Edit: Uuuups, wo ist die Frage hin ? 

Vielen dank für die super schnelle Antwort. Ich hatte dann nochmal gesucht und den anderen Thread gefunden.
DbLog Datenbankstruktur MySQL
Da wollte ich Dich nicht hier nochmal nerven.

Ich habe das colEvent=0 gesetzt.

Code Auswählen Erweitern


select * from history where DEVICE='PV_Anlage_1_API' and READING='Statistic_EnergyHomePvSum_Day' and TIMESTAMP >= '2020-11-20 18:00:00';
+---------------------+-----------------+---------+-------+-------------------------------+---------+------+
| TIMESTAMP           | DEVICE          | TYPE    | EVENT | READING                       | VALUE   | UNIT |
+---------------------+-----------------+---------+-------+-------------------------------+---------+------+
| 2020-11-20 18:57:04 | PV_Anlage_1_API | HTTPMOD |       | Statistic_EnergyHomePvSum_Day | 4320.29 |      |
+---------------------+-----------------+---------+-------+-------------------------------+---------+------+

Jetzt läuft noch ein optimizeTablesBeforeDump und dann der Dump.

EDIT: Oh man, ignoriere mich heute besser

Danach möchte ich die EVENT Spalte leeren. Hast Du da einen SQL Vorschlag?

Code Auswählen Erweitern


UPDATE history
SET EVENT = NULL
WHERE EVENT is not null;


Sorry
   Christian

[DS_Starter]

Ich würde es so machen:

ALTER TABLE history DROP COLUMN EVENT

und danach wieder anlegen.
Kommt darauf an wie groß die DB ist wegen der Laufzeit.

Grüße,
Heiko

[ch.eick]

ALTER TABLE history DROP COLUMN EVENT

und danach wieder anlegen.
Kommt darauf an wie groß die DB ist wegen der Laufzeit.

Dieser Weg hat hervorragend funktioniert und die Datenbank um 45% verkleinert.

[ch.eick]

Nun beobachte ich ein Phonemen, wo ich nicht richtig weiter komme.

HW RPI4 mit 4G RAM , Fhem, MySQL, Grafana,... in Docker auf einer SSD
DbLog asyncron mit Indix, ohne Event Spalte und aufgeräumt. Ich habe von >4GB auf 1,4 GB reduziert und die Tabelle nach dem Löschen von Einträgen auch wieder optimiert.

Nun kommt es immer wieder zu Hängern, bei denen das Grafana, keine Daten mehr bekommt.
Auch Fhem gibt nur zögerlich Rückmeldung, wohingegen das Debian immer noch flüssig läuft.
Mit attr global 3 und Verbose 5 habe ich schon diverse Devices überprüft. Wenn die Datenbank Abfrage hängt sehe ich nichts verdächtiges im Log oder bei den Events.

Mit apptime max sehe ich, dass DbLog immer on the Top ist.

Durch die Fhem Events habe ich mich ebenfalls optimiert und es wird auch nur mit event-on-change-reading gearbeitet.

Wie könnte ich nun dem Datenbankproblem auf die schliche kommen?
Wenn das Problem auftritt ist die SSD LED munter am blinken...

Gruß
   Christian

[DS_Starter]

Hallo Christian,

ich habe darüber schon länger nachgedacht. (Ist übrigens im falsche Thread, auch wenn DbRep stark mit DbLog verwoben ist).
Kann mir momentan keinen Reim darauf machen wieso bei einer "hängenden" DB der asynchrone Modus von DbLog bei apptime max oben ist. Das passiert ja noch nicht einmal wenn die DB heruntergefahren ist.

Vielleicht sieht man mehr wenn du die apptime Ausgaben mal postest.

Ansonsten wirst du vermutlich bei dieser Sache eher etwas finden wenn du dir das Datenbanklog auf Betriebssystemebene mal anschaust. Es gibt z.B. auch bei phpMyAdmin eine Monitoringmöglichkeit. Dort sieht man laufende DB-Prozesse bzw. Statements. Das klappt auch mit DbRep get <> procinfo sofern FHEM noch an die DB rankommt.

Grüße,
Heiko

[ch.eick]

Danke für die Info.
gibt es phpMyAdmin im Docker für nen RPI ? Das würde Arbeit sparen.

Ich vermute ja es ist Grafana, 22 Abfragen in vier Diagrammen auf einem Dashboard. Ist das viel?
VG
  Christian

[DS_Starter]

Ich habe das hier gefunden:
https://github.com/JackGruber/docker_phpmyadmin

(Habe doch Synology  )

Zu Grafana kann ich dir nichts sagen, da fragst du am besten in dem Board mit den Grafana Experten

[ch.eick]

https://github.com/JackGruber/docker_phpmyadmin

Das check ich mal morgen, danke.

EDIT: phpMyAdmin läuft auf dem RPI in Docker

.yml Einträge

Code Auswählen Erweitern


  phpMyAdmin:
    image: jackgruber/phpmyadmin
    restart: always
    ports:
        - '8081:80'
    links:
        - mysql
    environment:
        PMA_HOST: mysql
        PMA_PORT: 3306
    depends_on:
      - "mysql"

Es ist leider kein Konfiguration Speicher definiert, aber das findet sich auch noch.

[ch.eick]

Hallo Heiko,
ich habe gerade mal Fhem aktualisiert und somit auch DbRep.
93_DbRep.pm:v8.42.1-s23214/2020-11-22
Beim "set <device> DiffValue ... " ist die Liste mit Display oder writeToDb aufeinmal weg Ist das ein Bug oder ein feature?

[DS_Starter]

Hallo Christian,

weder noch ... bei mir ist sie vorhanden.

LG,
Heiko

[ch.eick]

weder noch ... bei mir ist sie vorhanden.

Ja und nun isset wech ich kann Zaubern

[DS_Starter]

Na du kannst Sachen machen. 
Vllt. mal Browsercache leeren.

[ch.eick]

Na du kannst Sachen machen. 
Vllt. mal Browsercache leeren.

- nun habe ich mehrfach den cache gelöscht
- shutdown restart
- docker container stop/start

Leider ist der Fehler immer noch da. Da muss es eventuell noch einen anderen Update gegeben haben, der da rein spielt.

Auch die alte DbRep Version tut's nun auch nicht mehr

EDIT: Kann es das eventuell sein

Code Auswählen Erweitern


2020.12.15 14:02:50.616 1: UPD FHEM/01_FHEMWEB.pm


Gruß
   Christian

[DS_Starter]

Code Auswählen Erweitern


EDIT: Kann es das eventuell sein
Code: [Auswählen]

2020.12.15 14:02:50.616 1: UPD FHEM/01_FHEMWEB.pm


Nein. Habe gerade komplett upgedated und läuft absolut korrekt.

[ch.eick]

Nein. Habe gerade komplett upgedated und läuft absolut korrekt.

Sehr dubios, ich habe auch mal das style sheet geändert, aber die Auswahl ist einfach weg.
Nun bin ich ratlos
   Christian