HM-Investigator für Windows - Erforscht die CCU

[BadenPower]

HM-Investigator
Beschreibung des Schnüffel-Tools

Der HM-Investigator ist Bestandteil der HM-Internals.
Download hier: https://forum.fhem.de/index.php/topic,82923.msg750766.html#msg750766

Was kann der HM-Investigator?

Der HM-Investigator deckt mehrere Bereiche und Anwendergruppen ab.

Zum Einen richtet sich diese Anwendung an den Otto-Normal-Benutzer, welcher lediglich ein Interesse an einer übersichtlichen Darstellung und Archiviermöglichkeit, seiner Geräte, Systemvariablen, Programmmen usw... , welche auf der CCU verhanden sind, hat.

Zum Anderen ist der HM-Investigator ein Hilfsmittel für Skriptprogrammierer.
Der HM-Investigator ist in der Lage alle Objekte der ReGaHss auszulesen. Anhand der List- und Checkboxen kann man durch einfaches Anklicken eine Auswahl der benötigten Informationen hinterlegen. Die Anwendung generiert daraus einen gültigen HomeMatic-Skript-Code und führt die Anfrage auf der CCU aus und zeigt das zurückgegebene Ergebnis an. 

Der generierte Skriptcode kann auch angezeigt werden und ist auch direkt in der WebUI der CCU einsetzbar.
Die Anwendung ist somit auch ein geeignetes Hilfsmittel um die Skriptsprache zu lernen oder zu vertiefen.

Ein weiteres Einsatzgebiet liegt darin, Vorgänge auf der CCU zu begreifen und Abhängigkeiten zwischen verschiedenen Objekten zu erkennen/entdecken und zu analysieren.

Und dies alles ohne selbst eine einzige Zeile Code selbst eingeben zu müssen.


- enthält alle gültigen Skript-Methoden zur Auswahl
- vordefinierte Listen zu den einzelnen Objekttypen
- eigene Abfragen zusätzlich per Auswahl/Eingabe möglich
- Rückgabetyp der zurückgegebenen Werte jeder der über 500 Methoden anzeigbar
- Abfrage von Geräten oder Kanälen per Adresse möglich

Der HM-Investigator unterstützt folgende Objekttypen:
OT_ALARMDP, OT_CALENDARDP ,OT_CALENDARDPS, OT_CHANNEL, OT_CHANNELS, OT_COMMDP, OT_CONDITION, OT_DESTINATION, OT_DEVICE, OT_DEVICES, OT_DOM, OT_DP, OT_DPS, OT_ENUM, OT_FAVORITE, OT_HISTORYDP, OT_HSSDP, OT_INTERFACE, OT_INTERFACES, OT_IPDP, OT_IRDP, OT_KNXDP, OT_MAPDP, OT_MESSAGE, OT_OCEANDP, OT_OBJECT, OT_POPCLIENT, OT_PROGRAM, OT_RFDP, OT_ROOT, OT_RULE, OT_RULES, OT_SCHEDULER, OT_SINGLECONDITION, OT_SINGLEDESTINATION, OT_SMTPSRV, OT_TIMERDP, OT_UIDATA, OT_UPNPDP, OT_USER, OT_USERPAGE, OT_USERS, OT_VARDP, OT_XMLNODE und OT_XMLNODES

und folgende Namesräume:
system, tcap, web und xmlrpc

Weitere integrierte Standard-Abfragen:
- CCU CacheInfo
- CCU DutyCycle
- CCU Fehlerprotokoll
- CCU Firmware-Version
- CCU Liste laufender Prozesse
- CCU Sicherheitsschlüssel
- CCU Speicherinfos
- CCU Uptime
- ReGaHSS - Geistervariablen Startseite
- ReGaHSS - Anzahl verwendeter IDs laut Belegung
- ReGaHSS - Liste verwendeter IDs laut Belegung
- ReGaHSS - Anzahl verwendeter IDs laut ReGaDom
- ReGaHSS - Prüfung Skriptvariabletypen
- ReGaHSS - Version
- RFD - Handler
- Systemprotokoll - Rohdaten
- Systemprotokoll - Anzahl Einträge
- XMLRPC - gültige Methoden Port 1999
- XMLRPC - gültige Methoden Port 1999 RPC2
- XMLRPC - gültige Methoden Port 2000 (Wired)
- XMLRPC - gültige Methoden Port 2001 (BidCos)
- XMLRPC - gültige Methoden Port 2010 (HMIP)
- XMLRPC - gültige Methoden Port 9292 bidcos
- XMLRPC - gültige Methoden Port 9292 groups

Tip:
Der HM-Investigator kann mittels einer Verküpfung direkt aufgerufen werden ohne über das Startfenstern navigieren zu müssen, in dem man in der Verküpfung den Parameter "-in" (ohne Anführungszeichen) übergibt.

Wiki-Beiträge:  (Erklärungen / Beispiele)

Infos zu Elementen (Kinder) auswählen und anzeigen
Datenpunkte aller Kanäle eines Gerätes auslesen
interne Systemvariablen auslesen
Zeitmodule und die dazugehörigen Programme auslesen
Programme inkl. aller Bedingungen und Aktionen auslesen

[BadenPower]

Hier einmal eine kleine Beispielabfrage eines Tür-Fenster-Kontaktes inklusive allen Kanälen deren Datenpunkte.
Desweiteren wurde das Anzeigen der Geräte-Adresse, sowie der Kanaladdressen und Kanalnummern ausgewählt.

Im Bild 1 im Anhang sieht man nun die formatierte farbige Darstellung der Ausgabe mit zusätzlich gewählter Ausgabe des Rückgabetypes.

Bild 2 zeigt die Ausgabe des generierten Quellcodes an, welcher für die Abfrage auch direkt auf der CCU ausführbar wäre.

[zap]

Das ist wirklich hochinteressant! Mein Modul HMCCu kann auch HMScript ausführen. Man könnte die Scripts mit deinem Programm erstellen und dann im Modul verwenden.
Wie bist du an die Infos zu den ganzen Scriptmethoden gekommen? EQ3 geht ja eher sparsam mit Infos um.

[Damu]

Sieht echt genial aus.
Hut ab.

[BadenPower]

Wie bist du an die Infos zu den ganzen Scriptmethoden gekommen? EQ3 geht ja eher sparsam mit Infos um.

Eine CCU und ein TextEditor sind die einzigen Voraussetzungen, welche benötigt werden.

Das Weitere erledigt dann das Zusammenspiel aus Zusammenhänge erkennen, neue und zusätzliche Parameter auszutesten und keine Angst davor zu haben auch mal die ReGaHss durch Fehlinterpretationen zu crashen.

So ist ja auch der HM-Investigator das Produkt seiner eigenen Arbeit.
.

[BadenPower]

Wiki-Beitrag:
interne Systemvariablen auslesen

ausgehend von diesem Beitrag:
https://forum.fhem.de/index.php/topic,88065.msg834242.html#msg834242

Aber der Punkt "Inventur" gibt ja auch die internen Systemvariablen aus:
Über die UI ist dort nicht komfortabel dran zu kommen, zumal das Auswahlfenster der SysVars ja nicht gerade "üppig" ist.
Kommen wir da mit dem HM-Investigator nicht komfortabler dran?

Die CCU bzw. die ReGaDom verwaltet zahlreiche Listen. Zum Beispiel für Geräte, Kanäle, Programme usw.. Unter den Listen befindet sich auch die Liste der Systemvariablen.

All diese Listen kann der HM-Investigator auslesen. Zu finden sind diese Listen im Reiter "Komplexe Abfragen" -> "Sucheinstellungen" -> "Liste"

Will man jetzt nur eine Liste der internen Systemvariablen haben, dann ist dies schnell zu bewerkstelligen.

Dazu einfach im Reiter "Komplexe Abfragen" -> "Sucheinstellungen" -> "Liste" in der Gruppe "Elemente ermitteln" folgende Einstellungen tätigen. Als erstes wählt man bei "aus folgender Liste" den Eintrag "Systemvariablen" (Bild1 Pfeil1) aus und wählt beim Aufzählungstyp dann "EnumEnabledInternalIDs" (Bild1 Pfeil2) aus.

Danach unten auf der Seite aus der Auswahlbox "Liste" (Bild1-Pfeil3) wählen und die Suche mit der Schaltfläche "Abfrage starten" (Bild1-Pfeil4) starten.

Die Ausgabe zeigt nun alle internen Systemvariablen, welche in der CCU als solche gekennzeichnet sind und entspricht den Standardeinstellungen des HM-Investigators.

Will man weitere Informationen zu den einzelnen Elementen erhalten (Bild2), dann muß man einfach nur die Ausgabeeinstellungen dementsprechend anpassen.

[.Keks]

Hallo BadenPower,

das ist ja mal sehr komfortabel 

Allerdings ist mein Anzeige um einige Infos "leichter" von der von Dir gezeigte Screenshot.
Könntest Du bitte die dazu notwendigen Schritte anhand von weiteren Beispielen/Screenshots darlegen (sofern es nicht von der Version abhängig ist) ?
Somit hätte man alle notwendigen Infos direkt im Ausgabefenster (ggf. weitere, ja nach Anforderung/Präferenz).

BG
.Keks

[BadenPower]

Wiki-Beitrag:
Infos zu Elementen (Kinder) auswählen und anzeigen

Allerdings ist mein Anzeige um einige Infos "leichter" von der von Dir gezeigte Screenshot.

Der inhaltliche Unterschied liegt an den Ausgabeeinstellungen der Elemente (Kinder).

Unter "Komplexe Abfragen" -> "Ausgabeeinstellungen" -> "Liste" (Bild1) siehst Du dort nochmals die Reiter "Listenobjekt", "Elemente" und "Elemente (Basisausgabe)".

Im Reiter "Listenobjekt" (Bild1) kannst Du in der Gruppe "Basisinformationen" im Reiter "Basismethoden"auswählen welche Informationen zum Listenobjekt selbst anzeigt werden sollen. Zum Beispiel .Count(), was Dir die Anzahl der Elemente im Objekt ausgibt.

Ist im Reiter "Elemente" (Bild2) der Haken in der Gruppe "Beschränkungen" bei "nur Basisausgabe der Elemente verwenden" gesetzt, dann gibt er die Informationen aus, welche im Reiter "Elemente (Basisausgabe)" (Bild3) gesetzt sind.

Ist hingegen der Haken nicht gesetzt, dann nimmt er die Ausgabeeinstellungen der entsprechenden Objekttypen.

Im Reiter "Elemente" (Bild2) siehst Du, dass für die Liste der Systemvariablen standardmäßig Elemente vom Typ VARDP und ALARMDP geliefert werden.

Willst Du also weitergehende Informationen zu einem ausgegebenen Element vom Typ VARDP, dann mußt Du noch die Einstellungen "Komplexe Abfragen" -> "Ausgabeeinstellungen" -> "VARDP" (Bild4) anpassen. Entsprechend natürlich bei "ALARMDP" wenn Du Informationen zu den ausgegebenen Alarmvariablen benötigst.

Auch hier kannst Du wiederum die Einstellungen zum Objekttyp selbst vornehmen und/oder auch wiederum zu den enthaltenen Elementen.

Daher gibt es in den Sucheinstellungen immer die Gruppe "weitere Optionen" mit der Einstellungsmöglichkeit "maximale Auslesetiefe", welche man dann entsprechend anpassen muss und sollte (rekursive Abfragen: z.B. Gerät liest Kanäle als Kindelement aus und die Kanäle lesen die dazu gehörigen Geräte als Kindelement aus).

Die Ausgabe kannst Du auch noch filtern, wenn Du möchtest:

Ist im Reiter "Elemente" (Bild2) der Haken in der Gruppe "Beschränkungen" bei "nur ausgewählte Elemente anzeigen" gesetzt, dann werden nur Informationen zu den Elementen ausgegeben, welche im Reiter "Auswahl" ausgewählt wurden.

Ist der Haken nicht gesetzt, dann werden auch Informationen zu Elementen angezeigt, welche nicht zur Auswahl stehen.
Dies hat den Hintergrund, dass das Modul ja ein Investigator ist. Sollte sich etwas an der Technik der CCU ändern ist so gewährleistet, dass "neue" Objekttypen auch angezeigt werden, obwohl sie bei der Erstellung dieser Software noch gar nicht existierten oder nicht für diese Liste vorgesehen waren.

[.Keks]

Daher gibt es in den Sucheinstellungen immer die Gruppe "weitere Optionen" mit der Einstellungsmöglichkeit "maximale Auslesetiefe", welche man dann entsprechend anpassen muss und sollte [/u](rekursive Abfragen: z.B. Gerät liest Kanäle als Kindelement aus und die Kanäle lesen die dazu gehörigen Geräte als Kindelement aus).

Hallo BadenPower,
Vielen Dank für die weitere Aufklärung und den Screenshots.

In dem o.g. Zitat schreibst Du, dass man die maximale Auslesetiefe anpassen "muss" UND "sollte".
Gibt es dort eine Art Pauschalwerte die man von vorn herein auswählen sollte, oder entsteht dabei evtl. eine zu große Last?
Sonst könnte man doch direkt "10" (oder wie o. angefragt einen anderen Pauschalwert) eintrangen.

Kann ich eigentlich die Zeitmodul-Zeiten (in UI Programmen) auslesen, um eine Übersicht zu generieren?
Somit könnte ich ggf. über Dein geniales Timer-Skript in den UI-Programm-Zeitmodulen ausmisten.
Damit möchte ich Überschneidungen vermeiden, indem ich entsprechende Wertelisten nutze, die sich nicht überschneiden.

Bsp. "Art" Tagestimer-Werteliste für immer wiederkehrende Aufgaben/Zeitpunkte Tagesmittelwertberechnungen, Resets von SysVars u.v.m.

Da ich Dein Konzept "Reboot mit System und Aublauflogik",
sowie Deinen Programmaufbau
OHNE "Wenn" und NUR mit Auslösern
nutze, kann ja nix bei einem Reboot "flöten" gehen, oder durch veraltete SysVar-Werte falsche Programmabläufe gestartet werden.



BG
.Keks

[BadenPower]

In dem o.g. Zitat schreibst Du, dass man die maximale Auslesetiefe anpassen "muss" UND "sollte".
Gibt es dort eine Art Pauschalwerte die man von vorn herein auswählen sollte, oder entsteht dabei evtl. eine zu große Last?
Sonst könnte man doch direkt "10" (oder wie o. angefragt einen anderen Pauschalwert) eintrangen.

Müssen immer dann, wenn man tiefere Informationen zu den in den Objekten enthaltenen Elementen erhalten möchte.

Wenn man zum Beispiel bei einem Gerät alle Känale und dazu auch noch alle Datenpunkte der Kanäle des Gerätes mit den aktuellen Werten ausgeben möchte, dann benötigst Du mindestens eine Auslesetiefe von 3.

Also am Besten die Auslesetiefe so wählen, wie tief die Schachtelung der Unterelemente (Kinder) erfolgen soll.

Natürlich kannst Du auch 10 eingeben oder 20, wenn Du Dir sicher bist, dass die Einstellungen der Kinder und KindesKinder und KindesKinderKinder... usw. nicht dafür sorgen, dass Abfragen rekursiv ausgeführt werden. Dies würde die Datenflut unnötig erhöhen, wodurch es dann passieren könnte, dass Du keine Ausgabe mehr erhälst, da die ReGaHss leider nur begrenzt Daten empfängt und überträgt.

viele Grüße
BadenPower
.

[BadenPower]

Wiki-Beitrag:
Zeitmodule und die dazugehörigen Programme auslesen

Kann ich eigentlich die Zeitmodul-Zeiten (in UI Programmen) auslesen, um eine Übersicht zu generieren?

Die Einstellungen in den Zeitmodulen und die dazugehörigen Programme auszulesen ist kein Problem.

Die in den Einstellungen hinterlegeten Zeiten hingegen mit dem HM-Investigator als Übersicht darzustellen ist nicht möglich, da die Zeiten zum größten Teil nicht als Echtdaten gespeichert werden. Hier müssen die Einstellungen korrekt interpretiert werden,da sie verstreut und dazu noch Timertyp abhängig unterschiedlich hinterlegt werden.
Eine solche Übersicht bietet allerdings der HM-Administrator, welcher hier jedoch noch nicht vorgestellt wird.



Um an die Daten und Programme aller Zeitmodule zu gerlangen, tätigt man einfach im Reiter "Komplexe Abfragen" -> "Sucheinstellungen" -> "Liste" in der Gruppe "Elemente ermitteln" folgende Einstellungen. Als erstes wählt man bei "aus folgender Liste" den Eintrag "Zeitmodule" (Bild1 Pfeil1) aus und stellt in der Gruppe "weitere Optionen" die Einstellungsmöglichkeit "maximale Auslesetiefe" auf 2.

Unter "Komplexe Abfragen" -> "Ausgabeeinstellungen" -> "Liste" -> "Elemente" den Haken in der Gruppe "Beschränkungen" bei "nur Basisausgabe der Elemente verwenden" entfernen (Bild2). Dies sorgt dafür, dass nun die Ausgabeeinstellungen der Zeitmodule genommen werden und nicht die Basisausgabe.

Unter "Komplexe Abfragen" -> "Ausgabeeinstellungen" -> "Zeitmodul" -> "Elemente" (Bild3) im Reiter "Standardauswahl" die Checkbox "Programme" auswählen. Hier kannst Du in der Gruppe "Beschränkungen" den Haken bei "nur Basisausgabe der Elemente verwenden" gesetzt lassen, wenn Du nur die Basisausgaben zu den Programmen benötigst.

Die benötigten Informationen zu den Zeitmodulen kannst Du dann noch unter "Komplexe Abfragen" -> "Ausgabeeinstellungen" -> "Zeitmodul" -> "Zeitmodulobjekt" (Bild3) in den Reitern "Basismethoden", "eigene Methoden" und "eigene Methoden" auswählen/einstellen

Zum Schluß dann unten auf der Seite aus der Auswahlbox "Liste" wählen und die Suche mit der Schaltfläche "Abfrage starten" starten.

[.Keks]

Hallo BadenPower,

vielen Dank für Deine Antwort und das Du Dir die Mühe machst, sie immer noch mit entsprechenden Screenshots zu versehen.
Somit wird Handling wesentlich vereinfacht und man kann die Schritte leicht nachvollziehen.

Somit kann ich auch nun mit dem weiteren "Entrümpeln" beginnen

Ich hoffe, dass ich (unf ggf. andere) die Möglichkeiten des HM-Investigators ausschöpfen können (Hilfestellungen und Syntax werden ja in den Abfragen des Programms angezeigt) bis es evtl. einen "Vorstellungtermin" gibt.

Beste Grüße und ein schönes WE

.Keks

[Tibin]

Hier einmal eine kleine Beispielabfrage eines Tür-Fenster-Kontaktes inklusive allen Kanälen deren Datenpunkte.
Desweiteren wurde das Anzeigen der Geräte-Adresse, sowie der Kanaladdressen und Kanalnummern ausgewählt.
Im Bild 1 im Anhang sieht man nun die formatierte farbige Darstellung der Ausgabe mit zusätzlich gewählter Ausgabe des Rückgabetypes.

Da ich mich etwas schwer getan habe, auf die gleiche Ausgabe zu kommen, die du im Bild 1 dargestellt hast, wollte ich es hier auch für andere nochmal auflisten.

Reiter "Formatierung" Haken setzen bei 'Rückgabetypen ausgeben' und speichern,
Reiter "Komplexe Abfragen" -> "Sucheinstellungen" -> "Gerät" ->  suchen nach: hier den Namen des Gerätes eintragen und maximale Auslesetiefe auf 2 stellen,
Reiter "Komplexe Abfragen" -> "Ausgabeeinstellungen" -> "Kanal" -> "Kanalobjekt" bei "Basismethoden" einen Haken bei 'Adresse' und 'Kanalnummer' (wie auf Bild 1 schön zu sehen ist),
Reiter "Komplexe Abfragen" -> "Ausgabeeinstellungen" -> "Kanal" -> "Elemente" bei Beschränkungen den Haken raus, bei "Standardauswahl" alles so lassen, aber bei "Zusatzauswahl" den Haken setzen bei 'Datenpunkte (alle) [via DPs()]',
Reiter "Komplexe Abfragen" -> "Ausgabeeinstellungen" -> "Gerät" -> "Geräteobjekt" -> "Basismethoden" Haken setzen bei Adresse,
Reiter "Komplexe Abfragen" -> "Ausgabeeinstellungen" -> "Gerät" -> "Elemente" bei Beschränkungen den Haken raus, und bei "Zusatzauswahl" Haken setzen bei 'Kanäle [via Channels()]',
dann unten auf der Seite aus der Auswahlbox "Gerät" wählen und die Suche mit der Schaltfläche "Abfrage starten" starten.
Hoffe das ist so korrekt. Vielleicht hilft es ja irgendjemandem.

Wollte in deinem Thread vom Analyser mal die von dir von .Keks gewünschten Datenpunktmethoden (habe aber nicht die gleichen Geräte) auslesen (nur mal als Anwendungstest), der

Frischling

(ja kannst mich ruhig so nennen ) hats leider nicht hinbekommen. Also falls du mal Zeit findest, würde ich das vorgeschlagene

Machen wir doch wieder ein How-To für das WIKI für die von Dir benötigten Datenpunkte und Kanäle im HM-Investigator

zum Nachvollziehen auch gut finden.

Noch kurz: Wenn ich beim Investigator , Reiter Formatierung auf komplette Formatierung einstelle und dann die Abfrage starte, friert das Programm ein (Keine Rückmeldung). Ich hatte erst gedacht, das liegt an meinem lahmen Desktop-PC, aber beim Lappi ist das gleiche Verhalten
Gruß Tino

[BadenPower]

Hallo Tino:

Also falls du mal Zeit findest, würde ich das vorgeschlagene zum Nachvollziehen auch gut finden.

Habe .Keks bereits darüber informiert, dass dies erst Anfang nächster Woche sein wird. Kommt aber garantiert.

Noch kurz: Wenn ich beim Investigator , Reiter Formatierung auf komplette Formatierung einstelle und dann die Abfrage starte, friert das Programm ein (Keine Rückmeldung). Ich hatte erst gedacht, das liegt an meinem lahmen Desktop-PC, aber beim Lappi ist das gleiche Verhalten

Ich habe die Anzeige immer so stehen und es funktioniert eigntlich.

Kannst Du mal einen Screenshot der Einstellungen in diesem Reiter machen?
Dann schau einmal nach, ob im Hauptmenu unter "Optionen"->"Performance"->"Datenaufbereitung im Hintergrund ausführen" ein Haken gesetzt ust oder nicht.

Was zum Einfrieren führen kann, ist der Umstand, das wenn die zu übertragende Datenmenge größer ist, als die durch die Beschränkungen der ReGaHss mögliche Byte-Anzahl. Dann fehlt ein wichtiger Teil der Rückgabe und kann deshalb nicht bearbeitet werden. Da bin ich aber schon dran, kann Dir aber jetzt aus dem Stehgreif nicht sagen, ob dies auch Dein Problem beinhaltet.

Versuche einmal einfach nur eine Liste auszugeben.


viele Grüße
BadenPower
.

[Tibin]

Hallo BadenPower,

Kannst Du mal einen Screenshot der Einstellungen in diesem Reiter machen?

bitteschön. siehe Bilder (also keine Rückmeldung auch nur mit Liste und kompletter Formatierung, nur einrücken funktioniert mit Liste)
bei "Datenaufbereitung im Hintergrund ausführen" ist der Haken gesetzt.
Gruß Tino