Anbindung von Kia UVO an fhem

[ch.eick]

Hallo Reinhard

Grundsätzlich betreibe ich mein Fhem System auf 2 Raspi4, einer für Fhem und der andere für MariaDB zur Datenablage in einer SQL-Datenbank. Keinerlei Ahnung habe ich derzeit mit MQTT, ich werde mich da erst einarbeiten müssen.
So wie ich es derzeit verstanden habe, benötige ich dazu zwingend noch einen MQTT-Server und bluelinky. Bluelinky läuft bei dir innerhalb von Node-Red, dies bedeutet, ich benötige auch noch Node-Red. Ganz sicher bin ich mir derzeit noch nicht, ob ich überhaupt Node-Red zwingend benötige, wenn ich keine umfangreichen Steuerungen durchführen will.

Ich habe es mir da möglichst einfach gemacht und Node-Red im Docker Container. Das ist für mich nur ein Umsetzer. Den Bluelinky Workflow hatte ich auch nur Kopiert, später jedoch noch an einigen Stellen Erweitert, da nicht alles drin war.
Bei MQTT habe ich nur das MQTT2 direkt im FHEM verwendet, also keinen anderen Server dazwischen.

Reicht denn da überhaupt ein Raspi4 (4GB) aus um alle Komponenten zu beherbergen? Meine SQL-Datenbank habe ich erst vor einigen Wochen auf einen eigenen Raspi ausgelagert, da ich in der Vergangenheit häufiger Speichermangel bekommen hatte.

Bei mir ist alles auf einem RPI4 4GB, jedoch ist es wichtig am besten direkt eine SSD auch zum Booten zu verwenden. Eine Datenbank sollte man niemals auf einer SD-Card betreiben!
MySQL habe ich als Docker Container direkt von Oracle MySQL genommen, damit es endlich auch mal aktuell ist. Dazu muss man den RPI4 aber im 64 Bit installieren, da der Container nur mit 64 Bit für arm angeboten wird.

VG  Christian

[Rewe2000]

Hallo Christian,

ich wollte eben die Einrichtung bei mir auch angehen, bekomme aber schon bei der Installation von nodejs und npm Probleme, eventuell kann mir da noch jemand ein wenig weiterhelfen.
Die Installation auf meinem Raspi4 mit SSD ohne Docker (aktuelles Debian Bullsey), auf welchem auch Fhem läuft wollte ich gemäß der Anleitung von gadget durchführen: https://forum.fhem.de/index.php/topic,118822.msg1152770.html#msg1152770

Nach "sudo npm cache clean -f" kommt die Warnung:

Code Auswählen Erweitern

npm WARN using --force Recommended protections disabled.

Das Update mit "sudo npm update npm -g" bringt folgende Fehler:

Code Auswählen Erweitern

npm ERR! code ENOENT
npm ERR! syscall scandir
npm ERR! path /usr/local/lib/node_modules
npm ERR! errno -2
npm ERR! enoent ENOENT: no such file or directory, scandir '/usr/local/lib/node_modules'
npm ERR! enoent This is related to npm not being able to find a file."
npm ERR! Enoent
npm ERR! A complete log of this run can be found in:
npm ERR!     /root/.npm/_logs/2023-02-27T16_11_37_623Z-debug.log


Grundsätzlich scheint aber die Installation von nodejs und npm schon geklappt zu haben, denn mir werden folgende Versionen angezeigt:

Code Auswählen Erweitern

node -v
v12.22.12
npm -v
7.5.2


Auch finde ich nodejs bei mir nicht unter "/usr/local/lib/" sondern im Verzeichnis "/usr/lib/nodejs".
Die Installation unter dem Standarduser mit sudo war doch OK oder hätte ich da root verwenden müssen?

Da ich mein Linux nicht schrotten will, warte ich lieber mal eure Antwort ab, bevor ich da selbst versuche etwas zu ändern.
Sollten noch Infos fehlen, so gebt mir bitte kurz Bescheid, damit ich Nachliefern kann.

Anbei noch das Logfile der Installation, ab Zeile 25 sieht es für mich wie fehlende Berechtigung aus:

Code Auswählen Erweitern

0 verbose cli [ '/usr/bin/node', '/usr/bin/npm', 'update', 'npm', '-g' ]
1 info using npm@7.5.2
2 info using node@v12.22.12
3 timing config:load:defaults Completed in 4ms
4 timing config:load:file:/usr/share/nodejs/npm/npmrc Completed in 6ms
5 timing config:load:builtin Completed in 7ms
6 timing config:load:cli Completed in 6ms
7 timing config:load:env Completed in 1ms
8 timing config:load:file:/home/reinhard/.npmrc Completed in 1ms
9 timing config:load:project Completed in 3ms
10 timing config:load:file:/root/.npmrc Completed in 0ms
11 timing config:load:user Completed in 0ms
12 timing config:load:file:/etc/npmrc Completed in 0ms
13 timing config:load:global Completed in 1ms
14 timing config:load:cafile Completed in 1ms
15 timing config:load:validate Completed in 0ms
16 timing config:load:setUserAgent Completed in 2ms
17 timing config:load:setEnvs Completed in 2ms
18 timing config:load Completed in 28ms
19 verbose npm-session d0884523ae5ecc3b
20 timing npm:load Completed in 56ms
21 timing arborist:ctor Completed in 2ms
22 timing idealTree:init Completed in 27ms
23 timing idealTree Completed in 38ms
24 timing command:update Completed in 76ms
25 verbose stack Error: ENOENT: no such file or directory, scandir '/usr/local/lib/node_modules'
26 verbose cwd /home/reinhard
27 verbose Linux 5.15.84-v7l+
28 verbose argv "/usr/bin/node" "/usr/bin/npm" "update" "npm" "-g"
29 verbose node v12.22.12
30 verbose npm  v7.5.2
31 error code ENOENT
32 error syscall scandir
33 error path /usr/local/lib/node_modules
34 error errno -2
35 error enoent ENOENT: no such file or directory, scandir '/usr/local/lib/node_modules'
36 error enoent This is related to npm not being able to find a file.
37 verbose exit -2

Gruß Reinhard

[ch.eick]

Hallo Reinhard,
Wie gesagt habe ich das noch nie selber installiert, da nehme ich lieber einen Docker Container, das geht schneller.
Du solltest es einfach auch mal probieren.  Es ist möglich das auch parallel zu testen.

VG Christian

[Rewe2000]

Hallo Christian,

jetzt habe ich die Kurve doch noch bekommen und es läuft nun auch bei mir ohne größere Probleme. Die Einrichtung von von nodejs und npm, hat wie unter #5 hier im Beitrag bei mir nicht funktioniert. Ich bin dann wie im Blogbeitrag von Otto https://heinz-otto.blogspot.com/2019/05/installation-nodejs.html vorgegangen und die Installation lief Problemlos durch. Ich habe unter Fhem den MQTT2_SERVER installiert, eine feste clientId vergeben und ein MQTT2_DEVICE wird automatisch angelegt. Da bei mir ja der MQTT Server auf dem Raspi selbst läuft musste ich als IP-Adresse noch die 127.0.0.1 angeben.

Die Abfragen starte ich mit einem doif 5 x täglich zu festen Zeiten.

Danke euch allen für die Tipps hier in Fhem-Forum, besonderer Dank an gadget, ohne diese hätte ich das nicht zum laufen bekommen.

Irgendwann werde ich das mit Docker angehen, aber aktuell wollte ich zuerst meinen KIA in Fhem einbinden.

Gruß Reinhard

[Rewe2000]

Hallo,

einen Tipp von euch benötige ich noch.
Welche Möglichkeit gibt es das "node kia.js" unter Fhem aufzurufen, ohne dass die Logdatei zugemüllt wird oder Fhem komplett einfriert?

Ich rufe "node kia.js" über ein notify auf, der Nachteil ist aber, dass die Ausgabe immer ins Fhem Log geschrieben wird:

Code Auswählen Erweitern

Internals:
   DEF        du_KIA_lesen:on {system ("cd /home/reinhard/bluelinky && node kia.js &")}
   FUUID      63ff77ee-f33f-7df9-d038-326aaa46da16751f
   NAME       no_KIA_lesen
   NOTIFYDEV  du_KIA_lesen
   NR         596
   NTFY_ORDER 50-no_KIA_lesen
   REGEXP     du_KIA_lesen:on
   STATE      2023-03-02 12:02:00
   TYPE       notify
   READINGS:
     2023-03-02 15:48:07   state           active
     2023-03-02 12:02:00   triggeredByDev  du_KIA_lesen
     2023-03-02 12:02:00   triggeredByEvent on
Attributes:
   DbLogExclude .*
   icon       car
   room       Auto
   verbose    1


Nach viel Lesen zum Thema bin ich auf den Aufruf über "qx()" gekommen (hier Testweise Eingabe über Fhem Komandozeile), dies legt mir aber mein Fhem komplett so lange lahm, bis ich es über die Konsole beende und neu starte:

Code Auswählen Erweitern

{qx(cd /home/reinhard/bluelinky && node kia.js)}

Ich hoffe irgendwer kann mir (Linux Anfänger) hier noch den entscheidenden Tipp geben.

Gruß Reinhard

[gadget]

Also das letzte & schickt den ganzen system-Aufruf ja in den Background. fhem sollte daher normal weiterlaufen.

kannst Du mal hiermit testen:

Code Auswählen Erweitern


defmod d_test dummy
attr d_test room Test
attr d_test webCmd on:off

defmod externalTest notify d_test:on {system ("cd /home/pi && echo start && touch /tmp/gestartet && sleep 60 && touch /tmp/beendet && echo ende  &")}
attr externalTest room Test



und dir dann mit

Code Auswählen Erweitern

ls -lart /tmp die Zeitstempel anschauen.

Während der 60 Sekunden sollte fhem auch ganz normal weiter nudeln.

Wenn Du den Output im fhem log  weg haben willst probier mal

Code Auswählen Erweitern


{system ("cd /home/reinhard/bluelinky && node kia.js > /dev/null 2>/dev/null &")}


Ist den System evtl. etwas unterdimensioniert und Du kommst  mit dem node - Aufruf an die Performance-Grenze ?

Dann könnte evtl. noch ein "nice" helfen.

Code Auswählen Erweitern


{system ("cd /home/reinhard/bluelinky && nice node kia.js > /dev/null 2>/dev/null &")}

[Rewe2000]

Hallo gadget,

vielen Dank für den Tipp, durch Anhängen von "> /dev/null 2>/dev/null" erhalte ich keinen Logeintrag in Fhem mehr. Mir hatte es gestern durch etliche Tests mein Fhem Systemlog gefüllt und das wollte ich nicht so lassen.

Das Blockieren ist nur mit dem Aufruf "qx()" aufgetreten, aber auf diese Problematik wurde in einigen Beiträgen verwiesen. Grundsätzlich sollte die Leistung meines Raspi4 mit 4 GB für diese Anwendung ausreichen, aktuell laufen die Anfragen jedenfalls ohne Probleme.

Ich möchte mich nochmals bei dir für deine veröffentlichte Anleitung im Beitrag #5 bedanken, ohne diese Hilfe hätte ich meinen KIA niemals abfragen können.
In der nächsten Zeit werde ich noch ein wenig mit den Daten der Abfrage experimentieren und mir eventuell noch ein paar mehr Werte in Fhem holen, sicherlich werde ich dazu noch die eine oder andere Frage haben.

Gruß Reinhard

[Rewe2000]

Hallo Christian,

funktioniert bei dir noch die Abfrage über node kia.js?
Bei mir kommt folgende Meldung (unter Linux):

Code Auswählen Erweitern

:~/bluelinky $ node kia.js
[2023-04-05 16:18:39] warn: @EuropeanBrandAuthStrategy.login: Cannot find the argument userId, please use the following url and connect from a browser.
[2023-04-05 16:18:39] warn: https://prd.eu-ccapi.kia.com:8080/api/v1/user/oauth2/authorize?response_type=code&state=test&client_id=fdcxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx&redirect_uri=https://prd.eu-ccapi.kia.com:8080/api/v1/user/oauth2/redirect
An den Zugangsdaten oder der Konfiguration habe ich wissentlich nichts geändert, über die APP (Android) klappt es noch.
Die letzte Abfrage war bei mir gestern um 23:00 Uhr.

Stand 08.04.2023 klappt es wieder, nach einem Update von bluelinky unter Linux mit:

Code Auswählen Erweitern

npm install bluelinky
Gruß Reinhard

[ch.eick]

Hallo Christian,
funktioniert bei dir noch die Abfrage über node kia.js?

Sorry für die späte Meldung,
das neue Forum macht mich etwas langsamer

Also bei mir läuft es aktuell, aber vor einigen Wochen war da mal eine Störung durch den Kia Server. Nach diversen Stunden und einem Node-red Neustart des Flow lief es dann wieder.

Wäre hier jemand in der Lage den Flow mit einem Watchdock Timer zu verbessern, dass dann eine klarere Statusmeldung kommt?

VG  Christian

[Rewe2000]

Hallo Christian,

wurde heute Nachmittag über deine 2 neuen Beiträge per Mail benachrichtigt, aber beide Links zu den Forenbeiträgen gehen bei mir ins Leere und ich kann auch die Beiträge von dir im Forum nicht finden.
Komisch das ganze, ev. ein Problem mit der Forensoftware?
Kannst du denn überhaupt deine Beiträge selbst sehen?

Die beiden Links, welche bei mir ins leere gehen lauten:

https://forum.fhem.de/index.php?topic=118822.new#new
https://forum.fhem.de/index.php?topic=116175.new#new

Die MQTT Anbindung über Bluelinky mit dem KIA-Server läuft bei mir bis jetzt Problemlos. Ich befürchte das Problem muss bei dir selbst liegen.

Gruß Reinhard

[ch.eick]

Sorry,
Ich hatte sie sehr schnell wieder gelöscht, es lag bei mir und die Kia App hat die maximale Anzahl von Versuchen angemeckert.
Das Auto stand im 3.UG und war nicht erreichbar, da hat wohl die Software zu oft wiederholt.

VG Christian

[Rewe2000]

Hallo gadget,

ich hoffe du liest hier noch mit und kannst mir noch einen Tipp zur KIA Connect Abfrage für Fhem geben, diese läuft bei mir seit Ende Juni 23 nicht mehr. Bis zu diesem Zeitpunkt hat die Abfrage bei mir auf einem Raspi4 (8 GB SSD) perfekt funktioniert. Grundsätzlich habe ich die Abfrage so wie von dir in Beitrag #5 nachgebaut, dazwischen liegen "nur" einige Updates von Bluelinky und nodejs.

Irgendwie bekomme ich keine Daten vom Server, so wie es für mich aussieht sollte der Login mit meinen Benutzerdaten klappen.
Gebe ich direkt auf der Linux Kommandozeile den Abfrageaufruf:

Code Auswählen Erweitern

reinhard@Fhem-Bullseye-SSD:~/bluelinky $ cd /home/reinhard/bluelinky
reinhard@Fhem-Bullseye-SSD:~/bluelinky $ node kia.js
reinhard@Fhem-Bullseye-SSD:~/bluelinky $

ein, so kommt überhaupt keine Rückmeldung. Nur die App am Android Handy stellt sich von Deutsch wieder auf Englisch zurück.
Schreibe ich den Usernamen in den Anmeldedaten falsch, so wird ein Fehler angezeigt, das sollte ja auch erwartet werden.

Ich verwende bei Bluelinky die aktuelle Version 8.1.1 und für node und npm folgende Versionen:

Code Auswählen Erweitern

reinhard@Fhem-Bullseye-SSD:~/bluelinky $ node -v
v20.5.0
reinhard@Fhem-Bullseye-SSD:~/bluelinky $ npm -v
9.8.1
Linux Bullsey selbst ist aktuell.

Meine kia.js Datei sieht wie folgt aus:

Code Auswählen Erweitern

const BlueLinky = require('bluelinky');
const MQTT = require("async-mqtt");

const client = new BlueLinky({
  username: 'Benutzername',
  password: 'Passwort',
  brand: 'kia',
  region: 'EU',
  pin: 'Geheim'
});

client.on('ready', async () => {
  const vehicle = client.getVehicle('Fahrgestellnummer');
  try {
    const odo = await vehicle.odometer();
    console.log(odo);
    const status = await vehicle.status({ parsed: false, refresh: true });
    console.log(status);
    const location = await vehicle.location();
    console.log(location);

    const mqttClient = await MQTT.connectAsync("mqtt://127.0.0.1:1883", { username:"Benutzer-Raspi", password:"Passwort-Raspi" })
    console.log("Sending to MQTT server");
    if ((status.evStatus.batteryStatus > 0) && (odo.value > 0)) {  // wird gelegentlich falsch mit 0 ausgelesen, dann nicht senden
        try {
                var options={
                retain:true,
                qos:1};
                await mqttClient.publish(
                   "BluelinkCarStatus/Fahrgestellnummer",
                   JSON.stringify({
                     odo: odo.value,
                     soc: status.evStatus.batteryStatus,
                     range: status.evStatus.drvDistance[0].rangeByFuel.evModeRange.value,
                     locked: status.doorLock,
                     battery12V: status.battery.batSoc,
                     longitude: location.longitude,
                     latitude: location.latitude,
                   }),options
                );

                // This line doesn't run until the server responds to the publish
                await mqttClient.end();
                // This line doesn't run until the client has disconnected without error
                console.log("mqtt call Done");
        } catch (e){
                // Do something about it!
                console.log(e.stack);
                process.exit();
        }
    } // if
  } catch (err) {
    // log the error from the command invocation
  }
});

client.on('error', async (err) => {
  // something went wrong with login
});
Ich habe diese schon mit der Datei in der Doku verglichen, kann aber selbst keinen Fehler finden.
Ich verwende keine Container und auch kein NodeRed sondern sende die Daten über MQTT nach Fhem. Aber grundsätzlich sollte doch die pure Linux Abfrage mit node zumindest Daten anzeigen.

Meine Anmeldedaten (Benutzer und Passwort) für die Android KIA App und den My KIA Account habe ich gleich angepasst und mich von der App ab und wieder angemeldet, leider ohne Änderung.
Irgendwie stecke ich aktuell fest.
Wäre prima wenn du mir hier noch weiterhelfen könntest.

Gruß Reinhard

[Eckat]

Evtl. hilft es wegen der Sprache in der Client Initialisierung noch
language: 'de'
einzufügen:

Code Auswählen Erweitern

const client = new BlueLinky({
  username: 'Benutzername',
  password: 'Passwort',
  brand: 'kia',
  region: 'EU',
  pin: 'Geheim',
  language: 'de'
});

Ich bin kein Javascript Profi, aber man könnte versuchen in dem "catch" Teil und bei "client.on('error' ..." auch etwas in die console zu loggen.
Evtl. sowas:

Code Auswählen Erweitern

  } catch (err) {
    console.log(err.stack);
  }und

Code Auswählen Erweitern

client.on('error', async (err) => {
  console.log(err.stack);
});
Dazu macht er bei

Code Auswählen Erweitern

client.on('ready', async () => {
  const vehicle = client.getVehicle('Fahrgestellnummer');
  try {
    const odo = await vehicle.odometer();
    console.log(odo);ja auch schon mit await eine "Aktion" bevor etwas ausgegeben wird.
Evtl. direkt als erstes im "try" Zweig auch eine Ausgabe machen

Code Auswählen Erweitern

client.on('ready', async () => {
  const vehicle = client.getVehicle('Fahrgestellnummer');
  try {
    console.log('erste Ausgabe im try-Zweig');
    const odo = await vehicle.odometer();
    console.log(odo);
Wie gesagt, kein Profi in Javascript am Werk 

[Rewe2000]

Hallo Eckat,

danke für die Tipps.
Ich habe versucht diese umzusetzen, meine App stellt jetzt zumindest die Sprache nicht mehr auf englisch um, dies scheint schon mal etwas gebracht zu haben.

Nach hinzufügen der Ausgaben wird zumindest ein Fehler ausgegeben:

Code Auswählen Erweitern

reinhard@Fhem-Bullseye-SSD:~/bluelinky $ node kiatest.js
ManagedBluelinkyError: @EuropeController.login: [400] Bad Request on [POST] https://prd.eu-ccapi.kia.com:8080/api/v1/spa/notifications/register - {"retCode":"F","resCode":"4002","resMsg":"Invalid request body - Block the UVO app id.","msgId":"6xx7x3xx-2xxf-4xx9-9xxe-xx6xx7xx36xx"}
    at H (/home/reinhard/bluelinky/node_modules/bluelinky/dist/index.js:17:11700)
    at ne.<anonymous> (/home/reinhard/bluelinky/node_modules/bluelinky/dist/index.js:17:39330)
    at Generator.throw (<anonymous>)
    at a (/home/reinhard/bluelinky/node_modules/bluelinky/dist/index.js:17:136)
    at process.processTicksAndRejections (node:internal/process/task_queues:95:5)
reinhard@Fhem-Bullseye-SSD:~/bluelinky $

Aber ehrlich gesagt zeigen mir auch diese Meldungen keine Lösung für mein Problem, lediglich die Meldung "Block the UVO app id" stimmt mich nachdenklich.
Läuft denn bei dir die Abfrage aktuell noch, oder verwendest du auch nodeRed?

Gruß Reinhard

[Eckat]

Hmm, das sagt mir so auch nichts.

Bad Request sagt für mein Verständnis aus, dass die Anfrage "falsch/ defekt" war.
Bei mir ist auch bluelinky in 8.1.1. installiert und funktioniert.

Das mit dem "Block the UVO app id" klingt komisch. So als ob über die API die Anfragen für deine ID gesperrt wurden.
Kia/ Hyundai macht das wohl, wenn zu viele Anfragen zu schnell hintereinander kommen.

Ohne Fehler bekomme ich bei mir leider keine analoge Ausgabe um da irgendwas zu prüfen. 

Evtl. bei GitHub beim Entwickler von Bluelinky nachfragen?
https://github.com/Hacksore/bluelinky