FB_CALLMONITOR: Frage zu FB ohne telnet

[Ralf W.]

Hallo,

ich habe das Erweitungsmodul FB_Callmonitor im Einsatz, Daten werden von einer FB 6360 geholt. Die FB wurde von meinem Kabelanbieter zur Verfügung gestellt und Telnet läßt sich nicht aktivieren. Dadurch habe ich ein kleines Problem mit den Telefonbüchern der FB (2 x FB, 2 x Google). Ich muss mir die Telefonbücher immer von der FB und von Google holen und daraus eine XML-Datei basteln, damit FB-Callmonitor damit arbeiten kann. Das ist unschön.

Ich konnte mich erinnern vor langer Zeit unter Linux eine Anwendung benutzt zu haben, die mir trotz der Telnet-Beschänkung die Anrufe mit Namen angezeigt hat. Die Anwendung heißt jetzt "Roger Router". Gerade noch einmal frisch installiert und siehe da - Journal mit Anrufnamen aus den vier verschiedenen Telefonbüchern wird angezeigt. Bei Anrufen kann das Programm mit einem FB-Telefonbuch umgehen. Ist ein Eintrag vorhanden wird auch bei einem Gespräch der Name und die Rufnummer angezeigt. Das Journal wird erst aktualisiert, wenn das Gespräch beendet wird. Der Quelltext von RR ist in C. Kann ich leider nicht.

Besteht die Möglichkeit FB_Callmonitor so zu ändern, dass das Telefonuch der FB zusätzlich zu "per Datei, Telnet oder direkt lokal" auch nach der RR-Methode eingelesen werden kann?

MfG

[JoWiemann]

Hallo Ralf,

arbeite dran 

Grüße Jörg

[Ralf W.]

Veräppeln kann ich mich alleine ...

Gesendet von meinem XT1032 mit Tapatalk

[JoWiemann]

Wieso veräppeln?!

Es gibt die Möglichkeit das aktive Telefonbuch, also auch Google, wenn aktiv, per HTTPMod und den schon in FBRemote entwickelten Anmeldeprozeduren zu holen.

Vielleicht habe ich ja auch nur RR falsch verstanden.

Grüße Jörg

[Ralf W.]

Sorry, dann habe ich das falsch interpretiert.

FBremote sagt mir im Moment nichts. Wenn ich wieder Zuhause bin schaue ich es mir an.

Danke für der Hinweis.

MfG

PS: Veräppelt ... gilt als virtuell gelöscht.

Gesendet von meinem Lenovo B6000-H mit Tapatalk

[Ralf W.]

@JoWiemann

Hallo Jörg,

danke noch einmal. Dein Hinweis auf FBREMOTE hat mich auf den für mich richtigen Weg gebracht. Ich habe mir jetzt ein kleines Skript gebaut, das meine zwei internen und zwei Google-Telefonbücher aus der FB ausliest und verbindet. Das Ergebnis ist dann phonebook.xml. Damit kann FB_CALLMONITOR arbeiten.

Zwischendurch habe ich an mir gezweifelt, da meine Testanrufe vom Handy immer external_name=unknown ergaben. Bis ich dann irgendwann verstanden habe, das Leerzeichen in der Telefonnummer nicht berücksichtigt werden. Habe danach gesucht und folgende Änderung nach Zeile 743 in FB_CALLMONITOR vorgenommen:

Code Auswählen Erweitern

$number =~ s/^\+\d\d/0/g; # quick'n'dirty fix in case of international number format.
$number =~ s/\s//g;
$number =~ s/\s//g if($number =~ /@/);
Ich habe leider noch nicht so viel Ahnung von Perl. Das kann man sicherlich eleganter lösen.

Was ist zu tun, damit das dauerhaft geändert wird? Oder reicht die Frage hier?

MfG

[JoWiemann]

Hallo Ralf,

danke für die Rückmeldung und ich glaube, dass ein paar Leute dein Skript gerne verwenden würden. Wäre also schön, wenn Du es hier posten würdest.

Ich denke, dass sich Markus um die von Dir vorgeschlagene Änderung kümmern wird.

Grüße Jörg

[Ralf W.]

Na klar. Ist nix dolles. Ich werde es mittels at (FHEM) einmal in der Woche laufen lassen (Rechte beachten). 

Grundlage dafür sind:
http://forum.fhem.de/index.php/topic,22288.0.html  --- FBREMOTE
https://home.debian-hell.org/blog/2013/03/21/konfiguration-der-avm-fritzbox-7390-per-wgetcurl-script-sichern/  --- die letzten vier Zeilen wurden ersetzt
http://stackoverflow.com/questions/9004135/merge-multiple-xml-files-from-command-line  --- xml-merge

Code Auswählen Erweitern

#!/bin/bash

# FritzBox credentials
_FBOX="http://192.168.1.1"
_PASSWORD="tumadatmähei"

# get challenge key from FB
_CHALLENGE=$(wget --quiet -O- ${_FBOX}/login.lua | \
grep "^g_challenge" | \
awk -F'"' '{ print $2 }')

# build md5 from challenge key and password
_MD5=$(echo -n ${_CHALLENGE}"-"${_PASSWORD} | \
iconv -f ISO8859-1 -t UTF-16LE | \
md5sum -b | \
awk '{print substr($0,1,32)}')

# assemble challenge key and md5
_RESPONSE=${_CHALLENGE}"-"${_MD5}

# build response data for later use
_POSTDATA="response=${_RESPONSE}&page=&username="

# get sid for later use
_SID=$(wget --quiet -O- --post-data="${_POSTDATA}" "${_FBOX}/login.lua" | \
grep "home.lua?sid=" | \
head -1 | \
awk -F'"' '{ print $6 }' | \
awk -F'=' '{ print $2 }')

### ab hier meine Aenderungen
# get configuration from FB and write to FILE
curl --form "sid=${_SID}" \
--form "PhonebookId=0" \
--form "PhonebookExportName=Telefonbuch" \
--form "PhonebookExport=" \
${_FBOX}/cgi-bin/firmwarecfg >/tmp/pb_fb0.xml

curl --form "sid=${_SID}" \
--form "PhonebookId=1" \
--form "PhonebookExportName=Telefonbuch" \
--form "PhonebookExport=" \
${_FBOX}/cgi-bin/firmwarecfg >/tmp/pb_fb1.xml

curl --form "sid=${_SID}" \
--form "PhonebookId=240" \
--form "PhonebookExportName=Telefonbuch" \
--form "PhonebookExport=" \
${_FBOX}/cgi-bin/firmwarecfg >/tmp/pb_google0.xml

curl --form "sid=${_SID}" \
--form "PhonebookId=241" \
--form "PhonebookExportName=Telefonbuch" \
--form "PhonebookExport=" \
${_FBOX}/cgi-bin/firmwarecfg >/tmp/pb_google1.xml

# phonebook für FB_CALLMONITIOR - Pfade anpassen
./xmlcombine.py /tmp/pb_fb0.xml /tmp/pb_fb1.xml /tmp/pb_google0.xml /tmp/pb_google1.xml >phonebook.xml


Ob die anderen externen Telefonbücher (GMX, usw.) auch über 240, 241, etc. erreichbar sind, kann ich nicht sagen, habe keine. Websuche leider kein Ergebnis. Habe das einfach über eine Schleife herausgefunden.

MfG

[Markus Bloch]

Zwischendurch habe ich an mir gezweifelt, da meine Testanrufe vom Handy immer external_name=unknown ergaben. Bis ich dann irgendwann verstanden habe, das Leerzeichen in der Telefonnummer nicht berücksichtigt werden. Habe danach gesucht und folgende Änderung nach Zeile 743 in FB_CALLMONITOR vorgenommen:

Code Auswählen Erweitern

$number =~ s/^\+\d\d/0/g; # quick'n'dirty fix in case of international number format.
$number =~ s/\s//g;
$number =~ s/\s//g if($number =~ /@/);
Ich habe leider noch nicht so viel Ahnung von Perl. Das kann man sicherlich eleganter lösen.

Was ist zu tun, damit das dauerhaft geändert wird? Oder reicht die Frage hier?

MfG

Hallo Ralf,

habe ich gefixt und gibts ab morgen via update.

Viele Grüße

Markus

[JoWiemann]

Update: Returnwert hinzugefügt; Erläuternde Grafik
Update II: Fehlerbehandlung implementiert

Hallo,

mit viel Recherche und viel lesen und ausprobieren und Ralfs Hinweisen nun eine Funktion mit der das FritzBox Telefonbuch, bzw. die Telefonbücher, interne und online, ausgelesen werden können.

Die notwendige PhonebookId scheint wohl folgendermaßen von der FritzBox generiert zu werden:

0 == original Telefonbuch der FritzBox
1, 2, ... jedes weitere interne Telefonbuch

240 == das erste online Telefonbuch
241, 242, ... jedes weitere online Telefonbuch

Code Auswählen Erweitern

sub FB_Get_PhoneBook()
{
  my $boxaddress = "fritz.box";
  my $phonebookId = 240; # 0,1,... für die internen 240,241,... für die online Telefonbücher
  my $phonebookExpName = "Telefonbuch"; # Scheint keine Rolle zu spielen
  my $boxpasswort = ".....";

  my $user_agent = LWP::UserAgent->new;
  my @Atemp;

  # challenge string holen
  my $http_response = $user_agent->get("http://$boxaddress/login_sid.lua");
  if ($http_response->is_error) {
    Log3 undef, 3, "FB_TestScript -> Fehler bei challenge string holen: $http_response->status_line()";
    return $http_response->status_line(); # $http_response->code() or $http_response->message()
  }

  @Atemp = $http_response->content;
  Log3 undef, 3, "FB_TestScript -> challenge string: @Atemp";

  $http_response->content =~ /<Challenge>(\w+)/i and my $challengeStr = $1;

  # response zur challenge generieren
  my $ch_Pw = "$challengeStr-$boxpasswort";

  $ch_Pw =~ s/(.)/$1 . chr(0)/eg;
  my $md5 = lc(md5_hex($ch_Pw));
  my $challenge_response = "$challengeStr-$md5";

  # Session ID erfragen
  $http_response = $user_agent->get( "http://$boxaddress/login_sid.lua?user=&response=$challenge_response");
  if ($http_response->is_error) {
    Log3 undef, 3, "FB_TestScript -> Fehler bei Session ID erfragen: $http_response->status_line()";
    return $http_response->status_line(); # $http_response->code() or $http_response->message()
  }

  @Atemp = $http_response->content;
  Log3 undef, 3, "FB_TestScript -> Session ID erfragen: @Atemp";

  # Session ID aus XML Daten auslesen
  $http_response->content =~ /<SID>(\w+)/i and my $sid = $1;

  if($sid eq "0000000000000000") {
    Log3 undef, 3, "FB_TestScript -> Fehler bei SID Generierung";
    return "SID konnte nicht erzeugt werden";
  }

  Log3 undef, 3, "FB_TestScript -> SID: $sid";

  $http_response = $user_agent->post("http://$boxaddress/cgi-bin/firmwarecfg",
  Content=>['sid' => $sid, 'PhonebookId' => $phonebookId, 'PhonebookExportName' => $phonebookExpName,
  'PhonebookExport' => '' ], Content_Type => 'multipart/form-data');
  if ($http_response->is_error) {
    Log3 undef, 3, "FB_TestScript -> Fehler bei Telefonbuchexport $phonebookId: $http_response->status_line()";
    return $http_response->status_line(); # $http_response->code() or $http_response->message()
  }

  @Atemp = $http_response->content;
  Log3 undef, 3, "FB_TestScript -> Seite für Telefonbuch $phonebookId geholt ";

  my @FBPhoneBook = $http_response->content;

  my $temp = join('', @FBPhoneBook);

  if($temp =~ /\<phonebooks\>([\s\S]+)\<\/phonebooks\>/) {
    if(trim($1) eq "") {
      Log3 undef, 3, "FB_TestScript -> Kein Telefonbuch $phonebookId definiert: $temp";
      return "Kein Telefonbuch gefunden";
    } else {
      Log3 undef, 3, "FB_TestScript -> Telefonbuch $phonebookId exportiert";
    }
  } else {
    Log3 undef, 3, "FB_TestScript -> Kein Telefonbuch $phonebookId definiert - Fehler bei Seitenabfrage: $temp";
    return "Kein Telefonbuch gefunden - Fehler bei Seitenabfrage";
  }

  Log3 undef, 3, "FB_TestScript -> Fertig";

  return (undef, join('', @FBPhoneBook));
}




Grüße Jörg

[Ralf W.]

Hallo Ralf,

habe ich gefixt und gibts ab morgen via update.

Viele Grüße

Markus

Danke!

MfG

Gesendet von meinem Lenovo B6000-H mit Tapatalk

[Mitch]

Hallo Jörg,

das hört sich prima an, Danke!!

Ich wollte jetzt mal umstellen (hab auch eine Kabelbox), dass das Telefonbuch über den Webzugriff geholt wird.
Allerdings kann ich nicht nachvollziehen, wie?
Hier steht es nicht und im Commandref steht auch ncihts darüber?

Vielen Dank für eine kleine Unterstützung.

[JoWiemann]

Hallo Mitch,

ist noch nicht im aktuellen FB_CALLMONITOR drin. Ich habe Markus eine Version zum Testen geschickt. Wenn er als Maintainer zufrieden ist, wird es einchecken und damit veröffentlichen.

Grüße Jörg

[Mitch]

Ah, okay, danke.

Brauch ich dann zusätzlich FBREMOTE?

[JoWiemann]

Nein

[Markus Bloch]

Hallo Jörg,

Ich werd mir deine Version in den nächsten Tagen anschauen. Weist du zufällig, ob es einen Weg gibt die ID's aller verfügbaren Telefonbücher zu ermitteln? Ich möchte es vermeiden, dass der User die ID's angeben muss, obwohl er so direkt keine Ahnung hat wo er die her nehmen soll oder wie die sich ergibt.

Hast du da zufällig eine Idee?

Viele Grüße

Markus

[Ralf W.]

Hallo Markus,

hilft Dir das?

Code Auswählen Erweitern

curl -s http://fritz.box/fon_num/fonbook_select.lua?aktuelle_sid | grep "label for="
ergibt:

Code Auswählen Erweitern

<label for="uiBookid:0">Telefonbuch
<label for="uiBookid:1">Sonstige
<label for="uiBookid:240">Google Karl
<label for="uiBookid:241">Google Mamba

MfG

[Markus Bloch]

Ja genau, super.

[Mitch]

Gibt es denn hier etwas neues?

[Markus Bloch]

Es steht auf meiner ToDo-Liste. Nachwievor

[Mitch]

Prima, Danke.

Wenn ich irgendwie unterstützen kann...

[Ralf W.]

Danke! Super umgesetzt!   

Code Auswählen Erweitern

2015.02.16 14:06:32 3: FB_CALLMONITOR (FB_Anrufe) - phonebooks found: Telefonbuch (id: 0), Sonstige (id: 1), Google Hurzel (id: 240), Google Purzel (id: 241)
2015.02.16 14:06:33 2: FB_CALLMONITOR (FB_Anrufe) - read 16 contacts from remote phonebook "Telefonbuch"
2015.02.16 14:06:33 2: FB_CALLMONITOR (FB_Anrufe) - read 55 contacts from remote phonebook "Sonstige"
2015.02.16 14:06:34 2: FB_CALLMONITOR (FB_Anrufe) - read 313 contacts from remote phonebook "Google Hurzel"
2015.02.16 14:06:35 2: FB_CALLMONITOR (FB_Anrufe) - read 64 contacts from remote phonebook "Google Purzel"

Jetzt kann ich das Gefrickel mit den xml-Dateien abschalten.

MfG

[Mitch]

Auch gerade aktualisiert.

Vielen Dank, funzt prima!!

[Grembold]

Ist dies schon über update verfügbar?

[Mitch]

Ja

[prodigy7]

Hallo zusammen,

vielen Dank für die Implementierung der Telefonbuchabfrage via Webservice!!! Ich hatte mich die Tage schon umgeschaut, wie ich via Perl direkt über die Google API Kontakte abfragen kann, so passt es aber auch perfekt. Was mir aber aufgefallen ist: Das "filtern" der Nummern, also soweit bereinigen das man einen saubere Abfrage im Telefonbuch machen kann, funktioniert nicht einwandfrei. Ich trage Telefonnummern prinzipiell im Format +49 (Vorwahl) Nummer ein und da findet er momentan garnichts. Ebenso wenn man z.B. mit einem Minus eine Durchwahl eingetragen hat.

Ich habe die Filterung etwas erweitert. Unter anderem werden jetzt Steuercodes (#111#) ebenso wie Klammern und Extensionzeichen gefilert. Zudem sollte das mit der Ländervorwahl jetzt auch sauber funktioniert. Patch im Anhang.

[Markus Bloch]

ist seit heute im update verfügbar.

Gruß
Markus

[carzl]

Ich muss mal nachfragen, und gleich mal sorry vorab, falls ich als Frischling nur zu blond bin...

Ich habe auf meiner Fritte auch die Google-Kontakte als Telefonbuch eingebunden (lasse die übrigens 1x täglich von meinen Outlook-Kontakten per gsyncit aktualisieren). FB_Callmonitor (Update-Stand von heute) löst aber keinen Namen auf und zeigt immer nur "unknown". Im Log müsste ich ja nach einem Fhem-Neustart sehen, das der Callmon online-Adressbücher gefunden hat, richtig? Da habe ich aber keinerlei Einträge im Log stehen. Meine Def sieht so aus, ist da was falsch?!

Danke für Eure Hilfe 

[Markus Bloch]

Wird dir denn das Telefonbuch angezeigt, wenn du in der FHEM Oberfläche ein "get <name> showPhonebookIds" ausführst?

[carzl]

da sagt Fhem mir "unknown argument showPhonebookIds, choose one of search showCacheEntries". Aber der Callmon müsste das Argument doch kennen, habe heute erst ein Update gefahren. Auch komisch: Nach dem Fhem-Neustart steht "NTFY return:  my_callmonitor:Could not read FritzBox phonebook file - Can't open /opt/fhem/fb_phonebook.xml: No such file or directory" im Log. Ich dachte jetzt noch es könnte daran liegen, dass ich außer dem Google-Telefonbuch überhaupt kein lokales auf der FB liegen habe, also auch kein leeres, sondern wirklich gar keins. Fix eins mit einem Eintrag angelegt, der Effekt ist aber derselbe...

[JoWiemann]

Hallo,

lösch doch mal bitte folgendes Attribut:

reverse-search-phonebook-file //Dieses Attribut wirkt nur, wenn über die FritzBox-Oberfläche ein Telefonbuch als XML-Datei gesichert worden ist und dann manuell nach fhem kopiert worden ist.

Definiere bitte folgendes Attribut:

fritzbox-remote-phonebook  mit dem Wert 1

Dann bitte fhem neu starten. Danach wirst Du vom Callmonitor in der Web-IF unter set Password finden, wo Du dann das Passwort für Deine FritzBox hinterlegts. Je nachdem welches Logonverfahren Du bei der FritzBox gewählt hast must Du noch das Attribut fritzbox-user setzen.

Dann über rereadPhonebook das Phonebook neu einlesen, bzw sich über get showPhonebookIds die vorhanden Telefonbücher auf der FritzBox anzeigen lassen.

Grüße Jörg

[carzl]

Super, vielen vielen Dank! Jetzt hats gefunzt und Fhem sieht meine Google-Kontakte. Muss mich da morgen nochmal genau reindenken, damit ich auch verstehe was ich gemacht habe 
Und bzgl. Namensauflösung in Abhängigkeit der Rufnummernformatierung muss ich nochmal gucken, klappt noch nicht ganz. Habe alle Nummern so hier im Telefonbuch '+49 (123) 456789'. Der Callmon zeigt beim Rausrufen '0123456789'. Aber mit der Landes- und Ortsvorwahl kann man ja noch bisschen spielen in den Attributen, das wird wohl kein großes Problem sein...

Also nochmal besten Dank! 

[carzl]

Muss jetzt doch nochmal wg. der Rufnummernauflösung fragen. Ich pflege meine Kontakte im Outlook, damit im von dort synchronisierten Google und damit im von dort synchronisierten Online-Telefonbuch in der Fritte im Format +49 (123) 456789. Ein showPhonebookEntries gibt mir dann 49123456789 zurück. Im Festnetzttelefon synce ich ebenfalls mit Google, dort steht also wieder +49 (123) 456789 drin. Wenn ich nun rausrufe, ist die physisch gewählte Nummer aber 0123456789, die listet mir so der Callmon. Aber - er ordnet wohl wg. des Formatierungsunterschieds nicht den Namen zu. Habe schon verschiedene Varianten mit Attr local-area-code und country-code probiert, aber klappt nicht. Sollten sowohl Länderkennung als 0049 als auch Vorwahl als 0123 unbedingt als Attribut gesetzt sein? Oder brauche ich gar nicht weiter versuchen und komme nur zum Ziel wenn ich meine Formatierung bei Google ändere?

Danke...

[JoWiemann]

Hallo,

Ironisch: Bei so was frage man doch einfach mal die DIN 

DIN 5008 von A bis Z – Telefonnummern

Telefonnummern mit Vorwahl

Die Telefonnummer wird durch einen Leerschritt von der restlichen Telefon-Nummer abgesetzt.


Beispiele: 
0873 376461
03748 37682358

Telefonnummer mit Vorwahl- und Durchwahlnummer

Eine Durchwahlnummer wird mit einem Bindestrich an die Anlagennummer angehangen.


Beispiele: 
05444 347687-350
0764 812632-41 

Sondernummern

Eine Sondernummer, bei der die Ziffer nach der Vorwahl Aufschluss über den Tarif gibt, wird wie folgt gegliedert.


Beispiel: 
0180 2 12334
0800 5 23234213

Telefonnummern im Schriftverkehr mit dem Ausland

Stellen Sie für Deutschland ein Pluszeichen und eine 49 voran. Es entfällt dann die 0 der Vorwahl.


Beispiel: 
+49 30 3432622-113 

Telefax- und Handynummern

Die Schreibweise für Handy- und Faxnummern ist mit der für Telefonnummern identisch.

Beispiel: 
Mobil: 0179 111111 

Jetzt ist nur die Frage: Was hat Markus berücksichtigt. Ich vermute mal (...) eher nicht.

Grüße Jörg

[carzl]

Ja, DIN 5008 - da hast Du natürlich recht    Ich habe vor zig Jahren mal angefangen, meine Kontakte schön einheitlich nach dem kanonischen Format zu pflegen https://msdn.microsoft.com/de-de/library/cc728034.aspx, Vorteil: egal wo ich bin (in meinem Vorwahlbereich oder nicht, im In- oder im Ausland), egal ob mobil oder Festnetz, der Anruf geht immer korrekt raus.

In einem anderen Thread hier hatte jemand mal kürzlich angeregt, evtl. statt der kompletten Nummer nur x Ziffern von rechts beginnend gegenzuprüfen, um sich ändernde Call-by-Call-Vorwahlen zu umgehen. Wenn man das machen würde, könnte man auch die evtl. differierenden Anlageformate für Landes- und Ortsvorwahl umgehen sprich sich für die Namensauflösung nicht dran stören.

Ich habe das also insofern richtig verstanden - solange ich meine Nummernformate nicht ändere, hat der Callmonitor auch keine Chance korrekt aufzulösen, richtig?!

[JoWiemann]

Hallo,

hm Kanonisch:
Kanonisch (latein. canon ,,Norm, Regel") bedeutet ,,dem Kanon entsprechend" und steht für: kirchliche Bedeutung. Kanonisches Recht, das Kirchenrecht in den ... 


habe einen Hinweis unter http://forum.fhem.de/index.php/topic,36274.msg288212.html#msg288212 aufgemacht.

Grüße Jörg

[carzl]

Ja ok super, hast ja den kurzen Draht zum Dev Markus 
Danke!

[carzl]

Danke nochmal Jörg, dass Du Markus angetriggert hattest - hatte in dem anderen Callmon-Thread ja schon geschrieben dass es jetzt klappt. Ich werde wohl auch weiter Fan des kanonischen Formats bleiben, DIN hin oder her... Mein führendes Kontakte-System ist MS Outlook, und wenn man dort die Rufnummern nicht nur in das normale Freifeld, sondern per Klick auf z.B. "Privat" in die dann nach Vorwahl, Durchwahl usw. aufgetrennten Felder einträgt, dann legt Outlook die Nummern in genau dem Format an. Mag mich davon nicht lösen wollen - vor allem jetzt nicht wo der Callmon das doch super auflösen kann 

Also nochmal danke für die Unterstützung!