[Modul Request]Echtzeit-Analyse des Netzwerkverkehrs mit ntopng auf FritzBox

Begonnen von r00t2, 28 Oktober 2019, 12:49:19

Vorheriges Thema - Nächstes Thema

r00t2

Hallo zusammen,

durch Zufall bin ich auf das Tool "(ntopng" gestoßen (Github hier: https://github.com/ntop/ntopng).

Das ist ein Web-basierter passiver Echtzeit-Netzwerkanalyzer, der unter anderem auch mit dem PCAP Format (was auch von Wireshark verwendet wird) umgehen kann.

Für FritzBoxen gibt es ein nettes Skript, welches auf einem Linux System dafür sorgt, dass man - ohne weitere Zusatz-Tools - sämtlichen Datenverkehr, der durch die FritzBox geht direkt per Pipe in ntopng zur Verfügung hat.
So sieht man nicht nur, wie viele Daten rein oder raus gehen, sondern auch welcher Client im Heimnetz mit welchem externen Server Daten austauscht und über welches Protokoll das läuft.

Könnte man über die ntopng API (hier verfügbar: https://www.ntop.org/guides/ntopng/api/) ein Modul für FHEM bauen, was einem diverse Readings zur Verfügung stellt, sodass man nicht zwei Benutzeroberflächen benötigt?
Ich stelle mir das so ähnlich vor wie das FHEM FritzBox Modul mit TR-064.

Wäre schön, wenn sich jemand mit Sachverstand die Infos mal ansieht und es vielleicht in ein neues Modul gießen kann.

Danke!
FHEM 6.0 (Raspberry Pi 2 B | Raspberry Pi OS Lite | Perl 5.28.1 | UZB Z-WAVE.Me | Hue Bridge V1 | SIGNALDuino 433 MHz | FritzBox | Kodi | Pioneer AVR | MQTT | Node-RED | Diverse Google Dienste)

HeikoGr

Klingt interessant.
Wirft aber mit Sicherheit neben einer Menge Daten auch rechtliche Fragen (je nach Nutzerkreis der Fritzbox) auf.

Das Script wird jedoch mit FritzOS >= 7 vermutlich nicht ohne Anpassung funktionieren.

r00t2

In welcher Hinsicht meinst Du rechtliche Fragen?

Das Skript ist vom 27. August 2018 - da war es vermutlich mit FritzOS 7 noch nicht so weit her. Was für Anpassungen meinst Du werden ggf. notwendig sein?
FHEM 6.0 (Raspberry Pi 2 B | Raspberry Pi OS Lite | Perl 5.28.1 | UZB Z-WAVE.Me | Hue Bridge V1 | SIGNALDuino 433 MHz | FritzBox | Kodi | Pioneer AVR | MQTT | Node-RED | Diverse Google Dienste)

JoWiemann

Zitat von: HeikoGr am 28 Oktober 2019, 15:34:59
Klingt interessant.
Wirft aber mit Sicherheit neben einer Menge Daten auch rechtliche Fragen (je nach Nutzerkreis der Fritzbox) auf.

Das Script wird jedoch mit FritzOS >= 7 vermutlich nicht ohne Anpassung funktionieren.

Das Mitschneiden von Telefongesprächen und im allgemeinen von Datenverkehr (auch im privaten Bereich) ist in Deutschland grundsätzlich verboten. Es muss also sichergestellt werden, dass hier durch das Script keinerlei Daten mitgeschnitten werden.

Grüße Jörg
Jörg Wiemann

Slave: RPi B+ mit 512 MB, COC (868 MHz), CUL V3 (433.92MHz SlowRF); FHEMduino, Aktuelles FHEM

Master: CubieTruck; Debian; Aktuelles FHEM

HeikoGr

JoWiemann war schneller:
Datenschutz. Wenn du die Fritzbox nicht zu 100% alleine nutzt.

Das gilt aber nicht nur für Telefongespräche! Auch E-Mails, Chats, URL-Verläufe...

FritzOS7:
Sorry, mein Fehler. Ich dachte FritzOS 7 hätten das cgi-bin Verzeichnis nicht mehr. hab aber gerade nachgeschaut: Das URL Schema von dem Capture Script ist noch gültig. cgi-bin/capture_notimeout gibt's noch.

JoWiemann

Zitat von: HeikoGr am 28 Oktober 2019, 15:46:56
Datenschutz. Wenn du die Fritzbox nicht zu 100% alleine nutzt.

Sorry, aber Datenverkehr bedeutet auch meistens eine externe Kommunikation. Und auch hier gilt: Das Mitschneiden ist verboten.

Es muss also sichergestellt werden, dass nur der interne Datenverkehr gemonitort wird.

Grüße Jörg
Jörg Wiemann

Slave: RPi B+ mit 512 MB, COC (868 MHz), CUL V3 (433.92MHz SlowRF); FHEMduino, Aktuelles FHEM

Master: CubieTruck; Debian; Aktuelles FHEM

r00t2

Zitat von: JoWiemann am 28 Oktober 2019, 15:46:34
Das Mitschneiden von Telefongesprächen und im allgemeinen von Datenverkehr (auch im privaten Bereich) ist in Deutschland grundsätzlich verboten. Es muss also sichergestellt werden, dass hier durch das Script keinerlei Daten mitgeschnitten werden.
Danke Dir für die Erklärung.

Also darf ich vom Prinzip her - auch wenn ich der einzige Nutzer in meinem Heimnetz bin - nicht mitlesen, was für Daten von meinem PC aus an diverse Webserver rein und raus gehen, wenn ich surfe bzw. ich darf nicht anschauen, welche Daten mein Smart-TV alles sendet und empfängt, wenn er online ist?

Eiderwei...  :-\
FHEM 6.0 (Raspberry Pi 2 B | Raspberry Pi OS Lite | Perl 5.28.1 | UZB Z-WAVE.Me | Hue Bridge V1 | SIGNALDuino 433 MHz | FritzBox | Kodi | Pioneer AVR | MQTT | Node-RED | Diverse Google Dienste)

JoWiemann

Zitat von: r00t2 am 28 Oktober 2019, 15:51:34
Danke Dir für die Erklärung.

Also darf ich vom Prinzip her - auch wenn ich der einzige Nutzer in meinem Heimnetz bin - nicht mitlesen, was für Daten von meinem PC aus an diverse Webserver rein und raus gehen, wenn ich surfe bzw. ich darf nicht anschauen, welche Daten mein Smart-TV alles sendet und empfängt, wenn er online ist?

Eiderwei...  :-\

Na ja, Du kannst ja mal die Gegenstelle fragen, ob sie damit einverstanden ist. Jedenfalls hast Du ja zugestimmt, dass Dein Smart TV Daten an Dienstleister bereit stellt. Einfach mal den Spieß umdrehen.

PS: Bin mal gespannt auf die Antworten...

Grüße Jörg
Jörg Wiemann

Slave: RPi B+ mit 512 MB, COC (868 MHz), CUL V3 (433.92MHz SlowRF); FHEMduino, Aktuelles FHEM

Master: CubieTruck; Debian; Aktuelles FHEM

HeikoGr

Ich würde ein ganz klares: "es kommt darauf an!" in den Raum werfen.

Ein pauschales mitschneiden und analysieren des gesamten Datenverkehrs ist mit Sicherheit kritisch zu betrachten.
Alles andere ist eine Einzelfallbetrachtung. (Analyse, Debugging, etc.)

Und bevor jemand auf falsche Gedanken kommt: Auch die Metadaten (also ohne Inhalt) können schon kritisch sein.

r00t2

Auf welche Gesetzeslage bezieht ihr euch dabei? Da mich das Thema wirklich interessiert möchte ich mich hier weitergehend einarbeiten.
FHEM 6.0 (Raspberry Pi 2 B | Raspberry Pi OS Lite | Perl 5.28.1 | UZB Z-WAVE.Me | Hue Bridge V1 | SIGNALDuino 433 MHz | FritzBox | Kodi | Pioneer AVR | MQTT | Node-RED | Diverse Google Dienste)

JoWiemann

Jörg Wiemann

Slave: RPi B+ mit 512 MB, COC (868 MHz), CUL V3 (433.92MHz SlowRF); FHEMduino, Aktuelles FHEM

Master: CubieTruck; Debian; Aktuelles FHEM

r00t2

Den Artikel kenne ich, danke Dir dennoch!

Nur geht es dort in der Hauptsache um ein Firmenumfeld und die Beziehungen des Unternehmens zu den schutzwürdigen Daten seiner Mitarbeiter.

Ein ähnliches Thema wird hier ebenfalls behandelt: https://www.security-insider.de/netzwerkueberwachung-mit-wireshark-a-597584/
Aussage dort: "... Im privaten Umfeld des eigenen Netzwerks ist der Einsatz eher unkritisch, während in einem Firmennetz eine Erlaubnis einzuholen ist. ...".
FHEM 6.0 (Raspberry Pi 2 B | Raspberry Pi OS Lite | Perl 5.28.1 | UZB Z-WAVE.Me | Hue Bridge V1 | SIGNALDuino 433 MHz | FritzBox | Kodi | Pioneer AVR | MQTT | Node-RED | Diverse Google Dienste)

JoWiemann

Zitat von: r00t2 am 28 Oktober 2019, 16:18:13
Den Artikel kenne ich, danke Dir dennoch!

Nur geht es dort in der Hauptsache um ein Firmenumfeld und die Beziehungen des Unternehmens zu den schutzwürdigen Daten seiner Mitarbeiter.

Ein ähnliches Thema wird hier ebenfalls behandelt: https://www.security-insider.de/netzwerkueberwachung-mit-wireshark-a-597584/
Aussage dort: "... Im privaten Umfeld des eigenen Netzwerks ist der Einsatz eher unkritisch, während in einem Firmennetz eine Erlaubnis einzuholen ist. ...".

"...Im privaten Umfeld des eigenen Netzwerks ist der Einsatz eher unkritisch..." Privates Umfeld bedeutet, nur der Datenverkehr innerhalb Deines Netzes. Nicht der Datenverkehr von und ins Internet. Selbst der Datenverkehr in Deinem Netz bedarf der Zustimmung der Beteiligten. Die DS-GVO und auch das Telemediengesetz gilt für Alle.

[persönliche Stellungnahme]
Ich persönlich finde es einfach wichtig, dass wir das Thema Datenschutz und Privatsphäre ernst nehmen. Ich gehe auch nicht in den Zimmern meiner Kinder spionieren und monitore schon gar nicht deren Datenverkehr. Von meiner Frau mal ganz abgesehen... Aber das muss jeder für sich selber klären und dann verantworten.
[/persönliche Stellungnahme]

Grüße Jörg
Jörg Wiemann

Slave: RPi B+ mit 512 MB, COC (868 MHz), CUL V3 (433.92MHz SlowRF); FHEMduino, Aktuelles FHEM

Master: CubieTruck; Debian; Aktuelles FHEM

r00t2

Oh weh, da hab ich ein Fass aufgemacht, wie es scheint.

Aber darüber reden ist vielleicht ja sogar gut und hilft dem allseitigen Verständnis zur Problematik. Wenn es zu OT wird bzw. das Thema zu heiß wird, bitte Info an mich. Gerne ändere ich dann auch den Titel wenn erforderlich/gewünscht.

Persönlich halte ich es auch für eine absolut wichtige Sache den Datenschutz und die Privatsphäre zu respektieren und zu schützen. Es wäre vermutlich in diesem Fall zu erfragen, welche Daten ausgewertet werden und in welcher "Tiefe". Letztendlich stellen Tools wie z. B. der Windows Taskmanager auch schon Möglichkeiten zur Verfügung zu monitoren, welche Prozesse wie viel Datenpakete im LAN ein und ausgehend haben. Geht man einen Schritt weiter und schaut man z. B. mit netstat -abn welche Verbindungen von den Prozessen hergestellt sind, so hat man weitere Informationen, usw.

Und ein paar Fragen sind vielleicht auch genauer zu definieren: Wo hört "mein Netz" auf und wo fängt der andere Part an? Ist "mein Netz" alles hinter dem NAT?

Wäre in diesem Zusammenhang vielleicht sogar Software wie Pi-Hole bedenklich, wo man auch die Aktivitäten in der View "Clients over time" clientweise verfolgen kann und welche Seiten wann geblockt wurden?

Oder wie sieht es mit Dingen wie der FritzBox CallList aus. Immerhin werden hier auch persönliche Informationen (wer hat wann wen wie lange angerufen) gemonitored. Oder dem FritzBox Modul allgemein, welches mir monitored, welche Clients wann am LAN-Netz angemeldet sind?

Oder Tools wie netdata, die eine Vielzahl verschiedener Datenquellen "anzapfen" und monitoren können? https://www.admin-magazin.de/Das-Heft/2018/09/Monitoring-mit-Netdata
FHEM 6.0 (Raspberry Pi 2 B | Raspberry Pi OS Lite | Perl 5.28.1 | UZB Z-WAVE.Me | Hue Bridge V1 | SIGNALDuino 433 MHz | FritzBox | Kodi | Pioneer AVR | MQTT | Node-RED | Diverse Google Dienste)

schka17

Zitat von: r00t2 am 28 Oktober 2019, 16:50:16
Oh weh, da hab ich ein Fass aufgemacht, wie es scheint.

Aber darüber reden ist vielleicht ja sogar gut und hilft dem allseitigen Verständnis zur Problematik. Wenn es zu OT wird bzw. das Thema zu heiß wird, bitte Info an mich. Gerne ändere ich dann auch den Titel wenn erforderlich/gewünscht.

Persönlich halte ich es auch für eine absolut wichtige Sache den Datenschutz und die Privatsphäre zu respektieren und zu schützen. Es wäre vermutlich in diesem Fall zu erfragen, welche Daten ausgewertet werden und in welcher "Tiefe". Letztendlich stellen Tools wie z. B. der Windows Taskmanager auch schon Möglichkeiten zur Verfügung zu monitoren, welche Prozesse wie viel Datenpakete im LAN ein und ausgehend haben. Geht man einen Schritt weiter und schaut man z. B. mit netstat -abn welche Verbindungen von den Prozessen hergestellt sind, so hat man weitere Informationen, usw.

Und ein paar Fragen sind vielleicht auch genauer zu definieren: Wo hört "mein Netz" auf und wo fängt der andere Part an? Ist "mein Netz" alles hinter dem NAT?

Wäre in diesem Zusammenhang vielleicht sogar Software wie Pi-Hole bedenklich, wo man auch die Aktivitäten in der View "Clients over time" clientweise verfolgen kann und welche Seiten wann geblockt wurden?

Oder wie sieht es mit Dingen wie der FritzBox CallList aus. Immerhin werden hier auch persönliche Informationen (wer hat wann wen wie lange angerufen) gemonitored. Oder dem FritzBox Modul allgemein, welches mir monitored, welche Clients wann am LAN-Netz angemeldet sind?

Oder Tools wie netdata, die eine Vielzahl verschiedener Datenquellen "anzapfen" und monitoren können? https://www.admin-magazin.de/Das-Heft/2018/09/Monitoring-mit-Netdata
Sorry aber das ist doch Unsinn, ich werde mir von niemand verbieten lassen dass ich mir den Netzwerktraffic der über mein privates Netzwerk läuft, zu analysieren. Genau das selbe macht eigentlich jede IDS/IPS, selbst Antispam oder Antimalwar Lösungen analysieren Daten. Genauso wie ich mein Grundstück mit Kameras überwache. Ich verwendete Ntopng sehr lange, mittlerweile habe ich was professionelleres. Mach dir keine Sorgen und mach es einfach.


Sent from my iPad using Tapatalk
M: Thinclient x64 Debian | CUL FS20, HMS100WD, HMS100TF, HMS100T, HMS100CO, S300, S555TH | OWServer DS1420, DS18B20, DS2408 | RFXCOM UVN128, THWR800, THGR228N,RTGR328, PCR800 |Jeelink PCA301 EC3000|CUNO+IR|HMLAN|HMUSB|CUL433 Somfy|mySensors|espEasy
S1:Raspberry mit BPM810, Jeelink EC3000