74_Nmap

Begonnen von igami, 18 September 2016, 10:28:34

Vorheriges Thema - Nächstes Thema

Simon74

nmap kommt nur im eigenen Subnet zu den MAC Address Informationen, nicht wenn dieses geroutet wird.

Ist es möglich im Modul zum lokalen nmap Befehl einen 2. Befehl zu hinterlegen der zb. folgendes ausführt ?
ssh root@192.168.66.10 -p 22 "/usr/bin/nmap -sn 10.x.x.x/24"

Somit könnte das Problem bei "Hosts in anderen Subnetzen die MAC Address Information fehlt" umgangen werden.

igami

Zitat von: Simon74 am 06 Januar 2019, 15:57:33
nmap kommt nur im eigenen Subnet zu den MAC Address Informationen, nicht wenn dieses geroutet wird.

Ist es möglich im Modul zum lokalen nmap Befehl einen 2. Befehl zu hinterlegen der zb. folgendes ausführt ?
ssh root@192.168.66.10 -p 22 "/usr/bin/nmap -sn 10.x.x.x/24"

Somit könnte das Problem bei "Hosts in anderen Subnetzen die MAC Address Information fehlt" umgangen werden.
Versuch es doch mal mit dem path Attribut
Zitat
path
Path under which the Nmap program is to be reached.
The default is "/urs/bin/nmap".
Pi3 mit fhem.cfg + DbLog/logProxy
Komm vorbei zum FHEM Treffen im Kreis Gütersloh! Das nächste Mal im April 2020.

MAINTAINER: archetype, LuftdatenInfo, monitoring, msgDialog, Nmap, powerMap
ToDo: AVScene, FluxLED

Simon74

#242
Danke für Reply, vielleicht zu undeutlich von mir ausgedrückt.
Der Remote Befehl funktioniert bei eingerichteter ssh-key-auth genau so:
ssh root@remoteserver "/usr/bin/nmap -sn 10.8.5.0/24"

Jedoch müsste das Modul die Möglichkeit haben, diesen parallelen Execute zu starten.

Anstatt: (wo die MAC Addressen aus 10.8.x fehlen weil ich im 192.168.x bin)
defmod nmap Nmap 192.168.0.0/24 10.8.5.0/24
attr nmap args --privileged -sn
attr nmap deleteOldReadings 604800
attr nmap interval 300
attr nmap leadingZeros 1
attr nmap room System->nmap
attr nmap verbose 0


Nur lokal das starten:
defmod nmap Nmap 192.168.0.0/24
attr nmap args --privileged -sn
attr nmap deleteOldReadings 604800
attr nmap interval 300
attr nmap leadingZeros 1
attr nmap room System->nmap
attr nmap verbose 0


und eben den 2. Befehl..


Simon74

..oder die Möglichkeit ein nmap.txt zu importieren was wahrscheinlich im Modul einfacher sein dürfte ?

igami

Zitat von: Simon74 am 06 Januar 2019, 16:49:58
..oder die Möglichkeit ein nmap.txt zu importieren was wahrscheinlich im Modul einfacher sein dürfte ?
Also anstelle der hosts einen Dateipfad angeben?
Kannst du mir einen Link zur Nmap Doku geben wo das beschrieben ist?
Pi3 mit fhem.cfg + DbLog/logProxy
Komm vorbei zum FHEM Treffen im Kreis Gütersloh! Das nächste Mal im April 2020.

MAINTAINER: archetype, LuftdatenInfo, monitoring, msgDialog, Nmap, powerMap
ToDo: AVScene, FluxLED

Simon74

Hallo,

hat sich erledigt, funktioniert ja schon :-)
Das scannen mit nmap in einem anderen vlan erledige ich nun direkt im Modul, bzw. je einer Modulinstanz pro vLAN.
Das sieht so aus:


defmod nmap_vlan1 Nmap 10.8.5.0/24
attr nmap_vlan1 args ssh root@remotehost /usr/bin/nmap --privileged -sn 10.8.5.0/24
attr nmap_vlan1 interval 600
attr nmap_vlan1 leadingZeros 1
attr nmap_vlan1 path /usr/bin/sudo
attr nmap_vlan1 room System->nmap
attr nmap_vlan1 verbose 3


per [visudo] ermächtige ich noch fhem das machen zu dürfen:

# User alias specification
fhem    ALL = NOPASSWD: /usr/bin/nmap
fhem    ALL = NOPASSWD: /usr/bin/ssh

rasti

Hallo,

Ich mache bei mir alle 15 Minuten einen NMAP-Scan.
Laut fhem-log dauert dieser Scan aller 255 IPs in einem Subnet geschlagene 53 Sekunden


2019.01.13 18:02:37.763 3: Nmap (Netzwerk) - starting network scan
2019.01.13 18:03:30.092 3: Nmap (Netzwerk) - network scan done



Wenn ich nur die IPs 0....100 abfrage, immer noch 43 Sekunden.


2019.01.13 18:05:04.800 3: Nmap (Netzwerk) - starting network scan
2019.01.13 18:05:47.513 3: Nmap (Netzwerk) - network scan done



Option -sn ist aktiviert, d.h. der angeblich so zeitraubende Portscan ist ausgeschaltet.

Habe FHEM und NMAP zwar nur auf einem alten Raspi1 laufen  ;)   aaaber
gehe ich über eine ssh-Verbindung direkt auf den FHEM-Server und gebe dort
sudo nmap 192.168.178.0/24 -sn
ein, dann dauert der ganze Spaß nur 2-3 Sekunden.

Im Listing unten steht ja auch "scanDuration    2" .....

Trotzdem lege ich anscheinend mein FHEM damit für fast eine Minute lahm?

Wieso dauert die Abfrage über FHEM so lange und ist direkt auf dem Rechner so schnell ?

Viele Grüße

Ralf




Internals:
   ARGS       -sn
   DEF        192.168.178.0-100
   INTERVAL   900
   NAME       Netzwerk
   NR         1215
   PATH       /usr/bin/nmap
   STATE      done
   TYPE       Nmap
   Readings:
     2019-01-13 18:20:09   192.168.178.001_alias Fritzbox
.........
.........
.........
2019-01-13 18:20:09   192.168.178.099_uptimeText 1 T 00 h 29 min
     2019-01-13 18:20:09   NmapVersion     6.00
     2019-01-13 18:20:09   hostsScanned    101
     2019-01-13 18:20:09   hostsUp         26
     2019-01-13 18:20:09   knownHosts      31
     2019-01-13 18:20:09   scanDuration    2
     2019-01-13 18:20:09   state           done
   Helper:
Attributes:
   leadingZeros 1
   room       1__Netzwerk
   sudo       1


igami

Zitat von: rasti am 19 Januar 2019, 15:58:31
Trotzdem lege ich anscheinend mein FHEM damit für fast eine Minute lahm?

Wieso dauert die Abfrage über FHEM so lange und ist direkt auf dem Rechner so schnell ?
Der Scan wird in einen eigenen Prozess ausgelagert, dein FHEM wird also nicht lahm gelegt. Und wahrscheinlich ist hier auch das Problem: wie viele Module nutzt du noch die nonblocking etwas machen? Das wird IIRC alles in eine Warteschlange gepackt und nacheinander abgearbeitet. Habe bei mir gerade nochmal geschaut: mein FHEM Device braucht 3 Sekundern, der Scan an und für sich nur 2 Sekunden.
Pi3 mit fhem.cfg + DbLog/logProxy
Komm vorbei zum FHEM Treffen im Kreis Gütersloh! Das nächste Mal im April 2020.

MAINTAINER: archetype, LuftdatenInfo, monitoring, msgDialog, Nmap, powerMap
ToDo: AVScene, FluxLED

rasti

#248
Hallo Igami,


danke dir.

Untenstehend das was version mir in der FHEM-Konsole ausgibt.
Ist nicht die aktuellste FHEM-Version, es wurden immer nur solche Module aktualiert
bzw erstmals hinzugefügt, von denen ich auch die aktuellste Version wirklich benötigt habe....

Kannst du damit was anfangen ?

Grüsse

Ralf



Latest Revision: 11384

File                        Rev   Last Change

fhem.pl                     11338 2016-04-28 20:05:02Z rudolfkoenig
96_allowed.pm               11184 2016-04-04 08:24:33Z rudolfkoenig
90_at.pm                    11342 2016-04-29 11:25:51Z rudolfkoenig
98_autocreate.pm            11094 2016-03-20 09:41:03Z rudolfkoenig
98_cmdalias.pm              11023 2016-03-07 17:15:29Z rudolfkoenig
00_CUL.pm                   11217 2016-04-10 09:50:13Z rudolfkoenig
15_CUL_EM.pm                11348 2016-04-30 13:41:18Z rudolfkoenig
09_CUL_FHTTK.pm              7529 2015-01-11 18:52:43Z matscher
10_CUL_HM.pm                11352 2016-04-30 21:18:27Z martinp876
No Id found for 14_CUL_REDIRECT.pm
14_CUL_TCM97001.pm          11294 2016-04-21 20:32:28Z dancer0705
14_CUL_TX.pm                10140 2015-12-09 15:58:41Z rudolfkoenig
98_DOIF.pm                  11314 2016-04-26 18:29:24Z damian-s
98_dummy.pm                 11381 2016-05-03 18:31:39Z rudolfkoenig
73_ElectricityCalculator.pm 16601 2018-04-13 17:57:41Z Sailor
91_eventTypes.pm            10530 2016-01-16 19:27:21Z rudolfkoenig
98_expandJSON.pm            17324 2018-09-11 06:48:31Z dev0
72_FB_CALLLIST.pm           11300 2016-04-23 15:16:10Z markusbloch
72_FB_CALLMONITOR.pm        10740 2016-02-06 14:45:51Z markusbloch
01_FHEMWEB.pm               11341 2016-04-29 08:02:14Z rudolfkoenig
11_FHT.pm                   10204 2015-12-19 16:07:11Z rudolfkoenig
92_FileLog.pm               11336 2016-04-28 19:28:05Z rudolfkoenig
72_FRITZBOX.pm              11380 2016-05-03 18:08:31Z grompo
10_FS20.pm                  10984 2016-03-03 08:59:47Z rudolfkoenig
00_HMLAN.pm                 10820 2016-02-13 18:02:27Z martinp876
98_HTTPMOD.pm               11002 2016-03-05 19:39:06Z ststrobel
02_HTTPSRV.pm               10733 2016-02-06 09:02:02Z borisneubert
No Id found for 10_IT.pm
73_MPD.pm                    6419 2014-08-18 19:42:36Z wzut
00_MQTT.pm                   6935 2014-11-09 20:35:34Z ntruchsess
10_MQTT_DEVICE.pm            6935 2014-11-09 20:35:34Z ntruchsess
99_myUtilsTelefon.pm         1932 2012-10-06 20:15:33Z ulimaass
74_Nmap.pm                  14107 2017-04-26 03:51:05Z igami
91_notify.pm                11178 2016-04-03 14:20:32Z rudolfkoenig
70_ONKYO_AVR.pm             10857 2016-02-15 11:41:54Z loredo
21_OWTHERM.pm               11130 2016-03-27 09:14:38Z pahenning
00_OWX.pm                   11098 2016-03-20 13:03:21Z pahenning
59_PROPLANTA.pm             15358 2017-10-30 20:04:27Z tupol
33_readingsGroup.pm         16299 2018-03-01 08:06:55Z justme1968
95_remotecontrol.pm         10724 2016-02-04 18:17:33Z ulimaass
98_rssFeed.pm               11302 2016-04-24 15:46:57Z svnbenni
10_SOMFY.pm                 11028 2016-03-08 09:11:38Z thomyd
16_STACKABLE_CC.pm           8666 2015-05-30 18:05:25Z rudolfkoenig
99_SUNRISE_EL.pm            10569 2016-01-19 06:30:28Z rudolfkoenig
98_SVG.pm                   10792 2016-02-10 20:20:49Z rudolfkoenig
42_SYSMON.pm                11105 2016-03-20 19:37:02Z hexenmeister
98_telnet.pm                10551 2016-01-17 11:03:44Z rudolfkoenig
99_Utils.pm                 10570 2016-01-19 06:39:23Z rudolfkoenig
98_version.pm               11026 2016-03-08 07:25:45Z markusbloch
70_VIERA.pm                 10463 2016-01-11 18:03:07Z teevau
59_Weather.pm               99000 2016-03-29 12:00:00Z frank
98_weblink.pm               10530 2016-01-16 19:27:21Z rudolfkoenig

Blocking.pm                 10882 2016-02-20 06:26:09Z rudolfkoenig
DevIo.pm                    11020 2016-03-07 12:01:43Z rudolfkoenig
FritzBoxUtils.pm             6574 2014-09-19 17:32:48Z rudolfkoenig
GPUtils.pm                   6653 2014-10-02 11:59:37Z ntruchsess
HMConfig.pm                 11352 2016-04-30 21:18:27Z martinp876
HttpUtils.pm                11154 2016-03-30 08:57:41Z rudolfkoenig
myUtilsTemplate.pm           7570 2015-01-14 18:31:44Z rudolfkoenig
myUtilsTemplate.pm           7570 2015-01-14 18:31:44Z rudolfkoenig
myUtilsTemplate.pm           7570 2015-01-14 18:31:44Z rudolfkoenig
myUtilsTemplate.pm           7570 2015-01-14 18:31:44Z rudolfkoenig
ONKYOdb.pm                   6992 2014-11-16 00:10:16Z loredo
No Id found for ProtoThreads.pm
RTypes.pm                   10476 2016-01-12 21:03:33Z borisneubert
SetExtensions.pm            10858 2016-02-15 17:42:13Z rudolfkoenig
TcpServerUtils.pm           10346 2016-01-03 12:34:27Z rudolfkoen

igami

Zitat von: rasti am 20 Januar 2019, 09:28:09
Kannst du damit was anfangen ?
Viele der Module kenne ich nicht und weiß auch nicht was sie tun.  HTTPMOD wäre aber auch so ein Kandidat den ich untersuchen würde.
Ggf. kann dir das Modul FREEZEMON weiterhelfen.

Du solltest dir aber auch die Frage stellen ob es dir so wichtig ist, dass die Daten SOFORT da sind, wenn du sie nur alle 15 Minuten abfragst.
Pi3 mit fhem.cfg + DbLog/logProxy
Komm vorbei zum FHEM Treffen im Kreis Gütersloh! Das nächste Mal im April 2020.

MAINTAINER: archetype, LuftdatenInfo, monitoring, msgDialog, Nmap, powerMap
ToDo: AVScene, FluxLED

rasti

Zitat von: igami am 20 Januar 2019, 11:45:49
Viele der Module kenne ich nicht und weiß auch nicht was sie tun.  HTTPMOD wäre aber auch so ein Kandidat den ich untersuchen würde.
Ggf. kann dir das Modul FREEZEMON weiterhelfen.

Du solltest dir aber auch die Frage stellen ob es dir so wichtig ist, dass die Daten SOFORT da sind, wenn du sie nur alle 15 Minuten abfragst.

Hallo,

die Daten müssen natürlich nicht sofort da sein. Wichtig ist mir, dass FHEM in der Zeit nicht deaktiviert ist.
Ist das nun der Fall oder nicht ?

FREEZEMON werde ich mal installieren, danke für den Tipp

Viele Grüße
Ralf

igami

Zitat von: rasti am 20 Januar 2019, 11:55:48
die Daten müssen natürlich nicht sofort da sein. Wichtig ist mir, dass FHEM in der Zeit nicht deaktiviert ist.
Ist das nun der Fall oder nicht ?
Sollte nicht der Fall sein, aber rasufinden kannst du das nur selbst indem du mal was während eines scans machst
Pi3 mit fhem.cfg + DbLog/logProxy
Komm vorbei zum FHEM Treffen im Kreis Gütersloh! Das nächste Mal im April 2020.

MAINTAINER: archetype, LuftdatenInfo, monitoring, msgDialog, Nmap, powerMap
ToDo: AVScene, FluxLED

rasti

Zitat von: igami am 20 Januar 2019, 11:56:44
Sollte nicht der Fall sein, aber rasufinden kannst du das nur selbst indem du mal was während eines scans machst

Hallo,

habe es getestet, der Netzwerkscan legt mein sonstiges FHEM anscheinend lahm.

D.h. Ich kann in der Zeit keine Seiten neu aufrufen oder bei vorhandener Seite kein Device schalten.

freezemon kann ich nicht installieren, dazu ist mein FHEM zu alt.

Viele Grüße
Ralf

Otto123

Zitat von: rasti am 20 Januar 2019, 15:47:25
dazu ist mein FHEM zu alt.
Hallo Ralf,

das kannst Du laut sagen. Und ganz neue Module mit ganz altem FHEM mischen ist denke ich keine gute Idee. Da ist eigentlich genau das zu erwarten!

Gruß Otto
Viele Grüße aus Leipzig  ⇉  nächster Stammtisch an der Lindennaundorfer Mühle
RaspberryPi B B+ B2 B3 B3+ ZeroW,HMLAN,HMUART,Homematic,Fritz!Box 7590,WRT3200ACS-OpenWrt,Sonos,VU+,Arduino nano,ESP8266,MQTT,Zigbee,deconz

rasti

ich hätte noch ein anderes Thema / Verbesserungsvorschlag zum Modul:

Wenn z.B. nach längerer Abwesenheit einem Gerät (gleiche MAC) per DHCP eine andere IP zugewiesen wird,
dann erscheint dieses Gerät mehrfach mit unterschiedlichen IPs in den Readings. Für mich sinnvoller wäre es,
den Alteintrag dann zu löschen, sobald das Gerät (selbe MAC) mit einer anderen IP in den Readings auftaucht.