FHEM Forum

Hallo,

leider habe ich über die Suchfunktion zu meinem Problem nichts gefunden.

Mein FHEM Log füllt sich nach eine Laufzeit von ca. 3-4 Tagen immer wieder mit folgenden Meldungen:


2017.06.23 07:36:19 1: Cannot fork: Cannot allocate memory
2017.06.23 07:36:19 1: Cannot fork: Cannot allocate memory
2017.06.23 07:36:21 1: Cannot fork: Cannot allocate memory
2017.06.23 07:36:21 1: Cannot fork: Cannot allocate memory


Nur ein Reboot des Linux Systemes schaft hier Abhilfe. Den einzigen Hinweis den ich gefunden habe, ist dass man bei dieser Meldung im Device "global" das Attribut updateInBackground auf 0 stellen soll. Leider hat das bei mir nicht geholfen, die Meldung erscheinen trotzdem wieder.

Sobald diese Meldung im Log erscheinen ist ein Update oder shutdown aus FHEM heraus nicht mehr möglich.

Kann mir hier jemand weiterhelfen?

Gruß
Michael

Dass update nicht moeglich is, ist verstaendlich, da es per Voreinstellung forkt (attr global updateInBackground). shutdown restart macht das auch, warum shutdown (ohne restart) nicht funktioniert, kann ich nicht erklaeren.

Das Problem genau zu lokalisieren ist nicht einfach. Man muesste zunaechst feststellen, welcher der Prozesse den meisten Speicher verbraucht (z.Bsp. mit ps -elf | sort -rnk 10 | head). Falls FHEM ungewoehnlich gross ist/waechst, dann muss man die Module finden, die dafuer verantwortlich sind, z.Bsp. indem man sie einzeln deaktiviert.

Hallo

Befehl hab ich mal ausgeführt. Anbei das Ergebnis:

root@HNMWFHEM01:~# ps -elf | sort -rnk 10 | head
4 S root      2422  2331  0  80   0 - 192259 -     Jun20 ?        00:01:20 homebridge
0 S root      1878     1  0  80   0 - 187335 -     Jun20 ?        00:00:59 alexa
1 S fhem      3639     1  3  80   0 - 173279 -     Jun20 ?        02:23:32 /usr/bin/perl fhem.pl fhem.cfg
4 S mysql     2791  2450  0  80   0 - 91021 -      Jun20 ?        00:01:54 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
5 S www-data  3871  2149  0  80   0 - 55818 -      Jun20 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2171  2149  0  80   0 - 55818 -      Jun20 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2170  2149  0  80   0 - 55818 -      Jun20 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2165  2149  0  80   0 - 55818 -      Jun20 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2164  2149  0  80   0 - 55818 -      Jun20 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2163  2149  0  80   0 - 55818 -      Jun20 ?        00:00:00 /usr/sbin/apache2 -k start


Für die Grundsätzliche Analyse würde ich auch vorschlagen, das mehr Infos über das System bereit gestellt werden.
- was ist es für Hardware (ÜPi/PC/Speicher/Gestplatte etc.)
- was macht der Rechner außer FHEM?
- was für Module werden in FHEM verwendet
- .....
- und natürlich die Info, welche Rudolf schon anfragte

Sorry aber bitte um mehr Input für qualifizierten Output ....

Edit:
Wenn ich die ersten 3 Zeilen Zusammenzähle. komme ich schon auf 552873Byte ...

Zitat4 S root      2422  2331  0  80   0 - 192259 -     Jun20 ?        00:01:20 homebridge
0 S root      1878     1  0  80   0 - 187335 -     Jun20 ?        00:00:59 alexa
1 S fhem      3639     1  3  80   0 - 173279 -     Jun20 ?        02:23:32 /usr/bin/perl fhem.pl fhem.cfg

Braucht homebridge und alexa wirklich so viel Speicher???

@Werniemann: ich waere vorsichtig beim Addieren, ich gehe davon aus, dass diese Zahlen die dynamisch geladenen Bibliotheken jeweils enthalten. D.h. der Programmcode von libc wird zu jedem Prozess dazugezaehlt, liegt aber nur einmal im Speicher, dh. beim Addieren darf man diesen Teil nur einmal rechnen. Beim apache2 wird der gemeinsame Anteil wesentlich sein.

Trotzdem meine Meinung: der Rechner ist fuer diese Aufgabe (bzw. Kombination aller Aufgaben) unterdimensioniert.

@Rudolf

Du hast prinzipiell recht, war nur eine Überschlagsrechnung. Aber egal wie ... wenn es ein Pi ist, wovon ich momentan ausgehe, ist der Speicher zu klein. Auch wenn diese "Pi mal Daumen Rechnung" nur sehr grob ist ...

Wenn es dagegen ein "Richtiger Rechner" mit mehr Speicher, würde es schon anders aussehen. Deshalb meine Nachfrage nach der Art des Rechners ...

danke schon mal für das Feedback.

Mein FHEM läuft als virtuelle Machine und ist wie folgt Ausgestattet:

512MB RAM
CPU Intel i7 2,67GHz
40GB HDD auf SSD

Der Rechner selber macht nur FHEM, Alexa und Homebridge. Bis vor kurzem wurde noch SmartVISU auf dem Rechner betrieben. Dies ist aber aktuell nicht mehr in Benutzung.

Folgende Module werden eingesetzt:
+ alexa
+ allowed
+ at
+ autocreate
+ BOTVAC
+ Calendar
+ CALVIEW
+ CUL
+ CUL_HM
+ DbLog
+ dewpoint
+ DLNARenderer
+ DOIF
+ DOIRools
+ dummy
+ FB_CALLMONITOR
+ FBAHA
+ FBDECT
+ FHEM2FHEM
+ FHEMWEB
+ FHT
+ FRITZBOX
+ fronthem
+ fronthemDevice
+ FS20
+ harmony
+ HMLAN
+ HMS
+ HTTPMOD
+ IPCAM
+ jawboneUp
+ MPD
+ NEUTRINO
+ notify
+ OPENWEATHER
+ Pushover
+ readingsGroup
+ structure
+ SVG
+ TelegramBot
+ VIERA
+ WINCONNECT
+ XBMC
+ YAMAHA_AVR

Zitat512MB RAM

Dann gib ihm mal mehr Speicher! Siehe Diskussion mit Rudi und mir (s.o.)

Zitat von: Wernieman am 23 Juni 2017, 09:41:06
Dann gib ihm mal mehr Speicher! Siehe Diskussion mit Rudi und mir (s.o.)

Ok, das kann ich mal machen.

Gibt es eigentlich eine Grundsätzliche Empfehlung wie viel Hauptspeicher ein Standard FHEM Server haben sollte?

Siehe oben, es liegt nicht an fhem, sondern an den parallel laufenden Programmen.

WENN Du schon mit VM arbeitest, warum lagerst Du eigentlich alexa nicht in eine eigene aus?
Ob man homebringe auslagern könnte, bin ich überfragt.

das es noch von anderen Programmen abhängt habe ich verstanden.

Des Wegen hatte ich ja auch nach einer Empfehlung für FHEM gefragt. Das viel RAM immer gut ist, ist auch klar.

Ich habe jetzt mal 1GB Ram zugeteilt, ich werde es jetzt mal beobachten.

danke für eure Hilfe.

FHEM läuft auch auf einem Pi mit 512. Es gibt keine Empfehlung, da es auch von der Art/Menge der verwendeten Module abhängt.

Empfehlung ist schwer: es haengt von den eingesetzten Modulen, Anzahl der Geraete, was man damit macht, etc ab. Beispiele:
- manche Module achten auf Speicherverbrauch, andere weniger. Es findet diesbezueglich keine Kontrolle statt, nur wenn jemand sich beschwert, und der Autor Zeit und Musse hat es zu fixen.
- Jahresplots zu berechnen braucht mehr Speicher, als Tagesplots.
- Falls mehrere Plots auf einer Seite zu sehen sind, dann werden mehrere (bis zu 6) parallel berechnet
- die Leute wollen Features, z.Bsp. war CUL_HM mal 50k, inzwischen ist es bei 750k.

512MB fuer FHEM alleine sollte im Normalfall ausreichen.
In deinem Fall hat es ja auch nur fuer ein Drittel der Belegung gesorgt.

Leider ist das Problem wieder da. Diese mal hat es nur länger gedauert, da wohl mehr Arbeitsspeicher zur Verfügung stand.

Anbei mal das Speicherergebnis

Last login: Fri Jun 23 22:35:55 2017 from hnmwwks01.home.int
root@HNMWFHEM01:~# ps -elf | sort -rnk 10 | head
1 S fhem      1920     1 14  80   0 - 206548 -     Jun23 ?        19:55:57 perl
4 S root      2420  2326  0  80   0 - 192202 -     Jun23 ?        00:01:49 homeb
0 S root      2059     1  0  80   0 - 187813 -     Jun23 ?        00:02:17 alexa
1 S fhem     28592  1920  0  80   0 - 180252 -     Jun28 ?        00:00:04 perl
4 S mysql     2803  2448  0  80   0 - 91021 -      Jun23 ?        00:04:10 /usr/                                                                                                                                                             ysqld/mysqld.sock --port=3306
5 S www-data  5228  2144  0  80   0 - 55815 -      Jun25 ?        00:00:00 /usr/
5 S www-data  3993  2144  0  80   0 - 55815 -      Jun25 ?        00:00:00 /usr/
5 S www-data  3991  2144  0  80   0 - 55815 -      Jun25 ?        00:00:00 /usr/
5 S www-data  3987  2144  0  80   0 - 55815 -      Jun25 ?        00:00:00 /usr/
5 S www-data  3983  2144  0  80   0 - 55815 -      Jun25 ?        00:00:00 /usr/


Gibt es eine Möglichkeit zu schauen welches Modul den meisten Speicher benötigt?

Ich kann Dir nur wieder raten, wenn Du schon mit VM arbeitest, dann richtig, d.h. eine VM = ein Dienst.
4 S root      2420  2326  0  80   0 - 192202 -     Jun23 ?        00:01:49 homeb
0 S root      2059     1  0  80   0 - 187813 -     Jun23 ?        00:02:17 alexa

Pache die einfach mal in eigene VMs ....

Zitat von: Wernieman am 29 Juni 2017, 11:25:29
Ich kann Dir nur wieder raten, wenn Du schon mit VM arbeitest, dann richtig, d.h. eine VM = ein Dienst.

Code Auswählen Erweitern

4 S root      2420  2326  0  80   0 - 192202 -     Jun23 ?        00:01:49 homeb
0 S root      2059     1  0  80   0 - 187813 -     Jun23 ?        00:02:17 alexa

Pache die einfach mal in eigene VMs ....

Danke für den Hinweis.

Allerdings glaube ich nicht dass es durch das verschieben der zwei Dienste besser wird. Der Arbeitsspeicher dieser Dienste ändert sich über die Laufzeit kaum bis gar nicht. Der einzige Dienst der Speichertechnisch wächst ist FHEM.

Direkt nach einem Reboot sieht die Speicherauslastung wie folgt aus:

root@HNMWFHEM01:/# ps -elf | sort -rnk 10 | head
4 S root      2419  2325  0  80   0 - 191434 -     09:05 ?        00:00:04 homebridge
0 S root      2058     1  0  80   0 - 169515 -     09:05 ?        00:00:03 alexa
4 S mysql     2787  2447  0  80   0 - 91021 -      09:05 ?        00:00:04 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
1 S fhem      1986     1  1  80   0 - 61216 -      09:05 ?        00:02:53 perl fhem.pl fhem.cfg
5 S www-data  2161  2143  0  80   0 - 55818 -      09:05 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2160  2143  0  80   0 - 55818 -      09:05 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2157  2143  0  80   0 - 55818 -      09:05 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2156  2143  0  80   0 - 55818 -      09:05 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  7065  2143  0  80   0 - 55804 -      10:16 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2162  2143  0  80   0 - 55804 -      09:05 ?        00:00:00 /usr/sbin/apache2 -k start


Hier ist deutlich zu sehen das die beiden Dienste kaum kleiner sind wie bei meinem letzten Post. FHEM allerdings benötigt ca. 60MB und wächst dann kontinuierlich.

Ich habe in fhemdebug ein memusage Parameter eingebaut, bitte testen. Beschreibung (commandref):

Zitat
memusage [regexp] [nr]
Dump the name of the first nr datastructures with the largest memory footprint. Filter the names by regexp, if specified.
Notes:

    this function depends on the Devel::Size module, so this must be installed first.
    The used function Devel::Size::total_size crashes perl (and FHEM) for Functions and some other data structures. memusage tries to avoid to call it for such data structures, but as the problem is not identified, it may crash your currently running instance. Make sure you saved the config first.
    The known data structures modules and defs are reported in more detail.

Ausgabe-Beispiel:
fhem> fhemdebug memusage     
   1. SIG                              192236
   2. modules::eventTypes              164861
   3. Exporter::Cache                  149540
   4. modules::ZWave                   115758
   5. modules::FS20                     87854
   6. attr                              84867
   7. selectlist                        78322
   8. Net::SSLeay::BEGIN                73122
   9. defs::KM271                       67010
  10. oldvalue                          63730
  11. defs::rg_temp                     61100
  12. ntfyHash                          55244
  13. modules::FHT                      50081
  14. Config::Config_SH_expanded        49496
  15. POSIX::EXPORT_TAGS                42120
  16. modules::FBDECT                   40625
  17. POSIX::EXPORT                     39741
  18. Net::SSLeay::EXPORT_OK            37473
  19. defs::EingangsLampe               35544
  20. defs::wz                          32134
  21. defs::EingangsSensor              30286
  22. modules::CUL_WS                   27554
  23. defs::remo                        26349
  24. defs::kuehlschrank                25783
  25. defs::GartenTor                   24427
  26. defs::fl                          24377
  27. defs::Stehlampe2                  23944
  28. intAt                             23565
  29. defs::remo.8                      22527
  30. defs::remo.1                      21230
  31. defs::remo.2                      21230
  32. defs::remo.3                      21230
  33. defs::remo.7                      21230
  34. defs::EingangsTemp                21217
  35. Socket::EXPORT_TAGS               21016
  36. defs::remo.4                      20447
  37. defs::remo.5                      20447
  38. defs::remo.B                      20037
  39. defs::remo.9                      20034
  40. defs::remo.A                      20034
  41. defs::EingangsLampe_Kanal2        19855
  42. zwave_id2class                    19730
  43. defs::remo.6                      19624
  44. defs::EingangsLicht               19475
  45. modules::KS300                    19309
  46. INC                               18650
  47. readyfnlist::zwd./dev/ttyUSB0     17579
  48. defs::zwd                         17579
  49. defs::out1                        17082
  50. modules::CUL_EM                   16856
fhem>

Verfuegbar per update (wie ueblich) ab morgen um 8, oder ab sofort aus dem SVN.

danke

hab mir die Datei heruntergeladen und per reload geladen. Leider spukt das Teil folgendes aus

Can't locate Devel/Size.pm in @INC (@INC contains: fhem.p/lib fhem.p/FHEM/lib ./FHEM/lib ./lib ./FHEM ./ /usr/local/FHEM/share/fhem/FHEM/lib . /etc/perl /usr/local/lib/perl/5.14.2 /usr/local/share/perl/5.14.2 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.14 /usr/share/perl/5.14 /usr/local/lib/site_perl) at (eval 5251) line 2.
BEGIN failed--compilation aborted at (eval 5251) line 2.


Habe ich da noch etwas vergessen?

OK ich habe das Modul Devel::Size nicht installiert. Bin noch auf der Suche wie ich das installieren kann..

OK habe es gefunden. Folgende per SSH installieren

cpanm Devel::Size


Erstes Ergebnis

1. intAt                           9025270
   2. icloud.kalender                 6646993
   3. selectlist                      1222820
   4. attr                             958164
   5. CUL_HM                           702214
   6. HMConfig::culHmRegDefine         647302
   7. Abfall                           608405
   8. teleBot                          587140
   9. Wohnzimmer.Kodi.UPnP             514403
  10. DLNASocket-FHEM.UPnP-41          505995
  11. DLNASocket-FHEM.UPnP-42          505995
  12. DLNASocket-FHEM.UPnP-40          505909
  13. FHEM.UPnP                        504952
  14. FHEM.fronthem                    379392
  15. Service.Spritpreise              372364
  16. utf8::loose_to_file_of           359363
  17. SIG                              284956
  18. BEGIN                            259745
  19. Role::Tiny::INFO                 249519
  20. ntfyHash                         207501
  21. Exporter::Cache                  206753
  22. HMConfig::culHmModel             172179
  23. HMConfig::culHmRegDefShLg        130622
  24. Wohnzimmer.HUB                   127420
  25. oldvalue                         126764
  26. Badezimmer.Klima.DBLog           126637
  27. Buero.Monitore.DBLog             125709
  28. Allgemein.Batterie               125008
  29. Schlafzimmer.Klima.DBLog         124876
  30. Wohnzimmer.Heizung.DBLog         124876
  31. Service.Spritpreise.DBLog        124876
  32. Wohnzimmer.Klima.DBLog           124868
  33. Niklas.Multimedia.DBLog          124868
  34. Mobil.Powermeter.01.DBLog        124860
  35. Garten.Pool.Temp.DBLog           124852
  36. Werkstatt.USV.DBLog              124844
  37. Garten.Klima.DBLog               124844
  38. Kueche.Radio.DBLog               124844
  39. DBI::installed_drh               124766
  40. DBD::SQLite::drh                 120885
  41. Allgemein.Activity               120612
  42. DateTime::Locale::Data::NativeNames   104118
  43. DateTime::Locale::Data::Names    101192
  44. BC_hash                           76648
  45. DateTime::Locale::Data::ISO639Aliases    75415
  46. FritzBoxUG                        74641
  47. HMConfig::culHmRegChan            71814
  48. DateTime::Locale::Data::Codes     71021
  49. Buero.Notebook                    70057
  50. Net::SSLeay::BEGIN                68633


Jetzt warte ich bis der Fehler wieder kommt und vergleiche die Werte

besser wäre gewesen:
apt-get -s install libdevel-size-perl

cpan wird bei einem Systemupdate nicht mitupgedatet ....

Fehler ist zwar noch nicht da, aber eventuell sieht man schon woran es liegen könnte.


Name 29.06.2017 30.06.2017 Differenz
intAt 9025270 10213420 1188150
attr 958164 7084327 6126163
icloud.kalender 6646993 6649729 2736
selectlist 1222820 1506547 283727
CUL_HM 702214 715521 13307
HMConfig::culHmRegDefine 647302 647302 0
Abfall 608405 608885 480
teleBot 587140 588417 1277
Niklas.Fernseher.UPnP 124868 514612 389744
Wohnzimmer.Kodi.UPnP 514403 512726 -1677
DLNASocket-FHEM.UPnP-41 505995 504318 -1677
DLNASocket-FHEM.UPnP-42 505995 504318 -1677
DLNASocket-FHEM.UPnP-40 505909 504232 -1677
FHEM.UPnP 504952 503275 -1677
FHEM.fronthem 379392 379392 0
Service.Spritpreise 372364 372364 0
utf8::loose_to_file_of 359363 359363 0
SIG 284956 284956 0
BEGIN 259745 259745 0
Role::Tiny::INFO 249519 249519 0
ntfyHash 207501 207500 -1
Exporter::Cache 206753 206753 0
HMConfig::culHmModel 172179 172179 0
HMConfig::culHmRegDefShLg 130622 130622 0
oldvalue 126764 127687 923
Wohnzimmer.HUB 127420 127420 0
Allgemein.Batterie 125008 125008 0
Badezimmer.Klima.DBLog 126637 120749 -5888
Allgemein.Activity 120612 120612 0
DBI::installed_drh 124766 120078 -4688


Irgendwer fuegt wie wild Attribute hinzu.

intAt ist schwieriger zu interpretieren, da hier auch Parameter fuer die Funktionisaufrufe hinterlegt sind, und das kann alles moegliche sein, und sogar mehrfach gezaehlt werden.

Kannst du bitte folgendes ausfuehren:
{ int(keys %intAt) }
liefert Anzahl der internen Timer zurueck (at/DOIF/etc).

Ergebnis 804

Ist das ein Problem wenn ständig Attribute geändert werden?

ZitatErgebnis 804

Ich habe in meiner Produktivumgebung 15.

ZitatIst das ein Problem wenn ständig Attribute geändert werden?

Attribute "gehoeren" dem Benutzer, d.h. nur er sollte sie anlegen und aendern, Ausnahmen bestaetigen diesen Regel. Wenn ohne dein Zutun die Attribute sich versechsfachen, dann ist was faul. Da sie nach einem Neustart weniger Platz belegen, gehe ich davon aus, dass irgendwer fuer nicht existierende Geraete Attribute anlegt.

Kannst du bitte auch die Ausgabe von
{ int(keys %defs).":".int(keys %attr) }
hier mitteilen?

Zitat von: Wernieman am 29 Juni 2017, 16:31:19

Code Auswählen Erweitern

apt-get -s install libdevel-size-perl

Ähm. Ohne "-s" wäre besser. :-)

Ups .. da ich es in meiner "produktiv" umgeben "getestet" habe ... und dann einfach copy&paste .. ;o)

Zitat von: rudolfkoenig am 30 Juni 2017, 09:06:04
Ich habe in meiner Produktivumgebung 15.
Attribute "gehoeren" dem Benutzer, d.h. nur er sollte sie anlegen und aendern, Ausnahmen bestaetigen diesen Regel. Wenn ohne dein Zutun die Attribute sich versechsfachen, dann ist was faul. Da sie nach einem Neustart weniger Platz belegen, gehe ich davon aus, dass irgendwer fuer nicht existierende Geraete Attribute anlegt.

Kannst du bitte auch die Ausgabe von
{ int(keys %defs).":".int(keys %attr) }
hier mitteilen?

Ich habe ein paar devices an denen ich das Attibut icon über ein doif ändere. Das kann ich mal überarbeiten.

Ergebnis 334:24086

ZitatIch habe ein paar devices an denen ich das Attibut icon über ein doif ändere. Das kann ich mal überarbeiten.

Darum gehts mir nicht, du bist der Benutzer.

Zitat334:24086

Ich habe einen Bug in TcpServerUtils.pm gefunden und behoben, das duerfte zumindest fuer einen Teil der sinnlosen attr Eintraege verantwortlich sein. Geaendert habe ich TcpServerUtils.pm und 01_FHEMWEB.pm.

Muss ich den FHEM Server neu starten wenn ich die beiden Dateien ersetze oder langt ein Reload der Module?

OK, habe die Dateien ersetzt und einen "shutdown restart" gemacht.

Im Log ist jetzt folgendes alle ca. 30 Sekunden zu sehen


2017.06.30 10:53:32 0: Strange call for nonexistent FEHM.Telnet_127.0.0.1_33136: DeleteFn
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED


Nachrtag

Das Ergebnis von { int(keys %defs).":".int(keys %attr) } sieht jetzt auch besser aus.

337:349

ZitatIm Log ist jetzt folgendes alle ca. 30 Sekunden zu sehen

Danke, ich habe es auch gemerkt, und eine neue Version der beiden Dateien eingecheckt.

Zitat von: rudolfkoenig am 30 Juni 2017, 11:40:19
Danke, ich habe es auch gemerkt, und eine neue Version der beiden Dateien eingecheckt.

Danke, jetzt sieht das Log besser aus. Ich beobachte jetzt mal wieder. Melde mich dann in den nächsten Tagen noch mal.

Noch mal ein fettes DANKE für Deine Hilfe!

Nachtrag:
Das Ergebnis von { int(keys %intAt) } sieht jetzt auch besser aus.

Ergebnis = 80

So nach zwei Tagen sieht es wie folgt aus:


Name 02.07.2017 30.06.2017 Diff
intAt 11827590 8594711 3232879
icloud.kalender 6674891 6646913 27978
selectlist 1175554 967821 207733
CUL_HM 721166 696188 24978
HMConfig::culHmRegDefine 647302 647302 0
Abfall 608581 608365 216
teleBot 600043 414721 185322
DLNASocket-FHEM.UPnP-41 491422 410039 81383
DLNASocket-FHEM.UPnP-40 491214 410039 81175
DLNASocket-FHEM.UPnP-39 491128 409953 81175
FHEM.UPnP 490135 409000 81135


{ int(keys %intAt) }

Ergebnis = 2168

{ int(keys %defs).":".int(keys %attr) }

Ergebnis = 307:319

Zitat{ int(keys %intAt) }
Ergebnis = 2168

Da ist was faul. Kannst Du bitte die ersten 50
{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$a}{TRIGGERTIME}<=>$intAt{$b}{TRIGGERTIME}} keys %intAt)[0..49]) }
und letzten 50
{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$b}{TRIGGERTIME}<=>$intAt{$a}{TRIGGERTIME}} keys %intAt)[0..49]) }

hier anhaengen?

Zitat{ int(keys %defs).":".int(keys %attr) }
Ergebnis = 307:319

Ist auch noch nicht perfekt, da sind mindestens 12 tote Eintraege drin. Diese kann man anzeigen mit:
{ join(",", grep { !$defs{$_} } sort keys %attr) }

{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$a}{TRIGGERTIME}<=>$intAt{$b}{TRIGGERTIME}} keys %intAt)[0..49]) }

Ergebnis

1499066624.70756 / HMLAN_KeepAlive
1499066625 / FW_closeInactiveClients
1499066626.89512 / MPD_watch_idle
1499066631.27574 / DLNARenderer_updateStereoMode
1499066634.08908 / at_Exec
1499066638.08063 / BOTVAC_GetStatus
1499066639.77238 / MPD_watch_idle
1499066639.83867 / XBMC_Check
1499066639.83878 / VIERA_GetStatus
1499066639.97945 / WINCONNECT_GetStatus
1499066640.01854 / YAMAHA_AVR_GetStatus
1499066640.0186 / VIERA_GetStatus
1499066640.07876 / NEUTRINO_GetStatus
1499066640.08441 / NEUTRINO_GetStatus
1499066640.23235 / WINCONNECT_GetStatus
1499066640.36448 / WINCONNECT_GetStatus
1499066640.3709 / WINCONNECT_GetStatus
1499066640.44225 / WINCONNECT_GetStatus
1499066642.95814 / WINCONNECT_GetStatus
1499066646.29441 / harmony_ping
1499066652.25995 / DLNARenderer_renewSubscriptions
1499066652.7423 / DLNARenderer_renewSubscriptions
1499066652.74243 / DLNARenderer_renewSubscriptions
1499066653.22499 / DLNARenderer_renewSubscriptions
1499066654.77717 / WINCONNECT_GetStatus
1499066655.15596 / WINCONNECT_GetStatus
1499066664.08292 / CUL_HM_ActCheck
1499066669.52223 / HTTPMOD_GetUpdate
1499066671.82122 / Calendar_Wakeup
1499066718.70719 / jawboneUp_poll
1499066718.80673 / FRITZBOX_Readout_Start
1499066859.54385 / HttpUtils_Err
1499067865.48485 / OPENWEATHER_Start
1499067865.6321 / Calendar_Wakeup
1499075072.88889 / Pushover_ValidateUser
1499090400 / at_Exec
1499092200 / at_Exec
1499103836.39784 / CUL_HM_statCntRfresh
1499109275.33286 / CALVIEW_GetUpdate
1499112000 / at_Exec
1499119201 / FileLog_dailySwitch
1499119203.66122 / DOIFtoolsCounterReset
1499140800 / at_Exec
1499148000 / at_Exec
1499151600 / at_Exec
1570666560.5242 / BlockingKill
1570684288.78942 / BlockingKill
1570684350.85428 / BlockingKill
1570684412.91672 / BlockingKill
1570684474.97844 / BlockingKill


{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$b}{TRIGGERTIME}<=>$intAt{$a}{TRIGGERTIME}} keys %intAt)[0..49]) }


1570907884.0115 / BlockingKill
1570907823.84594 / BlockingKill
1570907763.6807 / BlockingKill
1570907703.52867 / BlockingKill
1570907643.369 / BlockingKill
1570907583.2099 / BlockingKill
1570907523.04405 / BlockingKill
1570907460.91337 / BlockingKill
1570907398.79453 / BlockingKill
1570907336.64913 / BlockingKill
1570907274.53215 / BlockingKill
1570907212.41712 / BlockingKill
1570907150.29434 / BlockingKill
1570907088.16769 / BlockingKill
1570907026.04904 / BlockingKill
1570906963.92657 / BlockingKill
1570906901.80951 / BlockingKill
1570906839.69181 / BlockingKill
1570906777.55955 / BlockingKill
1570906715.4325 / BlockingKill
1570906653.31656 / BlockingKill
1570906591.19423 / BlockingKill
1570906529.06635 / BlockingKill
1570906466.94317 / BlockingKill
1570906404.80453 / BlockingKill
1570906342.67348 / BlockingKill
1570906281.61096 / BlockingKill
1570906219.48241 / BlockingKill
1570906158.87281 / BlockingKill
1570906096.75643 / BlockingKill
1570906034.60076 / BlockingKill
1570905972.47757 / BlockingKill
1570905910.36216 / BlockingKill
1570905848.24532 / BlockingKill
1570905786.12068 / BlockingKill
1570905723.99605 / BlockingKill
1570905661.86996 / BlockingKill
1570905599.75361 / BlockingKill
1570905537.62843 / BlockingKill
1570905475.51206 / BlockingKill
1570905413.39544 / BlockingKill
1570905351.26248 / BlockingKill
1570905289.14018 / BlockingKill
1570905227.01812 / BlockingKill
1570905164.9037 / BlockingKill
1570905102.78579 / BlockingKill
1570905040.64848 / BlockingKill
1570904978.53261 / BlockingKill
1570904916.40965 / BlockingKill
1570904854.28767 / BlockingKill


{ join(",", grep { !$defs{$_} } sort keys %attr) }

secBadezimmer.Klima.DBLog,secBuero.Monitore.DBLog,secGarten.Klima.DBLog,secGarten.Pool.Temp.DBLog,secKueche.Radio.DBLog,secMobil.Powermeter.01.DBLog,secNiklas.Multimedia.DBLog,secSchlafzimmer.Klima.DBLog,secService.Spritpreise.DBLog,secWerkstatt.USV.DBLog,secWohnzimmer.Heizung.DBLog,secWohnzimmer.Klima.DBLog


Zitat1570906963.92657 / BlockingKill

Ok, das geht teilweise auf meine Kappe: ich habe nicht damit gerechnet, dass jemand beim BlockingKill einen timeout von 2.2 Jahren angibt. Ich habe Blocking.pm modifiziert, so dass der jeweilige timeout-InternalTimer beim Beenden der Blocking-Routine entfernt wird.

Ich tippe beim Uebeltaeter auf 73_MPD.pm, da wird BlockingCall mit $hash fuer $timeout aufgerufen, das sollte bitte dem Maintainer gemeldet werden.


Wg. den toten Attributen: kannst du bitte zu den erwaehnten Eintraegen was sagen?

Zitat von: rudolfkoenig am 03 Juli 2017, 10:17:57
Wg. den toten Attributen: kannst du bitte zu den erwaehnten Eintraegen was sagen?

Das sind Devices welche in eine SQLite DB Daten schreiben..

Anbei mal die genaueren Device Informationen


{
  "Arg":"Badezimmer.Klima.DBLog",
  "Results": [
  {
    "Name":"Badezimmer.Klima.DBLog",
    "PossibleSets":"reduceLog reduceLogNbl reopen rereadcfg:noArg count:noArg countNbl:noArg \u000a\u0009             deleteOldDays deleteOldDaysNbl userCommand clearReadings:noArg \u000a\u0009\u0009\u0009\u0009 eraseReadings:noArg addLog importCachefile ",
    "PossibleAttrs":"alias comment:textField-long eventMap group room suppressReading userReadings:textField-long verbose:0,1,2,3,4,5 colEvent colReading colValue disable:1,0 DbLogType:Current,History,Current/History shutdownWait suppressUndef:0,1 verbose4Devs excludeDevs expimpdir syncInterval noNotifyDev:1,0 showproctime:1,0 asyncMode:1,0 cacheEvents:2,1,0 cacheLimit noSupportPK:1,0 syncEvents:1,0 showNotifyTime:1,0 timeout valueFn:textField-long DbLogSelectionMode:Exclude,Include,Exclude/Include event-on-change-reading event-on-update-reading event-aggregator event-min-interval stateFormat:textField-long timestamp-on-change-reading DbLogExclude DbLogInclude alexaName alexaRoom cmdIcon devStateIcon devStateStyle genericDeviceType:security,ignore,switch,outlet,light,blind,thermometer,thermostat,contact,garage,window,lock homebridgeMapping:textField-long icon sortby webCmd widgetOverride userattr",
    "Internals": {
      "COLUMNS": "field length used for Device: 64, Type: 64, Event: 512, Reading: 64, Value: 128, Unit: 32 ",
      "CONFIGURATION": "./configDB.conf",
      "DBMODEL": "SQLITE",
      "DEF": "./configDB.conf (Badezimmer.Klima):(humidity|temperature).*",
      "MODE": "synchronous",
      "NAME": "Badezimmer.Klima.DBLog",
      "NR": "160",
      "NTFY_ORDER": "50-Badezimmer.Klima.DBLog",
      "PID": "3001",
      "REGEXP": "(Badezimmer.Klima):(humidity|temperature).*",
      "STATE": "connected",
      "TYPE": "DbLog",
      "VERSION": "2.16.11",
      "dbconn": "SQLite:dbname=/opt/fhem/fhemsql3.db",
      "dbuser": ""
    },
    "Readings": {
      "lastRowsDeleted": { "Value":"123", "Time":"2017-06-29 14:35:04" },
      "reduceLogState": { "Value":"Rows processed: 35, deleted: 0, time: 0.14sec", "Time":"2017-06-29 14:20:40" },
      "state": { "Value":"connected", "Time":"2017-07-03 10:33:12" },
      "userCommand": { "Value":"VACUUM", "Time":"2017-06-29 14:39:44" },
      "userCommandResult": { "Value":"no result", "Time":"2017-06-29 14:39:44" }
    },
    "Attributes": { }
  }  ],
  "totalResultsReturned":1
}


Zitat von: rudolfkoenig am 03 Juli 2017, 10:17:57
Ich tippe beim Uebeltaeter auf 73_MPD.pm, da wird BlockingCall mit $hash fuer $timeout aufgerufen, das sollte bitte dem Maintainer gemeldet werden.

OK, ich werde das mal dem Kollegen melden.

Hallo Ihr beiden. Ich verfolge das Thema nun schon eine Weile und habe auch die ein und andere Sache ausprobiert. Interessant für mich ist das ich, zwar nicht die Menge, aber auch einige zu hohe Werte bekomme.

{ join(",", grep { !$defs{$_} } sort keys %attr) }

Zitat
2AC641,ELANKlm,ESSOTeltow,JETMahlowerStr,JETReihnstr,LgTV,SHELLStahnsdorf,SPRINTBerlin,SYSMON_Webapp01,WEB_10.6.9.10_37149,WEB_10.6.9.10_37161,WEB_10.6.9.10_38236,WEB_10.6.9.10_38237,WEB_10.6.9.10_38238,WEB_10.6.9.10_38289,WEB_10.6.9.10_38406,WEB_10.6.9.10_38487,WEB_10.6.9.10_38488,WEB_10.6.9.10_38489,WEB_10.6.9.10_38490,WEB_10.6.9.10_38491,WEB_10.6.9.10_38492,WEB_10.6.9.10_38624,WEB_10.6.9.10_38625,WEB_10.6.9.10_38725,WEB_10.6.9.10_38729,WEB_10.6.9.10_38731,WEB_10.6.9.10_38732,WEB_10.6.9.10_38733,WEB_10.6.9.10_38830,WEB_10.6.9.10_38831,WEB_10.6.9.10_38832,WEB_10.6.9.10_38834,WEB_10.6.9.10_38835,WEB_10.6.9.10_40755,WEB_10.6.9.10_40758,WEB_10.6.9.10_40759,WEB_10.6.9.10_41478,WEB_10.6.9.10_41479,WEB_10.6.9.10_41480,WEB_10.6.9.10_41483,WEB_10.6.9.10_43600,WEB_10.6.9.10_43603,WEB_10.6.9.10_43605,WEB_10.6.9.10_53508,WEB_10.6.9.10_54515,WEB_10.6.9.10_54516,WEB_10.6.9.10_54519,WEB_10.6.9.10_54520,WEB_10.6.9.10_54531,WEB_10.6.9.10_54542,WEB_10.6.9.10_54545,WEB_10.6.9.10_54548,WEB_10.6.9.18_35842,WEB_10.6.9.18_36760,WEB_10.6.9.18_38518,WEB_10.6.9.18_38534,WEB_10.6.9.18_38802,WEB_10.6.9.18_55909,WEB_10.6.9.18_55910,WEB_10.6.9.18_55913,WEB_10.6.9.18_55914,WEB_10.6.9.18_55917,WEB_10.6.9.18_55919,WEB_10.6.9.18_55920,WEB_10.6.9.18_55921,WEB_10.6.9.18_55922,WEB_10.6.9.18_55925,WEB_10.6.9.18_56167,WEB_10.6.9.18_56168,WEB_10.6.9.18_56169,WEB_10.6.9.18_56170,WEB_10.6.9.18_56173,WEB_10.6.9.18_56186,WEB_10.6.9.18_56227,WEB_10.6.9.18_56230,WEB_10.6.9.18_56232,WEB_10.6.9.18_56233,WEB_10.6.9.18_56235,WEB_10.6.9.18_56236,WEB_10.6.9.18_56238,WEB_10.6.9.18_56240,WEB_10.6.9.18_56241,WEB_10.6.9.18_56243,WEB_10.6.9.18_56244,WEB_10.6.9.18_56282,WEB_10.6.9.18_56283,WEB_10.6.9.18_56284,WEB_10.6.9.18_56287,WEB_10.6.9.18_56289,WEB_10.6.9.18_56329,WEB_10.6.9.18_56330,WEB_10.6.9.18_56331,WEB_10.6.9.18_56332,WEB_10.6.9.18_56333,WEB_10.6.9.18_56345,WEB_10.6.9.18_56346,WEB_10.6.9.18_56347,WEB_10.6.9.18_56348,WEB_10.6.9.18_56349,WEB_10.6.9.18_56398,WEB_10.6.9.18_56769,WEB_10.6.9.18_57014,WEB_10.6.9.18_57017,WEB_10.6.9.18_57018,WEB_10.6.9.18_57020,WEB_10.6.9.18_57021,WEB_10.6.9.18_57028,WEB_10.6.9.18_57318,WEB_10.6.9.18_57320,WEB_10.6.9.18_57325,WEB_10.6.9.18_57326,WEB_10.6.9.18_57327,WEB_10.6.9.18_57328,WEB_10.6.9.18_57368,WEB_10.6.9.18_58193,WEB_10.6.9.18_58194,WEB_10.6.9.18_58195,WEB_10.6.9.18_58196,WEB_10.6.9.18_58197,WEB_10.6.9.18_58198,WEB_10.6.9.18_58666,WEB_10.6.9.18_58668,WEB_10.6.9.18_58669,WEB_10.6.9.18_58670,WEB_10.6.9.18_58702,WEB_10.6.9.18_58749,WEB_10.6.9.18_58758,WEB_10.6.9.18_58759,WEB_10.6.9.18_58760,WEB_10.6.9.18_58761,WEB_10.6.9.18_58762,WEB_10.6.9.18_59158,WEB_10.6.9.18_59159,WEB_10.6.9.18_59160,WEB_10.6.9.18_59162,WEB_10.6.9.18_59163,WEB_10.6.9.18_59453,WEB_10.6.9.18_59455,WEB_10.6.9.18_59456,WEB_10.6.9.18_59457,WEB_10.6.9.18_59464,WEB_10.6.9.19_33493,WEB_10.6.9.19_33494,WEB_10.6.9.19_33580,WEB_10.6.9.19_33586,WEB_10.6.9.19_33587,WEB_10.6.9.19_33588,WEB_10.6.9.19_33590,WEB_10.6.9.19_33835,WEB_10.6.9.19_33836,WEB_10.6.9.19_33837,WEB_10.6.9.19_33838,WEB_10.6.9.19_33839,WEB_10.6.9.19_33852,WEB_10.6.9.19_33853,WEB_10.6.9.19_33859,WEB_10.6.9.19_33860,WEB_10.6.9.19_33864,WEB_10.6.9.19_33865,WEB_10.6.9.19_33866,WEB_10.6.9.19_33867,WEB_10.6.9.19_33926,WEB_10.6.9.19_33927,WEB_10.6.9.19_33929,WEB_10.6.9.19_33930,WEB_10.6.9.19_33931,WEB_10.6.9.19_34044,WEB_10.6.9.19_34045,WEB_10.6.9.19_34046,WEB_10.6.9.19_34047,WEB_10.6.9.19_34048,WEB_10.6.9.19_34049,WEB_10.6.9.19_34200,WEB_10.6.9.19_34201,WEB_10.6.9.19_34202,WEB_10.6.9.19_34203,WEB_10.6.9.19_34204,WEB_10.6.9.19_34205,WEB_10.6.9.19_34219,WEB_10.6.9.19_34220,WEB_10.6.9.19_34221,WEB_10.6.9.19_34222,WEB_10.6.9.19_34223,WEB_10.6.9.19_34226,WEB_10.6.9.19_34228,WEB_10.6.9.19_34229,WEB_10.6.9.19_34230,WEB_10.6.9.19_34233,WEB_10.6.9.19_34234,WEB_10.6.9.19_34235,WEB_10.6.9.19_34237,WEB_10.6.9.19_34238,WEB_10.6.9.19_34241,WEB_10.6.9.19_34243,WEB_10.6.9.19_34248,WEB_10.6.9.19_34250,WEB_10.6.9.19_34251,WEB_10.6.9.19_34253,WEB_10.6.9.19_34254,WEB_10.6.9.19_34255,WEB_10.6.9.19_34256,WEB_10.6.9.19_34258,WEB_10.6.9.19_34307,WEB_10.6.9.19_34308,WEB_10.6.9.19_34309,WEB_10.6.9.19_34310,WEB_10.6.9.19_34311,WEB_10.6.9.19_34448,WEB_10.6.9.19_34449,WEB_10.6.9.19_34450,WEB_10.6.9.19_34451,WEB_10.6.9.19_34452,WEB_10.6.9.19_34453,WEB_10.6.9.19_34476,WEB_10.6.9.19_34478,WEB_10.6.9.19_34483,WEB_10.6.9.19_34484,WEB_10.6.9.19_34485,WEB_10.6.9.19_34486,WEB_10.6.9.19_34490,WEB_10.6.9.19_34495,WEB_10.6.9.19_34496,WEB_10.6.9.19_34497,WEB_10.6.9.19_34498,WEB_10.6.9.19_34521,WEB_10.6.9.19_34523,WEB_10.6.9.19_34524,WEB_10.6.9.19_34559,WEB_10.6.9.19_34560,WEB_10.6.9.19_34628,WEB_10.6.9.19_34629,WEB_10.6.9.19_34630,WEB_10.6.9.19_34631,WEB_10.6.9.19_34636,WEB_10.6.9.19_34734,WEB_10.6.9.19_34797,WEB_10.6.9.19_34798,WEB_10.6.9.19_34799,WEB_10.6.9.19_34800,WEB_10.6.9.19_34801,WEB_10.6.9.19_35220,WEB_10.6.9.19_35221,WEB_10.6.9.19_35222,WEB_10.6.9.19_35224,WEB_10.6.9.19_35226,WEB_10.6.9.19_35233,WEB_10.6.9.19_35234,WEB_10.6.9.19_35235,WEB_10.6.9.19_35237,WEB_10.6.9.19_35238,WEB_10.6.9.19_35283,WEB_10.6.9.19_35284,WEB_10.6.9.19_35285,WEB_10.6.9.19_35286,WEB_10.6.9.19_35287,WEB_10.6.9.19_35347,WEB_10.6.9.19_35349,WEB_10.6.9.19_35352,WEB_10.6.9.19_35357,WEB_10.6.9.19_35358,WEB_10.6.9.19_35359,WEB_10.6.9.19_35365,WEB_10.6.9.19_35366,WEB_10.6.9.19_35367,WEB_10.6.9.19_35384,WEB_10.6.9.19_35386,WEB_10.6.9.19_35387,WEB_10.6.9.19_35389,WEB_10.6.9.19_35752,WEB_10.6.9.19_35756,WEB_10.6.9.19_35761,WEB_10.6.9.19_35762,WEB_10.6.9.19_35763,WEB_10.6.9.19_35767,WEB_10.6.9.19_35769,WEB_10.6.9.19_35770,WEB_10.6.9.19_35772,WEB_10.6.9.19_35773,WEB_10.6.9.19_35774,WEB_10.6.9.19_35775,WEB_10.6.9.19_35776,WEB_10.6.9.19_35777,WEB_10.6.9.19_35788,WEB_10.6.9.19_35807,WEB_10.6.9.19_35808,WEB_10.6.9.19_35809,WEB_10.6.9.19_35812,WEB_10.6.9.19_35882,WEB_10.6.9.19_35883,WEB_10.6.9.19_35988,WEB_10.6.9.19_35994,WEB_10.6.9.19_36000,WEB_10.6.9.19_36001,WEB_10.6.9.19_36002,WEB_10.6.9.19_36003,WEB_10.6.9.19_36005,WEB_10.6.9.19_36011,WEB_10.6.9.19_36012,WEB_10.6.9.19_36015,WEB_10.6.9.19_36017,WEB_10.6.9.19_36018,WEB_10.6.9.19_36020,WEB_10.6.9.19_36021,WEB_10.6.9.19_36022,WEB_10.6.9.19_36024,WEB_10.6.9.19_36025,WEB_10.6.9.19_36029,WEB_10.6.9.19_36032,WEB_10.6.9.19_36040,WEB_10.6.9.19_36042,WEB_10.6.9.19_36043,WEB_10.6.9.19_36550,WEB_10.6.9.19_36552,WEB_10.6.9.19_36553,WEB_10.6.9.19_36554,WEB_10.6.9.19_36555,WEB_10.6.9.19_36837,WEB_10.6.9.19_36838,WEB_10.6.9.19_36839,WEB_10.6.9.19_36840,WEB_10.6.9.19_36842,WEB_10.6.9.19_36850,WEB_10.6.9.19_36851,WEB_10.6.9.19_36852,WEB_10.6.9.19_36853,WEB_10.6.9.19_36854,WEB_10.6.9.19_36855,WEB_10.6.9.19_36859,WEB_10.6.9.19_36861,WEB_10.6.9.19_37079,WEB_10.6.9.19_37083,WEB_10.6.9.19_37084,WEB_10.6.9.19_37085,WEB_10.6.9.19_37086,WEB_10.6.9.19_37088,WEB_10.6.9.19_37210,WEB_10.6.9.19_37211,WEB_10.6.9.19_37212,WEB_10.6.9.19_37213,WEB_10.6.9.19_37215,WEB_10.6.9.19_37243,WEB_10.6.9.19_37244,WEB_10.6.9.19_37245,WEB_10.6.9.19_37246,WEB_10.6.9.19_37247,WEB_10.6.9.19_37270,WEB_10.6.9.19_37288,WEB_10.6.9.19_37289,WEB_10.6.9.19_37290,WEB_10.6.9.19_37291,WEB_10.6.9.19_37293,WEB_10.6.9.19_37296,WEB_10.6.9.19_37298,WEB_10.6.9.19_37300,WEB_10.6.9.19_37301,WEB_10.6.9.19_37302,WEB_10.6.9.19_37381,WEB_10.6.9.19_37382,WEB_10.6.9.19_37385,WEB_10.6.9.19_37386,WEB_10.6.9.19_37387,WEB_10.6.9.19_37425,WEB_10.6.9.19_37446,WEB_10.6.9.19_37557,WEB_10.6.9.19_37558,WEB_10.6.9.19_37560,WEB_10.6.9.19_37564,WEB_10.6.9.19_37565,WEB_10.6.9.19_37566,WEB_10.6.9.19_37569,WEB_10.6.9.19_37932,WEB_10.6.9.19_37934,WEB_10.6.9.19_37937,WEB_10.6.9.19_37938,WEB_10.6.9.19_37941,WEB_10.6.9.19_37947,WEB_10.6.9.19_37948,WEB_10.6.9.19_37950,WEB_10.6.9.19_37951,WEB_10.6.9.19_37952,WEB_10.6.9.19_38334,WEB_10.6.9.19_38335,WEB_10.6.9.19_38337,WEB_10.6.9.19_38338,WEB_10.6.9.19_38339,WEB_10.6.9.19_38343,WEB_10.6.9.19_38489,WEB_10.6.9.19_38491,WEB_10.6.9.19_38492,WEB_10.6.9.19_38493,WEB_10.6.9.19_38494,WEB_10.6.9.19_38653,WEB_10.6.9.19_38654,WEB_10.6.9.19_38655,WEB_10.6.9.19_38656,WEB_10.6.9.19_38672,WEB_10.6.9.19_38791,WEB_10.6.9.19_38792,WEB_10.6.9.19_38793,WEB_10.6.9.19_38794,WEB_10.6.9.19_38795,WEB_10.6.9.19_38796,WEB_10.6.9.19_38799,WEB_10.6.9.19_38800,WEB_10.6.9.19_38802,WEB_10.6.9.19_38808,WEB_10.6.9.19_38821,WEB_10.6.9.19_38825,WEB_10.6.9.19_38826,WEB_10.6.9.19_38827,WEB_10.6.9.19_38830,WEB_10.6.9.19_38831,WEB_10.6.9.19_38835,WEB_10.6.9.19_39022,WEB_10.6.9.19_39023,WEB_10.6.9.19_39024,WEB_10.6.9.19_39025,WEB_10.6.9.19_39026,WEB_10.6.9.19_39081,WEB_10.6.9.19_39112,WEB_10.6.9.19_39113,WEB_10.6.9.19_39114,WEB_10.6.9.19_39115,WEB_10.6.9.19_39117,WEB_10.6.9.19_40512,WEB_10.6.9.19_40513,WEB_10.6.9.19_40514,WEB_10.6.9.19_40515,WEB_10.6.9.19_40517,WEB_10.6.9.19_41281,WEB_10.6.9.19_41291,WEB_10.6.9.19_41362,WEB_10.6.9.19_41391,WEB_10.6.9.19_41397,WEB_10.6.9.19_41398,WEB_10.6.9.19_41399,WEB_10.6.9.19_41402,WEB_10.6.9.19_42405,WEB_10.6.9.19_42406,WEB_10.6.9.19_42407,WEB_10.6.9.19_42408,WEB_10.6.9.19_42410,WEB_10.6.9.19_42412,WEB_10.6.9.19_42519,WEB_10.6.9.19_42520,WEB_10.6.9.19_42521,WEB_10.6.9.19_42522,WEB_10.6.9.19_42523,WEB_10.6.9.19_42594,WEB_10.6.9.19_42596,WEB_10.6.9.19_42597,WEB_10.6.9.19_42598,WEB_10.6.9.19_42602,WEB_10.6.9.19_42606,WEB_10.6.9.19_42612,WEB_10.6.9.19_42613,WEB_10.6.9.19_42615,WEB_10.6.9.19_51694,WEB_10.6.9.19_51695,WEB_10.6.9.19_51697,WEB_10.6.9.19_51698,WEB_10.6.9.19_51699,WEB_10.6.9.19_51700,WEB_10.6.9.19_51703,WEB_10.6.9.19_51863,WEB_10.6.9.19_51864,WEB_10.6.9.19_51866,WEB_10.6.9.19_51867,WEB_10.6.9.19_51868,WEB_10.6.9.19_51869,WEB_10.6.9.19_51870,WEB_10.6.9.19_51871,WEB_10.6.9.19_51874,WEB_10.6.9.19_51875,WEB_10.6.9.19_51910,WEB_10.6.9.19_51911,WEB_10.6.9.19_51913,WEB_10.6.9.19_51915,WEB_10.6.9.19_51942,WEB_10.6.9.19_51946,WEB_10.6.9.19_51950,WEB_10.6.9.19_51952,WEB_10.6.9.19_51956,WEB_10.6.9.19_51973,WEB_10.6.9.19_51974,WEB_10.6.9.19_51978,WEB_10.6.9.19_51984,WEB_10.6.9.19_51985,WEB_10.6.9.19_51987,WEB_10.6.9.19_51988,WEB_10.6.9.19_51989,WEB_10.6.9.19_51990,WEB_10.6.9.19_51992,WEB_10.6.9.19_52028,WEB_10.6.9.19_52029,WEB_10.6.9.19_52030,WEB_10.6.9.19_52032,WEB_10.6.9.19_52033,WEB_10.6.9.19_52219,WEB_10.6.9.19_52220,WEB_10.6.9.19_52221,WEB_10.6.9.19_52222,WEB_10.6.9.19_52223,WEB_10.6.9.19_52234,WEB_10.6.9.19_52235,WEB_10.6.9.19_52236,WEB_10.6.9.19_52237,WEB_10.6.9.19_52295,WEB_10.6.9.19_52296,WEB_10.6.9.19_52298,WEB_10.6.9.19_52299,WEB_10.6.9.19_52300,WEB_10.6.9.19_52313,WEB_10.6.9.19_52314,WEB_10.6.9.19_52315,WEB_10.6.9.19_52316,WEB_10.6.9.19_52319,WEB_10.6.9.19_52321,WEB_10.6.9.19_52326,WEB_10.6.9.19_52328,WEB_10.6.9.19_52329,WEB_10.6.9.19_52342,WEB_10.6.9.19_52344,WEB_10.6.9.19_52346,WEB_10.6.9.19_52347,WEB_10.6.9.19_52349,WEB_10.6.9.19_52354,WEB_10.6.9.19_52355,WEB_10.6.9.19_52356,WEB_10.6.9.19_52357,WEB_10.6.9.19_52359,WEB_10.6.9.19_52841,WEB_10.6.9.19_52842,WEB_10.6.9.19_52843,WEB_10.6.9.19_52844,WEB_10.6.9.19_52846,WEB_10.6.9.19_52899,WEB_10.6.9.19_52901,WEB_10.6.9.19_52902,WEB_10.6.9.19_52903,WEB_10.6.9.19_52907,WEB_10.6.9.19_53207,WEB_10.6.9.19_53208,WEB_10.6.9.19_53210,WEB_10.6.9.19_53211,WEB_10.6.9.19_53213,WEB_10.6.9.19_53244,WEB_10.6.9.19_53245,WEB_10.6.9.19_53246,WEB_10.6.9.19_53247,WEB_10.6.9.19_53249,WEB_10.6.9.19_53476,WEB_10.6.9.19_53477,WEB_10.6.9.19_53478,WEB_10.6.9.19_53479,WEB_10.6.9.19_53481,WEB_10.6.9.19_53511,WEB_10.6.9.19_53514,WEB_10.6.9.19_53519,WEB_10.6.9.19_53520,WEB_10.6.9.19_53521,WEB_10.6.9.19_53535,WEB_10.6.9.19_53539,WEB_10.6.9.19_53540,WEB_10.6.9.19_53544,WEB_10.6.9.19_53545,WEB_10.6.9.19_53599,WEB_10.6.9.19_53600,WEB_10.6.9.19_53602,WEB_10.6.9.19_53603,WEB_10.6.9.19_53604,WEB_10.6.9.19_53609,WEB_10.6.9.19_53610,WEB_10.6.9.19_53613,WEB_10.6.9.19_53614,WEB_10.6.9.19_53617,WEB_10.6.9.19_53618,WEB_10.6.9.19_53619,WEB_10.6.9.19_53620,WEB_10.6.9.19_53622,WEB_10.6.9.19_53623,WEB_10.6.9.19_53626,WEB_10.6.9.19_53628,WEB_10.6.9.19_53629,WEB_10.6.9.19_53631,WEB_10.6.9.19_53632,WEB_10.6.9.19_53633,WEB_10.6.9.19_53636,WEB_10.6.9.19_53657,WEB_10.6.9.19_53659,WEB_10.6.9.19_53660,WEB_10.6.9.19_53662,WEB_10.6.9.19_53663,WEB_10.6.9.19_53665,WEB_10.6.9.19_53674,WEB_10.6.9.19_53676,WEB_10.6.9.19_53678,WEB_10.6.9.19_53682,WEB_10.6.9.19_53684,WEB_10.6.9.19_53685,WEB_10.6.9.19_53707,WEB_10.6.9.19_53717,WEB_10.6.9.19_53719,WEB_10.6.9.19_53721,WEB_10.6.9.19_53722,WEB_10.6.9.19_53723,WEB_10.6.9.19_53724,WEB_10.6.9.19_53734,WEB_10.6.9.19_53735,WEB_10.6.9.19_53736,WEB_10.6.9.19_53737,WEB_10.6.9.19_53738,WEB_10.6.9.19_53739,WEB_10.6.9.19_53840,WEB_10.6.9.19_53841,WEB_10.6.9.19_53842,WEB_10.6.9.19_53843,WEB_10.6.9.19_53844,WEB_10.6.9.19_53937,WEB_10.6.9.19_53938,WEB_10.6.9.19_53939,WEB_10.6.9.19_53941,WEB_10.6.9.19_54066,WEB_10.6.9.19_54067,WEB_10.6.9.19_54068,WEB_10.6.9.19_54070,WEB_10.6.9.19_54071,WEB_10.6.9.19_54073,WEB_10.6.9.19_54075,WEB_10.6.9.19_54076,WEB_10.6.9.19_54077,WEB_10.6.9.19_54079,WEB_10.6.9.19_54450,WEB_10.6.9.19_54451,WEB_10.6.9.19_54452,WEB_10.6.9.19_54453,WEB_10.6.9.19_54454,WEB_10.6.9.19_54455,WEB_10.6.9.19_54717,WEB_10.6.9.19_54718,WEB_10.6.9.19_54719,WEB_10.6.9.19_54749,WEB_10.6.9.19_54750,WEB_10.6.9.19_54751,WEB_10.6.9.19_54753,WEB_10.6.9.19_54755,WEB_10.6.9.19_54758,WEB_10.6.9.19_54759,WEB_10.6.9.19_54761,WEB_10.6.9.19_54762,WEB_10.6.9.19_54846,WEB_10.6.9.19_54847,WEB_10.6.9.19_54848,WEB_10.6.9.19_54849,WEB_10.6.9.19_54850,WEB_10.6.9.19_54862,WEB_10.6.9.19_54866,WEB_10.6.9.19_54867,WEB_10.6.9.19_54868,WEB_10.6.9.19_54869,WEB_10.6.9.19_54875,WEB_10.6.9.19_54876,WEB_10.6.9.19_54877,WEB_10.6.9.19_54879,WEB_10.6.9.19_54880,WEB_10.6.9.19_54886,WEB_10.6.9.19_54887,WEB_10.6.9.19_54888,WEB_10.6.9.19_54889,WEB_10.6.9.19_54891,WEB_10.6.9.19_54894,WEB_10.6.9.19_54898,WEB_10.6.9.19_54901,WEB_10.6.9.19_54902,WEB_10.6.9.19_54917,WEB_10.6.9.19_54918,WEB_10.6.9.19_54919,WEB_10.6.9.19_54920,WEB_10.6.9.19_54921,WEB_10.6.9.19_54960,WEB_10.6.9.19_54962,WEB_10.6.9.19_54965,WEB_10.6.9.19_54976,WEB_10.6.9.19_54977,WEB_10.6.9.19_54978,WEB_10.6.9.19_54980,WEB_10.6.9.19_54982,WEB_10.6.9.19_54991,WEB_10.6.9.19_54992,WEB_10.6.9.19_55009,WEB_10.6.9.19_55011,WEB_10.6.9.19_55012,WEB_10.6.9.19_55013,WEB_10.6.9.19_55014,WEB_10.6.9.19_55018,WEB_10.6.9.19_55020,WEB_10.6.9.19_55024,WEB_10.6.9.19_55025,WEB_10.6.9.19_55027,WEB_10.6.9.19_55029,WEB_10.6.9.19_55030,WEB_10.6.9.19_55031,WEB_10.6.9.19_55032,WEB_10.6.9.19_55033,WEB_10.6.9.19_55035,WEB_10.6.9.19_55036,WEB_10.6.9.19_55041,WEB_10.6.9.19_55042,WEB_10.6.9.19_55043,WEB_10.6.9.19_55044,WEB_10.6.9.19_55045,WEB_10.6.9.19_55050,WEB_10.6.9.19_55053,WEB_10.6.9.19_55054,WEB_10.6.9.19_55055,WEB_10.6.9.19_55056,WEB_10.6.9.19_55085,WEB_10.6.9.19_55086,WEB_10.6.9.19_55087,WEB_10.6.9.19_55088,WEB_10.6.9.19_55089,WEB_10.6.9.19_55090,WEB_10.6.9.19_55097,WEB_10.6.9.19_55099,WEB_10.6.9.19_55100,WEB_10.6.9.19_55101,WEB_10.6.9.19_55102,WEB_10.6.9.19_55103,WEB_10.6.9.19_55110,WEB_10.6.9.19_55111,WEB_10.6.9.19_55112,WEB_10.6.9.19_55113,WEB_10.6.9.19_55114,WEB_10.6.9.19_55115,WEB_10.6.9.19_55117,WEB_10.6.9.19_55125,WEB_10.6.9.19_55127,WEB_10.6.9.19_55128,WEB_10.6.9.19_55129,WEB_10.6.9.19_55130,WEB_10.6.9.19_55151,WEB_10.6.9.19_55152,WEB_10.6.9.19_55153,WEB_10.6.9.19_55154,WEB_10.6.9.19_55156,WEB_10.6.9.19_55241,WEB_10.6.9.19_55243,WEB_10.6.9.19_55244,WEB_10.6.9.19_55245,WEB_10.6.9.19_55246,WEB_10.6.9.19_55251,WEB_10.6.9.19_55252,WEB_10.6.9.19_55253,WEB_10.6.9.19_55254,WEB_10.6.9.19_55255,WEB_10.6.9.19_55303,WEB_10.6.9.19_55304,WEB_10.6.9.19_55305,WEB_10.6.9.19_55306,WEB_10.6.9.19_55313,WEB_10.6.9.19_55380,WEB_10.6.9.19_55382,WEB_10.6.9.19_55384,WEB_10.6.9.19_55385,WEB_10.6.9.19_55386,WEB_10.6.9.19_55387,WEB_10.6.9.19_55388,WEB_10.6.9.19_55389,WEB_10.6.9.19_55390,WEB_10.6.9.19_55392,WEB_10.6.9.19_55409,WEB_10.6.9.19_55410,WEB_10.6.9.19_55412,WEB_10.6.9.19_55413,WEB_10.6.9.19_55414,WEB_10.6.9.19_55749,WEB_10.6.9.19_55986,WEB_10.6.9.19_55987,WEB_10.6.9.19_55988,WEB_10.6.9.19_55989,WEB_10.6.9.19_55990,WEB_10.6.9.19_56115,WEB_10.6.9.19_56116,WEB_10.6.9.19_56117,WEB_10.6.9.19_56119,WEB_10.6.9.19_56120,WEB_10.6.9.19_56152,WEB_10.6.9.19_56153,WEB_10.6.9.19_56154,WEB_10.6.9.19_56156,WEB_10.6.9.19_56157,WEB_10.6.9.19_56353,WEB_10.6.9.19_56354,WEB_10.6.9.19_56355,WEB_10.6.9.19_56356,WEB_10.6.9.19_56357,WEB_10.6.9.19_56419,WEB_10.6.9.19_56421,WEB_10.6.9.19_56422,WEB_10.6.9.19_56423,WEB_10.6.9.19_56424,WEB_10.6.9.19_56429,WEB_10.6.9.19_56471,WEB_10.6.9.19_56472,WEB_10.6.9.19_56474,WEB_10.6.9.19_56475,WEB_10.6.9.19_56476,WEB_10.6.9.19_56536,WEB_10.6.9.19_56538,WEB_10.6.9.19_56544,WEB_10.6.9.19_56554,WEB_10.6.9.19_56555,WEB_10.6.9.19_56558,WEB_10.6.9.19_56560,WEB_10.6.9.19_56562,WEB_10.6.9.19_56563,WEB_10.6.9.19_56566,WEB_10.6.9.19_56661,WEB_10.6.9.19_56662,WEB_10.6.9.19_56663,WEB_10.6.9.19_56664,WEB_10.6.9.19_56666,WEB_10.6.9.19_56668,WEB_10.6.9.19_56669,WEB_10.6.9.19_56670,WEB_10.6.9.19_56671,WEB_10.6.9.19_56674,WEB_10.6.9.19_56935,WEB_10.6.9.19_56936,WEB_10.6.9.19_56937,WEB_10.6.9.19_56938,WEB_10.6.9.19_56939,WEB_10.6.9.19_56950,WEB_10.6.9.19_56952,WEB_10.6.9.19_56955,WEB_10.6.9.19_56958,WEB_10.6.9.19_56959,WEB_10.6.9.19_56970,WEB_10.6.9.19_56973,WEB_10.6.9.19_56974,WEB_10.6.9.19_56976,WEB_10.6.9.19_56977,WEB_10.6.9.19_57025,WEB_10.6.9.19_57026,WEB_10.6.9.19_57028,WEB_10.6.9.19_57030,WEB_10.6.9.19_57034,WEB_10.6.9.19_57056,WEB_10.6.9.19_57057,WEB_10.6.9.19_57059,WEB_10.6.9.19_57060,WEB_10.6.9.19_57061,WEB_10.6.9.19_57062,WEB_10.6.9.19_57064,WEB_10.6.9.19_57065,WEB_10.6.9.19_57069,WEB_10.6.9.19_57079,WEB_10.6.9.19_57243,WEB_10.6.9.19_57467,WEB_10.6.9.19_57468,WEB_10.6.9.19_57469,WEB_10.6.9.19_57471,WEB_10.6.9.19_57472,WEB_10.6.9.19_57476,WEB_10.6.9.19_57477,WEB_10.6.9.19_57478,WEB_10.6.9.19_57482,WEB_10.6.9.19_57485,WEB_10.6.9.19_57542,WEB_10.6.9.19_57543,WEB_10.6.9.19_57544,WEB_10.6.9.19_57545,WEB_10.6.9.19_57547,WEB_10.6.9.19_57567,WEB_10.6.9.19_57568,WEB_10.6.9.19_57569,WEB_10.6.9.19_57571,WEB_10.6.9.19_57572,WEB_10.6.9.19_57776,WEB_10.6.9.19_57777,WEB_10.6.9.19_57778,WEB_10.6.9.19_57779,WEB_10.6.9.19_57780,WEB_10.6.9.19_57794,WEB_10.6.9.19_57795,WEB_10.6.9.19_57797,WEB_10.6.9.19_57799,WEB_10.6.9.19_57800,WEB_10.6.9.19_57828,WEB_10.6.9.19_57831,WEB_10.6.9.19_57832,WEB_10.6.9.19_57835,WEB_10.6.9.19_57913,WEB_10.6.9.19_57914,WEB_10.6.9.19_57915,WEB_10.6.9.19_57916,WEB_10.6.9.19_57917,WEB_10.6.9.19_57918,WEB_10.6.9.19_57920,WEB_10.6.9.19_57921,WEB_10.6.9.19_57937,WEB_10.6.9.19_57938,WEB_10.6.9.19_57939,WEB_10.6.9.19_57941,WEB_10.6.9.19_57942,WEB_10.6.9.19_57963,WEB_10.6.9.19_57969,WEB_10.6.9.19_57970,WEB_10.6.9.19_57973,WEB_10.6.9.19_57974,WEB_10.6.9.19_57981,WEB_10.6.9.19_57982,WEB_10.6.9.19_57985,WEB_10.6.9.19_57986,WEB_10.6.9.19_57989,WEB_10.6.9.19_57992,WEB_10.6.9.19_58086,WEB_10.6.9.19_58087,WEB_10.6.9.19_58088,WEB_10.6.9.19_58089,WEB_10.6.9.19_58090,WEB_10.6.9.19_58258,WEB_10.6.9.19_58260,WEB_10.6.9.19_58261,WEB_10.6.9.19_58262,WEB_10.6.9.19_58263,WEB_10.6.9.19_58437,WEB_10.6.9.19_58438,WEB_10.6.9.19_58439,WEB_10.6.9.19_58440,WEB_10.6.9.19_58441,WEB_10.6.9.19_58444,WEB_10.6.9.19_58445,WEB_10.6.9.19_58446,WEB_10.6.9.19_58451,WEB_10.6.9.19_58452,WEB_10.6.9.19_58453,WEB_10.6.9.19_58465,WEB_10.6.9.19_58466,WEB_10.6.9.19_58467,WEB_10.6.9.19_58468,WEB_10.6.9.19_58469,WEB_10.6.9.19_58478,WEB_10.6.9.19_58492,WEB_10.6.9.19_58493,WEB_10.6.9.19_58494,WEB_10.6.9.19_58495,WEB_10.6.9.19_58497,WEB_10.6.9.19_58502,WEB_10.6.9.19_58535,WEB_10.6.9.19_58536,WEB_10.6.9.19_58537,WEB_10.6.9.19_58541,WEB_10.6.9.19_58542,WEB_10.6.9.19_59042,WEB_10.6.9.19_59043,WEB_10.6.9.19_59044,WEB_10.6.9.19_59539,WEB_10.6.9.19_59541,WEB_10.6.9.19_59542,WEB_10.6.9.19_59543,WEB_10.6.9.19_59544,WEB_10.6.9.19_59977,WEB_10.6.9.19_59978,WEB_10.6.9.19_59979,WEB_10.6.9.19_59981,WEB_10.6.9.19_59982,WEB_10.6.9.19_59983,WEB_10.6.9.19_60340,WEB_10.6.9.19_60347,WEB_10.6.9.19_60349,WEB_10.6.9.19_60350,WEB_10.6.9.19_60351,WEB_10.6.9.19_60388,WEB_10.6.9.19_60389,WEB_10.6.9.19_60390,WEB_10.6.9.19_60392,WEB_10.6.9.19_60393,WEB_10.6.9.19_60457,WEB_10.6.9.19_60460,WEB_10.6.9.2_41250,WEB_10.6.9.2_41252,WEB_10.6.9.2_41254,WEB_10.6.9.2_41258,WEB_10.6.9.2_41260,WEB_10.6.9.2_44024,WEB_10.6.9.2_44260,WEB_10.6.9.2_44264,WEB_10.6.9.2_44266,WEB_10.6.9.2_44268,WEB_10.6.9.2_44990,WEB_10.6.9.2_51792,WEB_10.6.9.2_51794,WEB_10.6.9.2_51796,WEB_10.6.9.2_51798,WEB_10.6.9.2_51800,WEB_10.6.9.2_56416,WEB_10.6.9.2_56422,WEB_10.6.9.2_56424,WEB_10.6.9.2_56426,WEB_10.6.9.2_56688,WEB_10.6.9.2_56690,WEB_10.6.9.2_56692,WEB_10.6.9.2_56694,WEB_10.6.9.2_57214,WEB_10.6.9.2_57218,WEB_10.6.9.2_57268,WEB_10.6.9.4_33390,WEB_10.6.9.4_37396,WEB_10.6.9.4_37402,WEB_10.6.9.4_37706,WEB_10.6.9.4_37740,WEB_10.6.9.4_37754,WEB_10.6.9.4_37764,WEB_10.6.9.4_37820,WEB_10.6.9.4_37822,WEB_10.6.9.4_37832,WEB_10.6.9.4_37834,WEB_10.6.9.4_37866,WEB_10.6.9.4_37868,WEB_10.6.9.4_37870,WEB_10.6.9.4_37912,WEB_10.6.9.4_37964,WEB_10.6.9.4_37966,WEB_10.6.9.4_37968,WEB_10.6.9.4_37970,WEB_10.6.9.4_37972,WEB_10.6.9.4_40650,WEB_10.6.9.4_41560,WEB_10.6.9.4_41606,WEB_10.6.9.4_41610,WEB_10.6.9.4_41616,WEB_10.6.9.4_41680,WEB_10.6.9.4_41878,WEB_10.6.9.4_41880,WEB_10.6.9.4_41884,WEB_10.6.9.4_41886,WEB_10.6.9.4_41892,WEB_10.6.9.4_41894,WEB_10.6.9.4_41898,WEB_10.6.9.4_41922,WEB_10.6.9.4_41924,WEB_10.6.9.4_41932,WEB_10.6.9.4_41940,WEB_10.6.9.4_41972,WEB_10.6.9.4_41974,WEB_10.6.9.4_41978,WEB_10.6.9.4_41982,WEB_10.6.9.4_42008,WEB_10.6.9.4_42010,WEB_10.6.9.4_42012,WEB_10.6.9.4_42014,WEB_10.6.9.4_42030,WEB_10.6.9.4_42052,WEB_10.6.9.4_42062,WEB_10.6.9.4_42066,WEB_10.6.9.4_42072,WEB_10.6.9.4_42078,WEB_10.6.9.4_42080,WEB_10.6.9.4_42082,WEB_10.6.9.4_42104,WEB_10.6.9.4_42108,WEB_10.6.9.4_42110,WEB_10.6.9.4_42112,WEB_10.6.9.4_42116,WEB_10.6.9.4_42120,WEB_10.6.9.4_42122,WEB_10.6.9.4_42124,WEB_10.6.9.4_42190,WEB_10.6.9.4_42194,WEB_10.6.9.4_42196,WEB_10.6.9.4_42198,WEB_10.6.9.4_42208,WEB_10.6.9.4_42248,WEB_10.6.9.4_42250,WEB_10.6.9.4_42254,WEB_10.6.9.4_42260,WEB_10.6.9.4_42354,WEB_10.6.9.4_42356,WEB_10.6.9.4_42358,WEB_10.6.9.4_42434,WEB_10.6.9.4_42464,WEB_10.6.9.4_42470,WEB_10.6.9.4_42480,WEB_10.6.9.4_42482,WEB_10.6.9.4_42576,WEB_10.6.9.4_42578,WEB_10.6.9.4_42582,WEB_10.6.9.4_42584,WEB_10.6.9.4_42586,WEB_10.6.9.4_43244,WEB_10.6.9.4_43246,WEB_10.6.9.4_43248,WEB_10.6.9.4_43250,WEB_10.6.9.4_43252,WEB_10.6.9.4_43366,WEB_10.6.9.4_43370,WEB_10.6.9.4_43378,WEB_10.6.9.4_43380,WEB_10.6.9.4_43382,WEB_10.6.9.4_43428,WEB_10.6.9.4_43434,WEB_10.6.9.4_43436,WEB_10.6.9.4_43440,WEB_10.6.9.4_43442,WEB_10.6.9.4_43470,WEB_10.6.9.4_43476,WEB_10.6.9.4_43478,WEB_10.6.9.4_43484,WEB_10.6.9.4_43486,WEB_10.6.9.4_43510,WEB_10.6.9.4_43518,WEB_10.6.9.4_43520,WEB_10.6.9.4_43540,WEB_10.6.9.4_43542,WEB_10.6.9.4_43574,WEB_10.6.9.4_43578,WEB_10.6.9.4_43580,WEB_10.6.9.4_43582,WEB_10.6.9.4_43584,WEB_10.6.9.4_43596,WEB_10.6.9.4_43598,WEB_10.6.9.4_43600,WEB_10.6.9.4_43604,WEB_10.6.9.4_43610,WEB_10.6.9.4_43646,WEB_10.6.9.4_43648,WEB_10.6.9.4_43650,WEB_10.6.9.4_43652,WEB_10.6.9.4_43658,WEB_10.6.9.4_43676,WEB_10.6.9.4_43680,WEB_10.6.9.4_43696,WEB_10.6.9.4_43698,WEB_10.6.9.4_43700,WEB_10.6.9.4_43852,WEB_10.6.9.4_43856,WEB_10.6.9.4_43864,WEB_10.6.9.4_43866,WEB_10.6.9.4_43868,WEB_10.6.9.4_44126,WEB_10.6.9.4_44134,WEB_10.6.9.4_44136,WEB_10.6.9.4_44148,WEB_10.6.9.4_44150,WEB_10.6.9.4_44222,WEB_10.6.9.4_44224,WEB_10.6.9.4_44226,WEB_10.6.9.4_44230,WEB_10.6.9.4_44232,WEB_10.6.9.4_44282,WEB_10.6.9.4_44284,WEB_10.6.9.4_44298,WEB_10.6.9.4_44324,WEB_10.6.9.4_44328,WEB_10.6.9.4_44382,WEB_10.6.9.4_44384,WEB_10.6.9.4_44386,WEB_10.6.9.4_44390,WEB_10.6.9.4_44392,WEB_10.6.9.4_44410,WEB_10.6.9.4_44412,WEB_10.6.9.4_44414,WEB_10.6.9.4_44416,WEB_10.6.9.4_44420,WEB_10.6.9.4_44464,WEB_10.6.9.4_44470,WEB_10.6.9.4_44486,WEB_10.6.9.4_44490,WEB_10.6.9.4_44506,WEB_10.6.9.4_44514,WEB_10.6.9.4_44516,WEB_10.6.9.4_44518,WEB_10.6.9.4_44520,WEB_10.6.9.4_44522,WEB_10.6.9.4_44674,WEB_10.6.9.4_44678,WEB_10.6.9.4_44680,WEB_10.6.9.4_44682,WEB_10.6.9.4_44700,WEB_10.6.9.4_44914,WEB_10.6.9.4_44920,WEB_10.6.9.4_44922,WEB_10.6.9.4_44924,WEB_10.6.9.4_44926,WEB_10.6.9.4_44948,WEB_10.6.9.4_44950,WEB_10.6.9.4_44952,WEB_10.6.9.4_44960,WEB_10.6.9.4_44962,WEB_10.6.9.4_44986,WEB_10.6.9.4_44990,WEB_10.6.9.4_44992,WEB_10.6.9.4_44994,WEB_10.6.9.4_44996,WEB_10.6.9.4_45008,WEB_10.6.9.4_45012,WEB_10.6.9.4_45016,WEB_10.6.9.4_45020,WEB_10.6.9.4_45022,WEB_10.6.9.4_45034,WEB_10.6.9.4_45042,WEB_10.6.9.4_45050,WEB_10.6.9.4_45060,WEB_10.6.9.4_45062,WEB_10.6.9.4_45074,WEB_10.6.9.4_45078,WEB_10.6.9.4_45080,WEB_10.6.9.4_45082,WEB_10.6.9.4_45084,WEB_10.6.9.4_45094,WEB_10.6.9.4_45096,WEB_10.6.9.4_45100,WEB_10.6.9.4_45102,WEB_10.6.9.4_45104,WEB_10.6.9.4_45120,WEB_10.6.9.4_45128,WEB_10.6.9.4_45134,WEB_10.6.9.4_45142,WEB_10.6.9.4_45144,WEB_10.6.9.4_45152,WEB_10.6.9.4_45158,WEB_10.6.9.4_45178,WEB_10.6.9.4_45214,WEB_10.6.9.4_45218,WEB_10.6.9.4_45220,WEB_10.6.9.4_45226,WEB_10.6.9.4_45228,WEB_10.6.9.4_45368,WEB_10.6.9.4_45370,WEB_10.6.9.4_45376,WEB_10.6.9.4_45378,WEB_10.6.9.4_45380,WEB_10.6.9.4_45478,WEB_10.6.9.4_45484,WEB_10.6.9.4_45486,WEB_10.6.9.4_45488,WEB_10.6.9.4_45490,WEB_10.6.9.4_45534,WEB_10.6.9.4_45538,WEB_10.6.9.4_45544,WEB_10.6.9.4_45548,WEB_10.6.9.4_45586,WEB_10.6.9.4_45590,WEB_10.6.9.4_45592,WEB_10.6.9.4_45596,WEB_10.6.9.4_45608,WEB_10.6.9.4_45610,WEB_10.6.9.4_45632,WEB_10.6.9.4_45656,WEB_10.6.9.4_45658,WEB_10.6.9.4_45660,WEB_10.6.9.4_45758,WEB_10.6.9.4_45770,WEB_10.6.9.4_45778,WEB_10.6.9.4_45782,WEB_10.6.9.4_45876,WEB_10.6.9.4_45892,WEB_10.6.9.4_45894,WEB_10.6.9.4_45898,WEB_10.6.9.4_45934,WEB_10.6.9.4_45968,WEB_10.6.9.4_45970,WEB_10.6.9.4_45972,WEB_10.6.9.4_45976,WEB_10.6.9.4_46162,WEB_10.6.9.4_46184,WEB_10.6.9.4_46190,WEB_10.6.9.4_46200,WEB_10.6.9.4_46220,WEB_10.6.9.4_46510,WEB_10.6.9.4_46514,WEB_10.6.9.4_46518,WEB_10.6.9.4_46520,WEB_10.6.9.4_46522,WEB_10.6.9.4_46530,WEB_10.6.9.4_46534,WEB_10.6.9.4_46536,WEB_10.6.9.4_46538,WEB_10.6.9.4_46540,WEB_10.6.9.4_47170,WEB_10.6.9.4_47174,WEB_10.6.9.4_47178,WEB_10.6.9.4_47180,WEB_10.6.9.4_47194,WEB_10.6.9.4_47200,WEB_10.6.9.4_47202,WEB_10.6.9.4_47204,WEB_10.6.9.4_47296,WEB_10.6.9.4_47300,WEB_10.6.9.4_47316,WEB_10.6.9.4_47320,WEB_10.6.9.4_47598,WEB_10.6.9.4_47604,WEB_10.6.9.4_47610,WEB_10.6.9.4_47612,WEB_10.6.9.4_47618,WEB_10.6.9.4_47620,WEB_10.6.9.4_47626,WEB_10.6.9.4_47638,WEB_10.6.9.4_47646,WEB_10.6.9.4_47648,WEB_10.6.9.4_47666,WEB_10.6.9.4_47670,WEB_10.6.9.4_47678,WEB_10.6.9.4_47724,WEB_10.6.9.4_47746,WEB_10.6.9.4_47770,WEB_10.6.9.4_47774,WEB_10.6.9.4_47798,WEB_10.6.9.4_47828,WEB_10.6.9.4_47834,WEB_10.6.9.4_48326,WEB_10.6.9.4_48328,WEB_10.6.9.4_48332,WEB_10.6.9.4_48334,WEB_10.6.9.4_48336,WEB_10.6.9.4_48714,WEB_10.6.9.4_48718,WEB_10.6.9.4_48726,WEB_10.6.9.4_48728,WEB_10.6.9.4_48744,WEB_10.6.9.4_48746,WEB_10.6.9.4_48748,WEB_10.6.9.4_48750,WEB_10.6.9.4_48752,WEB_10.6.9.4_48822,WEB_10.6.9.4_48824,WEB_10.6.9.4_48830,WEB_10.6.9.4_48842,WEB_10.6.9.4_48974,WEB_10.6.9.4_49042,WEB_10.6.9.4_49074,WEB_10.6.9.4_49224,WEB_10.6.9.4_49226,WEB_10.6.9.4_49228,WEB_10.6.9.4_49230,WEB_10.6.9.4_49234,WEB_10.6.9.4_49240,WEB_10.6.9.4_49242,WEB_10.6.9.4_49252,WEB_10.6.9.4_49254,WEB_10.6.9.4_49256,WEB_10.6.9.4_49368,WEB_10.6.9.4_49370,WEB_10.6.9.4_49372,WEB_10.6.9.4_49374,WEB_10.6.9.4_49378,WEB_10.6.9.4_49624,WEB_10.6.9.4_49626,WEB_10.6.9.4_49628,WEB_10.6.9.4_49630,WEB_10.6.9.4_49632,WEB_10.6.9.4_50532,WEB_10.6.9.4_50534,WEB_10.6.9.4_50536,WEB_10.6.9.4_50538,WEB_10.6.9.4_50540,WEB_10.6.9.4_50548,WEB_10.6.9.4_50550,WEB_10.6.9.4_50552,WEB_10.6.9.4_50588,WEB_10.6.9.4_50594,WEB_10.6.9.4_60210,WEB_192.168.240.252_32798,WEB_192.168.240.252_32806,WEB_192.168.240.252_32870,WEB_192.168.240.252_32872,WEB_192.168.240.252_32884,WEB_192.168.240.252_32888,WEB_192.168.240.252_32950,WEB_192.168.240.252_32952,WEB_192.168.240.252_32956,WEB_192.168.240.252_32958,WEB_192.168.240.252_32962,WEB_192.168.240.252_33366,WEB_192.168.240.252_33370,WEB_192.168.240.252_33374,WEB_192.168.240.252_33376,WEB_192.168.240.252_33730,WEB_192.168.240.252_33788,WEB_192.168.240.252_33822,WEB_192.168.240.252_33824,WEB_192.168.240.252_33838,WEB_192.168.240.252_33840,WEB_192.168.240.252_33856,WEB_192.168.240.252_33862,WEB_192.168.240.252_33864,WEB_192.168.240.252_33866,WEB_192.168.240.252_33880,WEB_192.168.240.252_33894,WEB_192.168.240.252_33896,WEB_192.168.240.252_33898,WEB_192.168.240.252_33920,WEB_192.168.240.252_33946,WEB_192.168.240.252_33948,WEB_192.168.240.252_33950,WEB_192.168.240.252_33952,WEB_192.168.240.252_33954,WEB_192.168.240.252_33968,WEB_192.168.240.252_33970,WEB_192.168.240.252_33974,WEB_192.168.240.252_33976,WEB_192.168.240.252_33980,WEB_192.168.240.252_33986,WEB_192.168.240.252_33988,WEB_192.168.240.252_33990,WEB_192.168.240.252_34030,WEB_192.168.240.252_34104,WEB_192.168.240.252_34108,WEB_192.168.240.252_34110,WEB_192.168.240.252_34120,WEB_192.168.240.252_34122,WEB_192.168.240.252_34168,WEB_192.168.240.252_34170,WEB_192.168.240.252_34172,WEB_192.168.240.252_34176,WEB_192.168.240.252_34178,WEB_192.168.240.252_34476,WEB_192.168.240.252_34478,WEB_192.168.240.252_34482,WEB_192.168.240.252_34484,WEB_192.168.240.252_34486,WEB_192.168.240.252_34694,WEB_192.168.240.252_34700,WEB_192.168.240.252_34702,WEB_192.168.240.252_34704,WEB_192.168.240.252_34730,WEB_192.168.240.252_34784,WEB_192.168.240.252_34786,WEB_192.168.240.252_34790,WEB_192.168.240.252_34792,WEB_192.168.240.252_34796,WEB_192.168.240.252_34830,WEB_192.168.240.252_34832,WEB_192.168.240.252_34838,WEB_192.168.240.252_34842,WEB_192.168.240.252_34846,WEB_192.168.240.252_34852,WEB_192.168.240.252_34868,WEB_192.168.240.252_34872,WEB_192.168.240.252_34880,WEB_192.168.240.252_34886,WEB_192.168.240.252_34888,WEB_192.168.240.252_34890,WEB_192.168.240.252_35020,WEB_192.168.240.252_35028,WEB_192.168.240.252_35044,WEB_192.168.240.252_35046,WEB_192.168.240.252_35048,WEB_192.168.240.252_35080,WEB_192.168.240.252_35082,WEB_192.168.240.252_35084,WEB_192.168.240.252_35086,WEB_192.168.240.252_35090,WEB_192.168.240.252_35116,WEB_192.168.240.252_35122,WEB_192.168.240.252_35132,WEB_192.168.240.252_35134,WEB_192.168.240.252_35142,WEB_192.168.240.252_35144,WEB_192.168.240.252_35146,WEB_192.168.240.252_35156,WEB_192.168.240.252_35158,WEB_192.168.240.252_35160,WEB_192.168.240.252_35162,WEB_192.168.240.252_35164,WEB_192.168.240.252_35454,WEB_192.168.240.252_35456,WEB_192.168.240.252_35460,WEB_192.168.240.252_35468,WEB_192.168.240.252_35548,WEB_192.168.240.252_35550,WEB_192.168.240.252_35554,WEB_192.168.240.252_35556,WEB_192.168.240.252_35558,WEB_192.168.240.252_35560,WEB_192.168.240.252_35562,WEB_192.168.240.252_35564,WEB_192.168.240.252_35568,WEB_192.168.240.252_35580,WEB_192.168.240.252_35582,WEB_192.168.240.252_35586,WEB_192.168.240.252_35588,WEB_192.168.240.252_35590,WEB_192.168.240.252_35626,WEB_192.168.240.252_35638,WEB_192.168.240.252_35642,WEB_192.168.240.252_35646,WEB_192.168.240.252_35648,WEB_192.168.240.252_35812,WEB_192.168.240.252_35814,WEB_192.168.240.252_35818,WEB_192.168.240.252_35822,WEB_192.168.240.252_35828,WEB_192.168.240.252_35914,WEB_192.168.240.252_35918,WEB_192.168.240.252_35920,WEB_192.168.240.252_36066,WEB_192.168.240.252_36070,WEB_192.168.240.252_36072,WEB_192.168.240.252_36076,WEB_192.168.240.252_36078,WEB_192.168.240.252_36088,WEB_192.168.240.252_36106,WEB_192.168.240.252_36204,WEB_192.168.240.252_36208,WEB_192.168.240.252_36210,WEB_192.168.240.252_36212,WEB_192.168.240.252_36214,WEB_192.168.240.252_36400,WEB_192.168.240.252_36402,WEB_192.168.240.252_36404,WEB_192.168.240.252_36406,WEB_192.168.240.252_36410,WEB_192.168.240.252_36468,WEB_192.168.240.252_36480,WEB_192.168.240.252_36496,WEB_192.168.240.252_36502,WEB_192.168.240.252_36504,WEB_192.168.240.252_36546,WEB_192.168.240.252_36548,WEB_192.168.240.252_36550,WEB_192.168.240.252_36552,WEB_192.168.240.252_36554,WEB_192.168.240.252_36624,WEB_192.168.240.252_36626,WEB_192.168.240.252_36628,WEB_192.168.240.252_36630,WEB_192.168.240.252_36634,WEB_192.168.240.252_36662,WEB_192.168.240.252_36664,WEB_192.168.240.252_36666,WEB_192.168.240.252_36678,WEB_192.168.240.252_36682,WEB_192.168.240.252_36684,WEB_192.168.240.252_36686,WEB_192.168.240.252_36688,WEB_192.168.240.252_36892,WEB_192.168.240.252_36896,WEB_192.168.240.252_36900,WEB_192.168.240.252_36902,WEB_192.168.240.252_36904,WEB_192.168.240.252_36934,WEB_192.168.240.252_36942,WEB_192.168.240.252_36950,WEB_192.168.240.252_36958,WEB_192.168.240.252_38000,WEB_192.168.240.252_38010,WEB_192.168.240.252_38012,WEB_192.168.240.252_38022,WEB_192.168.240.252_38040,WEB_192.168.240.252_38044,WEB_192.168.240.252_38046,WEB_192.168.240.252_38060,WEB_192.168.240.252_38086,WEB_192.168.240.252_38088,WEB_192.168.240.252_38092,WEB_192.168.240.252_38096,WEB_192.168.240.252_38102,WEB_192.168.240.252_38508,WEB_192.168.240.252_38512,WEB_192.168.240.252_38514,WEB_192.168.240.252_38518,WEB_192.168.240.252_38530,WEB_192.168.240.252_38708,WEB_192.168.240.252_38710,WEB_192.168.240.252_38714,WEB_192.168.240.252_38716,WEB_192.168.240.252_38718,WEB_192.168.240.252_38784,WEB_192.168.240.252_38786,WEB_192.168.240.252_38788,WEB_192.168.240.252_38790,WEB_192.168.240.252_38792,WEB_192.168.240.252_38798,WEB_192.168.240.252_38800,WEB_192.168.240.252_38802,WEB_192.168.240.252_38804,WEB_192.168.240.252_38808,WEB_192.168.240.252_39206,WEB_192.168.240.252_39210,WEB_192.168.240.252_39216,WEB_192.168.240.252_39560,WEB_192.168.240.252_39562,WEB_192.168.240.252_39564,WEB_192.168.240.252_39568,WEB_192.168.240.252_39570,WEB_192.168.240.252_39990,WEB_192.168.240.252_40000,WEB_192.168.240.252_40112,WEB_192.168.240.252_40114,WEB_192.168.240.252_40116,WEB_192.168.240.252_40120,WEB_192.168.240.252_40124,WEB_192.168.240.252_40132,WEB_192.168.240.252_40138,WEB_192.168.240.252_40140,WEB_192.168.240.252_40142,WEB_192.168.240.252_40146,WEB_192.168.240.252_40178,WEB_192.168.240.252_40180,WEB_192.168.240.252_40730,WEB_192.168.240.252_40732,WEB_192.168.240.252_40736,WEB_192.168.240.252_40738,WEB_192.168.240.252_40740,WEB_192.168.240.252_40924,WEB_192.168.240.252_40928,WEB_192.168.240.252_40932,WEB_192.168.240.252_40934,WEB_192.168.240.252_40938,WEB_192.168.240.252_41550,WEB_192.168.240.252_41552,WEB_192.168.240.252_41554,WEB_192.168.240.252_41556,WEB_192.168.240.252_41560,WEB_192.168.240.252_42192,WEB_192.168.240.252_42196,WEB_192.168.240.252_42198,WEB_192.168.240.252_42200,WEB_192.168.240.252_42204,WEB_192.168.240.252_43098,WEB_192.168.240.252_43100,WEB_192.168.240.252_43102,WEB_192.168.240.252_43106,WEB_192.168.240.252_43108,WEB_192.168.240.252_43800,WEB_192.168.240.252_43802,WEB_192.168.240.252_43804,WEB_192.168.240.252_43808,WEB_192.168.240.252_43882,WEB_192.168.240.252_45322,WEB_192.168.240.252_45328,WEB_192.168.240.252_45330,WEB_192.168.240.252_45360,WEB_192.168.240.252_45400,WEB_192.168.240.252_45702,WEB_192.168.240.252_45706,WEB_192.168.240.252_45708,WEB_192.168.240.252_45716,WEB_192.168.240.252_45726,WEB_192.168.240.252_46616,WEB_192.168.240.252_46618,WEB_192.168.240.252_46622,WEB_192.168.240.252_46624,WEB_192.168.240.252_46626,WEB_192.168.240.252_46730,WEB_192.168.240.252_46732,WEB_192.168.240.252_46734,WEB_192.168.240.252_46736,WEB_192.168.240.252_46740,WEB_192.168.240.252_46810,WEB_192.168.240.252_46812,WEB_192.168.240.252_46816,WEB_192.168.240.252_46818,WEB_192.168.240.252_46822,WEB_192.168.240.252_46984,WEB_192.168.240.252_46990,WEB_192.168.240.252_46996,WEB_192.168.240.252_46998,WEB_192.168.240.252_47028,WEB_192.168.240.252_47030,WEB_192.168.240.252_47034,WEB_192.168.240.252_47036,WEB_192.168.240.252_47038,WEB_192.168.240.252_47090,WEB_192.168.240.252_47446,WEB_192.168.240.252_47456,WEB_192.168.240.252_47462,WEB_192.168.240.252_47464,WEB_192.168.240.252_47470,WEB_192.168.240.252_47472,WEB_192.168.240.252_47840,WEB_192.168.240.252_47842,WEB_192.168.240.252_47844,WEB_192.168.240.252_47846,WEB_192.168.240.252_48282,WEB_192.168.240.252_48286,WEB_192.168.240.252_48288,WEB_192.168.240.252_48290,WEB_192.168.240.252_48294,WEB_192.168.240.252_48534,WEB_192.168.240.252_48536,WEB_192.168.240.252_48560,WEB_192.168.240.252_48806,WEB_192.168.240.252_48808,WEB_192.168.240.252_48810,WEB_192.168.240.252_48816,WEB_192.168.240.252_48818,WEB_192.168.240.252_48858,WEB_192.168.240.252_48862,WEB_192.168.240.252_48864,WEB_192.168.240.252_48866,WEB_192.168.240.252_48868,WEB_192.168.240.252_49770,WEB_192.168.240.252_49772,WEB_192.168.240.252_49774,WEB_192.168.240.252_49776,WEB_192.168.240.252_49778,WEB_192.168.240.252_49810,WEB_192.168.240.252_49812,WEB_192.168.240.252_49814,WEB_192.168.240.252_49816,WEB_192.168.240.252_49872,WEB_192.168.240.252_49876,WEB_192.168.240.252_49878,WEB_192.168.240.252_49880,WEB_192.168.240.252_49882,WEB_192.168.240.252_49884,WEB_192.168.240.252_49886,WEB_192.168.240.252_49888,WEB_192.168.240.252_49890,WEB_192.168.240.252_49942,WEB_192.168.240.252_49944,WEB_192.168.240.252_49946,WEB_192.168.240.252_49948,WEB_192.168.240.252_49950,WEB_192.168.240.252_49960,WEB_192.168.240.252_49966,WEB_192.168.240.252_49968,WEB_192.168.240.252_49972,WEB_192.168.240.252_49976,WEB_192.168.240.252_50086,WEB_192.168.240.252_50098,WEB_192.168.240.252_50118,WEB_192.168.240.252_50146,WEB_192.168.240.252_50184,WEB_192.168.240.252_50188,WEB_192.168.240.252_50190,WEB_192.168.240.252_50208,WEB_192.168.240.252_50212,WEB_192.168.240.252_50214,WEB_192.168.240.252_50226,WEB_192.168.240.252_50228,WEB_192.168.240.252_50230,WEB_192.168.240.252_50232,WEB_192.168.240.252_50234,WEB_192.168.240.252_50236,WEB_192.168.240.252_50262,WEB_192.168.240.252_50266,WEB_192.168.240.252_50268,WEB_192.168.240.252_50270,WEB_192.168.240.252_50272,WEB_192.168.240.252_50274,WEB_192.168.240.252_50342,WEB_192.168.240.252_50492,WEB_192.168.240.252_50494,WEB_192.168.240.252_50496,WEB_192.168.240.252_50526,WEB_192.168.240.252_50528,WEB_192.168.240.252_50598,WEB_192.168.240.252_50602,WEB_192.168.240.252_50604,WEB_192.168.240.252_50626,WEB_192.168.240.252_50628,WEB_192.168.240.252_50634,WEB_192.168.240.252_50648,WEB_192.168.240.252_50652,WEB_192.168.240.252_50654,WEB_192.168.240.252_50692,WEB_192.168.240.252_51088,WEB_192.168.240.252_51090,WEB_192.168.240.252_51104,WEB_192.168.240.252_51120,WEB_192.168.240.252_51180,WEB_192.168.240.252_51182,WEB_192.168.240.252_51184,WEB_192.168.240.252_51186,WEB_192.168.240.252_51188,WEB_192.168.240.252_51204,WEB_192.168.240.252_51440,WEB_192.168.240.252_51446,WEB_192.168.240.252_51456,WEB_192.168.240.252_51458,WEB_192.168.240.252_51460,WEB_192.168.240.252_51476,WEB_192.168.240.252_51478,WEB_192.168.240.252_51486,WEB_192.168.240.252_51516,WEB_192.168.240.252_51518,WEB_192.168.240.252_51732,WEB_192.168.240.252_51734,WEB_192.168.240.252_51736,WEB_192.168.240.252_51740,WEB_192.168.240.252_51742,WEB_192.168.240.252_51894,WEB_192.168.240.252_51896,WEB_192.168.240.252_51902,WEB_192.168.240.252_51918,WEB_192.168.240.252_52028,WEB_192.168.240.252_52030,WEB_192.168.240.252_52036,WEB_192.168.240.252_52038,WEB_192.168.240.252_52040,WEB_192.168.240.252_52046,WEB_192.168.240.252_52048,WEB_192.168.240.252_52050,WEB_192.168.240.252_52054,WEB_192.168.240.252_52056,WEB_192.168.240.252_52104,WEB_192.168.240.252_52106,WEB_192.168.240.252_52110,WEB_192.168.240.252_52124,WEB_192.168.240.252_52126,WEB_192.168.240.252_52154,WEB_192.168.240.252_52156,WEB_192.168.240.252_52160,WEB_192.168.240.252_52162,WEB_192.168.240.252_52164,WEB_192.168.240.252_52174,WEB_192.168.240.252_52178,WEB_192.168.240.252_52180,WEB_192.168.240.252_52192,WEB_192.168.240.252_52208,WEB_192.168.240.252_52220,WEB_192.168.240.252_52222,WEB_192.168.240.252_52226,WEB_192.168.240.252_52228,WEB_192.168.240.252_52266,WEB_192.168.240.252_52376,WEB_192.168.240.252_52434,WEB_192.168.240.252_52436,WEB_192.168.240.252_52438,WEB_192.168.240.252_52456,WEB_192.168.240.252_52792,WEB_192.168.240.252_52822,WEB_192.168.240.252_52910,WEB_192.168.240.252_52974,WEB_192.168.240.252_52978,WEB_192.168.240.252_52980,WEB_192.168.240.252_52982,WEB_192.168.240.252_52984,WEB_192.168.240.252_53046,WEB_192.168.240.252_53048,WEB_192.168.240.252_53054,WEB_192.168.240.252_53056,WEB_192.168.240.252_53058,WEB_192.168.240.252_53278,WEB_192.168.240.252_53286,WEB_192.168.240.252_53288,WEB_192.168.240.252_53422,WEB_192.168.240.252_53426,WEB_192.168.240.252_53428,WEB_192.168.240.252_53432,WEB_192.168.240.252_53436,WEB_192.168.240.252_53438,WEB_192.168.240.252_53504,WEB_192.168.240.252_53564,WEB_192.168.240.252_53628,WEB_192.168.240.252_53630,WEB_192.168.240.252_53632,WEB_192.168.240.252_53634,WEB_192.168.240.252_53636,WEB_192.168.240.252_53720,WEB_192.168.240.252_53724,WEB_192.168.240.252_53756,WEB_192.168.240.252_53764,WEB_192.168.240.252_53774,WEB_192.168.240.252_53844,WEB_192.168.240.252_53848,WEB_192.168.240.252_53850,WEB_192.168.240.252_53852,WEB_192.168.240.252_53864,WEB_192.168.240.252_53892,WEB_192.168.240.252_53896,WEB_192.168.240.252_53898,WEB_192.168.240.252_53900,WEB_192.168.240.252_53902,WEB_192.168.240.252_53962,WEB_192.168.240.252_53964,WEB_192.168.240.252_53966,WEB_192.168.240.252_53968,WEB_192.168.240.252_53972,WEB_192.168.240.252_54084,WEB_192.168.240.252_54086,WEB_192.168.240.252_54088,WEB_192.168.240.252_54090,WEB_192.168.240.252_54092,WEB_192.168.240.252_54174,WEB_192.168.240.252_54176,WEB_192.168.240.252_54178,WEB_192.168.240.252_54180,WEB_192.168.240.252_54182,WEB_192.168.240.252_54224,WEB_192.168.240.252_54228,WEB_192.168.240.252_54230,WEB_192.168.240.252_54232,WEB_192.168.240.252_54234,WEB_192.168.240.252_54324,WEB_192.168.240.252_54326,WEB_192.168.240.252_54328,WEB_192.168.240.252_54330,WEB_192.168.240.252_54332,WEB_192.168.240.252_54408,WEB_192.168.240.252_54410,WEB_192.168.240.252_54412,WEB_192.168.240.252_54416,WEB_192.168.240.252_54418,WEB_192.168.240.252_54732,WEB_192.168.240.252_54736,WEB_192.168.240.252_54738,WEB_192.168.240.252_54878,WEB_192.168.240.252_54880,WEB_192.168.240.252_54882,WEB_192.168.240.252_54884,WEB_192.168.240.252_54898,WEB_192.168.240.252_55044,WEB_192.168.240.252_55122,WEB_192.168.240.252_55124,WEB_192.168.240.252_55126,WEB_192.168.240.252_55128,WEB_192.168.240.252_55414,WEB_192.168.240.252_55416,WEB_192.168.240.252_55422,WEB_192.168.240.252_55428,WEB_192.168.240.252_55430,WEB_192.168.240.252_55580,WEB_192.168.240.252_55582,WEB_192.168.240.252_55586,WEB_192.168.240.252_55588,WEB_192.168.240.252_55590,WEB_192.168.240.252_55684,WEB_192.168.240.252_55686,WEB_192.168.240.252_55694,WEB_192.168.240.252_55698,WEB_192.168.240.252_55700,WEB_192.168.240.252_55874,WEB_192.168.240.252_55884,WEB_192.168.240.252_55886,WEB_192.168.240.252_55890,WEB_192.168.240.252_56040,WEB_192.168.240.252_56042,WEB_192.168.240.252_56044,WEB_192.168.240.252_56046,WEB_192.168.240.252_56122,WEB_192.168.240.252_56124,WEB_192.168.240.252_56126,WEB_192.168.240.252_56130,WEB_192.168.240.252_56134,WEB_192.168.240.252_56138,WEB_192.168.240.252_56142,WEB_192.168.240.252_56160,WEB_192.168.240.252_56174,WEB_192.168.240.252_56178,WEB_192.168.240.252_56190,WEB_192.168.240.252_56196,WEB_192.168.240.252_56204,WEB_192.168.240.252_56208,WEB_192.168.240.252_56242,WEB_192.168.240.252_56246,WEB_192.168.240.252_56252,WEB_192.168.240.252_56264,WEB_192.168.240.252_56282,WEB_192.168.240.252_56284,WEB_192.168.240.252_56386,WEB_192.168.240.252_56388,WEB_192.168.240.252_56390,WEB_192.168.240.252_56400,WEB_192.168.240.252_56428,WEB_192.168.240.252_56492,WEB_192.168.240.252_56494,WEB_192.168.240.252_56504,WEB_192.168.240.252_56516,WEB_192.168.240.252_56520,WEB_192.168.240.252_56638,WEB_192.168.240.252_56640,WEB_192.168.240.252_56642,WEB_192.168.240.252_56644,WEB_192.168.240.252_56742,WEB_192.168.240.252_56808,WEB_192.168.240.252_56810,WEB_192.168.240.252_56984,WEB_192.168.240.252_56986,WEB_192.168.240.252_56988,WEB_192.168.240.252_56992,WEB_192.168.240.252_56998,WEB_192.168.240.252_57000,WEB_192.168.240.252_57002,WEB_192.168.240.252_57004,WEB_192.168.240.252_57006,WEB_192.168.240.252_57020,WEB_192.168.240.252_57024,WEB_192.168.240.252_57026,WEB_192.168.240.252_57032,WEB_192.168.240.252_57034,WEB_192.168.240.252_57038,WEB_192.168.240.252_57048,WEB_192.168.240.252_57066,WEB_192.168.240.252_57068,WEB_192.168.240.252_57070,WEB_192.168.240.252_57072,WEB_192.168.240.252_57200,WEB_192.168.240.252_57202,WEB_192.168.240.252_57204,WEB_192.168.240.252_57208,WEB_192.168.240.252_57256,WEB_192.168.240.252_57260,WEB_192.168.240.252_57262,WEB_192.168.240.252_57264,WEB_192.168.240.252_57454,WEB_192.168.240.252_57456,WEB_192.168.240.252_57458,WEB_192.168.240.252_57460,WEB_192.168.240.252_57522,WEB_192.168.240.252_57524,WEB_192.168.240.252_57530,WEB_192.168.240.252_57574,WEB_192.168.240.252_57590,WEB_192.168.240.252_57602,WEB_192.168.240.252_57604,WEB_192.168.240.252_57606,WEB_192.168.240.252_57634,WEB_192.168.240.252_57658,WEB_192.168.240.252_57660,WEB_192.168.240.252_57662,WEB_192.168.240.252_57664,WEB_192.168.240.252_57666,WEB_192.168.240.252_57672,WEB_192.168.240.252_57674,WEB_192.168.240.252_57700,WEB_192.168.240.252_57704,WEB_192.168.240.252_57758,WEB_192.168.240.252_57768,WEB_192.168.240.252_57770,WEB_192.168.240.252_57774,WEB_192.168.240.252_57778,WEB_192.168.240.252_57780,WEB_192.168.240.252_57782,WEB_192.168.240.252_57784,WEB_192.168.240.252_57788,WEB_192.168.240.252_57800,WEB_192.168.240.252_57804,WEB_192.168.240.252_57818,WEB_192.168.240.252_57820,WEB_192.168.240.252_57822,WEB_192.168.240.252_57836,WEB_192.168.240.252_57848,WEB_192.168.240.252_57870,WEB_192.168.240.252_57874,WEB_192.168.240.252_58212,WEB_192.168.240.252_58214,WEB_192.168.240.252_58216,WEB_192.168.240.252_58244,WEB_192.168.240.252_58248,WEB_192.168.240.252_58366,WEB_192.168.240.252_58368,WEB_192.168.240.252_58370,WEB_192.168.240.252_58372,WEB_192.168.240.252_58376,WEB_192.168.240.252_58388,WEB_192.168.240.252_58390,WEB_192.168.240.252_58392,WEB_192.168.240.252_58404,WEB_192.168.240.252_58406,WEB_192.168.240.252_58892,WEB_192.168.240.252_58896,WEB_192.168.240.252_58908,WEB_192.168.240.252_58964,WEB_192.168.240.252_58966,WEB_192.168.240.252_58972,WEB_192.168.240.252_58974,WEB_192.168.240.252_58984,WEB_192.168.240.252_59236,WEB_192.168.240.252_59238,WEB_192.168.240.252_59240,WEB_192.168.240.252_59242,WEB_192.168.240.252_59246,WEB_192.168.240.252_59760,WEB_192.168.240.252_59764,WEB_192.168.240.252_59768,WEB_192.168.240.252_59782,WEB_192.168.240.252_59804,WEB_192.168.240.252_59806,WEB_192.168.240.252_59808,WEB_192.168.240.252_59810,WEB_192.168.240.252_59842,WEB_192.168.240.252_59870,WEB_192.168.240.252_59908,WEB_192.168.240.252_59910,WEB_192.168.240.252_59912,WEB_192.168.240.252_59914,WEB_192.168.240.252_59916,WEB_192.168.240.252_59918,WEB_192.168.240.252_59934,WEB_192.168.240.252_59940,WEB_192.168.240.252_59942,WEB_192.168.240.252_59946,WEB_192.168.240.252_60138,WEB_192.168.240.252_60140,WEB_192.168.240.252_60144,WEB_192.168.240.252_60164,WEB_192.168.240.252_60170,WEB_192.168.240.252_60192,WEB_192.168.240.252_60200,WEB_192.168.240.252_60202,WEB_192.168.240.252_60204,WEB_192.168.240.252_60334,WEB_192.168.240.252_60484,WEB_192.168.240.252_60490,WEB_192.168.240.252_60494,WEB_192.168.240.252_60496,WEB_192.168.240.252_60498,WEB_192.168.240.252_60536,WEB_192.168.240.252_60538,WEB_192.168.240.252_60540,WEB_192.168.240.252_60542,WEB_192.168.240.252_60554,WEB_192.168.240.252_60568,WEB_192.168.240.252_60608,WEB_192.168.240.252_60612,WEB_192.168.240.252_60614,WEB_192.168.240.253_47125,WEB_192.168.240.253_47126,WEB_192.168.240.253_56295,WEB_192.168.240.253_56296,WEBhook_109.45.0.132_34460,WEBhook_109.45.0.132_36320,WEBhook_109.45.0.132_36554,WEBhook_109.45.0.132_42274,WEBhook_109.45.0.132_50945,WEBhook_109.45.0.132_61500,WEBhook_109.45.0.158_39817,WEBhook_109.45.0.180_39858,WEBhook_109.45.1.25_32813,WEBhook_109.45.1.88_33795,WEBhook_109.45.1.88_36346,WEBhook_109.45.1.88_46742,WEBhook_109.45.1.88_48268,WEBhook_109.45.1.88_48553,WEBhook_109.45.1.88_50517,WEBhook_109.45.1.88_60729,WEBhook_109.45.2.184_46519,WEBhook_109.45.2.234_36397,WEBhook_109.45.2.234_37283,WEBhook_109.45.2.234_43441,WEBhook_109.45.2.234_46430,WEBhook_109.45.2.234_53754,WEBhook_2.247.240.185_11574,WEBhook_2.247.240.185_13568,WEBhook_2.247.240.185_26616,WEBhook_2.247.240.185_29861,WEBhook_2.247.241.112_12382,WEBhook_2.247.241.112_13202,WEBhook_2.247.241.112_18684,WEBhook_2.247.241.112_19609,WEBhook_2.247.241.112_19952,WEBhook_2.247.241.112_2262,WEBhook_2.247.241.112_2527,WEBhook_2.247.241.112_26932,WEBhook_2.247.241.112_8076,WEBhook_2.247.241.112_9844,WEBhook_2.247.241.195_17070,WEBhook_2.247.241.195_30150,WEBhook_2.247.241.195_5019,WEBhook_2.247.241.41_20273,WEBhook_2.247.242.105_10005,WEBhook_2.247.242.105_1297,WEBhook_2.247.242.105_17834,WEBhook_2.247.242.105_20830,WEBhook_2.247.242.105_29269,WEBhook_2.247.242.105_31380,WEBhook_2.247.243.79_17813,WEBhook_2.247.245.136_38528,WEBhook_2.247.245.136_61874,WEBhook_2.247.246.153_35025,WEBhook_2.247.246.153_39108,WEBhook_2.247.246.153_39434,WEBhook_2.247.246.153_39577,WEBhook_2.247.246.153_41051,WEBhook_2.247.246.153_41432,WEBhook_2.247.246.153_43817,WEBhook_2.247.246.153_43984,WEBhook_2.247.246.153_45431,WEBhook_2.247.246.153_45462,WEBhook_2.247.246.153_48018,WEBhook_2.247.246.153_48621,WEBhook_2.247.246.153_49203,WEBhook_2.247.246.153_51237,WEBhook_2.247.246.153_51850,WEBhook_2.247.246.153_54420,WEBhook_2.247.246.153_56985,WEBhook_2.247.246.153_58749,WEBhook_2.247.246.153_59398,WEBhook_2.247.246.153_60923,WEBhook_2.247.246.153_61265,WEBhook_2.247.246.153_62840,WEBhook_2.247.247.131_56071,WEBhook_2.247.247.146_33614,WEBhook_2.247.247.79_36279,WEBhook_2.247.247.79_49256,WEBhook_2.247.247.90_43938,WEBhook_2.247.247.90_45603,WEBhook_2.247.247.90_48443,WEBhook_2.247.248.149_49395,WEBhook_2.247.248.214_38092,WEBhook_2.247.248.76_38812,WEBhook_2.247.248.88_34232,WEBhook_2.247.248.88_34946,WEBhook_2.247.248.88_34995,WEBhook_2.247.248.88_40939,WEBhook_2.247.248.88_42758,WEBhook_2.247.248.88_43587,WEBhook_2.247.248.88_49856,WEBhook_2.247.248.88_55867,WEBhook_2.247.248.88_58893,WEBhook_2.247.248.88_60525,WEBhook_2.247.248.88_62955,WEBhook_2.247.249.176_49306,WEBhook_2.247.249.176_51579,WEBhook_2.247.249.176_54538,WEBhook_2.247.249.2_48520,WEBhook_2.247.249.56_33630,WEBhook_2.247.249.56_33837,WEBhook_2.247.249.56_34196,WEBhook_2.247.249.56_40071,WEBhook_2.247.249.56_53974,WEBhook_2.247.249.56_57848,WEBhook_2.247.249.56_62984,WEBhook_2.247.249.7_32846,WEBhook_2.247.250.122_44223,WEBhook_2.247.250.122_49149,WEBhook_2.247.250.122_49367,WEBhook_2.247.250.122_59935,WEBhook_2.247.250.247_34454,WEBhook_2.247.250.247_36406,WEBhook_2.247.250.247_37246,WEBhook_2.247.250.247_42418,WEBhook_2.247.250.247_42901,WEBhook_2.247.250.247_54799,WEBhook_2.247.250.247_56162,WEBhook_2.247.250.247_58273,WEBhook_2.247.250.247_60527,WEBhook_2.247.250.247_62071,WEBhook_2.247.251.122_33460,WEBhook_2.247.251.209_33188,WEBhook_2.247.251.209_33483,WEBhook_2.247.251.209_34426,WEBhook_2.247.251.209_34565,WEBhook_2.247.251.209_36616,WEBhook_2.247.251.209_41369,WEBhook_2.247.251.209_43251,WEBhook_2.247.251.209_53566,WEBhook_2.247.251.209_55765,WEBhook_2.247.251.209_58947,WEBhook_2.247.251.209_60082,WEBhook_2.247.251.209_61247,WEBhook_2.247.251.209_62013,WEBhook_2.247.251.2_47743,WEBhook_2.247.251.2_49867,WEBhook_2.247.251.2_51459,WEBhook_2.247.251.62_51445,WEBhook_2.247.251.62_54534,WEBhook_2.247.251.93_33038,WEBhook_2.247.251.93_33051,WEBhook_2.247.251.93_34767,WEBhook_2.247.251.93_42326,WEBhook_2.247.251.93_46135,WEBhook_2.247.251.93_54144,WEBhook_2.247.251.93_58309,WEBhook_2.247.251.93_59833,WEBhook_2.247.255.148_38696,WEBhook_2.247.255.148_47417,WEBhook_2.247.255.148_48007,WEBhook_2.247.255.148_58081,WEBhook_2.247.255.148_60154,WEBhook_212.204.61.202_41098,WEBhook_212.204.61.202_48966,WEBhook_212.204.61.202_51763,WEBhook_212.204.61.202_55132,WEBhook_212.204.61.202_58294,WEBhook_80.147.226.103_35156,WEBhook_80.147.226.103_35840,WEBhook_80.147.226.103_36521,WEBhook_80.147.226.103_37410,WEBhook_80.147.226.103_39250,WEBhook_80.147.226.103_39665,WEBhook_80.147.226.103_41364,WEBhook_80.147.226.103_47559,WEBhook_80.147.226.103_50295,WEBhook_80.147.226.103_53387,WEBhook_80.147.226.103_54553,WEBhook_80.147.226.103_55477,WEBhook_80.147.226.103_56690,WEBhook_80.147.226.103_57393,WEBhook_80.147.226.103_59086,WEBhook_80.147.226.103_59355,WEBhook_80.147.226.103_59568,WEBhook_80.147.226.103_61701,WEBhook_80.147.226.103_61839,WEBhook_80.147.226.103_61952,WEBhook_80.147.226.103_65047,WEBhook_82.113.99.99_62978,WEBhook_87.138.222.254_36903,WEBhook_87.138.222.254_39412,WEBhook_87.138.222.254_40043,WEBhook_87.138.222.254_48199,WEBhook_87.138.222.254_54983,WEBhook_87.138.222.254_57399,WEBhook_87.138.222.254_63640,WEBhook_89.204.135.24_34313,WEBhook_89.204.135.24_35966,WEBhook_89.204.135.24_40555,WEBhook_89.204.135.24_48113,WEBhook_89.204.135.24_49007,WEBhook_89.204.137.112_10685,WEBhook_89.204.137.112_23512,WEBhook_89.204.137.112_24294,WEBhook_89.204.137.112_25604,WEBhook_89.204.137.112_4021,WEBhook_89.204.137.112_7829,WEBhook_89.204.137.135_31012,WEBhook_89.204.137.13_12044,WEBhook_89.204.137.13_26136,WEBhook_89.204.137.13_28716,WEBhook_89.204.137.13_30005,WEBhook_89.204.137.194_12464,WEBhook_89.204.137.194_14722,WEBhook_89.204.137.194_14839,WEBhook_89.204.137.194_16414,WEBhook_89.204.137.194_18031,WEBhook_89.204.137.194_19543,WEBhook_89.204.137.194_26702,WEBhook_89.204.137.194_28721,WEBhook_89.204.137.194_30422,WEBhook_89.204.137.194_31184,WEBhook_89.204.137.194_7036,WEBhook_89.204.137.211_11613,WEBhook_89.204.137.211_13998,WEBhook_89.204.137.211_1606,WEBhook_89.204.137.211_17190,WEBhook_89.204.137.245_19258,WEBhook_89.204.137.39_4289,WEBhook_89.204.137.54_6357,WEBhook_89.204.137.56_6260,WEBhook_89.204.137.77_27961,WEBhook_89.204.138.166_20833,WEBhook_89.204.138.166_2358,WEBhook_89.204.138.166_3940,WEBhook_89.204.138.182_14075,WEBhook_89.204.138.198_15966,WEBhook_89.204.138.198_20396,WEBhook_89.204.138.212_20761,WEBhook_89.204.138.224_20175,WEBhook_89.204.138.225_25497,WEBhook_89.204.138.225_27406,WEBhook_89.204.138.234_11343,WEBhook_89.204.138.234_25314,WEBhook_89.204.138.234_25465,WEBhook_89.204.138.234_26272,WEBhook_89.204.138.234_29268,WEBhook_89.204.138.2_1701,WEBhook_89.204.138.33_24969,WEBhook_89.204.138.33_27798,WEBhook_89.204.138.33_28449,WEBhook_89.204.138.33_4890,WEBhook_89.204.138.33_8027,WEBhook_89.204.138.75_24643,WEBhook_89.204.138.9_11754,WEBhook_89.204.138.9_14120,WEBhook_89.204.138.9_2736,WEBhook_89.204.138.9_5029,WEBhook_89.204.139.111_19697,WEBhook_89.204.139.114_16080,WEBhook_89.204.139.114_31519,WEBhook_89.204.139.121_1104,WEBhook_89.204.139.121_20387,WEBhook_89.204.139.121_2167,WEBhook_89.204.139.121_29617,WEBhook_89.204.139.121_3984,WEBhook_89.204.139.121_7502,WEBhook_89.204.139.138_2558,WEBhook_89.204.139.138_27743,WEBhook_89.204.139.138_27858,WEBhook_89.204.139.138_9002,WEBhook_89.204.139.193_7790,WEBhook_89.204.139.217_11803,WEBhook_89.204.139.217_12934,WEBhook_89.204.139.217_21031,WEBhook_89.204.139.217_4021,WEBhook_89.204.139.217_5942,WEBhook_89.204.139.217_8058,WEBhook_89.204.139.218_12592,WEBhook_89.204.139.218_15404,WEBhook_89.204.139.218_19924,WEBhook_89.204.139.218_29489,WEBhook_89.204.139.22_27450,WEBhook_89.204.139.22_30184,WEBhook_89.204.139.23_11923,WEBhook_89.204.139.243_20568,WEBhook_89.204.139.36_18571,WEBhook_89.204.139.36_6350,WEBhook_89.204.139.36_8791,WEBhook_89.204.139.70_16011,WEBhook_89.204.139.70_17121,WEBhook_89.204.139.70_23862,WEBhook_89.204.139.70_6338,WEBhook_89.204.139.70_8424,WEBhook_89.204.139.8_10326,WEBhook_89.204.139.8_11116,WEBhook_89.204.139.8_14117,WEBhook_89.204.139.8_19380,WEBhook_89.204.139.8_2003,WEBhook_89.204.139.8_20097,WEBhook_89.204.139.8_23090,WEBhook_89.204.139.8_23175,WEBhook_89.204.139.8_27422,WEBhook_89.204.139.8_27509,WEBhook_89.204.139.8_27539,WEBhook_89.204.139.8_30060,WEBhook_89.204.139.8_30636,WEBhook_89.204.153.98_35004,WEBhook_89.204.153.98_38170,WEBhook_89.204.153.98_62714,WEBhook_89.204.154.231_46735,WEBhook_89.204.154.231_53680,WEBhook_89.204.154.231_56185,WEBhook_89.204.154.24_33104,WEBhook_89.204.154.24_42344,WEBhook_89.204.154.24_45084,WEBhook_89.204.154.24_48907,WEBhook_89.204.154.24_49395,WEBhook_89.204.154.24_53110,WEBhook_89.204.154.24_53464,WEBhook_89.204.154.24_54753,WEBhook_89.204.155.189_38372,WEBhook_89.204.155.189_61691,WEBhook_89.204.155.23_45302,WEBphone_127.0.0.1_33722,WEBphone_127.0.0.1_36630,WEBphone_127.0.0.1_37520,WEBphone_127.0.0.1_39914,WEBphone_127.0.0.1_41186,WEBphone_127.0.0.1_41366,WEBphone_127.0.0.1_41508,WEBphone_127.0.0.1_41574,WEBphone_127.0.0.1_41732,WEBphone_127.0.0.1_42062,WEBphone_127.0.0.1_42976,WEBphone_127.0.0.1_43272,WEBphone_127.0.0.1_43346,WEBphone_127.0.0.1_43378,WEBphone_127.0.0.1_43488,WEBphone_127.0.0.1_43612,WEBphone_127.0.0.1_43672,WEBphone_127.0.0.1_43836,WEBphone_127.0.0.1_45294,WEBphone_127.0.0.1_45460,WEBphone_127.0.0.1_45556,WEBphone_127.0.0.1_45970,WEBphone_127.0.0.1_46114,WEBphone_127.0.0.1_46298,WEBphone_127.0.0.1_46334,WEBphone_127.0.0.1_46376,WEBphone_127.0.0.1_46398,WEBphone_127.0.0.1_46406,WEBphone_127.0.0.1_46512,WEBphone_127.0.0.1_46528,WEBphone_127.0.0.1_46550,WEBphone_127.0.0.1_46584,WEBphone_127.0.0.1_46596,WEBphone_127.0.0.1_47122,WEBphone_127.0.0.1_48022,WEBphone_127.0.0.1_48606,WEBphone_127.0.0.1_49102,WEBphone_127.0.0.1_49498,WEBphone_127.0.0.1_49648,WEBphone_127.0.0.1_49816,WEBphone_127.0.0.1_50278,WEBphone_127.0.0.1_50394,WEBphone_127.0.0.1_50430,WEBphone_127.0.0.1_51168,WEBphone_127.0.0.1_51200,WEBphone_127.0.0.1_51388,WEBphone_127.0.0.1_51758,WEBphone_127.0.0.1_51932,WEBphone_127.0.0.1_51954,WEBphone_127.0.0.1_51990,WEBphone_127.0.0.1_52010,WEBphone_127.0.0.1_52040,WEBphone_127.0.0.1_52156,WEBphone_127.0.0.1_52208,WEBphone_127.0.0.1_52344,WEBphone_127.0.0.1_52534,WEBphone_127.0.0.1_52664,WEBphone_127.0.0.1_52704,WEBphone_127.0.0.1_52728,WEBphone_127.0.0.1_52914,WEBphone_127.0.0.1_52936,WEBphone_127.0.0.1_52968,WEBphone_127.0.0.1_52998,WEBphone_127.0.0.1_53130,WEBphone_127.0.0.1_53140,WEBphone_127.0.0.1_53156,WEBphone_127.0.0.1_53206,WEBphone_127.0.0.1_53280,WEBphone_127.0.0.1_53310,WEBphone_127.0.0.1_53330,WEBphone_127.0.0.1_53368,WEBphone_127.0.0.1_53384,WEBphone_127.0.0.1_53440,WEBphone_127.0.0.1_53486,WEBphone_127.0.0.1_53522,WEBphone_127.0.0.1_53554,WEBphone_127.0.0.1_53616,WEBphone_127.0.0.1_53644,WEBphone_127.0.0.1_53696,WEBphone_127.0.0.1_53708,WEBphone_127.0.0.1_53738,WEBphone_127.0.0.1_53780,WEBphone_127.0.0.1_53812,WEBphone_127.0.0.1_53846,WEBphone_127.0.0.1_53890,WEBphone_127.0.0.1_53898,WEBphone_127.0.0.1_53946,WEBphone_127.0.0.1_53966,WEBphone_127.0.0.1_53978,WEBphone_127.0.0.1_54114,WEBphone_127.0.0.1_54150,WEBphone_127.0.0.1_54288,WEBphone_127.0.0.1_54346,WEBphone_127.0.0.1_54432,WEBphone_127.0.0.1_54740,WEBphone_127.0.0.1_55216,WEBphone_127.0.0.1_55480,WEBphone_127.0.0.1_55820,WEBphone_127.0.0.1_55848,WEBphone_127.0.0.1_55988,WEBphone_127.0.0.1_56028,WEBphone_127.0.0.1_56078,WEBphone_127.0.0.1_56200,WEBphone_127.0.0.1_56374,WEBphone_127.0.0.1_56380,WEBphone_127.0.0.1_56452,WEBphone_127.0.0.1_56492,WEBphone_127.0.0.1_56556,WEBphone_127.0.0.1_56646,WEBphone_127.0.0.1_56750,WEBphone_127.0.0.1_56876,WEBphone_127.0.0.1_56908,WEBphone_127.0.0.1_57078,WEBphone_127.0.0.1_57288,WEBphone_127.0.0.1_57438,WEBphone_127.0.0.1_58282,WEBphone_127.0.0.1_58424,WEBphone_127.0.0.1_58426,WEBphone_127.0.0.1_59084,WEBphone_192.168.240.253_35304,WEBphone_192.168.240.253_35305,WEBphone_192.168.240.253_35306,WEBphone_192.168.240.253_35307,WEBphone_192.168.240.253_35309,WEBphone_192.168.240.253_35310,WEBphone_192.168.240.253_35312,WEBphone_192.168.240.253_35313,WEBphone_192.168.240.253_35314,WEBphone_192.168.240.253_35315,WEBphone_192.168.240.253_35317,WEBphone_192.168.240.253_35318,WEBphone_192.168.240.253_35319,WEBphone_192.168.240.253_35320,WEBphone_192.168.240.253_35321,WEBphone_192.168.240.253_35322,WEBphone_192.168.240.253_35326,WEBphone_192.168.240.253_35327,WEBphone_192.168.240.253_35328,WEBphone_192.168.240.253_35329,WEBphone_192.168.240.253_35330,WEBphone_192.168.240.253_35332,WEBphone_192.168.240.253_35333,WEBphone_192.168.240.253_35334,WEBphone_192.168.240.253_35335,WEBphone_192.168.240.253_35336,WEBphone_192.168.240.253_35337,WEBphone_192.168.240.253_35338,WEBphone_192.168.240.253_35339,WEBphone_192.168.240.253_35340,WEBphone_192.168.240.253_35341,WEBphone_192.168.240.253_35342,WEBphone_192.168.240.253_35343,WEBphone_192.168.240.253_35346,WEBphone_192.168.240.253_35347,WEBphone_192.168.240.253_35348,WEBphone_192.168.240.253_35349,WEBphone_192.168.240.253_35350,WEBphone_192.168.240.253_35351,WEBphone_192.168.240.253_35358,WEBphone_192.168.240.253_35359,WEBphone_192.168.240.253_35360,WEBphone_192.168.240.253_35361,WEBphone_192.168.240.253_35362,WEBphone_192.168.240.253_35363,WEBphone_192.168.240.253_35365,WEBphone_192.168.240.253_35366,WEBphone_192.168.240.253_35367,WEBphone_192.168.240.253_35368,WEBphone_192.168.240.253_35369,WEBphone_192.168.240.253_35370,WEBphone_192.168.240.253_35371,WEBphone_192.168.240.253_35372,WEBphone_192.168.240.253_35373,WEBphone_192.168.240.253_35374,WEBphone_192.168.240.253_35375,WEBphone_192.168.240.253_35376,WEBphone_192.168.240.253_35377,WEBphone_192.168.240.253_35378,WEBphone_192.168.240.253_35379,WEBphone_192.168.240.253_35380,WEBphone_192.168.240.253_35381,WEBphone_192.168.240.253_35382,WEBphone_192.168.240.253_35383,WEBphone_192.168.240.253_35384,WEBphone_192.168.240.253_35385,WEBphone_192.168.240.253_35386,WEBphone_192.168.240.253_35387,WEBphone_192.168.240.253_35388,WEBphone_192.168.240.253_35389,WEBphone_192.168.240.253_35390,WEBphone_192.168.240.253_35391,WEBphone_192.168.240.253_35392,WEBphone_192.168.240.253_35393,WEBphone_192.168.240.253_35394,WEBphone_192.168.240.253_35395,WEBphone_192.168.240.253_35396,WEBphone_192.168.240.253_35397,WEBphone_192.168.240.253_35398,WEBphone_192.168.240.253_35399,WEBphone_192.168.240.253_35400,WEBphone_192.168.240.253_35401,WEBphone_192.168.240.253_35402,WEBphone_192.168.240.253_35403,WEBphone_192.168.240.253_35404,WEBphone_192.168.240.253_35405,WEBphone_192.168.240.253_35406,WEBphone_192.168.240.253_35408,WEBphone_192.168.240.253_35409,WEBphone_192.168.240.253_35410,WEBphone_192.168.240.253_35411,WEBphone_192.168.240.253_35412,WEBphone_192.168.240.253_35413,WEBphone_192.168.240.253_35414,WEBphone_192.168.240.253_35415,WEBphone_192.168.240.253_35416,WEBphone_192.168.240.253_35417,WEBphone_192.168.240.253_35418,WEBphone_192.168.240.253_35419,WEBphone_192.168.240.253_35420,WEBphone_192.168.240.253_35421,WEBphone_192.168.240.253_35422,WEBphone_192.168.240.253_35423,WEBphone_192.168.240.253_35424,WEBphone_192.168.240.253_35425,WEBphone_192.168.240.253_35427,WEBphone_192.168.240.253_35428,WEBphone_192.168.240.253_35429,WEBphone_192.168.240.253_35430,WEBphone_192.168.240.253_35431,WEBphone_192.168.240.253_35432,WEBphone_192.168.240.253_35433,WEBphone_192.168.240.253_35434,WEBphone_192.168.240.253_35435,WEBphone_192.168.240.253_35436,WEBphone_192.168.240.253_35437,WEBphone_192.168.240.253_35438,WEBphone_192.168.240.253_35441,WEBphone_192.168.240.253_35442,WEBphone_192.168.240.253_35443,WEBphone_192.168.240.253_35444,WEBphone_192.168.240.253_35445,WEBphone_192.168.240.253_35446,WEBphone_192.168.240.253_35448,WEBphone_192.168.240.253_35449,WEBphone_192.168.240.253_35450,WEBphone_192.168.240.253_35451,WEBphone_192.168.240.253_35452,WEBphone_192.168.240.253_35453,WEBphone_192.168.240.253_35454,WEBphone_192.168.240.253_35455,WEBphone_192.168.240.253_35456,WEBphone_192.168.240.253_35457,WEBphone_192.168.240.253_35458,WEBphone_192.168.240.253_35459,WEBphone_192.168.240.253_35460,WEBphone_192.168.240.253_35461,WEBphone_192.168.240.253_35462,WEBphone_192.168.240.253_35463,WEBphone_192.168.240.253_35464,WEBphone_192.168.240.253_35465,WEBphone_192.168.240.253_35466,WEBphone_192.168.240.253_35467,WEBphone_192.168.240.253_35468,WEBphone_192.168.240.253_35469,WEBphone_192.168.240.253_35470,WEBphone_192.168.240.253_35471,WEBphone_192.168.240.253_35472,WEBphone_192.168.240.253_35473,WEBphone_192.168.240.253_35474,WEBphone_192.168.240.253_35475,WEBphone_192.168.240.253_35476,WEBphone_192.168.240.253_35477,WEBphone_192.168.240.253_35478,WEBphone_192.168.240.253_35479,WEBphone_192.168.240.253_35480,WEBphone_192.168.240.253_35482,WEBphone_192.168.240.253_35483,WEBphone_192.168.240.253_35488,WEBphone_192.168.240.253_35489,WEBphone_192.168.240.253_35490,WEBphone_192.168.240.253_35491,WEBphone_192.168.240.253_35492,WEBphone_192.168.240.253_35493,WEBphone_192.168.240.253_35496,WEBphone_192.168.240.253_35497,WEBphone_192.168.240.253_35498,WEBphone_192.168.240.253_35499,WEBphone_192.168.240.253_35500,WEBphone_192.168.240.253_35501,WEBphone_192.168.240.253_35502,WEBphone_192.168.240.253_35503,WEBphone_192.168.240.253_35504,WEBphone_192.168.240.253_35506,WEBphone_192.168.240.253_35507,WEBphone_192.168.240.253_35508,WEBphone_192.168.240.253_35509,WEBphone_192.168.240.253_35510,WEBphone_192.168.240.253_35511,WEBphone_192.168.240.253_35512,WEBphone_192.168.240.253_35513,WEBphone_192.168.240.253_35514,WEBphone_192.168.240.253_35515,WEBphone_192.168.240.253_35516,WEBphone_192.168.240.253_35517,WEBphone_192.168.240.253_35518,WEBphone_192.168.240.253_35519,WEBphone_192.168.240.253_35520,WEBphone_192.168.240.253_35521,WEBphone_192.168.240.253_35522,WEBphone_192.168.240.253_35523,WEBphone_192.168.240.253_35524,WEBphone_192.168.240.253_35525,WEBphone_192.168.240.253_35526,WEBphone_192.168.240.253_35527,WEBphone_192.168.240.253_35528,WEBphone_192.168.240.253_35529,WEBphone_192.168.240.253_35530,WEBphone_192.168.240.253_35531,WEBphone_192.168.240.253_35532,WEBphone_192.168.240.253_35533,WEBphone_192.168.240.253_35534,WEBphone_192.168.240.253_35535,WEBphone_192.168.240.253_35536,WEBphone_192.168.240.253_35537,WEBphone_192.168.240.253_35538,WEBphone_192.168.240.253_35539,WEBphone_192.168.240.253_35540,WEBphone_192.168.240.253_35541,WEBphone_192.168.240.253_35542,WEBphone_192.168.240.253_35543,WEBphone_192.168.240.253_35544,WEBphone_192.168.240.253_35545,WEBphone_192.168.240.253_35546,WEBphone_192.168.240.253_35547,WEBphone_192.168.240.253_35548,WEBphone_192.168.240.253_35549,WEBphone_192.168.240.253_35550,WEBphone_192.168.240.253_35551,WEBphone_192.168.240.253_35552,WEBphone_192.168.240.253_35553,WEBphone_192.168.240.253_35554,WEBphone_192.168.240.253_35555,WEBphone_192.168.240.253_35570,WEBphone_192.168.240.253_35571,WEBphone_192.168.240.253_35572,WEBphone_192.168.240.253_35573,WEBphone_192.168.240.253_35575,WEBphone_192.168.240.253_35580,WEBphone_192.168.240.253_35581,WEBphone_192.168.240.253_35582<

Hmm. Entwerder habe ich einen Denkfehler, und dann muesste man das so schreiben:

Zitat{ join(",", grep { !defined($defs{$_}) } sort keys %attr) }

oder sind diese Schluessel von %attr nicht in %defs present, und dann bin ich etwas ratlos.

Zitat von: rudolfkoenig am 03 Juli 2017, 14:04:39
Hmm. Entwerder habe ich einen Denkfehler, und dann muesste man das so schreiben:oder sind diese Schluessel von %attr nicht in %defs present, und dann bin ich etwas ratlos.

Dann bekomme ich eine identische Liste

Zitat
2AC641,ELANKlm,ESSOTeltow,JETMahlowerStr,JETReihnstr,LgTV,SHELLStahnsdorf,SPRINTBerlin,SYSMON_Webapp01,WEB_10.6.9.10_37149,WEB_10.6.9.10_37161,WEB_10.6.9.10_38236,WEB_10.6.9.10_38237,WEB_10.6.9.10_38238,WEB_10.6.9.10_38289,WEB_10.6.9.10_38406,WEB_10.6.9.10_38487,WEB_10.6.9.10_38488,WEB_10.6.9.10_38489,WEB_10.6.9.10_38490,WEB_10.6.9.10_38491,WEB_10.6.9.10_38492,WEB_10.6.9.10_38624,WEB_10.6.9.10_38625,WEB_10.6.9.10_38725,WEB_10.6.9.10_38729,WEB_10.6.9.10_38731,WEB_10.6.9.10_38732,WEB_10.6.9.10_38733,WEB_10.6.9.10_38830,WEB_10.6.9.10_38831,WEB_10.6.9.10_38832,WEB_10.6.9.10_38834,WEB_10.6.9.10_38835,WEB_10.6.9.10_40755,WEB_10.6.9.10_40758,WEB_10.6.9.10_40759,WEB_10.6.9.10_41478,WEB_10.6.9.10_41479,WEB_10.6.9.10_41480,WEB_10.6.9.10_41483,WEB_10.6.9.10_43600,WEB_10.6.9.10_43603,WEB_10.6.9.10_43605,WEB_10.6.9.10_53508,WEB_10.6.9.10_54515,WEB_10.6.9.10_54516,WEB_10.6.9.10_54519,WEB_10.6.9.10_54520,WEB_10.6.9.10_54531,WEB_10.6.9.10_54542,WEB_10.6.9.10_54545,WEB_10.6.9.10_54548,WEB_10.6.9.18_35842,WEB_10.6.9.18_36760,WEB_10.6.9.18_38518,WEB_10.6.9.18_38534,WEB_10.6.9.18_38802,WEB_10.6.9.18_55909,WEB_10.6.9.18_55910,WEB_10.6.9.18_55913,WEB_10.6.9.18_55914,WEB_10.6.9.18_55917,WEB_10.6.9.18_55919,WEB_10.6.9.18_55920,WEB_10.6.9.18_55921,WEB_10.6.9.18_55922,WEB_10.6.9.18_55925,WEB_10.6.9.18_56167,WEB_10.6.9.18_56168,WEB_10.6.9.18_56169,WEB_10.6.9.18_56170,WEB_10.6.9.18_56173,WEB_10.6.9.18_56186,WEB_10.6.9.18_56227,WEB_10.6.9.18_56230,WEB_10.6.9.18_56232,WEB_10.6.9.18_56233,WEB_10.6.9.18_56235,WEB_10.6.9.18_56236,WEB_10.6.9.18_56238,WEB_10.6.9.18_56240,WEB_10.6.9.18_56241,WEB_10.6.9.18_56243,WEB_10.6.9.18_56244,WEB_10.6.9.18_56282,WEB_10.6.9.18_56283,WEB_10.6.9.18_56284,WEB_10.6.9.18_56287,WEB_10.6.9.18_56289,WEB_10.6.9.18_56329,WEB_10.6.9.18_56330,WEB_10.6.9.18_56331,WEB_10.6.9.18_56332,WEB_10.6.9.18_56333,WEB_10.6.9.18_56345,WEB_10.6.9.18_56346,WEB_10.6.9.18_56347,WEB_10.6.9.18_56348,WEB_10.6.9.18_56349,WEB_10.6.9.18_56398,WEB_10.6.9.18_56769,WEB_10.6.9.18_57014,WEB_10.6.9.18_57017,WEB_10.6.9.18_57018,WEB_10.6.9.18_57020,WEB_10.6.9.18_57021,WEB_10.6.9.18_57028,WEB_10.6.9.18_57318,WEB_10.6.9.18_57320,WEB_10.6.9.18_57325,WEB_10.6.9.18_57326,WEB_10.6.9.18_57327,WEB_10.6.9.18_57328,WEB_10.6.9.18_57368,WEB_10.6.9.18_58193,WEB_10.6.9.18_58194,WEB_10.6.9.18_58195,WEB_10.6.9.18_58196,WEB_10.6.9.18_58197,WEB_10.6.9.18_58198,WEB_10.6.9.18_58666,WEB_10.6.9.18_58668,WEB_10.6.9.18_58669,WEB_10.6.9.18_58670,WEB_10.6.9.18_58702,WEB_10.6.9.18_58749,WEB_10.6.9.18_58758,WEB_10.6.9.18_58759,WEB_10.6.9.18_58760,WEB_10.6.9.18_58761,WEB_10.6.9.18_58762,WEB_10.6.9.18_59158,WEB_10.6.9.18_59159,WEB_10.6.9.18_10.6.9.19_35807,WEB_10.6.9.19_35808,WEB_10.6.9.19_35809,WEB_10.6.9.19_35812,WEB_10.6.9.19_35882,WEB_10.6.9.19_35883,WEB_10.6.9.19_35988,WEB_10.6.9.19_35994,WEB_10.6.9.19_36000,WEB_10.6.9.19_36001,WEB_10.6.9.19_36002,WEB_10.6.9.19_36003,WEB_10.6.9.19_36005,WEB_10.6.9.19_36011,WEB_10.6.9.19_36012,WEB_10.6.9.19_36015,WEB_10.6.9.19_36017,WEB_10.6.9.19_36018,WEB_10.6.9.19_36020,WEB_10.6.9.19_36021,WEB_10.6.9.19_36022,WEB_10.6.9.19_36024,WEB_10.6.9.19_36025,WEB_10.6.9.19_36029,WEB_10.6.9.19_36032,WEB_10.6.9.19_36040,WEB_10.6.9.19_36042,WEB_10.6.9.19_36043,WEB_10.6.9.19_36550,WEB_10.6.9.19_36552,WEB_10.6.9.19_36553,WEB_10.6.9.19_36554,WEB_10.6.9.19_36555,WEB_10.6.9.19_36837,WEB_10.6.9.19_36838,WEB_10.6.9.19_36839,WEB_10.6.9.19_36840,WEB_10.6.9.19_36842,WEB_10.6.9.19_36850,WEB_10.6.9.19_36851,WEB_10.6.9.19_36852,WEB_10.6.9.19_36853,WEB_10.6.9.19_36854,WEB_10.6.9.19_36855,WEB_10.6.9.19_36859,WEB_10.6.9.19_36861,WEB_10.6.9.19_37079,WEB_10.6.9.19_37083,WEB_10.6.9.19_37084,WEB_10.6.9.19_37085,WEB_10.6.9.19_37086,WEB_10.6.9.19_37088,WEB_10.6.9.19_37210,WEB_10.6.9.19_37211,WEB_10.6.9.19_37212,WEB_10.6.9.19_37213,WEB_10.6.9.19_37215,WEB_10.6.9.19_37243,WEB_10.6.9.19_37244,WEB_10.6.9.19_37245,WEB_10.6.9.19_37246,WEB_10.6.9.19_37247,WEB_10.6.9.19_37270,WEB_10.6.9.19_37288,WEB_10.6.9.19_37289,WEB_10.6.9.19_37290,WEB_10.6.9.19_37291,WEB_10.6.9.19_37293,WEB_10.6.9.19_37296,WEB_10.6.9.19_37298,WEB_10.6.9.19_37300,WEB_10.6.9.19_37301,WEB_10.6.9.19_37302,WEB_10.6.9.19_37381,WEB_10.6.9.19_37382,WEB_10.6.9.19_37385,WEB_10.6.9.19_37386,WEB_10.6.9.19_37387,WEB_10.6.9.19_37425,WEB_10.6.9.19_37446,WEB_10.6.9.19_37557,WEB_10.6.9.19_37558,WEB_10.6.9.19_37560,WEB_10.6.9.19_37564,WEB_10.6.9.19_37565,WEB_10.6.9.19_37566,WEB_10.6.9.19_37569,WEB_10.6.9.19_37932,WEB_10.6.9.19_37934,WEB_10.6.9.19_37937,WEB_10.6.9.19_37938,WEB_10.6.9.19_37941,WEB_10.6.9.19_37947,WEB_10.6.9.19_37948,WEB_10.6.9.19_37950,WEB_10.6.9.19_37951,WEB_10.6.9.19_37952,WEB_10.6.9.19_38334,WEB_10.6.9.19_38335,WEB_10.6.9.19_38337,WEB_10.6.9.19_38338,WEB_10.6.9.19_38339,WEB_10.6.9.19_38343,WEB_10.6.9.19_38489,WEB_10.6.9.19_38491,WEB_10.6.9.19_38492,WEB_10.6.9.19_38493,WEB_10.6.9.19_38494,WEB_10.6.9.19_38653,WEB_10.6.9.19_38654,WEB_10.6.9.19_38655,WEB_10.6.9.19_38656,WEB_10.6.9.19_38672,WEB_10.6.9.19_38791,WEB_10.6.9.19_38792,WEB_10.6.9.19_38793,WEB_10.6.9.19_38794,WEB_10.6.9.19_38795,WEB_10.6.9.19_38796,WEB_10.6.9.19_38799,WEB_10.6.9.19_38800,WEB_10.6.9.19_38802,WEB_10.6.9.19_38808,WEB_10.6.9.19_38821,WEB_10.6.9.19_38825,WEB_10.6.9.19_38826,WEB_10.6.9.19_38827,WEB_10.6.9.19_38830,WEB_10.6.9.19_38831,WEB_10.6.9.19_38835,WEB_10.6.9.19_39022,WEB_10.6.9.19_39023,WEB_10.6.9.19_39024,WEB_10.6.9.19_39025,WEB_10.6.9.19_39026,WEB_10.6.9.19_39081,WEB_10.6.9.19_39112,WEB_10.6.9.19_39113,WEB_10.6.9.19_39114,WEB_10.6.9.19_39115,WEB_10.6.9.19_39117,WEB_10.6.9.19_40512,WEB_10.6.9.19_40513,WEB_10.6.9.19_40514,WEB_10.6.9.19_40515,WEB_10.6.9.19_40517,WEB_10.6.9.19_41281,WEB_10.6.9.19_41291,WEB_10.6.9.19_41362,WEB_10.6.9.19_41391,WEB_10.6.9.19_41397,WEB_10.6.9.19_41398,WEB_10.6.9.19_41399,WEB_10.6.9.19_41402,WEB_10.6.9.19_42405,WEB_10.6.9.19_42406,WEB_10.6.9.19_42407,WEB_10.6.9.19_42408,WEB_10.6.9.19_42410,WEB_10.6.9.19_42412,WEB_10.6.9.19_42519,WEB_10.6.9.19_42520,WEB_10.6.9.19_42521,WEB_10.6.9.19_42522,WEB_10.6.9.19_42523,WEB_10.6.9.19_42594,WEB_10.6.9.19_42596,WEB_10.6.9.19_42597,WEB_10.6.9.19_42598,WEB_10.6.9.19_42602,WEB_10.6.9.19_42606,WEB_10.6.9.19_42612,WEB_10.6.9.19_42613,WEB_10.6.9.19_42615,WEB_10.6.9.19_51694,WEB_10.6.9.19_51695,WEB_10.6.9.19_51697,WEB_10.6.9.19_51698,WEB_10.6.9.19_51699,WEB_10.6.9.19_51700,WEB_10.6.9.19_51703,WEB_10.6.9.19_51863,WEB_10.6.9.19_51864,WEB_10.6.9.19_51866,WEB_10.6.9.19_51867,WEB_10.6.9.19_51868,WEB_10.6.9.19_51869,WEB_10.6.9.19_51870,WEB_10.6.9.19_51871,WEB_10.6.9.19_51874,WEB_10.6.9.19_51875,WEB_10.6.9.19_51910,WEB_10.6.9.19_51911,WEB_10.6.9.19_51913,WEB_10.6.9.19_51915,WEB_10.6.9.19_51942,WEB_10.6.9.19_51946,WEB_10.6.9.19_51950,WEB_10.6.9.19_51952,WEB_10.6.9.19_51956,WEB_10.6.9.19_51973,WEB_10.6.9.19_51974,WEB_10.6.9.19_51978,WEB_10.6.9.19_51984,WEB_10.6.9.19_51985,WEB_10.6.9.19_51987,WEB_10.6.9.19_51988,WEB_10.6.9.19_51989,WEB_10.6.9.19_51990,WEB_10.6.9.19_51992,WEB_10.6.9.19_52028,WEB_10.6.9.19_52029,WEB_10.6.9.19_52030,WEB_10.6.9.19_52032,WEB_10.6.9.19_52033,WEB_10.6.9.19_52219,WEB_10.6.9.19_52220,WEB_10.6.9.19_52221,WEB_10.6.9.19_52222,WEB_10.6.9.19_52223,WEB_10.6.9.19_52234,WEB_10.6.9.19_52235,WEB_10.6.9.19_52236,WEB_10.6.9.19_52237,WEB_10.6.9.19_52295,WEB_10.6.9.19_52296,WEB_10.6.9.19_52298,WEB_10.6.9.19_52299,WEB_10.6.9.19_52300,WEB_10.6.9.19_52313,WEB_10.6.9.19_52314,WEB_10.6.9.19_52315,WEB_10.6.9.19_52316,WEB_10.6.9.19_52319,WEB_10.6.9.19_52321,WEB_10.6.9.19_52326,WEB_10.6.9.19_52328,WEB_10.6.9.19_52329,WEB_10.6.9.19_52342,WEB_10.6.9.19_52344,WEB_10.6.9.19_52346,WEB_10.6.9.19_52347,WEB_10.6.9.19_52349,WEB_10.6.9.19_52354,WEB_10.6.9.19_52355,WEB_10.6.9.19_52356,WEB_10.6.9.19_52357,WEB_10.6.9.19_52359,WEB_10.6.9.19_52841,WEB_10.6.9.19_52842,WEB_10.6.9.19_52843,WEB_10.6.9.19_52844,WEB_10.6.9.19_52846,WEB_10.6.9.19_52899,WEB_10.6.9.19_52901,WEB_10.6.9.19_52902,WEB_10.6.9.19_52903,WEB_10.6.9.19_52907,WEB_10.6.9.19_53207,WEB_10.6.9.19_53208,WEB_10.6.9.19_53210,WEB_10.6.9.19_53211,WEB_10.6.9.19_53213,WEB_10.6.9.19_53244,WEB_10.6.9.19_53245,WEB_10.6.9.19_53246,WEB_10.6.9.19_53247,WEB_10.6.9.19_53249,WEB_10.6.9.19_53476,WEB_10.6.9.19_53477,WEB_10.6.9.19_53478,WEB_10.6.9.19_53479,WEB_10.6.9.19_53481,WEB_10.6.9.19_53511,WEB_10.6.9.19_53514,WEB_10.6.9.19_53519,WEB_10.6.9.19_53520,WEB_10.6.9.19_53521,WEB_10.6.9.19_53535,WEB_10.6.9.19_53539,WEB_10.6.9.19_53540,WEB_10.6.9.19_53544,WEB_10.6.9.19_53545,WEB_10.6.9.19_53599,WEB_10.6.9.19_53600,WEB_10.6.9.19_53602,WEB_10.6.9.19_53603,WEB_10.6.9.19_53604,WEB_10.6.9.19_53609,WEB_10.6.9.19_53610,WEB_10.6.9.19_53613,WEB_10.6.9.19_53614,WEB_10.6.9.19_53617,WEB_10.6.9.19_53618,WEB_10.6.9.19_53619,WEB_10.6.9.19_53620,WEB_10.6.9.19_53622,WEB_10.6.9.19_53623,WEB_10.6.9.19_53626,WEB_10.6.9.19_53628,WEB_10.6.9.19_53629,WEB_10.6.9.19_53631,WEB_10.6.9.19_53632,WEB_10.6.9.19_53633,WEB_10.6.9.19_53636,WEB_10.6.9.19_53657,WEB_10.6.9.19_53659,WEB_10.6.9.19_53660,WEB_10.6.9.19_53662,WEB_10.6.9.19_53663,WEB_10.6.9.19_53665,WEB_10.6.9.19_53674,WEB_10.6.9.19_53676,WEB_10.6.9.19_53678,WEB_10.6.9.19_53682,WEB_10.6.9.19_53684,WEB_10.6.9.19_53685,WEB_10.6.9.19_53707,WEB_10.6.9.19_53717,WEB_10.6.9.19_53719,WEB_10.6.9.19_53721,WEB_10.6.9.19_53722,WEB_10.6.9.19_53723,WEB_10.6.9.19_53724,WEB_10.6.9.19_53734,WEB_10.6.9.19_53735,WEB_10.6.9.19_53736,WEB_10.6.9.19_53737,WEB_10.6.9.19_53738,WEB_10.6.9.19_53739,WEB_10.6.9.19_53840,WEB_10.6.9.19_53841,WEB_10.6.9.19_53842,WEB_10.6.9.19_53843,WEB_10.6.9.19_53844,WEB_10.6.9.19_53937,WEB_10.6.9.19_53938,WEB_10.6.9.19_53939,WEB_10.6.9.19_53941,WEB_10.6.9.19_54066,WEB_10.6.9.19_54067,WEB_10.6.9.19_54068,WEB_10.6.9.19_54070,WEB_10.6.9.19_54071,WEB_10.6.9.19_54073,WEB_10.6.9.19_54075,WEB_10.6.9.19_54076,WEB_10.6.9.19_54077,WEB_10.6.9.19_54079,WEB_10.6.9.19_54450,WEB_10.6.9.19_54451,WEB_10.6.9.19_54452,WEB_10.6.9.19_54453,WEB_10.6.9.19_54454,WEB_10.6.9.19_54455,WEB_10.6.9.19_54717,WEB_10.6.9.19_54718,WEB_10.6.9.19_54719,WEB_10.6.9.19_54749,WEB_10.6.9.19_54750,WEB_10.6.9.19_54751,WEB_10.6.9.19_54753,WEB_10.6.9.19_54755,WEB_10.6.9.19_54758,WEB_10.6.9.19_54759,WEB_10.6.9.19_54761,WEB_10.6.9.19_54762,WEB_10.6.9.19_54846,WEB_10.6.9.19_54847,WEB_10.6.9.19_54848,WEB_10.6.9.19_54849,WEB_10.6.9.19_54850,WEB_10.6.9.19_54862,WEB_10.6.9.19_54866,WEB_10.6.9.19_54867,WEB_10.6.9.19_54868,WEB_10.6.9.19_54869,WEB_10.6.9.19_54875,WEB_10.6.9.19_54876,WEB_10.6.9.19_54877,WEB_10.6.9.19_54879,WEB_10.6.9.19_54880,WEB_10.6.9.19_54886,WEB_10.6.9.19_54887,WEB_10.6.9.19_54888,WEB_10.6.9.19_54889,WEB_10.6.9.19_54891,WEB_10.6.9.19_54894,WEB_10.6.9.19_54898,WEB_10.6.9.19_54901,WEB_10.6.9.19_54902,WEB_10.6.9.19_54917,WEB_10.6.9.19_54918,WEB_10.6.9.19_54919,WEB_10.6.9.19_54920,WEB_10.6.9.19_54921,WEB_10.6.9.19_54960,WEB_10.6.9.19_54962,WEB_10.6.9.19_54965,WEB_10.6.9.19_54976,WEB_10.6.9.19_54977,WEB_10.6.9.19_54978,WEB_10.6.9.19_54980,WEB_10.6.9.19_54982,WEB_10.6.9.19_54991,WEB_10.6.9.19_54992,WEB_10.6.9.19_55009,WEB_10.6.9.19_55011,WEB_10.6.9.19_55012,WEB_10.6.9.19_55013,WEB_10.6.9.19_55014,WEB_10.6.9.19_55018,WEB_10.6.9.19_55020,WEB_10.6.9.19_55024,WEB_10.6.9.19_55025,WEB_10.6.9.19_55027,WEB_10.6.9.19_55029,WEB_10.6.9.19_55030,WEB_10.6.9.19_55031,WEB_10.6.9.19_55032,WEB_10.6.9.19_55033,WEB_10.6.9.19_55035,WEB_10.6.9.19_55036,WEB_10.6.9.19_55041,WEB_10.6.9.19_55042,WEB_10.6.9.19_55043,WEB_10.6.9.19_55044,WEB_10.6.9.19_55045,WEB_10.6.9.19_55050,WEB_10.6.9.19_55053,WEB_10.6.9.19_55054,WEB_10.6.9.19_55055,WEB_10.6.9.19_55056,WEB_10.6.9.19_55085,WEB_10.6.9.19_55086,WEB_10.6.9.19_55087,WEB_10.6.9.19_55088,WEB_10.6.9.19_55089,WEB_10.6.9.19_55090,WEB_10.6.9.19_55097,WEB_10.6.9.19_55099,WEB_10.6.9.19_55100,WEB_10.6.9.19_55101,WEB_10.6.9.19_55102,WEB_10.6.9.19_55103,WEB_10.6.9.19_55110,WEB_10.6.9.19_55111,WEB_10.6.9.19_55112,WEB_10.6.9.19_55113,WEB_10.6.9.19_55114,WEB_10.6.9.19_55115,WEB_10.6.9.19_55117,WEB_10.6.9.19_55125,WEB_10.6.9.19_55127,WEB_10.6.9.19_55128,WEB_10.6.9.19_55129,WEB_10.6.9.19_55130,WEB_10.6.9.19_55151,WEB_10.6.9.19_55152,WEB_10.6.9.19_55153,WEB_10.6.9.19_55154,WEB_10.6.9.19_55156,WEB_10.6.9.19_55241,WEB_10.6.9.19_55243,WEB_10.6.9.19_55244,WEB_10.6.9.19_55245,WEB_10.6.9.19_55246,WEB_10.6.9.19_55251,WEB_10.6.9.19_55252,WEB_10.6.9.19_55253,WEB_10.6.9.19_55254,WEB_10.6.9.19_55255,WEB_10.6.9.19_55303,WEB_10.6.9.19_55304,WEB_10.6.9.19_55305,WEB_10.6.9.19_55306,WEB_10.6.9.19_55313,WEB_10.6.9.19_55380,WEB_10.6.9.19_55382,WEB_10.6.9.19_55384,WEB_10.6.9.19_55385,WEB_10.6.9.19_55386,WEB_10.6.9.19_55387,WEB_10.6.9.19_55388,WEB_10.6.9.19_55389,WEB_10.6.9.19_55390,WEB_10.6.9.19_55392,WEB_10.6.9.19_55409,WEB_10.6.9.19_55410,WEB_10.6.9.19_55412,WEB_10.6.9.19_55413,WEB_10.6.9.19_55414,WEB_10.6.9.19_55749,WEB_10.6.9.19_55986,WEB_10.6.9.19_55987,WEB_10.6.9.19_55988,WEB_10.6.9.19_55989,WEB_10.6.9.19_55990,WEB_10.6.9.19_56115,WEB_10.6.9.19_56116,WEB_10.6.9.19_56117,WEB_10.6.9.19_56119,WEB_10.6.9.19_56120,WEB_10.6.9.19_56152,WEB_10.6.9.19_56153,WEB_10.6.9.19_56154,WEB_10.6.9.19_56156,WEB_10.6.9.19_56157,WEB_10.6.9.19_56353,WEB_10.6.9.19_56354,WEB_10.6.9.19_56355,WEB_10.6.9.19_56356,WEB_10.6.9.19_56357,WEB_10.6.9.19_56419,WEB_10.6.9.19_56421,WEB_10.6.9.19_56422,WEB_10.6.9.19_56423,WEB_10.6.9.19_56424,WEB_10.6.9.19_56429,WEB_10.6.9.19_56471,WEB_10.6.9.19_56472,WEB_10.6.9.19_56474,WEB_10.6.9.19_56475,WEB_10.6.9.19_56476,WEB_10.6.9.19_56536,WEB_10.6.9.19_56538,WEB_10.6.9.19_56544,WEB_10.6.9.19_56554,WEB_10.6.9.19_56555,WEB_10.6.9.19_56558,WEB_10.6.9.19_56560,WEB_10.6.9.19_56562,WEB_10.6.9.19_56563,WEB_10.6.9.19_56566,WEB_10.6.9.19_56661,WEB_10.6.9.19_56662,WEB_10.6.9.19_56663,WEB_10.6.9.19_56664,WEB_10.6.9.19_56666,WEB_10.6.9.19_56668,WEB_10.6.9.19_56669,WEB_10.6.9.19_56670,WEB_10.6.9.19_56671,WEB_10.6.9.19_56674,WEB_10.6.9.19_56935,WEB_10.6.9.19_56936,WEB_10.6.9.19_56937,WEB_10.6.9.19_56938,WEB_10.6.9.19_56939,WEB_10.6.9.19_56950,WEB_10.6.9.19_56952,WEB_10.6.9.19_56955,WEB_10.6.9.19_56958,WEB_10.6.9.19_56959,WEB_10.6.9.19_56970,WEB_10.6.9.19_56973,WEB_10.6.9.19_56974,WEB_10.6.9.19_56976,WEB_10.6.9.19_56977,WEB_10.6.9.19_57025,WEB_10.6.9.19_57026,WEB_10.6.9.19_57028,WEB_10.6.9.19_57030,WEB_10.6.9.19_57034,WEB_10.6.9.19_57056,WEB_10.6.9.19_57057,WEB_10.6.9.19_57059,WEB_10.6.9.19_57060,WEB_10.6.9.19_57061,WEB_10.6.9.19_57062,WEB_10.6.9.19_57064,WEB_10.6.9.19_57065,WEB_10.6.9.19_57069,WEB_10.6.9.19_57079,WEB_10.6.9.19_57243,WEB_10.6.9.19_57467,WEB_10.6.9.19_57468,WEB_10.6.9.19_57469,WEB_10.6.9.19_57471,WEB_10.6.9.19_57472,WEB_10.6.9.19_57476,WEB_10.6.9.19_57477,WEB_10.6.9.19_57478,WEB_10.6.9.19_57482,WEB_10.6.9.19_57485,WEB_10.6.9.19_57542,WEB_10.6.9.19_57543,WEB_10.6.9.19_57544,WEB_10.6.9.19_57545,WEB_10.6.9.19_57547,WEB_10.6.9.19_57567,WEB_10.6.9.19_57568,WEB_10.6.9.19_57569,WEB_10.6.9.19_57571,WEB_10.6.9.19_57572,WEB_10.6.9.19_57776,WEB_10.6.9.19_57777,WEB_10.6.9.19_57778,WEB_10.6.9.19_57779,WEB_10.6.9.19_57780,WEB_10.6.9.19_57794,WEB_10.6.9.19_57795,WEB_10.6.9.19_57797,WEB_10.6.9.19_57799,WEB_10.6.9.19_57800,WEB_10.6.9.19_57828,WEB_10.6.9.19_57831,WEB_10.6.9.19_57832,WEB_10.6.9.19_57835,WEB_10.6.9.19_57913,WEB_10.6.9.19_57914,WEB_10.6.9.19_57915,WEB_10.6.9.19_57916,WEB_10.6.9.19_57917,WEB_10.6.9.19_57918,WEB_10.6.9.19_57920,WEB_10.6.9.19_57921,WEB_10.6.9.19_57937,WEB_10.6.9.19_57938,WEB_10.6.9.19_57939,WEB_10.6.9.19_57941,WEB_10.6.9.19_57942,WEB_10.6.9.19_57963,WEB_10.6.9.19_57969,WEB_10.6.9.19_57970,WEB_10.6.9.19_57973,WEB_10.6.9.19_57974,WEB_10.6.9.19_57981,WEB_10.6.9.19_57982,WEB_10.6.9.19_57985,WEB_10.6.9.19_57986,WEB_10.6.9.19_57989,WEB_10.6.9.19_57992,WEB_10.6.9.19_58086,WEB_10.6.9.19_58087,WEB_10.6.9.19_58088,WEB_10.6.9.19_58089,WEB_10.6.9.19_58090,WEB_10.6.9.19_58258,WEB_10.6.9.19_58260,WEB_10.6.9.19_58261,WEB_10.6.9.19_58262,WEB_10.6.9.19_58263,WEB_10.6.9.19_58437,WEB_10.6.9.19_58438,WEB_10.6.9.19_58439,WEB_10.6.9.19_58440,WEB_10.6.9.19_58441,WEB_10.6.9.19_58444,WEB_10.6.9.19_58445,WEB_10.6.9.19_58446,WEB_10.6.9.19_58451,WEB_10.6.9.19_58452,WEB_10.6.9.19_58453,WEB_10.6.9.19_58465,WEB_10.6.9.19_58466,WEB_10.6.9.19_58467,WEB_10.6.9.19_58468,WEB_10.6.9.19_58469,WEB_10.6.9.19_58478,WEB_10.6.9.19_58492,WEB_10.6.9.19_58493,WEB_10.6.9.19_58494,WEB_10.6.9.19_58495,WEB_10.6.9.19_58497,WEB_10.6.9.19_58502,WEB_10.6.9.19_58535,WEB_10.6.9.19_58536,WEB_10.6.9.19_58537,WEB_10.6.9.19_58541,WEB_10.6.9.19_58542,WEB_10.6.9.19_59042,WEB_10.6.9.19_59043,WEB_10.6.9.19_59044,WEB_10.6.9.19_59539,WEB_10.6.9.19_59541,WEB_10.6.9.19_59542,WEB_10.6.9.19_59543,WEB_10.6.9.19_59544,WEB_10.6.9.19_59977,WEB_10.6.9.19_59978,WEB_10.6.9.19_59979,WEB_10.6.9.19_59981,WEB_10.6.9.19_59982,WEB_10.6.9.19_59983,WEB_10.6.9.19_60340,WEB_10.6.9.19_60347,WEB_10.6.9.19_60349,WEB_10.6.9.19_60350,WEB_10.6.9.19_60351,WEB_10.6.9.19_60388,WEB_10.6.9.19_60389,WEB_10.6.9.19_60390,WEB_10.6.9.19_60392,WEB_10.6.9.19_60393,WEB_10.6.9.19_60457,WEB_10.6.9.19_60460,WEB_10.6.9.2_41250,WEB_10.6.9.2_41252,WEB_10.6.9.2_41254,WEB_10.6.9.2_41258,WEB_10.6.9.2_41260,WEB_10.6.9.2_44024,WEB_10.6.9.2_44260,WEB_10.6.9.2_44264,WEB_10.6.9.2_44266,WEB_10.6.9.2_44268,WEB_10.6.9.2_44990,WEB_10.6.9.2_51792,WEB_10.6.9.2_51794,WEB_10.6.9.2_51796,WEB_10.6.9.2_51798,WEB_10.6.9.2_51800,WEB_10.6.9.2_56416,WEB_10.6.9.2_56422,WEB_10.6.9.2_56424,WEB_10.6.9.2_56426,WEB_10.6.9.2_56688,WEB_10.6.9.2_56690,WEB_10.6.9.2_56692,WEB_10.6.9.2_56694,WEB_10.6.9.2_57214,WEB_10.6.9.2_57218,WEB_10.6.9.2_57268,WEB_10.6.9.4_33390,WEB_10.6.9.4_37396,WEB_10.6.9.4_37402,WEB_10.6.9.4_37706,WEB_10.6.9.4_37740,WEB_10.6.9.4_37754,WEB_10.6.9.4_37764,WEB_10.6.9.4_37820,WEB_10.6.9.4_37822,WEB_10.6.9.4_37832,WEB_10.6.9.4_37834,WEB_10.6.9.4_37866,WEB_10.6.9.4_37868,WEB_10.6.9.4_37870,WEB_10.6.9.4_37912,WEB_10.6.9.4_37964,WEB_10.6.9.4_37966,WEB_10.6.9.4_37968,WEB_10.6.9.4_37970,WEB_10.6.9.4_37972,WEB_10.6.9.4_40650,WEB_10.6.9.4_41560,WEB_10.6.9.4_41606,WEB_10.6.9.4_41610,WEB_10.6.9.4_41616,WEB_10.6.9.4_41680,WEB_10.6.9.4_41878,WEB_10.6.9.4_41880,WEB_10.6.9.4_41884,WEB_10.6.9.4_41886,WEB_10.6.9.4_41892,WEB_10.6.9.4_41894,WEB_10.6.9.4_41898,WEB_10.6.9.4_41922,WEB_10.6.9.4_41924,WEB_10.6.9.4_41932,WEB_10.6.9.4_41940,WEB_10.6.9.4_41972,WEB_10.6.9.4_41974,WEB_10.6.9.4_41978,WEB_10.6.9.4_41982,WEB_10.6.9.4_42008,WEB_10.6.9.4_42010,WEB_10.6.9.4_42012,WEB_10.6.9.4_42014,WEB_10.6.9.4_42030,WEB_10.6.9.4_42052,WEB_10.6.9.4_42062,WEB_10.6.9.4_42066,WEB_10.6.9.4_42072,WEB_10.6.9.4_42078,WEB_10.6.9.4_42080,WEB_10.6.9.4_42082,WEB_10.6.9.4_42104,WEB_10.6.9.4_42108,WEB_10.6.9.4_42110,WEB_10.6.9.4_42112,WEB_10.6.9.4_42116,WEB_10.6.9.4_42120,WEB_10.6.9.4_42122,WEB_10.6.9.4_42124,WEB_10.6.9.4_42190,WEB_10.6.9.4_42194,WEB_10.6.9.4_42196,WEB_10.6.9.4_42198,WEB_10.6.9.4_42208,WEB_10.6.9.4_42248,WEB_10.6.9.4_42250,WEB_10.6.9.4_42254,WEB_10.6.9.4_42260,WEB_10.6.9.4_42354,WEB_10.6.9.4_42356,WEB_10.6.9.4_42358,WEB_10.6.9.4_42434,WEB_10.6.9.4_42464,WEB_10.6.9.4_42470,WEB_10.6.9.4_42480,WEB_10.6.9.4_42482,WEB_10.6.9.4_42576,WEB_10.6.9.4_42578,WEB_10.6.9.4_42582,WEB_10.6.9.4_42584,WEB_10.6.9.4_42586,WEB_10.6.9.4_43244,WEB_10.6.9.4_43246,WEB_10.6.9.4_43248,WEB_10.6.9.4_43250,WEB_10.6.9.4_43252,WEB_10.6.9.4_43366,WEB_10.6.9.4_43370,WEB_10.6.9.4_43378,WEB_10.6.9.4_43380,WEB_10.6.9.4_43382,WEB_10.6.9.4_43428,WEB_10.6.9.4_43434,WEB_10.6.9.4_43436,WEB_10.6.9.4_43440,WEB_10.6.9.4_43442,WEB_10.6.9.4_43470,WEB_10.6.9.4_43476,WEB_10.6.9.4_43478,WEB_10.6.9.4_43484,WEB_10.6.9.4_43486,WEB_10.6.9.4_43510,WEB_10.6.9.4_43518,WEB_10.6.9.4_43520,WEB_10.6.9.4_43540,WEB_10.6.9.4_43542,WEB_10.6.9.4_43574,WEB_10.6.9.4_43578,WEB_10.6.9.4_43580,WEB_10.6.9.4_43582,WEB_10.6.9.4_43584,WEB_10.6.9.4_43596,WEB_10.6.9.4_43598,WEB_10.6.9.4_43600,WEB_10.6.9.4_43604,WEB_10.6.9.4_43610,WEB_10.6.9.4_43646,WEB_10.6.9.4_43648,WEB_10.6.9.4_43650,WEB_10.6.9.4_43652,WEB_10.6.9.4_43658,WEB_10.6.9.4_43676,WEB_10.6.9.4_43680,WEB_10.6.9.4_43696,WEB_10.6.9.4_43698,WEB_10.6.9.4_43700,WEB_10.6.9.4_43852,WEB_10.6.9.4_43856,WEB_10.6.9.4_43864,WEB_10.6.9.4_43866,WEB_10.6.9.4_43868,WEB_10.6.9.4_44126,WEB_10.6.9.4_44134,WEB_10.6.9.4_44136,WEB_10.6.9.4_44148,WEB_10.6.9.4_44150,WEB_10.6.9.4_44222,WEB_10.6.9.4_44224,WEB_10.6.9.4_44226,WEB_10.6.9.4_44230,WEB_10.6.9.4_44232,WEB_10.6.9.4_44282,WEB_10.6.9.4_44284,WEB_10.6.9.4_44298,WEB_10.6.9.4_44324,WEB_10.6.9.4_44328,WEB_10.6.9.4_44382,WEB_10.6.9.4_44384,WEB_10.6.9.4_44386,WEB_10.6.9.4_44390,WEB_10.6.9.4_44392,WEB_10.6.9.4_44410,WEB_10.6.9.4_44412,WEB_10.6.9.4_44414,WEB_10.6.9.4_44416,WEB_10.6.9.4_44420,WEB_10.6.9.4_44464,WEB_10.6.9.4_44470,WEB_10.6.9.4_44486,WEB_10.6.9.4_44490,WEB_10.6.9.4_44506,WEB_10.6.9.4_44514,WEB_10.6.9.4_44516,WEB_10.6.9.4_44518,WEB_10.6.9.4_44520,WEB_10.6.9.4_44522,WEB_10.6.9.4_44674,WEB_10.6.9.4_44678,WEB_10.6.9.4_44680,WEB_10.6.9.4_44682,WEB_10.6.9.4_44700,WEB_10.6.9.4_44914,WEB_10.6.9.4_44920,WEB_10.6.9.4_44922,WEB_10.6.9.4_44924,WEB_10.6.9.4_44926,WEB_10.6.9.4_44948,WEB_10.6.9.4_44950,WEB_10.6.9.4_44952,WEB_10.6.9.4_44960,WEB_10.6.9.4_44962,WEB_10.6.9.4_44986,WEB_10.6.9.4_44990,WEB_10.6.9.4_44992,WEB_10.6.9.4_44994,WEB_10.6.9.4_44996,WEB_10.6.9.4_45008,WEB_10.6.9.4_45012,WEB_10.6.9.4_45016,WEB_10.6.9.4_45020,WEB_10.6.9.4_45022,WEB_10.6.9.4_45034,WEB_10.6.9.4_45042,WEB_10.6.9.4_45050,WEB_10.6.9.4_45060,WEB_10.6.9.4_45062,WEB_10.6.9.4_45074,WEB_10.6.9.4_45078,WEB_10.6.9.4_45080,WEB_10.6.9.4_45082,WEB_10.6.9.4_45084,WEB_10.6.9.4_45094,WEB_10.6.9.4_45096,WEB_10.6.9.4_45100,WEB_10.6.9.4_45102,WEB_10.6.9.4_45104,WEB_10.6.9.4_45120,WEB_10.6.9.4_45128,WEB_10.6.9.4_45134,WEB_10.6.9.4_45142,WEB_10.6.9.4_45144,WEB_10.6.9.4_45152,WEB_10.6.9.4_45158,WEB_10.6.9.4_45178,WEB_10.6.9.4_45214,WEB_10.6.9.4_45218,WEB_10.6.9.4_45220,WEB_10.6.9.4_45226,WEB_10.6.9.4_45228,WEB_10.6.9.4_45368,WEB_10.6.9.4_45370,WEB_10.6.9.4_45376,WEB_10.6.9.4_45378,WEB_10.6.9.4_45380,WEB_10.6.9.4_45478,WEB_10.6.9.4_45484,WEB_10.6.9.4_45486,WEB_10.6.9.4_45488,WEB_10.6.9.4_45490,WEB_10.6.9.4_45534,WEB_10.6.9.4_45538,WEB_10.6.9.4_45544,WEB_10.6.9.4_45548,WEB_10.6.9.4_45586,WEB_10.6.9.4_45590,WEB_10.6.9.4_45592,WEB_10.6.9.4_45596,WEB_10.6.9.4_45608,WEB_10.6.9.4_45610,WEB_10.6.9.4_45632,WEB_10.6.9.4_45656,WEB_10.6.9.4_45658,WEB_10.6.9.4_45660,WEB_10.6.9.4_45758,WEB_10.6.9.4_45770,WEB_10.6.9.4_45778,WEB_10.6.9.4_45782,WEB_10.6.9.4_45876,WEB_10.6.9.4_45892,WEB_10.6.9.4_45894,WEB_10.6.9.4_45898,WEB_10.6.9.4_45934,WEB_10.6.9.4_45968,WEB_10.6.9.4_45970,WEB_10.6.9.4_45972,WEB_10.6.9.4_45976,WEB_10.6.9.4_46162,WEB_10.6.9.4_46184,WEB_10.6.9.4_46190,WEB_10.6.9.4_46200,WEB_10.6.9.4_46220,WEB_10.6.9.4_46510,WEB_10.6.9.4_46514,WEB_10.6.9.4_46518,WEB_10.6.9.4_46520,WEB_10.6.9.4_46522,WEB_10.6.9.4_46530,WEB_10.6.9.4_46534,WEB_10.6.9.4_46536,WEB_10.6.9.4_46538,WEB_10.6.9.4_46540,WEB_10.6.9.4_47170,WEB_10.6.9.4_47174,WEB_10.6.9.4_47178,WEB_10.6.9.4_47180,WEB_10.6.9.4_47194,WEB_10.6.9.4_47200,WEB_10.6.9.4_47202,WEB_10.6.9.4_47204,WEB_10.6.9.4_47296,WEB_10.6.9.4_47300,WEB_10.6.9.4_47316,WEB_10.6.9.4_47320,WEB_10.6.9.4_47598,WEB_10.6.9.4_47604,WEB_10.6.9.4_47610,WEB_10.6.9.4_47612,WEB_10.6.9.4_47618,WEB_10.6.9.4_47620,WEB_10.6.9.4_47626,WEB_10.6.9.4_47638,WEB_10.6.9.4_47646,WEB_10.6.9.4_47648,WEB_10.6.9.4_47666,WEB_10.6.9.4_47670,WEB_10.6.9.4_47678,WEB_10.6.9.4_47724,WEB_10.6.9.4_47746,WEB_10.6.9.4_47770,WEB_10.6.9.4_47774,WEB_10.6.9.4_47798,WEB_10.6.9.4_47828,WEB_10.6.9.4_47834,WEB_10.6.9.4_48326,WEB_10.6.9.4_48328,WEB_10.6.9.4_48332,WEB_10.6.9.4_48334,WEB_10.6.9.4_48336,WEB_10.6.9.4_48714,WEB_10.6.9.4_48718,WEB_10.6.9.4_48726,WEB_10.6.9.4_48728,WEB_10.6.9.4_48744,WEB_10.6.9.4_48746,WEB_10.6.9.4_48748,WEB_10.6.9.4_48750,WEB_10.6.9.4_48752,WEB_10.6.9.4_48822,WEB_10.6.9.4_48824,WEB_10.6.9.4_48830,WEB_10.6.9.4_48842,WEB_10.6.9.4_48974,WEB_10.6.9.4_49042,WEB_10.6.9.4_49074,WEB_10.6.9.4_49224,WEB_10.6.9.4_49226,WEB_10.6.9.4_49228,WEB_10.6.9.4_49230,WEB_10.6.9.4_49234,WEB_10.6.9.4_49240,WEB_10.6.9.4_49242,WEB_10.6.9.4_49252,WEB_10.6.9.4_49254,WEB_10.6.9.4_49256,WEB_10.6.9.4_49368,WEB_10.6.9.4_49370,WEB_10.6.9.4_49372,WEB_10.6.9.4_49374,WEB_10.6.9.4_49378,WEB_10.6.9.4_49624,WEB_10.6.9.4_49626,WEB_10.6.9.4_49628,WEB_10.6.9.4_49630,WEB_10.6.9.4_49632,WEB_10.6.9.4_50532,WEB_10.6.9.4_50534,WEB_10.6.9.4_50536,WEB_10.6.9.4_50538,WEB_10.6.9.4_50540,WEB_10.6.9.4_50548,WEB_10.6.9.4_50550,WEB_10.6.9.4_50552,WEB_10.6.9.4_50588,WEB_10.6.9.4_50594,WEB_10.6.9.4_60210,WEB_192.168.240.252_32798,WEB_192.168.240.252_32806,WEB_192.168.240.252_32870,WEB_192.168.240.252_32872,WEB_192.168.240.252_32884,WEB_192.168.240.252_32888,WEB_192.168.240.252_32950,WEB_192.168.240.252_32952,WEB_192.168.240.252_32956,WEB_192.168.240.252_32958,WEB_192.168.240.252_32962,WEB_192.168.240.252_33366,WEB_192.168.240.252_33370,WEB_192.168.240.252_33374,WEB_192.168.240.252_33376,WEB_192.168.240.252_33730,WEB_192.168.240.252_33788,WEB_192.168.240.252_33822,WEB_192.168.240.252_33824,WEB_192.168.240.252_33838,WEB_192.168.240.252_33840,WEB_192.168.240.252_33856,WEB_192.168.240.252_33862,WEB_192.168.240.252_33864,WEB_192.168.240.252_33866,WEB_192.168.240.252_33880,WEB_192.168.240.252_33894,WEB_192.168.240.252_33896,WEB_192.168.240.252_33898,WEB_192.168.240.252_33920,WEB_192.168.240.252_33946,WEB_192.168.240.252_33948,WEB_192.168.240.252_33950,WEB_192.168.240.252_33952,WEB_192.168.240.252_33954,WEB_192.168.240.252_33968,WEB_192.168.240.252_33970,WEB_192.168.240.252_33974,WEB_192.168.240.252_33976,WEB_192.168.240.252_33980,WEB_192.168.240.252_33986,WEB_192.168.240.252_33988,WEB_192.168.240.252_33990,WEB_192.168.240.252_34030,WEB_192.168.240.252_34104,WEB_192.168.240.252_34108,WEB_192.168.240.252_34110,WEB_192.168.240.252_34120,WEB_192.168.240.252_34122,WEB_192.168.240.252_34168,WEB_192.168.240.252_34170,WEB_192.168.240.252_34172,WEB_192.168.240.252_34176,WEB_192.168.240.252_34178,WEB_192.168.240.252_34476,WEB_192.168.240.252_34478,WEB_192.168.240.252_34482,WEB_192.168.240.252_34484,WEB_192.168.240.252_34486,WEB_192.168.240.252_34694,WEB_192.168.240.252_34700,WEB_192.168.240.252_34702,WEB_192.168.240.252_34704,WEB_192.168.240.252_34730,WEB_192.168.240.252_34784,WEB_192.168.240.252_34786,WEB_192.168.240.252_34790,WEB_192.168.240.252_34792,WEB_192.168.240.252_34796,WEB_192.168.240.252_34830,WEB_192.168.240.252_34832,WEB_192.168.240.252_34838,WEB_192.168.240.252_34842,WEB_192.168.240.252_34846,WEB_192.168.240.252_34852,WEB_192.168.240.252_34868,WEB_192.168.240.252_34872,WEB_192.168.240.252_34880,WEB_192.168.240.252_34886,WEB_192.168.240.252_34888,WEB_192.168.240.252_34890,WEB_192.168.240.252_35020,WEB_192.168.240.252_35028,WEB_192.168.240.252_35044,WEB_192.168.240.252_35046,WEB_192.168.240.252_35048,WEB_192.168.240.252_35080,WEB_192.168.240.252_35082,WEB_192.168.240.252_35084,WEB_192.168.240.252_35086,WEB_192.168.240.252_35090,WEB_192.168.240.252_35116,WEB_192.168.240.252_35122,WEB_192.168.240.252_35132,WEB_192.168.240.252_35134,WEB_192.168.240.252_35142,WEB_192.168.240.252_35144,WEB_192.168.240.252_35146,WEB_192.168.240.252_35156,WEB_192.168.240.252_35158,WEB_192.168.240.252_35160,WEB_192.168.240.252_35162,WEB_192.168.240.252_35164,WEB_192.168.240.252_35454,WEB_192.168.240.252_35456,WEB_192.168.240.252_35460,WEB_192.168.240.252_35468,WEB_192.168.240.252_35548,WEB_192.168.240.252_35550,WEB_192.168.240.252_35554,WEB_192.168.240.252_35556,WEB_192.168.240.252_35558,WEB_192.168.240.252_35560,WEB_192.168.240.252_35562,WEB_192.168.240.252_35564,WEB_192.168.240.252_35568,WEB_192.168.240.252_35580,WEB_192.168.240.252_35582,WEB_192.168.240.252_35586,WEB_192.168.240.252_35588,WEB_192.168.240.252_35590,WEB_192.168.240.252_35626,WEB_192.168.240.252_35638,WEB_192.168.240.252_35642,WEB_192.168.240.252_35646,WEB_192.168.240.252_35648,WEB_192.168.240.252_35812,WEB_192.168.240.252_35814,WEB_192.168.240.252_35818,WEB_192.168.240.252_35822,WEB_192.168.240.252_35828,WEB_192.168.240.252_35914,WEB_192.168.240.252_35918,WEB_192.168.240.252_35920,WEB_192.168.240.252_36066,WEB_192.168.240.252_36070,WEB_192.168.240.252_36072,WEB_192.168.240.252_36076,WEB_192.168.240.252_36078,WEB_192.168.240.252_36088,WEB_192.168.240.252_36106,WEB_192.168.240.252_36204,WEB_192.168.240.252_36208,WEB_192.168.240.252_36210,WEB_192.168.240.252_36212,WEB_192.168.240.252_36214,WEB_192.168.240.252_36400,WEB_192.168.240.252_36402,WEB_192.168.240.252_36404,WEB_192.168.240.252_36406,WEB_192.168.240.252_36410,WEB_192.168.240.252_36468,WEB_192.168.240.252_36480,WEB_192.168.240.252_36496,WEB_192.168.240.252_36502,WEB_192.168.240.252_36504,WEB_192.168.240.252_36546,WEB_192.168.240.252_36548,WEB_192.168.240.252_36550,WEB_192.168.240.252_36552,WEB_192.168.240.252_36554,WEB_192.168.240.252_36624,WEB_192.168.240.252_36626,WEB_192.168.240.252_36628,WEB_192.168.240.252_36630,WEB_192.168.240.252_36634,WEB_192.168.240.252_36662,WEB_192.168.240.252_36664,WEB_192.168.240.252_36666,WEB_192.168.240.252_36678,WEB_192.168.240.252_36682,WEB_192.168.240.252_36684,WEB_192.168.240.252_36686,WEB_192.168.240.252_36688,WEB_192.168.240.252_36892,WEB_192.168.240.252_36896,WEB_192.168.240.252_36900,WEB_192.168.240.252_36902,WEB_192.168.240.252_36904,WEB_192.168.240.252_36934,WEB_192.168.240.252_36942,WEB_192.168.240.252_36950,WEB_192.168.240.252_36958,WEB_192.168.240.252_38000,WEB_192.168.240.252_38010,WEB_192.168.240.252_38012,WEB_192.168.240.252_38022,WEB_192.168.240.252_38040,WEB_192.168.240.252_38044,WEB_192.168.240.252_38046,WEB_192.168.240.252_38060,WEB_192.168.240.252_38086,WEB_192.168.240.252_38088,WEB_192.168.240.252_38092,WEB_192.168.240.252_38096,WEB_192.168.240.252_38102,WEB_192.168.240.252_38508,WEB_192.168.240.252_38512,WEB_192.168.240.252_38514,WEB_192.168.240.252_38518,WEB_192.168.240.252_38530,WEB_192.168.240.252_38708,WEB_192.168.240.252_38710,WEB_192.168.240.252_38714,WEB_192.168.240.252_38716,WEB_192.168.240.252_38718,WEB_192.168.240.252_38784,WEB_192.168.240.252_38786,WEB_192.168.240.252_38788,WEB_192.168.240.252_38790,WEB_192.168.240.252_38792,WEB_192.168.240.252_38798,WEB_192.168.240.252_38800,WEB_192.168.240.252_38802,WEB_192.168.240.252_38804,WEB_192.168.240.252_38808,WEB_192.168.240.252_38880,WEB_192.168.240.252_38884,WEB_192.168.240.252_38886,WEB_192.168.240.252_38888,WEB_192.168.240.252_38890,WEB_192.168.240.252_38956,WEB_192.168.240.252_38958,WEB_192.168.240.252_38960,WEB_192.168.240.252_38964,WEB_192.168.240.252_38966,WEB_192.168.240.252_39206,WEB_192.168.240.252_39210,WEB_192.168.240.252_39216,WEB_192.168.240.252_39560,WEB_192.168.240.252_39562,WEB_192.168.240.252_39564,WEB_192.168.240.252_39568,WEB_192.168.240.252_39570,WEB_192.168.240.252_39990,WEB_192.168.240.252_40000,WEB_192.168.240.252_40112,WEB_192.168.240.252_40114,WEB_192.168.240.252_40116,WEB_192.168.240.252_40120,WEB_192.168.240.252_40124,WEB_192.168.240.252_40132,WEB_192.168.240.252_40138,WEB_192.168.240.252_40140,WEB_192.168.240.252_40142,WEB_192.168.240.252_40146,WEB_192.168.240.252_40178,WEB_192.168.240.252_40180,WEB_192.168.240.252_40730,WEB_192.168.240.252_40732,WEB_192.168.240.252_40736,WEB_192.168.240.252_40738,WEB_192.168.240.252_40740,WEB_192.168.240.252_40924,WEB_192.168.240.252_40928,WEB_192.168.240.252_40932,WEB_192.168.240.252_40934,WEB_192.168.240.252_40938,WEB_192.168.240.252_41260,WEB_192.168.240.252_41264,WEB_192.168.240.252_41268,WEB_192.168.240.252_41270,WEB_192.168.240.252_41272,WEB_192.168.240.252_41550,WEB_192.168.240.252_41552,WEB_192.168.240.252_41554,WEB_192.168.240.252_41556,WEB_192.168.240.252_41560,WEB_192.168.240.252_42192,WEB_192.168.240.252_42196,WEB_192.168.240.252_42198,WEB_192.168.240.252_42200,WEB_192.168.240.252_42204,WEB_192.168.240.252_43098,WEB_192.168.240.252_43100,WEB_192.168.240.252_43102,WEB_192.168.240.252_43106,WEB_192.168.240.252_43108,WEB_192.168.240.252_43800,WEB_192.168.240.252_43802,WEB_192.168.240.252_43804,WEB_192.168.240.252_43808,WEB_192.168.240.252_43882,WEB_192.168.240.252_45322,WEB_192.168.240.252_45328,WEB_192.168.240.252_45330,WEB_192.168.240.252_45360,WEB_192.168.240.252_45400,WEB_192.168.240.252_45702,WEB_192.168.240.252_45706,WEB_192.168.240.252_45708,WEB_192.168.240.252_45716,WEB_192.168.240.252_45726,WEB_192.168.240.252_46616,WEB_192.168.240.252_46618,WEB_192.168.240.252_46622,WEB_192.168.240.252_46624,WEB_192.168.240.252_46626,WEB_192.168.240.252_46730,WEB_192.168.240.252_46732,WEB_192.168.240.252_46734,WEB_192.168.240.252_46736,WEB_192.168.240.252_46740,WEB_192.168.240.252_46810,WEB_192.168.240.252_46812,WEB_192.168.240.252_46816,WEB_192.168.240.252_46818,WEB_192.168.240.252_46822,WEB_192.168.240.252_46984,WEB_192.168.240.252_46990,WEB_192.168.240.252_46996,WEB_192.168.240.252_46998,WEB_192.168.240.252_47028,WEB_192.168.240.252_47030,WEB_192.168.240.252_47034,WEB_192.168.240.252_47036,WEB_192.168.240.252_47038,WEB_192.168.240.252_47090,WEB_192.168.240.252_47446,WEB_192.168.240.252_47456,WEB_192.168.240.252_47462,WEB_192.168.240.252_47464,WEB_192.168.240.252_47470,WEB_192.168.240.252_47472,WEB_192.168.240.252_47840,WEB_192.168.240.252_47842,WEB_192.168.240.252_47844,WEB_192.168.240.252_47846,WEB_192.168.240.252_48282,WEB_192.168.240.252_48286,WEB_192.168.240.252_48288,WEB_192.168.240.252_48290,WEB_192.168.240.252_48294,WEB_192.168.240.252_48534,WEB_192.168.240.252_48536,WEB_192.168.240.252_48560,WEB_192.168.240.252_48806,WEB_192.168.240.252_48808,WEB_192.168.240.252_48810,WEB_192.168.240.252_48816,WEB_192.168.240.252_48818,WEB_192.168.240.252_48858,WEB_192.168.240.252_48862,WEB_192.168.240.252_48864,WEB_192.168.240.252_48866,WEB_192.168.240.252_48868,WEB_192.168.240.252_49770,WEB_192.168.240.252_49772,WEB_192.168.240.252_49774,WEB_192.168.240.252_49776,WEB_192.168.240.252_49778,WEB_192.168.240.252_49810,WEB_192.168.240.252_49812,WEB_192.168.240.252_49814,WEB_192.168.240.252_49816,WEB_192.168.240.252_49872,WEB_192.168.240.252_49876,WEB_192.168.240.252_49878,WEB_192.168.240.252_49880,WEB_192.168.240.252_49882,WEB_192.168.240.252_49884,WEB_192.168.240.252_49886,WEB_192.168.240.252_49888,WEB_192.168.240.252_49890,WEB_192.168.240.252_49942,WEB_192.168.240.252_49944,WEB_192.168.240.252_49946,WEB_192.168.240.252_49948,WEB_192.168.240.252_49950,WEB_192.168.240.252_49960,WEB_192.168.240.252_49966,WEB_192.168.240.252_49968,WEB_192.168.240.252_49972,WEB_192.168.240.252_49976,WEB_192.168.240.252_50086,WEB_192.168.240.252_50098,WEB_192.168.240.252_50118,WEB_192.168.240.252_50146,WEB_192.168.240.252_50184,WEB_192.168.240.252_50188,WEB_192.168.240.252_50190,WEB_192.168.240.252_50208,WEB_192.168.240.252_50212,WEB_192.168.240.252_50214,WEB_192.168.240.252_50226,WEB_192.168.240.252_50228,WEB_192.168.240.252_50230,WEB_192.168.240.252_50232,WEB_192.168.240.252_50234,WEB_192.168.240.252_50236,WEB_192.168.240.252_50262,WEB_192.168.240.252_50266,WEB_192.168.240.252_50268,WEB_192.168.240.252_50270,WEB_192.168.240.252_50272,WEB_192.168.240.252_50274,WEB_192.168.240.252_50342,WEB_192.168.240.252_50492,WEB_192.168.240.252_50494,WEB_192.168.240.252_50496,WEB_192.168.240.252_50526,WEB_192.168.240.252_50528,WEB_192.168.240.252_50598,WEB_192.168.240.252_50602,WEB_192.168.240.252_50604,WEB_192.168.240.252_50626,WEB_192.168.240.252_50628,WEB_192.168.240.252_50634,WEB_192.168.240.252_50648,WEB_192.168.240.252_50652,WEB_192.168.240.252_50654,WEB_192.168.240.252_50692,WEB_192.168.240.252_51088,WEB_192.168.240.252_51090,WEB_192.168.240.252_51104,WEB_192.168.240.252_51120,WEB_192.168.240.252_51180,WEB_192.168.240.252_51182,WEB_192.168.240.252_51184,WEB_192.168.240.252_51186,WEB_192.168.240.252_51188,WEB_192.168.240.252_51204,WEB_192.168.240.252_51440,WEB_192.168.240.252_51446,WEB_192.168.240.252_51456,WEB_192.168.240.252_51458,WEB_192.168.240.252_51460,WEB_192.168.240.252_51476,WEB_192.168.240.252_51478,WEB_192.168.240.252_51486,WEB_192.168.240.252_51516,WEB_192.168.240.252_51518,WEB_192.168.240.252_51732,WEB_192.168.240.252_51734,WEB_192.168.240.252_51736,WEB_192.168.240.252_51740,WEB_192.168.240.252_51742,WEB_192.168.240.252_51894,WEB_192.168.240.252_51896,WEB_192.168.240.252_51902,WEB_192.168.240.252_51918,WEB_192.168.240.252_52028,WEB_192.168.240.252_52030,WEB_192.168.240.252_52036,WEB_192.168.240.252_52038,WEB_192.168.240.252_52040,WEB_192.168.240.252_52046,WEB_192.168.240.252_52048,WEB_192.168.240.252_52050,WEB_192.168.240.252_52054,WEB_192.168.240.252_52056,WEB_192.168.240.252_52104,WEB_192.168.240.252_52106,WEB_192.168.240.252_52110,WEB_192.168.240.252_52124,WEB_192.168.240.252_52126,WEB_192.168.240.252_52154,WEB_192.168.240.252_52156,WEB_192.168.240.252_52160,WEB_192.168.240.252_52162,WEB_192.168.240.252_52164,WEB_192.168.240.252_52174,WEB_192.168.240.252_52178,WEB_192.168.240.252_52180,WEB_192.168.240.252_52192,WEB_192.168.240.252_52208,WEB_192.168.240.252_52220,WEB_192.168.240.252_52222,WEB_192.168.240.252_52226,WEB_192.168.240.252_52228,WEB_192.168.240.252_52266,WEB_192.168.240.252_52376,WEB_192.168.240.252_52434,WEB_192.168.240.252_52436,WEB_192.168.240.252_52438,WEB_192.168.240.252_52456,WEB_192.168.240.252_52792,WEB_192.168.240.252_52822,WEB_192.168.240.252_52910,WEB_192.168.240.252_52974,WEB_192.168.240.252_52978,WEB_192.168.240.252_52980,WEB_192.168.240.252_52982,WEB_192.168.240.252_52984,WEB_192.168.240.252_53046,WEB_192.168.240.252_53048,WEB_192.168.240.252_53054,WEB_192.168.240.252_53056,WEB_192.168.240.252_53058,WEB_192.168.240.252_53278,WEB_192.168.240.252_53286,WEB_192.168.240.252_53288,WEB_192.168.240.252_53422,WEB_192.168.240.252_53426,WEB_192.168.240.252_53428,WEB_192.168.240.252_53432,WEB_192.168.240.252_53436,WEB_192.168.240.252_53438,WEB_192.168.240.252_53504,WEB_192.168.240.252_53564,WEB_192.168.240.252_53628,WEB_192.168.240.252_53630,WEB_192.168.240.252_53632,WEB_192.168.240.252_53634,WEB_192.168.240.252_53636,WEB_192.168.240.252_53720,WEB_192.168.240.252_53724,WEB_192.168.240.252_53756,WEB_192.168.240.252_53764,WEB_192.168.240.252_53774,WEB_192.168.240.252_53844,WEB_192.168.240.252_53848,WEB_192.168.240.252_53850,WEB_192.168.240.252_53852,WEB_192.168.240.252_53864,WEB_192.168.240.252_53892,WEB_192.168.240.252_53896,WEB_192.168.240.252_53898,WEB_192.168.240.252_53900,WEB_192.168.240.252_53902,WEB_192.168.240.252_53962,WEB_192.168.240.252_53964,WEB_192.168.240.252_53966,WEB_192.168.240.252_53968,WEB_192.168.240.252_53972,WEB_192.168.240.252_54084,WEB_192.168.240.252_54086,WEB_192.168.240.252_54088,WEB_192.168.240.252_54090,WEB_192.168.240.252_54092,WEB_192.168.240.252_54174,WEB_192.168.240.252_54176,WEB_192.168.240.252_54178,WEB_192.168.240.252_54180,WEB_192.168.240.252_54182,WEB_192.168.240.252_54224,WEB_192.168.240.252_54228,WEB_192.168.240.252_54230,WEB_192.168.240.252_54232,WEB_192.168.240.252_54234,WEB_192.168.240.252_54324,WEB_192.168.240.252_54326,WEB_192.168.240.252_54328,WEB_192.168.240.252_54330,WEB_192.168.240.252_54332,WEB_192.168.240.252_54408,WEB_192.168.240.252_54410,WEB_192.168.240.252_54412,WEB_192.168.240.252_54416,WEB_192.168.240.252_54418,WEB_192.168.240.252_54732,WEB_192.168.240.252_54736,WEB_192.168.240.252_54738,WEB_192.168.240.252_54878,WEB_192.168.240.252_54880,WEB_192.168.240.252_54882,WEB_192.168.240.252_54884,WEB_192.168.240.252_54898,WEB_192.168.240.252_55044,WEB_192.168.240.252_55122,WEB_192.168.240.252_55124,WEB_192.168.240.252_55126,WEB_192.168.240.252_55128,WEB_192.168.240.252_55414,WEB_192.168.240.252_55416,WEB_192.168.240.252_55422,WEB_192.168.240.252_55428,WEB_192.168.240.252_55430,WEB_192.168.240.252_55580,WEB_192.168.240.252_55582,WEB_192.168.240.252_55586,WEB_192.168.240.252_55588,WEB_192.168.240.252_55590,WEB_192.168.240.252_55684,WEB_192.168.240.252_55686,WEB_192.168.240.252_55694,WEB_192.168.240.252_55698,WEB_192.168.240.252_55700,WEB_192.168.240.252_55874,WEB_192.168.240.252_55884,WEB_192.168.240.252_55886,WEB_192.168.240.252_55890,WEB_192.168.240.252_56040,WEB_192.168.240.252_56042,WEB_192.168.240.252_56044,WEB_192.168.240.252_56046,WEB_192.168.240.252_56122,WEB_192.168.240.252_56124,WEB_192.168.240.252_56126,WEB_192.168.240.252_56130,WEB_192.168.240.252_56134,WEB_192.168.240.252_56138,WEB_192.168.240.252_56142,WEB_192.168.240.252_56160,WEB_192.168.240.252_56174,WEB_192.168.240.252_56178,WEB_192.168.240.252_56190,WEB_192.168.240.252_56196,WEB_192.168.240.252_56204,WEB_192.168.240.252_56208,WEB_192.168.240.252_56242,WEB_192.168.240.252_56246,WEB_192.168.240.252_56252,WEB_192.168.240.252_56264,WEB_192.168.240.252_56282,WEB_192.168.240.252_56284,WEB_192.168.240.252_56386,WEB_192.168.240.252_56388,WEB_192.168.240.252_56390,WEB_192.168.240.252_56400,WEB_192.168.240.252_56428,WEB_192.168.240.252_56492,WEB_192.168.240.252_56494,WEB_192.168.240.252_56504,WEB_192.168.240.252_56516,WEB_192.168.240.252_56520,WEB_192.168.240.252_56638,WEB_192.168.240.252_56640,WEB_192.168.240.252_56642,WEB_192.168.240.252_56644,WEB_192.168.240.252_56742,WEB_192.168.240.252_56808,WEB_192.168.240.252_56810,WEB_192.168.240.252_56984,WEB_192.168.240.252_56986,WEB_192.168.240.252_56988,WEB_192.168.240.252_56992,WEB_192.168.240.252_56998,WEB_192.168.240.252_57000,WEB_192.168.240.252_57002,WEB_192.168.240.252_57004,WEB_192.168.240.252_57006,WEB_192.168.240.252_57020,WEB_192.168.240.252_57024,WEB_192.168.240.252_57026,WEB_192.168.240.252_57032,WEB_192.168.240.252_57034,WEB_192.168.240.252_57038,WEB_192.168.240.252_57048,WEB_192.168.240.252_57066,WEB_192.168.240.252_57068,WEB_192.168.240.252_57070,WEB_192.168.240.252_57072,WEB_192.168.240.252_57200,WEB_192.168.240.252_57202,WEB_192.168.240.252_57204,WEB_192.168.240.252_57208,WEB_192.168.240.252_57256,WEB_192.168.240.252_57260,WEB_192.168.240.252_57262,WEB_192.168.240.252_57264,WEB_192.168.240.252_57454,WEB_192.168.240.252_57456,WEB_192.168.240.252_57458,WEB_192.168.240.252_57460,WEB_192.168.240.252_57522,WEB_192.168.240.252_57524,WEB_192.168.240.252_57530,WEB_192.168.240.252_57574,WEB_192.168.240.252_57590,WEB_192.168.240.252_57602,WEB_192.168.240.252_57604,WEB_192.168.240.252_57606,WEB_192.168.240.252_57634,WEB_192.168.240.252_57658,WEB_192.168.240.252_57660,WEB_192.168.240.252_57662,WEB_192.168.240.252_57664,WEB_192.168.240.252_57666,WEB_192.168.240.252_57672,WEB_192.168.240.252_57674,WEB_192.168.240.252_57700,WEB_192.168.240.252_57704,WEB_192.168.240.252_57758,WEB_192.168.240.252_57768,WEB_192.168.240.252_57770,WEB_192.168.240.252_57774,WEB_192.168.240.252_57778,WEB_192.168.240.252_57780,WEB_192.168.240.252_57782,WEB_192.168.240.252_57784,WEB_192.168.240.252_57788,WEB_192.168.240.252_57800,WEB_192.168.240.252_57804,WEB_192.168.240.252_57818,WEB_192.168.240.252_57820,WEB_192.168.240.252_57822,WEB_192.168.240.252_57836,WEB_192.168.240.252_57848,WEB_192.168.240.252_57870,WEB_192.168.240.252_57874,WEB_192.168.240.252_58212,WEB_192.168.240.252_58214,WEB_192.168.240.252_58216,WEB_192.168.240.252_58244,WEB_192.168.240.252_58248,WEB_192.168.240.252_58366,WEB_192.168.240.252_58368,WEB_192.168.240.252_58370,WEB_192.168.240.252_58372,WEB_192.168.240.252_58376,WEB_192.168.240.252_58388,WEB_192.168.240.252_58390,WEB_192.168.240.252_58392,WEB_192.168.240.252_58404,WEB_192.168.240.252_58406,WEB_192.168.240.252_58892,WEB_192.168.240.252_58896,WEB_192.168.240.252_58908,WEB_192.168.240.252_58964,WEB_192.168.240.252_58966,WEB_192.168.240.252_58972,WEB_192.168.240.252_58974,WEB_192.168.240.252_58984,WEB_192.168.240.252_59236,WEB_192.168.240.252_59238,WEB_192.168.240.252_59240,WEB_192.168.240.252_59242,WEB_192.168.240.252_59246,WEB_192.168.240.252_59760,WEB_192.168.240.252_59764,WEB_192.168.240.252_59768,WEB_192.168.240.252_59782,WEB_192.168.240.252_59804,WEB_192.168.240.252_59806,WEB_192.168.240.252_59808,WEB_192.168.240.252_59810,WEB_192.168.240.252_59842,WEB_192.168.240.252_59870,WEB_192.168.240.252_59908,WEB_192.168.240.252_59910,WEB_192.168.240.252_59912,WEB_192.168.240.252_59914,WEB_192.168.240.252_59916,WEB_192.168.240.252_59918,WEB_192.168.240.252_59934,WEB_192.168.240.252_59940,WEB_192.168.240.252_59942,WEB_192.168.240.252_59946,WEB_192.168.240.252_60138,WEB_192.168.240.252_60140,WEB_192.168.240.252_60144,WEB_192.168.240.252_60164,WEB_192.168.240.252_60170,WEB_192.168.240.252_60192,WEB_192.168.240.252_60200,WEB_192.168.240.252_60202,WEB_192.168.240.252_60204,WEB_192.168.240.252_60334,WEB_192.168.240.252_60484,WEB_192.168.240.252_60490,WEB_192.168.240.252_60494,WEB_192.168.240.252_60496,WEB_192.168.240.252_60498,WEB_192.168.240.252_60536,WEB_192.168.240.252_60538,WEB_192.168.240.252_60540,WEB_192.168.240.252_60542,WEB_192.168.240.252_60554,WEB_192.168.240.252_60568,WEB_192.168.240.252_60608,WEB_192.168.240.252_60612,WEB_192.168.240.252_60614,WEB_192.168.240.253_47125,WEB_192.168.240.253_47126,WEB_192.168.240.253_56295,WEB_192.168.240.253_56296,WEBhook_109.45.0.132_34460,WEBhook_109.45.0.132_36320,WEBhook_109.45.0.132_36554,WEBhook_109.45.0.132_42274,WEBhook_109.45.0.132_50945,WEBhook_109.45.0.132_61500,WEBhook_109.45.0.158_39817,WEBhook_109.45.0.180_39858,WEBhook_109.45.1.25_32813,WEBhook_109.45.1.88_33795,WEBhook_109.45.1.88_36346,WEBhook_109.45.1.88_46742,WEBhook_109.45.1.88_48268,WEBhook_109.45.1.88_48553,WEBhook_109.45.1.88_50517,WEBhook_109.45.1.88_60729,WEBhook_109.45.2.184_46519,WEBhook_109.45.2.234_36397,WEBhook_109.45.2.234_37283,WEBhook_109.45.2.234_43441,WEBhook_109.45.2.234_46430,WEBhook_109.45.2.234_53754,WEBhook_2.247.240.185_11574,WEBhook_2.247.240.185_13568,WEBhook_2.247.240.185_26616,WEBhook_2.247.240.185_29861,WEBhook_2.247.241.112_12382,WEBhook_2.247.241.112_13202,WEBhook_2.247.241.112_18684,WEBhook_2.247.241.112_19609,WEBhook_2.247.241.112_19952,WEBhook_2.247.241.112_2262,WEBhook_2.247.241.112_2527,WEBhook_2.247.241.112_26932,WEBhook_2.247.241.112_8076,WEBhook_2.247.241.112_9844,WEBhook_2.247.241.195_17070,WEBhook_2.247.241.195_30150,WEBhook_2.247.241.195_5019,WEBhook_2.247.241.41_20273,WEBhook_2.247.242.105_10005,WEBhook_2.247.242.105_1297,WEBhook_2.247.242.105_17834,WEBhook_2.247.242.105_20830,WEBhook_2.247.242.105_29269,WEBhook_2.247.242.105_31380,WEBhook_2.247.243.79_17813,WEBhook_2.247.245.136_38528,WEBhook_2.247.245.136_61874,WEBhook_2.247.246.153_35025,WEBhook_2.247.246.153_39108,WEBhook_2.247.246.153_39434,WEBhook_2.247.246.153_39577,WEBhook_2.247.246.153_41051,WEBhook_2.247.246.153_41432,WEBhook_2.247.246.153_43817,WEBhook_2.247.246.153_43984,WEBhook_2.247.246.153_45431,WEBhook_2.247.246.153_45462,WEBhook_2.247.246.153_48018,WEBhook_2.247.246.153_48621,WEBhook_2.247.246.153_49203,WEBhook_2.247.246.153_51237,WEBhook_2.247.246.153_51850,WEBhook_2.247.246.153_54420,WEBhook_2.247.246.153_56985,WEBhook_2.247.246.153_58749,WEBhook_2.247.246.153_59398,WEBhook_2.247.246.153_60923,WEBhook_2.247.246.153_61265,WEBhook_2.247.246.153_62840,WEBhook_2.247.247.131_56071,WEBhook_2.247.247.146_33614,WEBhook_2.247.247.79_36279,WEBhook_2.247.247.79_49256,WEBhook_2.247.247.90_43938,WEBhook_2.247.247.90_45603,WEBhook_2.247.247.90_48443,WEBhook_2.247.248.149_49395,WEBhook_2.247.248.214_38092,WEBhook_2.247.248.76_38812,WEBhook_2.247.248.88_34232,WEBhook_2.247.248.88_34946,WEBhook_2.247.248.88_34995,WEBhook_2.247.248.88_40939,WEBhook_2.247.248.88_42758,WEBhook_2.247.248.88_43587,WEBhook_2.247.248.88_49856,WEBhook_2.247.248.88_55867,WEBhook_2.247.248.88_58893,WEBhook_2.247.248.88_60525,WEBhook_2.247.248.88_62955,WEBhook_2.247.249.176_49306,WEBhook_2.247.249.176_51579,WEBhook_2.247.249.176_54538,WEBhook_2.247.249.2_48520,WEBhook_2.247.249.56_33630,WEBhook_2.247.249.56_33837,WEBhook_2.247.249.56_34196,WEBhook_2.247.249.56_40071,WEBhook_2.247.249.56_53974,WEBhook_2.247.249.56_57848,WEBhook_2.247.249.56_62984,WEBhook_2.247.249.7_32846,WEBhook_2.247.250.122_44223,WEBhook_2.247.250.122_49149,WEBhook_2.247.250.122_49367,WEBhook_2.247.250.122_59935,WEBhook_2.247.250.247_34454,WEBhook_2.247.250.247_36406,WEBhook_2.247.250.247_37246,WEBhook_2.247.250.247_42418,WEBhook_2.247.250.247_42901,WEBhook_2.247.250.247_51552,WEBhook_2.247.250.247_51780,WEBhook_2.247.250.247_54415,WEBhook_2.247.250.247_54799,WEBhook_2.247.250.247_56162,WEBhook_2.247.250.247_56267,WEBhook_2.247.250.247_56664,WEBhook_2.247.250.247_58273,WEBhook_2.247.250.247_60527,WEBhook_2.247.250.247_62071,WEBhook_2.247.251.122_33460,WEBhook_2.247.251.209_33188,WEBhook_2.247.251.209_33483,WEBhook_2.247.251.209_34426,WEBhook_2.247.251.209_34565,WEBhook_2.247.251.209_36616,WEBhook_2.247.251.209_41369,WEBhook_2.247.251.209_43251,WEBhook_2.247.251.209_53566,WEBhook_2.247.251.209_55765,WEBhook_2.247.251.209_58947,WEBhook_2.247.251.209_60082,WEBhook_2.247.251.209_61247,WEBhook_2.247.251.209_62013,WEBhook_2.247.251.2_47743,WEBhook_2.247.251.2_49867,WEBhook_2.247.251.2_51459,WEBhook_2.247.251.62_51445,WEBhook_2.247.251.62_54534,WEBhook_2.247.251.93_33038,WEBhook_2.247.251.93_33051,WEBhook_2.247.251.93_34767,WEBhook_2.247.251.93_42326,WEBhook_2.247.251.93_46135,WEBhook_2.247.251.93_54144,WEBhook_2.247.251.93_58309,WEBhook_2.247.251.93_59833,WEBhook_2.247.255.148_38696,WEBhook_2.247.255.148_47417,WEBhook_2.247.255.148_48007,WEBhook_2.247.255.148_58081,WEBhook_2.247.255.148_60154,WEBhook_212.204.61.202_41098,WEBhook_212.204.61.202_48966,WEBhook_212.204.61.202_51763,WEBhook_212.204.61.202_55132,WEBhook_212.204.61.202_58294,WEBhook_80.147.226.103_35156,WEBhook_80.147.226.103_35840,WEBhook_80.147.226.103_36521,WEBhook_80.147.226.103_37410,WEBhook_80.147.226.103_39250,WEBhook_80.147.226.103_39665,WEBhook_80.147.226.103_41364,WEBhook_80.147.226.103_47559,WEBhook_80.147.226.103_50295,WEBhook_80.147.226.103_53387,WEBhook_80.147.226.103_54553,WEBhook_80.147.226.103_55477,WEBhook_80.147.226.103_56690,WEBhook_80.147.226.103_57393,WEBhook_80.147.226.103_59086,WEBhook_80.147.226.103_59355,WEBhook_80.147.226.103_59568,WEBhook_80.147.226.103_61701,WEBhook_80.147.226.103_61839,WEBhook_80.147.226.103_61952,WEBhook_80.147.226.103_65047,WEBhook_82.113.99.99_62978,WEBhook_87.138.222.254_36903,WEBhook_87.138.222.254_39412,WEBhook_87.138.222.254_40043,WEBhook_87.138.222.254_48199,WEBhook_87.138.222.254_54983,WEBhook_87.138.222.254_57399,WEBhook_87.138.222.254_63640,WEBhook_89.204.135.24_34313,WEBhook_89.204.135.24_35966,WEBhook_89.204.135.24_40555,WEBhook_89.204.135.24_48113,WEBhook_89.204.135.24_49007,WEBhook_89.204.137.112_10685,WEBhook_89.204.137.112_23512,WEBhook_89.204.137.112_24294,WEBhook_89.204.137.112_25604,WEBhook_89.204.137.112_4021,WEBhook_89.204.137.112_7829,WEBhook_89.204.137.135_31012,WEBhook_89.204.137.13_12044,WEBhook_89.204.137.13_26136,WEBhook_89.204.137.13_28716,WEBhook_89.204.137.13_30005,WEBhook_89.204.137.194_12464,WEBhook_89.204.137.194_14722,WEBhook_89.204.137.194_14839,WEBhook_89.204.137.194_16414,WEBhook_89.204.137.194_18031,WEBhook_89.204.137.194_19543,WEBhook_89.204.137.194_26702,WEBhook_89.204.137.194_28721,WEBhook_89.204.137.194_30422,WEBhook_89.204.137.194_31184,WEBhook_89.204.137.194_7036,WEBhook_89.204.137.211_11613,WEBhook_89.204.137.211_13998,WEBhook_89.204.137.211_1606,WEBhook_89.204.137.211_17190,WEBhook_89.204.137.245_19258,WEBhook_89.204.137.39_4289,WEBhook_89.204.137.54_6357,WEBhook_89.204.137.56_6260,WEBhook_89.204.137.77_27961,WEBhook_89.204.138.166_20833,WEBhook_89.204.138.166_2358,WEBhook_89.204.138.166_3940,WEBhook_89.204.138.182_14075,WEBhook_89.204.138.198_15966,WEBhook_89.204.138.198_20396,WEBhook_89.204.138.212_20761,WEBhook_89.204.138.224_20175,WEBhook_89.204.138.225_25497,WEBhook_89.204.138.225_27406,WEBhook_89.204.138.234_11343,WEBhook_89.204.138.234_25314,WEBhook_89.204.138.234_25465,WEBhook_89.204.138.234_26272,WEBhook_89.204.138.234_29268,WEBhook_89.204.138.2_1701,WEBhook_89.204.138.33_24969,WEBhook_89.204.138.33_27798,WEBhook_89.204.138.33_28449,WEBhook_89.204.138.33_4890,WEBhook_89.204.138.33_8027,WEBhook_89.204.138.75_24643,WEBhook_89.204.138.9_11754,WEBhook_89.204.138.9_14120,WEBhook_89.204.138.9_2736,WEBhook_89.204.138.9_5029,WEBhook_89.204.139.111_19697,WEBhook_89.204.139.114_16080,WEBhook_89.204.139.114_31519,WEBhook_89.204.139.121_1104,WEBhook_89.204.139.121_20387,WEBhook_89.204.139.121_2167,WEBhook_89.204.139.121_29617,WEBhook_89.204.139.121_3984,WEBhook_89.204.139.121_7502,WEBhook_89.204.139.138_2558,WEBhook_89.204.139.138_27743,WEBhook_89.204.139.138_27858,WEBhook_89.204.139.138_9002,WEBhook_89.204.139.193_7790,WEBhook_89.204.139.217_11803,WEBhook_89.204.139.217_12934,WEBhook_89.204.139.217_21031,WEBhook_89.204.139.217_4021,WEBhook_89.204.139.217_5942,WEBhook_89.204.139.217_8058,WEBhook_89.204.139.218_12592,WEBhook_89.204.139.218_15404,WEBhook_89.204.139.218_19924,WEBhook_89.204.139.218_29489,WEBhook_89.204.139.22_27450,WEBhook_89.204.139.22_30184,WEBhook_89.204.139.23_11923,WEBhook_89.204.139.243_20568,WEBhook_89.204.139.36_18571,WEBhook_89.204.139.36_6350,WEBhook_89.204.139.36_8791,WEBhook_89.204.139.70_16011,WEBhook_89.204.139.70_17121,WEBhook_89.204.139.70_23862,WEBhook_89.204.139.70_6338,WEBhook_89.204.139.70_8424,WEBhook_89.204.139.8_10326,WEBhook_89.204.139.8_11116,WEBhook_89.204.139.8_14117,WEBhook_89.204.139.8_19380,WEBhook_89.204.139.8_2003,WEBhook_89.204.139.8_20097,WEBhook_89.204.139.8_23090,WEBhook_89.204.139.8_23175,WEBhook_89.204.139.8_27422,WEBhook_89.204.139.8_27509,WEBhook_89.204.139.8_27539,WEBhook_89.204.139.8_30060,WEBhook_89.204.139.8_30636,WEBhook_89.204.153.98_35004,WEBhook_89.204.153.98_38170,WEBhook_89.204.153.98_62714,WEBhook_89.204.154.231_46735,WEBhook_89.204.154.231_53680,WEBhook_89.204.154.231_56185,WEBhook_89.204.154.24_33104,WEBhook_89.204.154.24_42344,WEBhook_89.204.154.24_45084,WEBhook_89.204.154.24_48907,WEBhook_89.204.154.24_49395,WEBhook_89.204.154.24_53110,WEBhook_89.204.154.24_53464,WEBhook_89.204.154.24_54753,WEBhook_89.204.155.189_38372,WEBhook_89.204.155.189_61691,WEBhook_89.204.155.23_45302,WEBphone_127.0.0.1_33722,WEBphone_127.0.0.1_36630,WEBphone_127.0.0.1_37520,WEBphone_127.0.0.1_39914,WEBphone_127.0.0.1_41186,WEBphone_127.0.0.1_41366,WEBphone_127.0.0.1_41508,WEBphone_127.0.0.1_41574,WEBphone_127.0.0.1_41732,WEBphone_127.0.0.1_42062,WEBphone_127.0.0.1_42976,WEBphone_127.0.0.1_43272,WEBphone_127.0.0.1_43346,WEBphone_127.0.0.1_43378,WEBphone_127.0.0.1_43488,WEBphone_127.0.0.1_43612,WEBphone_127.0.0.1_43672,WEBphone_127.0.0.1_43836,WEBphone_127.0.0.1_45294,WEBphone_127.0.0.1_45460,WEBphone_127.0.0.1_45556,WEBphone_127.0.0.1_45970,WEBphone_127.0.0.1_46114,WEBphone_127.0.0.1_46298,WEBphone_127.0.0.1_46334,WEBphone_127.0.0.1_46376,WEBphone_127.0.0.1_46398,WEBphone_127.0.0.1_46406,WEBphone_127.0.0.1_46512,WEBphone_127.0.0.1_46528,WEBphone_127.0.0.1_46550,WEBphone_127.0.0.1_46584,WEBphone_127.0.0.1_46596,WEBphone_127.0.0.1_47122,WEBphone_127.0.0.1_48022,WEBphone_127.0.0.1_48606,WEBphone_127.0.0.1_49102,WEBphone_127.0.0.1_49498,WEBphone_127.0.0.1_49648,WEBphone_127.0.0.1_49816,WEBphone_127.0.0.1_50278,WEBphone_127.0.0.1_50394,WEBphone_127.0.0.1_50430,WEBphone_127.0.0.1_51168,WEBphone_127.0.0.1_51200,WEBphone_127.0.0.1_51388,WEBphone_127.0.0.1_51758,WEBphone_127.0.0.1_51932,WEBphone_127.0.0.1_51954,WEBphone_127.0.0.1_51990,WEBphone_127.0.0.1_52010,WEBphone_127.0.0.1_52040,WEBphone_127.0.0.1_52156,WEBphone_127.0.0.1_52208,WEBphone_127.0.0.1_52344,WEBphone_127.0.0.1_52534,WEBphone_127.0.0.1_52664,WEBphone_127.0.0.1_52704,WEBphone_127.0.0.1_52728,WEBphone_127.0.0.1_52914,WEBphone_127.0.0.1_52936,WEBphone_127.0.0.1_52968,WEBphone_127.0.0.1_52998,WEBphone_127.0.0.1_53130,WEBphone_127.0.0.1_53140,WEBphone_127.0.0.1_53156,WEBphone_127.0.0.1_53206,WEBphone_127.0.0.1_53280,WEBphone_127.0.0.1_53310,WEBphone_127.0.0.1_53330,WEBphone_127.0.0.1_53368,WEBphone_127.0.0.1_53384,WEBphone_127.0.0.1_53440,WEBphone_127.0.0.1_53486,WEBphone_127.0.0.1_53522,WEBphone_127.0.0.1_53554,WEBphone_127.0.0.1_53616,WEBphone_127.0.0.1_53644,WEBphone_127.0.0.1_53696,WEBphone_127.0.0.1_53708,WEBphone_127.0.0.1_53738,WEBphone_127.0.0.1_53780,WEBphone_127.0.0.1_53812,WEBphone_127.0.0.1_53846,WEBphone_127.0.0.1_53890,WEBphone_127.0.0.1_53898,WEBphone_127.0.0.1_53946,WEBphone_127.0.0.1_53966,WEBphone_127.0.0.1_53978,WEBphone_127.0.0.1_54114,WEBphone_127.0.0.1_54150,WEBphone_127.0.0.1_54288,WEBphone_127.0.0.1_54346,WEBphone_127.0.0.1_54432,WEBphone_127.0.0.1_54740,WEBphone_127.0.0.1_55216,WEBphone_127.0.0.1_55480,WEBphone_127.0.0.1_55820,WEBphone_127.0.0.1_55848,WEBphone_127.0.0.1_55988,WEBphone_127.0.0.1_56028,WEBphone_127.0.0.1_56078,WEBphone_127.0.0.1_56200,WEBphone_127.0.0.1_56374,WEBphone_127.0.0.1_56380,WEBphone_127.0.0.1_56452,WEBphone_127.0.0.1_56492,WEBphone_127.0.0.1_56556,WEBphone_127.0.0.1_56646,WEBphone_127.0.0.1_56750,WEBphone_127.0.0.1_56876,WEBphone_127.0.0.1_56908,WEBphone_127.0.0.1_57078,WEBphone_127.0.0.1_57288,WEBphone_127.0.0.1_57438,WEBphone_127.0.0.1_58282,WEBphone_127.0.0.1_58424,WEBphone_127.0.0.1_58426,WEBphone_127.0.0.1_59084,WEBphone_192.168.240.253_35304,WEBphone_192.168.240.253_35305,WEBphone_192.168.240.253_35306,WEBphone_192.168.240.253_35307,WEBphone_192.168.240.253_35309,WEBphone_192.168.240.253_35310,WEBphone_192.168.240.253_35312,WEBphone_192.168.240.253_35313,WEBphone_192.168.240.253_35314,WEBphone_192.168.240.253_35315,WEBphone_192.168.240.253_35317,WEBphone_192.168.240.253_35318,WEBphone_192.168.240.253_35319,WEBphone_192.168.240.253_35320,WEBphone_192.168.240.253_35321,WEBphone_192.168.240.253_35322,WEBphone_192.168.240.253_35326,WEBphone_192.168.240.253_35327,WEBphone_192.168.240.253_35328,WEBphone_192.168.240.253_35329,WEBphone_192.168.240.253_35330,WEBphone_192.168.240.253_35332,WEBphone_192.168.240.253_35333,WEBphone_192.168.240.253_35334,WEBphone_192.168.240.253_35335,WEBphone_192.168.240.253_35336,WEBphone_192.168.240.253_35337,WEBphone_192.168.240.253_35338,WEBphone_192.168.240.253_35339,WEBphone_192.168.240.253_35340,WEBphone_192.168.240.253_35341,WEBphone_192.168.240.253_35342,WEBphone_192.168.240.253_35343,WEBphone_192.168.240.253_35346,WEBphone_192.168.240.253_35347,WEBphone_192.168.240.253_35348,WEBphone_192.168.240.253_35349,WEBphone_192.168.240.253_35350,WEBphone_192.168.240.253_35351,WEBphone_192.168.240.253_35358,WEBphone_192.168.240.253_35359,WEBphone_192.168.240.253_35360,WEBphone_192.168.240.253_35361,WEBphone_192.168.240.253_35362,WEBphone_192.168.240.253_35363,WEBphone_192.168.240.253_35365,WEBphone_192.168.240.253_35366,WEBphone_192.168.240.253_35367,WEBphone_192.168.240.253_35368,WEBphone_192.168.240.253_35369,WEBphone_192.168.240.253_35370,WEBphone_192.168.240.253_35371,WEBphone_192.168.240.253_35372,WEBphone_192.168.240.253_35373,WEBphone_192.168.240.253_35374,WEBphone_192.168.240.253_35375,WEBphone_192.168.240.253_35376,WEBphone_192.168.240.253_35377,WEBphone_192.168.240.253_35378,WEBphone_192.168.240.253_35379,WEBphone_192.168.240.253_35380,WEBphone_192.168.240.253_35381,WEBphone_192.168.240.253_35382,WEBphone_192.168.240.253_35383,WEBphone_192.168.240.253_35384,WEBphone_192.168.240.253_35385,WEBphone_192.168.240.253_35386,WEBphone_192.168.240.253_35387,WEBphone_192.168.240.253_35388,WEBphone_192.168.240.253_35389,WEBphone_192.168.240.253_35390,WEBphone_192.168.240.253_35391,WEBphone_192.168.240.253_35392,WEBphone_192.168.240.253_35393,WEBphone_192.168.240.253_35394,WEBphone_192.168.240.253_35395,WEBphone_192.168.240.253_35396,WEBphone_192.168.240.253_35397,WEBphone_192.168.240.253_35398,WEBphone_192.168.240.253_35399,WEBphone_192.168.240.253_35400,WEBphone_192.168.240.253_35401,WEBphone_192.168.240.253_35402,WEBphone_192.168.240.253_35403,WEBphone_192.168.240.253_35404,WEBphone_192.168.240.253_35405,WEBphone_192.168.240.253_35406,WEBphone_192.168.240.253_35408,WEBphone_192.168.240.253_35409,WEBphone_192.168.240.253_35410,WEBphone_192.168.240.253_35411,WEBphone_192.168.240.253_35412,WEBphone_192.168.240.253_35413,WEBphone_192.168.240.253_35414,WEBphone_192.168.240.253_35415,WEBphone_192.168.240.253_35416,WEBphone_192.168.240.253_35417,WEBphone_192.168.240.253_35418,WEBphone_192.168.240.253_35419,WEBphone_192.168.240.253_35420,WEBphone_192.168.240.253_35421,WEBphone_192.168.240.253_35422,WEBphone_192.168.240.253_35423,WEBphone_192.168.240.253_35424,WEBphone_192.168.240.253_35425,WEBphone_192.168.240.253_35427,WEBphone_192.168.240.253_35428,WEBphone_192.168.240.253_35429,WEBphone_192.168.240.253_35430,WEBphone_192.168.240.253_35431,WEBphone_192.168.240.253_35432,WEBphone_192.168.240.253_35433,WEBphone_192.168.240.253_35434,WEBphone_192.168.240.253_35435,WEBphone_192.168.240.253_35436,WEBphone_192.168.240.253_35437,WEBphone_192.168.240.253_35438,WEBphone_192.168.240.253_35441,WEBphone_192.168.240.253_35442,WEBphone_192.168.240.253_35443,WEBphone_192.168.240.253_35444,WEBphone_192.168.240.253_35445,WEBphone_192.168.240.253_35446,WEBphone_192.168.240.253_35448,WEBphone_192.168.240.253_35449,WEBphone_192.168.240.253_35450,WEBphone_192.168.240.253_35451,WEBphone_192.168.240.253_35452,WEBphone_192.168.240.253_35453,WEBphone_192.168.240.253_35454,WEBphone_192.168.240.253_35455,WEBphone_192.168.240.253_35456,WEBphone_192.168.240.253_35457,WEBphone_192.168.240.253_35458,WEBphone_192.168.240.253_35459,WEBphone_192.168.240.253_35460,WEBphone_192.168.240.253_35461,WEBphone_192.168.240.253_35462,WEBphone_192.168.240.253_35463,WEBphone_192.168.240.253_35464,WEBphone_192.168.240.253_35465,WEBphone_192.168.240.253_35466,WEBphone_192.168.240.253_35467,WEBphone_192.168.240.253_35468,WEBphone_192.168.240.253_35469,WEBphone_192.168.240.253_35470,WEBphone_192.168.240.253_35471,WEBphone_192.168.240.253_35472,WEBphone_192.168.240.253_35473,WEBphone_192.168.240.253_35474,WEBphone_192.168.240.253_35475,WEBphone_192.168.240.253_35476,WEBphone_192.168.240.253_35477,WEBphone_192.168.240.253_35478,WEBphone_192.168.240.253_35479,WEBphone_192.168.240.253_35480,WEBphone_192.168.240.253_35482,WEBphone_192.168.240.253_35483,WEBphone_192.168.240.253_35488,WEBphone_192.168.240.253_35489,WEBphone_192.168.240.253_35490,WEBphone_192.168.240.253_35491,WEBphone_192.168.240.253_35492,WEBphone_192.168.240.253_35493,WEBphone_192.168.240.253_35496,WEBphone_192.168.240.253_35497,WEBphone_192.168.240.253_35498,WEBphone_192.168.240.253_35499,WEBphone_192.168.240.253_35500,WEBphone_192.168.240.253_35501,WEBphone_192.168.240.253_35502,WEBphone_192.168.240.253_35503,WEBphone_192.168.240.253_35504,WEBphone_192.168.240.253_35506,WEBphone_192.168.240.253_35507,WEBphone_192.168.240.253_35508,WEBphone_192.168.240.253_35509,WEBphone_192.168.240.253_35510,WEBphone_192.168.240.253_35511,WEBphone_192.168.240.253_35512,WEBphone_192.168.240.253_35513,WEBphone_192.168.240.253_35514,WEBphone_192.168.240.253_35515,WEBphone_192.168.240.253_35516,WEBphone_192.168.240.253_35517,WEBphone_192.168.240.253_35518,WEBphone_192.168.240.253_35519,WEBphone_192.168.240.253_35520,WEBphone_192.168.240.253_35521,WEBphone_192.168.240.253_35522,WEBphone_192.168.240.253_35523,WEBphone_192.168.240.253_35524,WEBphone_192.168.240.253_35525,WEBphone_192.168.240.253_35526,WEBphone_192.168.240.253_35527,WEBphone_192.168.240.253_35528,WEBphone_192.168.240.253_35529,WEBphone_192.168.240.253_35530,WEBphone_192.168.240.253_35531,WEBphone_192.168.240.253_35532,WEBphone_192.168.240.253_35533,WEBphone_192.168.240.253_35534,WEBphone_192.168.240.253_35535,WEBphone_192.168.240.253_35536,WEBphone_192.168.240.253_35537,WEBphone_192.168.240.253_35538,WEBphone_192.168.240.253_35539,WEBphone_192.168.240.253_35540,WEBphone_192.168.240.253_35541,WEBphone_192.168.240.253_35542,WEBphone_192.168.240.253_35543,WEBphone_192.168.240.253_35544,WEBphone_192.168.24

Musste die Liste künstlich kürzen. Die Forumssoftware hat immer gestreikt.




list TYPE=FHEMWEB

WEB
WEB_10.6.9.19_41417
WEB_192.168.240.252_41884
WEB_192.168.240.252_41898
WEB_192.168.240.252_41900
WEB_192.168.240.252_41902
WEB_192.168.240.252_41904
WEB_192.168.240.252_41906
WEBhook
WEBphone


@CoolTux: das attr Problem mit WEB.* sollte seit 3 Tagen gefixt sein.

@Rudi

Ahhh, Danke Dir. Dann ist das das was Du Ende letzte Woche erzählt hast.

Danke Dir.


Grüße

Update gemacht. Jetzt sind es nur noch


SYSMON_Webapp01,seclogDbCurrent,seclogDbHistory


Zitat von: rudolfkoenig am 03 Juli 2017, 10:17:57
Ich tippe beim Uebeltaeter auf 73_MPD.pm, da wird BlockingCall mit $hash fuer $timeout aufgerufen,

Oh je .... Schande über mich :( k.A. wie sich da der hash als Timeoutwert hin verirrt hat. Lustigerweise besteht der Fehler seit der allersten Version des Moduls -> 1.2.2014
Aber seine Tage sind gezählt, ich werde mit dem nächsten Update auch eine  $abortFn einführen.

@michael.winkler, du kannst ja mal als Quickfix die Zeile von
$hash->{helper}{RUNNING_PID} = BlockingCall("MPD_IdleStart",$name, "MPD_IdleDone", $hash) unless(exists($hash->{helper}{RUNNING_PID}));
ändern in
$hash->{helper}{RUNNING_PID} = BlockingCall("MPD_IdleStart",$name, "MPD_IdleDone") unless(exists($hash->{helper}{RUNNING_PID}));

Badezimmer.Klima.DBLog: Das kann ich mir nicht erklaeren. Wenn man das per XmlList anzeigen kann, dann muss ein %defs Eintrag geben, aber mein Einzeiler sollte genau sowas wegfiltern.


seclogDbCurrent,seclogDbHistory: Das kann ich erklaeren: 93_DbLog.pm und 93_DbRep.pm missbrauchen %attr absichtlich. Nur das "Warum" verstehe ich noch nicht.

Bei der allgemeinen Suche nach Uebeltaeter ist mir ein Bug in 00_ZWDongle.pm aufgefallen (den habe ich gefixt), und was harmloses / sinnloses in 37_Spotify.pm:
my $updateIntervalWhilePlaying = $attr{updateIntervalWhilePlaying};

Zitat von: Wzut am 03 Juli 2017, 19:19:34
@michael.winkler, du kannst ja mal als Quickfix die Zeile von

OK, habe es mal eingebaut. Modul funktioniert noch ;-)

Die Ausgabe { int(keys %intAt) } sieht jetzt auch gut aus.

Ergebnis = 47

Die Ausgabe { join(",", grep { !$defs{$_} } sort keys %attr) } zeigt aber immer noch die dbLog Devices

Was mir noch auffällt ist dass vor jedem Device noch "sec" steht! Was bedeutet das?

Ergebnis =


secBadezimmer.Klima.DBLog,
secBuero.Monitore.DBLog,
secGarten.Klima.DBLog,
secGarten.Pool.Temp.DBLog,
secKueche.Radio.DBLog,
secMobil.Powermeter.01.DBLog,
secNiklas.Multimedia.DBLog,
secSchlafzimmer.Klima.DBLog,
secService.Spritpreise.DBLog,
secWerkstatt.USV.DBLog,
secWohnzimmer.Heizung.DBLog,
secWohnzimmer.Klima.DBLog


sec* ist, wie ich das weiter oben erklaert habe, bewusst von den DbLog Jungs eingebaut. Keine Ahnung, wozu.

Ich glaube wir haben mit diesen Bugfixes Speicherloecher in Groessenordnung 1-10MB gestopft, damit waere dein urspruengliches Problem noch nicht geloest.

Zitat von: rudolfkoenig am 04 Juli 2017, 08:45:38
sec* ist, wie ich das weiter oben erklaert habe, bewusst von den DbLog Jungs eingebaut. Keine Ahnung, wozu.

Wer lesen kann ist klar im vorteil, sorry.

Zitat von: rudolfkoenig am 04 Juli 2017, 08:45:38
Ich glaube wir haben mit diesen Bugfixes Speicherloecher in Groessenordnung 1-10MB gestopft, damit waere dein urspruengliches Problem noch nicht geloest.

Hmm ok, ich dachte damit wäre es gelöst. OK dann beobachte ich mal meine Speicherwerte weiter und melde mich wieder.

Beim Ausführen des Befehls "ps -elf | sort -rnk 10 | head" ist mir aufgefallen dass FHEM zwei mal aufgeführt wird, ist das normal?


root@HNMWFHEM01:~# ps -elf | sort -rnk 10 | head
4 S root      2412  2321  0  80   0 - 191941 -     Jul03 ?        00:00:16 homebridge
0 S root      3714     1  0  80   0 - 170827 -     Jul03 ?        00:00:19 alexa
4 S mysql     2780  2440  0  80   0 - 91021 -      Jul03 ?        00:00:40 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
1 R fhem     23241     1  1  80   0 - 59578 -      07:00 ?        00:02:03 /usr/bin/perl fhem.pl fhem.cfg
1 S fhem     23285 23241  0  80   0 - 56985 -      07:01 ?        00:00:00 /usr/bin/perl fhem.pl fhem.cfg
5 S www-data  5119  2139  0  80   0 - 55818 -      Jul03 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2161  2139  0  80   0 - 55818 -      Jul03 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2160  2139  0  80   0 - 55818 -      Jul03 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2159  2139  0  80   0 - 55818 -      Jul03 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2156  2139  0  80   0 - 55818 -      Jul03 ?        00:00:00 /usr/sbin/apache2 -k start


ZitatBeim Ausführen des Befehls "ps -elf | sort -rnk 10 | head" ist mir aufgefallen dass FHEM zwei mal aufgeführt wird, ist das normal?

Ja, wenn einer deiner Module BlockingCall verwendet. Da der Entwickler etwas machen will, was laenger blockiert, forkt BlockingCall einen zweiten Prozess, wo das passiert, und so kann der urspruengliche FHEM Prozess weiterlaufen.

Wenn ich das richtig verstanden habe sollte, wenn alles sauber funktioniert nur ein einziger perl Prozess zu sehen sein.

Bei mir tauchen aber immer noch mehrere auf, und so wie es aussieht bleiben die auch sehr lange stehen. Die Auswertung ist von 18:39.

Gibt es eine Möglichkeit zu sehen welches Modul diese Prozesse anstartet?


root@HNMWFHEM01:~# ps -elf | sort -rnk 10 | head
1 S fhem     30287  1966  0  80   0 - 62321 -      18:21 ?        00:00:00 perl fhem.pl fhem.cfg
1 S fhem     30162  1966  0  80   0 - 62321 -      18:19 ?        00:00:00 perl fhem.pl fhem.cfg
1 S fhem      1966     1  1  80   0 - 62321 -      09:00 ?        00:10:17 perl fhem.pl fhem.cfg


Einer davon stammt schonmal vom MPD Modul , denn das seht im Fork Prozess im Dauerkontakt mit dem MPD Server (Telnet Verbindung) um auf dessen Nachrichten sofort reagieren zu können.

ZitatGibt es eine Möglichkeit zu sehen welches Modul diese Prozesse anstartet?

In der bisherigen Version wohl nicht. Ich habe jetzt eine Neue eingecheckt, die nach dem ersten BlockingCall ein blockinginfo Befehl zur Verfuegung stellt, mit folgenden Output:
fhem> blockinginfo
Pid:9388 Fn:DoSleep Arg:HASH Timeout:555

Deine Ausgabe wuerde mich interessieren, und auch, ob es dabei Warnungen im FHEM-Log gibt.

Anbei noch die Speicherinformationen vor dem Austausch der Blocking.pm und shutdown restart.


  root@HNMWFHEM01:~# ps -elf | sort -rnk 10 | head
4 S root      2422  2331  0  80   0 - 176015 -     Jul04 ?        00:00:24 homebridge
0 S root      2066     1  0  80   0 - 170448 -     Jul04 ?        00:00:19 alexa
4 S mysql     2790  2450  0  80   0 - 91021 -      Jul04 ?        00:00:48 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
1 S fhem      1966     1  1  80   0 - 65483 -      Jul04 ?        00:27:21 perl fhem.pl fhem.cfg
1 S fhem     30287  1966  0  80   0 - 62321 -      Jul04 ?        00:00:00 perl fhem.pl fhem.cfg
5 S www-data  3628  2152  0  80   0 - 55818 -      Jul04 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2174  2152  0  80   0 - 55818 -      Jul04 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2171  2152  0  80   0 - 55818 -      Jul04 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2169  2152  0  80   0 - 55818 -      Jul04 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  2165  2152  0  80   0 - 55818 -      Jul04 ?        00:00:00 /usr/sbin/apache2 -k start



   1. intAt                           8929506
   2. icloud.kalender                 6671557
   3. selectlist                      1081174
   4. CUL_HM                           721113
   5. HMConfig::culHmRegDefine         647302
   6. Abfall                           608621
   7. teleBot                          581800
   8. Niklas.Fernseher.UPnP            490747
   9. Wohnzimmer.Fernseher.UPNP        487595
  10. Wohnzimmer.Kodi.UPnP             485517
  11. DLNASocket-FHEM.UPnP-41          477353
  12. DLNASocket-FHEM.UPnP-42          477353
  13. DLNASocket-FHEM.UPnP-40          477267
  14. FHEM.UPnP                        476066
  15. Service.Spritpreise              365243
  16. utf8::loose_to_file_of           359363
  17. SIG                              277555
  18. BEGIN                            252344
  19. Role::Tiny::INFO                 249514
  20. Exporter::Cache                  206201
  21. attr                             205328
  22. HMConfig::culHmModel             172179


Folgende Zeit die blockinginfo bei mir


Pid:11992 Fn:VIERA_GetDoIt Arg:HASH Timeout:10
Pid:11941 Fn:MPD_IdleStart Arg:Garten.MPD Timeout:N/A
Pid:11993 Fn:VIERA_GetDoIt Arg:HASH Timeout:10


Die beiden VIERA verschwinden und tauchen später wieder auf. Im FHEM Log sind keine Meldungen zu sehen.

Zu intAt/selectlist: die angezeigte Zahl beinhaltet auch die Groessen der verlinkten Datenstrukturen, und diese beiden Variablen enthalten noralerweise die $defs Eintraege der einzelnen Geraete, will sagen, die 9MB/1MB ist nicht unbedingt Grund zur Sorge. Zu den anderen Zahlen kann ich nichts sagen, z.Bsp. ob ein Kalendar mit 6MB normal oder kaputt ist.

Mir gehen langsam auch die Ideen aus, wie man nach der Ursache suchen kann. Apropos: besteht das Problem noch?

Zitat von: rudolfkoenig am 05 Juli 2017, 11:14:24
Zu intAt/selectlist: die angezeigte Zahl beinhaltet auch die Groessen der verlinkten Datenstrukturen, und diese beiden Variablen enthalten noralerweise die $defs Eintraege der einzelnen Geraete, will sagen, die 9MB/1MB ist nicht unbedingt Grund zur Sorge. Zu den anderen Zahlen kann ich nichts sagen, z.Bsp. ob ein Kalendar mit 6MB normal oder kaputt ist.

Mir gehen langsam auch die Ideen aus, wie man nach der Ursache suchen kann. Apropos: besteht das Problem noch?

Dadurch das ich dem FHEM Server mehr Speicher gegeben habe dauert es natürlich länger bis der Fehler wieder auftaucht. Gerade durch die Änderungen der Dateien musste ich den Server immer wieder neu starten. Ich würde vorschlagen das ich den Speicher wieder auf 512 MB begrenze und mich dann wieder melde wenn der Fehler wieder auftaucht.

Ich denke das durch Deine Änderungen der Fehler verschwunden ist.

@Rudi,

ich beobachte diesen Thread auch schon eine Weile und meine FB7390 läuft wieder stabil ohne "Cannot allocate memory" Error nach den updates.

Kann es sein, dass dieser "Fehler" auch bei FHEM2FHEM im LOG Modus auftritt wenn die Devices nicht angelegt sind?

{ int(keys %defs).":".int(keys %attr) }

liefert bei mir ein Ungleichgewicht, wenn die Devices nicht definiert sind (127:207). Nach identifizieren der "Devices" mit:

{ join(",", grep { !$defs{$_} } sort keys %attr) }

und durch das Anlegen eines dummy Devices für jeden gelieferten Eintrag bin ich wieder in Sync: 207:207

MfGroby

ZitatKann es sein, dass dieser "Fehler" auch bei FHEM2FHEM im LOG Modus auftritt wenn die Devices nicht angelegt sind?

Ja, aber FHEM2FHEM sollte daran nicht direkt Schuld sein.
Es legt fuer den Dauer des notifies den $defs Eintrag an, und loescht ihn danach. Wenn jemand im notify-Prozess Attribute setzt, dann werden diese nicht entfernt. Ich werde das in FHEM2FHEM fixen, wuesste aber vorher gerne, wer diese Attribute anlegt.

Kannst du bitte rausfinden, welche Attribute so angelegt werden? Falls du unsicher bist wie:
- devices nicht definieren (alos "alter" Zustand)
- mit { join(",", grep { !$defs{$_} } sort keys %attr) } die Liste der Herrenlosen Attribute ausgeben.
- fuer einige dieser Werte mit { join("\n", map { "$_=$attr{XXX}{$_}" } sort keys %{$attr{XXX}}) } die Attribute ausgeben, wobei XXX passend ersetzt werden muss

{ join(",", grep { !$defs{$_} } sort keys %attr) }

gibt folgendes aus: Dachluke,Plissee


{ join("\n", map { "$_=$attr{Dachluke}{$_}" } sort keys %{$attr{Dachluke}}) }
{ join("\n", map { "$_=$attr{Plissee}{$_}" } sort keys %{$attr{Plissee}}) }


gibt jeweils kein Ergebnis.

Ist das richtig so oder habe ich einen Tippfehler?

Wenn das so richtig ist, begebe ich mich morgen früh auf die genauere Suche und gehe Device für Device durch...

Die Devicenamen in ' ' setzen


{ join("\n", map { "$_=$attr{'Dachluke'}{$_}" } sort keys %{$attr{'Dachluke'}}) }
{ join("\n", map { "$_=$attr{'Plissee'}{$_}" } sort keys %{$attr{'Plissee'}}) }


Device in '' macht keinen Unterschied. Wieder kein Ergebnis...

ich habe verschiedene Devices über ein "at" abgefragt. Folgendes findet sich dann im LOG:


2017.07.08 19:21:45.409 3: CheckDevices:
{ join("\n", map { "$_=$attr{'SunMeterD'}{$_}" } sort keys %{$attr{'SunMeterD'}}) }
2017.07.08 19:21:45.379 3: eval: { join("\n", map { "$_=$attr{'SunMeter2'}{$_}" } sort keys %{$attr{'SunMeter2'}}) }
2017.07.08 19:21:45.379 1: PERL WARNING: Useless use of join or string in void context at (eval 356) line 1.
{ join("\n", map { "$_=$attr{'SunMeter'}{$_}" } sort keys %{$attr{'SunMeter'}}) }
2017.07.08 19:21:45.372 3: eval: { join("\n", map { "$_=$attr{'SunLight'}{$_}" } sort keys %{$attr{'SunLight'}}) }
2017.07.08 19:21:45.371 1: PERL WARNING: Useless use of join or string in void context at (eval 355) line 1.
{ join("\n", map { "$_=$attr{'LuxMeter'}{$_}" } sort keys %{$attr{'LuxMeter'}}) }
2017.07.08 19:21:45.363 3: eval: { join("\n", map { "$_=$attr{'Lux'}{$_}" } sort keys %{$attr{'Lux'}}) }
2017.07.08 19:21:45.361 1: PERL WARNING: Useless use of join or string in void context at (eval 353) line 1.
{ join("\n", map { "$_=$attr{'SunMeterD'}{$_}" } sort keys %{$attr{'SunMeterD'}}) }}
2017.07.08 19:21:35.088 3: eval: {return undef; { join("\n", map { "$_=$attr{'SunMeter2'}{$_}" } sort keys %{$attr{'SunMeter2'}}) }


@Rudi,

ich habe nochmal eine Standard FHEM Installation probiert und mit "LOG:HK.*" nur die Heizkoerper Events geloggt.

Ergibt dann: 14:20 und: HK_Flur,HK_Kueche,HK_Schlaf,HK_WC,HK_WZ_li,HK_WZ_re

{ join("\n", map { "$_=$attr{XXX}{$_}" } sort keys %{$attr{XXX}}) } bleibt ohne Ergebnis.

Es scheint sich also immer um die "geloggten" Devices zu handeln...

@Groby: Danke fuer die Testwerte. Es gibt wohl 100+ Module, die Attribute direkt abfragen, ohne AttrVal, mit (if($attr{$name}{myattribute}) ... ) und dadurch $attr{$name} implizit anlegen. Ich habe das selbst bei meinen Modulen gefunden, und bei 3 gerade gefixt (FHEMWEB, Blocking, structure). Habe danach in FHEM2FHEM fuer temporaere Geraete im LOG Modus das dazugehoerige $attr Eintrag auch entfernt.

@CoolTux: '' oder "" beim Ansprechen eines Hash-Wertes in perl nur dann notwendig, wenn der Schluessel nicht als Variablenname durchgeht. Ist fuer die meisten FHEM-Geraetenamen nicht notwendig.

Zitat von: rudolfkoenig am 09 Juli 2017, 14:08:15
@CoolTux: '' oder "" beim Ansprechen eines Hash-Wertes in perl nur dann notwendig, wenn der Schluessel nicht als Variablenname durchgeht. Ist fuer die meisten FHEM-Geraetenamen nicht notwendig.

Danke Rudi für den Tip.


Grüße

Zitat von: rudolfkoenig am 09 Juli 2017, 14:08:15
@Groby: Danke fuer die Testwerte. Es gibt wohl 100+ Module, die Attribute direkt abfragen, ohne AttrVal, mit (if($attr{$name}{myattribute}) ... ) und dadurch $attr{$name} implizit anlegen. Ich habe das selbst bei meinen Modulen gefunden, und bei 3 gerade gefixt (FHEMWEB, Blocking, structure). Habe danach in FHEM2FHEM fuer temporaere Geraete im LOG Modus das dazugehoerige $attr Eintrag auch entfernt.

Könnte wetten das ich das auch bei mir in meinen ersten Modulen finde. Ich fixe Mal die Tage.

@Rudi,

ich habe mir die Files direkt abgegriffen und getestet.

Nach >150 Events sieht das bei mir für FHEM2FHEM im LOG Modus verdammt gut aus.

"{ join(",", grep { !$defs{$_} } sort keys %attr) }" liefert keinen einzigen Eintrag mehr.

Danke...

Ich habe mir gerade mein eigenes Modul angeschaut.


    # set default settings on first define
    if ($init_done) {
        $attr{$name}{icon} = 'it_server';
    }

   # set default settings on first define
    if ($init_done) {

        # use http-method POST for FritzBox environment as GET does not seem to
        # work properly. Might restrict use to newer
        # NEUTRINO Webif versions or use of OWIF only.
        if ( exists $ENV{CONFIG_PRODUKT_NAME}
            && defined $ENV{CONFIG_PRODUKT_NAME} )
        {
            $attr{$name}{"http-method"} = 'POST';
        }

        # default method is GET and should be compatible to most
        # NEUTRINO Webif versions
        else {
            $attr{$name}{"http-method"} = 'GET';
        }
        $attr{$name}{webCmd} = 'channel';
        $attr{$name}{devStateIcon} =
          'on:rc_GREEN:off off:rc_YELLOW:on absent:rc_STOP:on';
        $attr{$name}{icon} = 'dreambox';
    }



Ist dieser Code auch davon betroffen? Wenn ja, wie müsste ich den abändern?

Nein ist nicht betroffen. Du machst ja keine Abfrage auf ein $attr sondern eine Zuweisung.

Zitat von: CoolTux am 10 Juli 2017, 07:57:37
Nein ist nicht betroffen. Du machst ja keine Abfrage auf ein $attr sondern eine Zuweisung.

ok, danke für die Info. Dann sind meine Module erstmal nicht davon betroffen.

Wollte auch schon seit ein paar Wochen einen Thread zu dem Thema aufmachen,
da ich das selbe Problem habe.

Da es mit 1GB auf dem Pi2 meist über eine Woche dauert bis der Zustand wieder einsetzt, ist die Fehlersuche für mich sehr schwer gewesen bisher.
Danke für die vielen Tips und Änderungen hier.

Habe schon testweise nach einem Backup mal alles an Devices gelöscht was ich in den letzten Monaten neu angelegt / hinzugefügt habe.
Leider ohne Wirkung.
"Früher" lief FHEM teilweise sehr lange ohne Probleme durch.
Das Problem ist, dass ich nicht richtig eingrenzen kann wann das Ganze begonnen hat.
Wir sind am Jahresanfang umgezogen und es kam über die Zeit danach sehr viel an neuen Devices dazu.
Eine Uptime von > 1 Woche kam da durch regelmäßige Updates/Neustarts eh kaum vor.

Mal sehen ob sich das Problem nach einem Update mit euren Änderungen gelöst hat,
sonst fuchse ich mich auch mal in die Tips hier rein und versuche mehr Infos zu liefern...

Thema ist zwar schon älter, aber die Meldung habe ich die letzten Tage auch immer mal wieder im Log. Eine Frage, die indirekt damit zu tun hat, kann ich irgendwie auf die Meldung Triggern. Soll heißen ich würde mir gerne eine Nachricht schicken lassen, wenn diese Meldung im Log auftaucht um Zeitnah zu schauen. Soll heißen gibt es ein entsprechendes EVENT dazu?

Ich glaube nicht.

Musst du denn FHEM auch neustarten um den Speicher wieder frei zu bekommen, oder verhält sich das bei dir anders?
Bei mir beginnt das eben wenn FHEM irgendwann an der 50% Marke des verfügbaren Arbeitsspeichers knabbert.

Der Speicherverbrauch von meinem FHEM steigt auch immer noch an.
Bis die Meldungen bei mir kommen dauert es eine knappe Woche nach einem erneuten Start von FHEM.
Fhem liegt dann meist bei einer Speichernutzung von ein paar hundert MB.
Früher blieb das auch nach wochenlanger Nutzung bei unter 50MB.

Auf dem Pi läuft neben Homebridge und Alexa an sich nur FHEM.
Der Rest der Prozesse wächst auch über die Tage hinweg kaum.
Es reicht dann auch FHEM neu zu starten, muss nicht das ganze System sein.


Ich habe schon alles aus diesem Thread und vielen weiteren die man zu dem Thema im Forum findet durch.
Bei keiner der genannten Diagnosemöglichkeiten kam es zu irgendwelchen Auffälligkeiten. :-\

Mangels Ideen und Zeit das im Moment intensiver zu verfolgen,
habe ich jetzt einfach einen Cronjob aufgesetzt, welcher FHEM täglich um 05:00 Uhr neu startet.
Nicht wirklich befriedigend, aber immerhin läuft das System so wieder 100% stabil.


edit:
Da ich mein System in Verdacht hatte, habe ich auch Raspbian und alle benötigten Pakete auf einer neuen SD Karte komplett neu aufgesetzt.
Danach nur benötigte Dateien aus dem FEHM Backup wiederhergestellt.
Das Problem besteht aber leider weiterhin.

es gibt eine Million Möglichkeiten wie Speicherlecks entstehen können und in 99% ist der Entwickler (eines) Moduls dafür zuständig. Gleichzeitig sind die aber auch sehr schwer zu finden.

So https://tech.binary.com/tracing-perl-memory-leaks-with-devel-mat/ kann man zb vorgehen

Es gibt also keine Möglichkeit rauszufinden, wie viel ein Modul an Speicher braucht? Auch nicht mal "abschätzungsweise"?

Ich glaube mich erinnern zu können das Rudi da mal was gebastelt hat. Es war ein User Thread. Ich muss überlegen mit welchen User. Ich glaube es war Winkler oder so. Also mit Vornamen dazu.

Aha ich Dussel, das ist der Thread. Lach  ;D

Shit mit 40 ist alles vorbei merke ich gerade

Bitte schön

https://forum.fhem.de/index.php/topic,73490.msg653927.html#msg653927

short: händisch ja, automatisch nein.

long: Jeder Eintrag im heap (+stack ;)) müsste manuell erforscht und einem modul zugeordnet werden. Das dauert "etwas" ;) Im Zweifel ist es besser 2 dumps anzulegen. Einen nach dem Start und einen wenn der Speicher "voll läuft". Dort sucht man nach Auffälligkeiten. Es gibt auch Speicherleichen die aus FHEM (also "von innen") überhaupt nicht mehr finden lassen.

Beispiel:

sub
test {
  my $a;
  my $b;

  $a->{b} = \$b;
  $a->{0} = [1..65535];
  $b->{a} = \$a;
  $b->{0} = [1..65535];
  return;
}
for (1..65535) {
  test();
}
)
for (1..65535) {
  test();
}


Nach dem Verlassen von "test" laufen "a" und "b" aus dem scope, bleiben aber im Speicher. Wenn "test" fertig ist kann man keine der beiden Variablen mehr erreichen (ergo löschen). Sie belegen jedoch weiter Speicher. Im Beipiel 65k x ein dutzend bytes.

Das Beispiel ist übersichtlich. closures, "$parent", rekursive functionen verstecken das oft so "gut" das es schwer zu sehen ist. Weil FHEM jedoch ein long running process ist summiert sich das. Es sind oft nur wenige bytes die "verloren" gehen. IO Operationen (Netzwerk Kommikation) findet aber so oft statt das sich auch kleine leaks (bugs) im Laufe von Tagen / Wochen summieren.

Aus dem verlinkten dokument:

ZitatAs the user guide explains:

    The basic workflow consists of two main stages: first a heap dump file is generated from the perl process being debugged, at or around the time that the problem becomes apparent, and secondly this file is loaded by an analysis tool in order to inspect the contents.

    These two stages are described here separately. It is important to note that they don't have to be done at the same time, on the same perl process, or even on the same sort of machine. It is fully possible to capture the heap from a process on, say, a small server, then copy the file to a development workstation or laptop and analyse it there at a later time.

edit: codebeispiel

Zitat von: CoolTux am 06 Dezember 2017, 14:34:42
Bitte schön

https://forum.fhem.de/index.php/topic,73490.msg653927.html#msg653927

yepp. Aber leaks wie aus dem post darüber sieht man damit auch nicht.

Nun sei mal nicht so Jörg. Bin froh mich mit 40 überhaupt noch an den Thread erinnern zu können  ;D 8)

Ach so.
Jörg hat Recht  :)

@CoolTux:

Was soll ich sagen, ich habe es gelesen, ausprobiert und einen Tag später .... aber 40 ist wirklich nicht mehr viel los mit einem  :o

Zitat von: Amenophis86 am 06 Dezember 2017, 07:49:26
Thema ist zwar schon älter, aber die Meldung habe ich die letzten Tage auch immer mal wieder im Log. Eine Frage, die indirekt damit zu tun hat, kann ich irgendwie auf die Meldung Triggern. Soll heißen ich würde mir gerne eine Nachricht schicken lassen, wenn diese Meldung im Log auftaucht um Zeitnah zu schauen. Soll heißen gibt es ein entsprechendes EVENT dazu?

notify's können mit attr readLog auch auf fhem.log lauschen.  ;)

Zitat von: frank am 07 Dezember 2017, 13:15:06
notify's können mit attr readLog auch auf fhem.log lauschen.  ;)

Schau an, gut zu wissen. Werde ich mich die Tage mal dran machen und versuchen. Dank dir.

Wenn Du etwas gefunden hast, könntest Du deine Lösung posten?

also das notify war kein Problem. Jetzt wollte ich mit dem debugbefehl: fhemdebug memusage arbeiten, aber dieser lässt mein FHEM direkt ohne Meldung abstürzen. Ich habe Devel::Size sowohl über cpanm Devel::Size als auch mittels apt-get -s install libdevel-size-perl
als auch apt-get install libdevel-size-perl installiert bzw. versucht. Kann ich irgendwie prüfen ob es klappt bzw. warum es nicht klappt?

d.h. enn Du (auch manuell)? aufrufst:
fhemdebug memusage

Ist fhem sofort weg? Was sagt denn das Log?

korrekt, auch dann. Mit ohne Meldung meinte ich, dass auch im Log keine Meldung mehr kommt. Ist direkt weg und nix geht mehr. In der Beschreibung von Rudi steht ja, dass es zum Absturz kommen kann, weiß nur nicht, wie ich das verhindern kann.

Sorry, da kann ich Dir nicht helfen, da müssen wir auf "tiefere" Experten warten

Eigentlich muesste Devel::Size gefixt werden, dazu habe ich aber keine Musse.
Falls das Perl-Modul nicht installiert ist, dann meldet FHEM das direkt.

Ich habe eine neue Version eingecheckt, der bei "attr global verbose 5" das naechste Element ausgibt, was geprueft wird. Nach einem Absturz sollte das als Letztes im fhem-Log stehen.

Werde es die Tage prüfen und mich melden. Danke

Hi,
nachdem ich jetzt viel Hilfe von Heiko erhalten habe, komm ich hier mal rein:

Ich hab das Problem, dass logdb async in letzter Zeit regelmäßig abstürzt, und mittlerweile herausgefunden, dass es an "can not allocate memory" liegt.
Das Problem war heute gerade wieder aktuell, weshalb ich diesen Thread gefunden habe.
Daraufhin hab ich "fhemdebug memusage" ausgeführt, natürlich ohne vorher global auf verbose 5 zu schalten. FHEM ist genauso natürlich abgestürzt.
Wenn ich jetzt am (frisch gestarteten) FHEM das fhemdebug memusage ausführe, stürzt es ebenfalls ab. Im Log stehen dann diese Meldungen:


2018.01.25 16:38:25.123 5: Cmd: >fhemdebug memusage<
2018.01.25 16:38:25.124 5: Loading ./FHEM/98_fhemdebug.pm
2018.01.25 16:38:25.142 5: main::oldvalue
2018.01.25 16:38:25.145 5: main::FW_fhemwebjs
2018.01.25 16:38:25.146 5: main::cmds
2018.01.25 16:38:25.147 5: main::FW_detail
2018.01.25 16:38:25.147 5: main::reread_active
2018.01.25 16:38:25.148 5: main::overload::numbers::names
2018.01.25 16:38:25.148 5: main::overload::category
2018.01.25 16:38:25.148 5: main::overload::constants
2018.01.25 16:38:25.149 5: main::overload::ops
2018.01.25 16:38:25.149 5: main::overload::BEGIN
2018.01.25 16:38:25.149 5: main::overload::package
2018.01.25 16:38:25.149 5: main::constant::BEGIN
2018.01.25 16:38:25.150 5: main::constant::__ANON__
2018.01.25 16:38:25.150 5: main::constant::declared
2018.01.25 16:38:25.151 5: main::integer::hint_bits
2018.01.25 16:38:25.151 5: main::Symbol::EXPORT
2018.01.25 16:38:25.152 5: main::Symbol::BEGIN
2018.01.25 16:38:25.152 5: main::Symbol::EXPORT_OK
2018.01.25 16:38:25.152 5: main::Symbol::ISA
2018.01.25 16:38:25.153 5: main::FH1
2018.01.25 16:38:25.153 5: main::INC
2018.01.25 16:38:25.154 5: main::selectlist
2018.01.25 16:38:25.157 1: PERL WARNING: Devel::Size: Unknown variable type: 251 encountered
2018.01.25 16:38:25.157 1: stacktrace:
2018.01.25 16:38:25.158 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (141)
2018.01.25 16:38:25.158 1:     (eval)                              called by ./FHEM/98_fhemdebug.pm (123)
2018.01.25 16:38:25.158 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (149)
2018.01.25 16:38:25.158 1:     main::fhemdebug_memusage            called by ./FHEM/98_fhemdebug.pm (41)
2018.01.25 16:38:25.158 1:     main::fhemdebug_Fn                  called by fhem.pl (1169)
2018.01.25 16:38:25.158 1:     main::AnalyzeCommand                called by fhem.pl (1023)
2018.01.25 16:38:25.159 1:     main::AnalyzeCommandChain           called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.25 16:38:25.159 1:     main::FW_fC                         called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.25 16:38:25.159 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.25 16:38:25.159 1:     main::FW_Read                       called by fhem.pl (3493)
2018.01.25 16:38:25.159 1:     main::CallFn                        called by fhem.pl (688)
2018.01.25 16:38:25.160 1: PERL WARNING: Devel::Size: Unknown variable type: 62 encountered
2018.01.25 16:38:25.160 1: stacktrace:
2018.01.25 16:38:25.160 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (141)
2018.01.25 16:38:25.160 1:     (eval)                              called by ./FHEM/98_fhemdebug.pm (123)
2018.01.25 16:38:25.160 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (149)
2018.01.25 16:38:25.160 1:     main::fhemdebug_memusage            called by ./FHEM/98_fhemdebug.pm (41)
2018.01.25 16:38:25.161 1:     main::fhemdebug_Fn                  called by fhem.pl (1169)
2018.01.25 16:38:25.161 1:     main::AnalyzeCommand                called by fhem.pl (1023)
2018.01.25 16:38:25.161 1:     main::AnalyzeCommandChain           called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.25 16:38:25.161 1:     main::FW_fC                         called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.25 16:38:25.161 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.25 16:38:25.161 1:     main::FW_Read                       called by fhem.pl (3493)
2018.01.25 16:38:25.161 1:     main::CallFn                        called by fhem.pl (688)
2018.01.25 16:38:25.162 1: PERL WARNING: Devel::Size: Unknown variable type: 62 encountered
2018.01.25 16:38:25.162 1: stacktrace:
2018.01.25 16:38:25.162 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (141)
2018.01.25 16:38:25.162 1:     (eval)                              called by ./FHEM/98_fhemdebug.pm (123)
2018.01.25 16:38:25.162 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (149)
2018.01.25 16:38:25.162 1:     main::fhemdebug_memusage            called by ./FHEM/98_fhemdebug.pm (41)
2018.01.25 16:38:25.163 1:     main::fhemdebug_Fn                  called by fhem.pl (1169)
2018.01.25 16:38:25.163 1:     main::AnalyzeCommand                called by fhem.pl (1023)
2018.01.25 16:38:25.163 1:     main::AnalyzeCommandChain           called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.25 16:38:25.163 1:     main::FW_fC                         called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.25 16:38:25.163 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.25 16:38:25.164 1:     main::FW_Read                       called by fhem.pl (3493)
2018.01.25 16:38:25.164 1:     main::CallFn                        called by fhem.pl (688)


Liegt der Absturz am oben erwähnten Fehler von Devel::Size?
Wenn nein, was kann ich machen, damit es *nicht* abstürzt?
Kann jemand aus dem Log erkennen, was den Absturz von FHEM verursacht?


Wenns das nächste mal hängt, werd ich an verbose 5 denken und mich melden. Kann nicht lange dauern:)

Grüße
Stephan

ZitatLiegt der Absturz am oben erwähnten Fehler von Devel::Size?

Vermutlich.

ZitatKann jemand aus dem Log erkennen, was den Absturz von FHEM verursacht?

Irgendetwas war in %selectlist, was Devel::Size::total_size nicht vertragen hat. Vermutlich hat einer der von Dir verwendeten Module was unuebliches an Datentyp reingeschrieben.

Ich habe gerade eine neue Variante von fhemdebug eingecheckt: es werden mehr interne Hashes detailliert gemessen (wie %selectlist), und es gibt ein Blacklist: das MAX-Modul und HTTPMOD Geraete werden nicht geprueft, da diese bei mir in einem Testsetup den Absturz bewirkt haben. Falls es bei dir auch mit dieser Version abstuerzt, dann bitte die letzten Zeilen bei "attr global verbose 5" hier anhaengen.

Hi,
danke für deine Änderung.
Es stürzt immer noch ab, jetzt bekomm ich aber eine lange Liste von ... Devices.

Hier sind die letzten 6, wenn du mehr brauchst, sag Bescheid.
Grüße,
Stephan

2018.01.27 00:30:31.115 5: main::defs::devstateicon
2018.01.27 00:30:31.116 5: main::defs::SVG_Kuehlschrank
2018.01.27 00:30:31.116 5: main::defs::D_Gast
2018.01.27 00:30:31.116 5: main::defs::global
2018.01.27 00:30:31.116 5: main::defs::cmd_sendTelegramSVG
2018.01.27 00:30:31.117 5: main::defs::01static_DbRep


Ich habe DbRep zum Blacklist hinzugefuegt.

Es waere interessant rauszukriegen, was HTTPMOD, $modules{MAX} und DbRep gemeinsam haben, und Devel::Size::total_size zum Absturz bringen.

Hallo zusammen,

weil mich Stephan (abc2006) gerade hierher gelotst hat, habe ich auch gleich mal "fhemdebug memusage" bei mir ausgeführt.
Stürzt aber nichts ab und gibt einwandfrei Rückmeldung.
Ich habe natürlich DbLog und DbRep exzessiv im Einsatz, HTTPMOD allerdings nicht.
Habe bei mir dergleichen wie bei Stephan auftritt noch nicht feststellen können.

LG,
Heiko

Hi,
Danke für euer Engagement!
Ich hab leider weiterhin Abstürze:


2018.01.27 16:53:49.598 5: Cmd: >fhemdebug memusage<
2018.01.27 16:53:49.599 5: Loading ./FHEM/98_fhemdebug.pm
2018.01.27 16:53:49.622 5: main::authenticate
2018.01.27 16:53:49.623 5: main::157487574
2018.01.27 16:53:49.623 5: main::inform
2018.01.27 16:53:49.623 5: main::FW_dir
2018.01.27 16:53:49.624 5: main::cvsid
2018.01.27 16:53:49.626 5: main::Socket::__ANON__
2018.01.27 16:53:49.626 5: main::Socket::EXPORT_TAGS
2018.01.27 16:53:49.627 5: main::Socket::EXPORT_OK
2018.01.27 16:53:49.630 5: main::Socket::EXPORT
2018.01.27 16:53:49.630 5: main::Socket::ISA
2018.01.27 16:53:49.631 5: main::Socket::EXPORT_FAIL
2018.01.27 16:53:49.632 5: main::Socket::BEGIN
2018.01.27 16:53:49.633 5: main::readingFnAttributes
2018.01.27 16:53:49.633 5: main::TGB_BINFILE
2018.01.27 16:53:49.634 5: main::fhem_started
2018.01.27 16:53:49.634 5: main::FW_hiddenroom
2018.01.27 16:53:49.634 5: main::selectlist::WEB_192.168.0.201_5592
2018.01.27 16:53:49.635 5: main::selectlist::telnetPort_192.168.0.113_40742
2018.01.27 16:53:49.635 5: main::selectlist::telnetPort_192.168.0.105_43182
2018.01.27 16:53:49.635 5: main::selectlist::WEB_192.168.0.201_5593
2018.01.27 16:53:49.636 5: main::selectlist::WEB_192.168.0.201_5597
2018.01.27 16:53:49.636 5: main::selectlist::WEB_192.168.0.201_5596
2018.01.27 16:53:49.636 5: main::selectlist::HASH(0x560e90585720)
2018.01.27 16:53:49.640 1: PERL WARNING: Devel::Size: Unknown variable type: 255 encountered
2018.01.27 16:53:49.640 1: stacktrace:
2018.01.27 16:53:49.640 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (148)
2018.01.27 16:53:49.641 1:     (eval)                              called by ./FHEM/98_fhemdebug.pm (124)
2018.01.27 16:53:49.641 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (166)
2018.01.27 16:53:49.641 1:     main::fhemdebug_memusage            called by ./FHEM/98_fhemdebug.pm (41)
2018.01.27 16:53:49.641 1:     main::fhemdebug_Fn                  called by fhem.pl (1172)
2018.01.27 16:53:49.641 1:     main::AnalyzeCommand                called by fhem.pl (1025)
2018.01.27 16:53:49.642 1:     main::AnalyzeCommandChain           called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.27 16:53:49.642 1:     main::FW_fC                         called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.27 16:53:49.642 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.27 16:53:49.642 1:     main::FW_Read                       called by fhem.pl (3498)
2018.01.27 16:53:49.642 1:     main::CallFn                        called by fhem.pl (689)
2018.01.27 16:53:49.642 1: PERL WARNING: Devel::Size: Unknown variable type: 111 encountered
2018.01.27 16:53:49.643 1: stacktrace:
2018.01.27 16:53:49.643 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (148)
2018.01.27 16:53:49.643 1:     (eval)                              called by ./FHEM/98_fhemdebug.pm (124)
2018.01.27 16:53:49.643 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (166)
2018.01.27 16:53:49.643 1:     main::fhemdebug_memusage            called by ./FHEM/98_fhemdebug.pm (41)
2018.01.27 16:53:49.643 1:     main::fhemdebug_Fn                  called by fhem.pl (1172)
2018.01.27 16:53:49.644 1:     main::AnalyzeCommand                called by fhem.pl (1025)
2018.01.27 16:53:49.644 1:     main::AnalyzeCommandChain           called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.27 16:53:49.644 1:     main::FW_fC                         called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.27 16:53:49.644 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.27 16:53:49.644 1:     main::FW_Read                       called by fhem.pl (3498)
2018.01.27 16:53:49.645 1:     main::CallFn                        called by fhem.pl (689)
2018.01.27 16:53:49.645 1: PERL WARNING: Devel::Size: Unknown variable type: 69 encountered
2018.01.27 16:53:49.645 1: stacktrace:
2018.01.27 16:53:49.645 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (148)
2018.01.27 16:53:49.645 1:     (eval)                              called by ./FHEM/98_fhemdebug.pm (124)
2018.01.27 16:53:49.645 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (166)
2018.01.27 16:53:49.646 1:     main::fhemdebug_memusage            called by ./FHEM/98_fhemdebug.pm (41)
2018.01.27 16:53:49.646 1:     main::fhemdebug_Fn                  called by fhem.pl (1172)
2018.01.27 16:53:49.646 1:     main::AnalyzeCommand                called by fhem.pl (1025)
2018.01.27 16:53:49.646 1:     main::AnalyzeCommandChain           called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.27 16:53:49.646 1:     main::FW_fC                         called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.27 16:53:49.646 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.27 16:53:49.647 1:     main::FW_Read                       called by fhem.pl (3498)
2018.01.27 16:53:49.647 1:     main::CallFn                        called by fhem.pl (689)
2018.01.27 16:53:49.647 1: PERL WARNING: Devel::Size: Unknown variable type: 108 encountered
2018.01.27 16:53:49.647 1: stacktrace:
2018.01.27 16:53:49.647 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (148)
2018.01.27 16:53:49.648 1:     (eval)                              called by ./FHEM/98_fhemdebug.pm (124)
2018.01.27 16:53:49.648 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (166)
2018.01.27 16:53:49.648 1:     main::fhemdebug_memusage            called by ./FHEM/98_fhemdebug.pm (41)
2018.01.27 16:53:49.648 1:     main::fhemdebug_Fn                  called by fhem.pl (1172)
2018.01.27 16:53:49.648 1:     main::AnalyzeCommand                called by fhem.pl (1025)
2018.01.27 16:53:49.648 1:     main::AnalyzeCommandChain           called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.27 16:53:49.649 1:     main::FW_fC                         called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.27 16:53:49.649 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.27 16:53:49.649 1:     main::FW_Read                       called by fhem.pl (3498)
2018.01.27 16:53:49.649 1:     main::CallFn                        called by fhem.pl (689)



könnte evtl doch meine Hardware der Grund sein?
Habe das ganze jetzt mal wiederholt. Interessanterweise mit anderen Logeinträgen:


2018.01.27 16:59:38.562 5: main::DBD::_::st::BEGIN
2018.01.27 16:59:38.563 5: main::DBD::_::st::FH
2018.01.27 16:59:38.563 5: main::DBD::_::db::ISA
2018.01.27 16:59:38.564 5: main::DBD::_::db::BEGIN
2018.01.27 16:59:38.564 5: main::DBD::Switch::dr_mem::ISA
2018.01.27 16:59:38.564 5: main::DBD::Switch::db::ISA
2018.01.27 16:59:38.565 5: main::DBD::Switch::st::ISA
2018.01.27 16:59:38.565 5: main::DBD::Switch::db_mem::ISA
2018.01.27 16:59:38.566 5: main::DBD::Switch::st_mem::ISA
2018.01.27 16:59:38.566 5: main::DBD::Switch::dr::ISA
2018.01.27 16:59:38.566 5: main::DBD::Switch::dr::imp_data_size
2018.01.27 16:59:38.567 5: main::DBD::_mem::db::ISA
2018.01.27 16:59:38.567 5: main::DBD::_mem::st::ISA
2018.01.27 16:59:38.567 5: main::DBD::_mem::dr::ISA
2018.01.27 16:59:38.568 5: main::DBD::mysql::QUIET
2018.01.27 16:59:38.568 5: main::DBD::mysql::err
2018.01.27 16:59:38.568 5: main::DBD::mysql::BEGIN
2018.01.27 16:59:38.569 5: main::DBD::mysql::db_mem::ISA
2018.01.27 16:59:38.569 5: main::DBD::mysql::st_mem::ISA
2018.01.27 16:59:38.570 5: main::DBD::mysql::dr::imp_data_size
2018.01.27 16:59:38.570 5: main::DBD::mysql::dr::ISA
2018.01.27 16:59:38.571 5: main::DBD::mysql::dr::GetInfoType
2018.01.27 16:59:38.571 5: main::DBD::mysql::dr::BEGIN
2018.01.27 16:59:38.572 5: main::DBD::mysql::ISA
2018.01.27 16:59:38.572 5: main::DBD::mysql::db::b
2018.01.27 16:59:38.573 5: main::DBD::mysql::db::BEGIN
2018.01.27 16:59:38.573 5: main::DBD::mysql::db::ISA
2018.01.27 16:59:38.574 5: main::DBD::mysql::db::__ANON__
2018.01.27 16:59:38.574 5: main::DBD::mysql::db::imp_data_size
2018.01.27 16:59:38.575 5: main::DBD::mysql::db::a
2018.01.27 16:59:38.575 5: main::DBD::mysql::st::imp_data_size
2018.01.27 16:59:38.576 5: main::DBD::mysql::st::BEGIN
2018.01.27 16:59:38.576 5: main::DBD::mysql::st::ISA
2018.01.27 16:59:38.577 5: main::DBD::mysql::st::__ANON__
2018.01.27 16:59:38.577 5: main::DBD::mysql::dr_mem::ISA
2018.01.27 16:59:38.578 5: main::DBD::mysql::GetInfo::info
2018.01.27 16:59:38.578 5: main::DBD::mysql::errstr
2018.01.27 16:59:38.578 5: main::DBD::mysql::drh


und noch ein drittes mal, wieder mit anderen Einträgen... :

2018.01.27 17:08:38.514 5: main::Config::Config_SH_expanded
2018.01.27 17:08:38.514 5: main::Config::BEGIN
2018.01.27 17:08:38.514 5: main::Config::byteorder
2018.01.27 17:08:38.514 5: main::Config::Git_Data
2018.01.27 17:08:38.515 5: main::Config::EXPORT_OK
2018.01.27 17:08:38.515 5: main::Config::Config
2018.01.27 17:08:38.515 5: main::Config::summary
2018.01.27 17:08:38.516 5: main::INPUTFILE
2018.01.27 17:08:38.517 5: main::intAt::3391
2018.01.27 17:08:38.517 5: main::intAt::93
2018.01.27 17:08:38.517 5: main::intAt::2996
2018.01.27 17:08:38.518 5: main::intAt::117
2018.01.27 17:08:38.518 5: main::intAt::75
2018.01.27 17:08:38.519 5: main::intAt::3010
2018.01.27 17:08:38.519 5: main::intAt::3386
2018.01.27 17:08:38.519 5: main::intAt::2992
2018.01.27 17:08:38.520 5: main::intAt::76
2018.01.27 17:08:38.520 5: main::intAt::83
2018.01.27 17:08:38.521 5: main::intAt::2983
2018.01.27 17:08:38.521 5: main::intAt::78
2018.01.27 17:08:38.522 5: main::intAt::3019
2018.01.27 17:08:38.522 5: main::intAt::101
2018.01.27 17:08:38.523 5: main::intAt::3033
2018.01.27 17:08:38.523 5: main::intAt::3000
2018.01.27 17:08:38.524 5: main::intAt::99
2018.01.27 17:08:38.524 5: main::intAt::2437
2018.01.27 17:08:38.525 5: main::intAt::105
2018.01.27 17:08:38.525 5: main::intAt::18
2018.01.27 17:08:38.526 5: main::intAt::3073
2018.01.27 17:08:38.526 5: main::intAt::3393
2018.01.27 17:08:38.526 5: main::intAt::3004
2018.01.27 17:08:38.527 5: main::intAt::3389
2018.01.27 17:08:38.527 5: main::intAt::80
2018.01.27 17:08:38.528 5: main::intAt::3016
2018.01.27 17:08:38.528 5: main::intAt::88
2018.01.27 17:08:38.529 5: main::intAt::97
2018.01.27 17:08:38.529 5: main::intAt::2939
2018.01.27 17:08:38.530 5: main::intAt::3018
2018.01.27 17:08:38.530 5: main::intAt::2940
2018.01.27 17:08:38.531 5: main::intAt::3350
2018.01.27 17:08:38.531 5: main::intAt::95
2018.01.27 17:08:38.531 5: main::intAt::3013
2018.01.27 17:08:38.532 5: main::intAt::3022
2018.01.27 17:08:38.532 5: main::intAt::87
2018.01.27 17:08:38.533 5: main::intAt::1441
2018.01.27 17:08:38.533 5: main::intAt::92
2018.01.27 17:08:38.534 5: main::intAt::3012
2018.01.27 17:08:38.534 5: main::intAt::2877







Grüße,
Stephan 

Ich habe memusage umgebaut, dass es Devel::Size::size() statt total_size() verwendet. Dadurch wird vermutlich etliches nicht gemessen, dafuer scheint es nicht mehr abzustuerzen. Und ich hoffe, man kann es trotzdem zum lokalisieren von Speicherloechern verwenden.

Weiterhin problematisch ist die Zuordnung von mehrfach referenzierten Hashes: memusage rechnet solche dem "erstbesten" Referenzierer zu. Z.Bsp. wenn ein Modul die Struktur $modules{ModulName}{defptr} zusaetzlich in jedem GeraeteInstanz dieses Typs ($defs{GeraeteName}) eintraegt, dann ist es Zufall, wem diese Daten zugeordnet werden. Immerhin sollte memusage sowas nur einmal zaehlen.

Hi,
sorry, aber es stürzt bei mir immer noch ab:

Zitat2018.01.30 17:04:54.346 5:  CHECK main::count / main:: / count /
2018.01.30 17:04:54.346 5:  CHECK main::cvsid / main:: / cvsid /
2018.01.30 17:04:54.347 5:  CHECK main::data / main:: / data /
2018.01.30 17:04:54.347 5:  CHECK main::defaultattr / main:: / defaultattr /
2018.01.30 17:04:54.347 5:  CHECK main::defs / main:: / defs / HASH
2018.01.30 17:04:54.349 5:  CHECK main::defs::01static_DbRep / main::defs / 01static_DbRep / HASH
2018.01.30 17:04:54.349 5:  CHECK main::defs::01static_DbRep::DATABASE / main::defs::01static_DbRep / DATABASE /
2018.01.30 17:04:54.349 5:  CHECK main::defs::01static_DbRep::DBH / main::defs::01static_DbRep / DBH / DBI::db
2018.01.30 17:04:54.350 1: PERL WARNING: Devel::Size: Unknown variable type: 22 encountered
2018.01.30 17:04:54.350 1: stacktrace:
2018.01.30 17:04:54.350 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (140)
2018.01.30 17:04:54.350 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (137)
2018.01.30 17:04:54.350 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (137)
2018.01.30 17:04:54.351 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (151)
2018.01.30 17:04:54.351 1:     main::fhemdebug_memusage            called by ./FHEM/98_fhemdebug.pm (41)
2018.01.30 17:04:54.351 1:     main::fhemdebug_Fn                  called by fhem.pl (1172)
2018.01.30 17:04:54.351 1:     main::AnalyzeCommand                called by fhem.pl (1025)
2018.01.30 17:04:54.351 1:     main::AnalyzeCommandChain           called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.30 17:04:54.351 1:     main::FW_fC                         called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.30 17:04:54.352 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.30 17:04:54.352 1:     main::FW_Read                       called by fhem.pl (3511)
2018.01.30 17:04:54.352 1:     main::CallFn                        called by fhem.pl (689)

Grüße,
Stephan

edit:

gerade ist mir passiert, dass ich von dem Rechner, auf dem der Browser offen war, in dem ich fhemdebug ausgeführt habe, die Netzwerkverbindung verloren habe.
Ich versuche noch, herauszufinden, warum. Google, Fhem Forum, Owncloud, FHEM, selbst meine FritzBox war nicht mehr erreichbar ...

Ich habe jetzt eine FHEM-Instanz mit DbLog definiert: war etwas schwierig, da die Fehlermeldung der Bibliothek in DbLog.pm unterdrueckt wird, und man sieht nur "Can't connect to database", aber kein warum. Nachdem ich das eval in DbLog.pm entfernt habe, kam die Meldung per PERL WARNING zum Vorschein, und ich konnte das Problem loesen :)

Mit einem Funktionierenden DbLog war fhemdebug memusage bei mir auch abgestuerzt.
Das habe ich jetzt gefixt, indem Klassenvariablen (wie DBI::db) nicht mehr gemessen werden.
Ich wuerde mich ueber erneuten Feedback freuen.

Hallo Rudi,

ZitatNachdem ich das eval in DbLog.pm entfernt habe,....

An welcher Stelle hast du das eval rausgenommen ?
Eigentlich gebe ich überall beim DBI-connect nach dem eval die resultierende Meldung $@ aus sofern sie existiert, damit solche Warnungen rauskommen.
Wenn ich eine  Stelle übersehen habe, würde ich das gerne nachziehen, habe aber bisher keine gefunden wo es fehlen könnte.

LG,
Heiko

Hi Rudi, hi Heiko,
hier mein Log-Beitrag. Das Ergebnis (Absturz von FHEM) hat sich leider nicht geändert...

2018.01.31 01:37:44.035 5:  CHECK main::b / main:: / b /
2018.01.31 01:37:44.035 5:  CHECK main::base:: / main:: / base:: /
2018.01.31 01:37:44.036 5:  CHECK main::bytes:: / main:: / bytes:: /
2018.01.31 01:37:44.036 5:  CHECK main::cfgDB_FW_fileList / main:: / cfgDB_FW_fileList /
2018.01.31 01:37:44.036 5:  CHECK main::cfgDB_FileRead / main:: / cfgDB_FileRead /
2018.01.31 01:37:44.037 5:  CHECK main::cfgDB_FileWrite / main:: / cfgDB_FileWrite /
2018.01.31 01:37:44.037 5:  CHECK main::cfgDB_Fileversion / main:: / cfgDB_Fileversion /
2018.01.31 01:37:44.037 5:  CHECK main::cfgDB_Read99 / main:: / cfgDB_Read99 /
2018.01.31 01:37:44.038 5:  CHECK main::cfgDB_svnId / main:: / cfgDB_svnId /
2018.01.31 01:37:44.038 5:  CHECK main::cmdFromAnalyze / main:: / cmdFromAnalyze /
2018.01.31 01:37:44.038 5:  CHECK main::cmds / main:: / cmds /
2018.01.31 01:37:44.039 5:  CHECK main::common:: / main:: / common:: /
2018.01.31 01:37:44.039 5:  CHECK main::constant:: / main:: / constant:: /
2018.01.31 01:37:44.039 5:  CHECK main::controlVL_ARD / main:: / controlVL_ARD /
2018.01.31 01:37:44.040 5:  CHECK main::count / main:: / count /
2018.01.31 01:37:44.040 5:  CHECK main::cvsid / main:: / cvsid /
2018.01.31 01:37:44.040 5:  CHECK main::data / main:: / data /
2018.01.31 01:37:44.041 5:  CHECK main::defaultattr / main:: / defaultattr /
2018.01.31 01:37:44.041 5:  CHECK main::defs / main:: / defs / HASH
2018.01.31 01:37:44.042 5:  CHECK main::defs::01static_DbRep / main::defs / 01static_DbRep / HASH
2018.01.31 01:37:44.042 5:  CHECK main::defs::01static_DbRep::DATABASE / main::defs::01static_DbRep / DATABASE /
2018.01.31 01:37:44.043 5:  CHECK main::defs::01static_DbRep::DBH / main::defs::01static_DbRep / DBH / DBI::db
2018.01.31 01:37:44.043 1: PERL WARNING: Devel::Size: Unknown variable type: 139 encountered
2018.01.31 01:37:44.043 1: stacktrace:
2018.01.31 01:37:44.044 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (140)
2018.01.31 01:37:44.044 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (137)
2018.01.31 01:37:44.044 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (137)
2018.01.31 01:37:44.044 1:     main::__ANON__                      called by ./FHEM/98_fhemdebug.pm (151)
2018.01.31 01:37:44.044 1:     main::fhemdebug_memusage            called by ./FHEM/98_fhemdebug.pm (41)
2018.01.31 01:37:44.044 1:     main::fhemdebug_Fn                  called by fhem.pl (1172)
2018.01.31 01:37:44.045 1:     main::AnalyzeCommand                called by fhem.pl (1025)
2018.01.31 01:37:44.045 1:     main::AnalyzeCommandChain           called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.31 01:37:44.045 1:     main::FW_fC                         called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.31 01:37:44.045 1:     main::FW_answerCall                 called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.31 01:37:44.045 1:     main::FW_Read                       called by fhem.pl (3508)
2018.01.31 01:37:44.046 1:     main::CallFn                        called by fhem.pl (689)


Dazu muss ich sagen, ich hab die Version

fhem.pl                16050 2018-01-30 20:21:02Z rudolfkoenig

aus dem SVN geholt. Kann bis zum Wochenende wahrscheinlich nicht weiter testen.
Danke euch und Grüße,
Stephan

Edit: an der DbLog hattest du nichts geändert - oder?
Die Versionsnummer scheint gleich zu sein...

@Heiko: Ich habe alle 12 connect Aufrufe mit Log versehen, da ich nicht wusste, welcher bei mir zutrifft, und Nr 6 hat zugeschlagen (DbLog_ConnectPush, # Server default). $@ war in meinem Fall nichtssagend, es kam nur

ZitatDbLog db -> DbLog_Push Returncode: Can't connect to database.

Nach dem Ausbau von eval habe ich

ZitatPERL WARNING: DBI connect('database=fhem;host=localhost;port=3306','fhemuser',...) failed:Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) at ./FHEM/93_DbLog.pm line 2277.

bekommen, woraufhin ich statt localhost die IP konfiguriert habe in db.conf, und schon ging es. Diese spezifische Meldung ist nicht als Fehlermeldung an DbLog zu verstehen (ist eher ein DBD::mysql Konfigurations-Bug), sondern nur als Erklaerung, dass ich mit einer besseren Fehlermeldung mehr anfangen kann. Und es bedeutet auch nicht, dass ich das Verfahren, wie DBI die Fehler meldet, fuer richtig finde.

@Stephan: bist du sicher, dass due diese Version auch verwendet (sprich FHEM neugestartet) hast?
Wenn ja, dann bin ich ratlos, eine CHECK Zeile mit :: im letzten Wort ($ref) duerfte gar nicht kommen.

Hi,


2018.01.31 01:36:27.411 4: WEB: /fhem?cmd=setreading%20tempOWarduino%20289B8489060000%2062.06&XHR=1 / RL:0 / text/plain; charset=UTF-8 /  /
2018.01.31 01:36:27.412 4: Connection accepted from WEB_192.168.0.100_48948
2018.01.31 01:36:27.415 4: WEB_192.168.0.100_48948 POST /fhem?XHR=1&cmd=shutdown%20restart&fw_id=40303; BUFLEN:0
2018.01.31 01:36:27.416 5: Cmd: >shutdown restart<
2018.01.31 01:36:27.416 5: Starting notify loop for global, 1 event(s), first is SHUTDOWN
2018.01.31 01:36:27.417 5: statistics stats_KNX: Notify.266 Notification of 'global' received. Device not monitored.
2018.01.31 01:36:27.456 5: End notify loop for global
2018.01.31 01:36:27.456 0: Server shutdown


Ja, bin mir sicher. Ich mach aber nochmal nen Reboot, weil auch "reload" ab und zu nicht den gewünschten erfolg bringt.




2018.01.31 12:47:25.991 5:  CHECK main::cmdFromAnalyze / main:: / cmdFromAnalyze /
2018.01.31 12:47:25.992 5:  CHECK main::cmds / main:: / cmds /
2018.01.31 12:47:25.992 5:  CHECK main::common:: / main:: / common:: /
2018.01.31 12:47:25.993 5:  CHECK main::constant:: / main:: / constant:: /
2018.01.31 12:47:25.993 5:  CHECK main::controlVL_ARD / main:: / controlVL_ARD /
2018.01.31 12:47:25.993 5:  CHECK main::count / main:: / count /
2018.01.31 12:47:25.994 5:  CHECK main::cvsid / main:: / cvsid /
2018.01.31 12:47:25.994 5:  CHECK main::data / main:: / data /
2018.01.31 12:47:25.995 5:  CHECK main::defaultattr / main:: / defaultattr /
2018.01.31 12:47:25.995 5:  CHECK main::defs / main:: / defs / HASH
2018.01.31 12:47:25.996 5:  CHECK main::defs::01static_DbRep / main::defs / 01static_DbRep / HASH
2018.01.31 12:47:25.997 5:  CHECK main::defs::01static_DbRep::DATABASE / main::defs::01static_DbRep / DATABASE /
2018.01.31 12:47:25.997 5:  CHECK main::defs::01static_DbRep::DBH / main::defs::01static_DbRep / DBH / DBI::db


sorry :( Immerhin jetzt anscheinend reproduzierbar an der gleichen Stelle ....
Vielleicht stürzt fhem ab, bevor es die ganze Zeile loggen kann?

Grüße,
Stephan

Sehr merkwuerdig, kann ich nicht erklaeren.
Habe trotzdem eine neue Version eingecheckt, die die Groessen der defs Eintraege an richtigen Stelle zaehlen sollte, und keine Sinnlose symbole in main:: anlegt.

... ich habe hier dasselbe Problem, und es tritt erst auf seitdem ich homebridge auf demselben pi wie fhem laufen lasse.
Bevor ich homebridge benutzt habe (inkl fhem Plugin) lief Fhem wochenlang, es gab auch kein Speicher voll laufen.
Ich habe den Verdacht das das Homebridge Modul in Fhem oder homebridge selbst  dafür verantwortlich ist.

Ich habe nun auch diese Fehlermeldungen (cannot fork), obwohl der RPi 3 drei Monate mit FHEM durchlief und ich tausende Kilometer davon entfernt war. Inzwischen in drei Tagen fünf Abstürze. Ich habe nur freezemon definiert und hinzugefügt, sonst mW nichts geändert. Ich gebe mal an, was ich so ausgelesen habe.

memusage
   1. defs                             829081
   2. modules                          433412
   3. modules::eventTypes              187594
   4. modules::eventTypes::ldata       186532
   5. attr                              95641
   6. defs::sysmon                      49940
   7. defs::MeinWetter                  47322
   8. defs::MeinWetter::READINGS        45306
   9. defs::Gasrechner                  35094
  10. defs::Gasrechner::READINGS        33577
  11. POSIX::                           32038
  12. defs::sysmon::READINGS            30735
  13. defs::X10_prog                    26643
  14. defs::Stromrechner                24435
  15. defs::X10_prog::READINGS          24237
  16. B::                               20324
  17. defs::TelegramBot                 19410
  18. modules::eventTypes::ldata::sduino    19298
  19. defs::Viessmann                   17765
  20. modules::eventTypes::ldata::MeinWetter    17141
  21. Socket::                          16978
  22. modules::eventTypes::ldata::Schulferien    16706
  23. defs::Stromrechner::READINGS      16633
  24. defs::Sonoff_pow1                 14195
  25. defs::Anwesenheitssimulation_Slampher    14166
  26. defs::Viessmann::READINGS         14094
  27. GetInfoType                       13572
  28. defs::sysmon::helper              13505
  29. INC                               13435
  30. defs::WEB_127.0.0.1_49054         13386
  31. defs::Anwesenheitssimulation_B1    12588
  32. defs::wetter                      12574
  33. modules::CUL_TCM97001             12506
  34. defs::WEB_127.0.0.1_49054::inform    11844
  35. defs::GarageOffenDOIF             11663
  36. defs::TelefonListe                11639
  37. defs::Sonoff_TH10a                11638
  38. modules::eventTypes::ldata::TelegramBot    11622
  39. defs::sduino                      11509
  40. defs::sysmon::helper::cur_readings_map    11321
  41. defs::Anwesenheitssimulation_A_Strich    11263
  42. defs::WEB_127.0.0.1_49054::inform::devices    11167
  43. defs::Schulferien                 11025
  44. defs::Kaffeemaschine              10996
  45. modules::CUL_TCM97001::AutoCreate    10934
  46. defs::TelefonListe::helper        10711
  47. defs::DECT1                       10670
  48. defs::Sonoff_pow1::READINGS       10612
  49. defs::Heizungskeller              10570
  50. defs::SensorHydrAbgleich_rot      10520

ps -elf | sort -rnk 10 | head
4 S root      1738  1734  0  80   0 - 222309 -     20:50 ?        00:00:02 ./grafana-server
4 S mysql     1195   851 11  80   0 - 81218 -      20:48 ?        00:03:57 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --log-error=/var/log/mysql/error.log --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
0 S pi         824     1  0  80   0 - 33953 SyS_ep 20:48 ?        00:00:04 homebridge             
5 S www-data  1245  1224  0  80   0 - 29657 -      20:48 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  1249  1224  0  80   0 - 29645 -      20:48 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  1248  1224  0  80   0 - 29645 -      20:48 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  1247  1224  0  80   0 - 29645 -      20:48 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data  1246  1224  0  80   0 - 29645 -      20:48 ?        00:00:00 /usr/sbin/apache2 -k start
5 S root      1224     1  0  80   0 - 29639 -      20:48 ?        00:00:00 /usr/sbin/apache2 -k start
1 S fhem      2100     1  1  80   0 - 25230 -      20:58 ?        00:00:25 perl fhem.pl fhem.cfg

{ join(",", grep { !$defs{$_} } sort keys %attr) }
HASH(0x2e85a50),HASH(0x38c87b0),secDbLog


{ int(keys %defs).":".int(keys %attr) }
144:136

{ join(",", grep { !$defs{$_} } sort keys %attr) }
HASH(0x2e85a50),HASH(0x38c87b0),secDbLog


blockinginfo
No BlockingCall processes running currently

{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$a}{TRIGGERTIME}<=>$intAt{$b}{TRIGGERTIME}} keys %intAt)[0..49]) }
1524338303.0287 / BlockingKill
1524338308 / FW_closeInactiveClients
1524338308.01267 / SIGNALduino_KeepAlive
1524338308.0135 / SYSMON_Update
1524338314.7129 / FBAHAHTTP_Poll
1524338314.86999 / HTTPMOD_GetUpdate
1524338314.87649 / HTTPMOD_GetUpdate
1524338315.05323 / VZLOGGER_StatusTimer
1524338360.34303 / HttpUtils_Err
1524338760 / DOIF_TimerTrigger
1524338911.16104 / VCLIENT_Update
1524338914.88248 / HTTPMOD_GetUpdate
1524340714.87097 / HTTPMOD_GetUpdate
1524340718.1983 / Weather_GetUpdate
1524340920 / DOIF_TimerTrigger
1524341160 / DOIF_TimerTrigger
1524343114.76058 / HTTPMOD_GetUpdate
1524344305.9826 / DBPlan_Get_DB_Info
1524344460 / DOIF_TimerTrigger
1524344520 / at_Exec
1524344520 / DOIF_TimerTrigger
1524344580 / DOIF_TimerTrigger
1524346114.87351 / HTTPMOD_GetUpdate
1524346114.87612 / HTTPMOD_GetUpdate
1524346114.87861 / HTTPMOD_GetUpdate
1524346114.88373 / HTTPMOD_GetUpdate
1524346114.8862 / HTTPMOD_GetUpdate
1524346114.88869 / HTTPMOD_GetUpdate
1524346114.89377 / HTTPMOD_GetUpdate
1524347400 / at_Exec
1524347850 / at_Exec
1524348001 / FileLog_dailySwitch
1524348002.71843 / holiday_refresh
1524348060 / at_Exec
1524358716.32815 / Pushover_ValidateUser
1524358800 / at_Exec
1524369900 / DOIF_TimerTrigger
1524373200 / DOIF_TimerTrigger
1524373800 / DOIF_TimerTrigger
1524373800 / DOIF_TimerTrigger
1524373800 / DOIF_TimerTrigger
1524374400 / DOIF_TimerTrigger
1524374400 / DOIF_TimerTrigger
1524375900 / DOIF_TimerTrigger
1524375960 / DOIF_TimerTrigger
1524377700 / DOIF_TimerTrigger
1524379500 / DOIF_TimerTrigger
1524379500 / at_Exec
1524380700 / DOIF_TimerTrigger
1524420060 / DOIF_TimerTrigger

{ int(keys %intAt) }
58



Hat jemand eine Idee, wo ich weitersuchen kann?

Moin,
bei mir auch seit ein paar Tagen ein cannot fork im Log.

Leider kann ich fhemdebug memusage nicht nutzen.
Folgende Meldung kommt dann
Can't load '/usr/local/lib/arm-linux-gnueabihf/perl/5.22.1/auto/Devel/Size/Size.so' for module Devel::Size: /usr/lib/arm-linux-gnueabihf/libc.so: invalid ELF header at /usr/local/lib/arm-linux-gnueabihf/perl/5.22.1/XSLoader.pm line 96.
at /usr/local/lib/arm-linux-gnueabihf/perl/5.22.1/Devel/Size.pm line 19.
Compilation failed in require at (eval 3278) line 2.
BEGIN failed--compilation aborted at (eval 3278) line 2.

Habe das Modul libdevel-size-perl installiert und auch mit cpan Devel::Size versucht.
kann evtl jemand helfen?
mfg

Was mich etwas stört:
/usr/lib/arm-linux-gnueabihf/libc.so: invalid ELF header at /usr/local/lib/arm-linux-gnueabihf/perl/5.22.1/XSLoader.pm line 96.
Invalid ELF header hört sich eigentlich nicht gut an ....

1. Bitte installiere mal NICHT per CPAN
2. Hast Du in der Vergangenheit per CPAN und dann mal das System per apt-get aktuallisiert?
3. Wie aktuell ist das System (apt-get update / -s upgrade )

Moin,
Ja, ich habe in der Vergangenheit einige Sachen mit cpan (einige sachen für fhem)  installiert.
Apt-get update && upgrade wird einmal wöchentlich gefahren.
System ist Ubuntu 16.04 lts

Damit hast Du leider ein System mit verschiedenen versionen von perl-Libarys. Die vom System installierten und per apt-get upgrade installlierten und die per CPAN, welche eben definitiv NICHT per apt-get upgegradet werden.

Sorry aber könntest Du alle per CPAN installierten Libarys reinstallieren?

ich denke nicht, dass ich das kann.
einige, für fhem verwendeten module liessen sich nur über cpan installieren.

ich wage mal einen versuch mit perlbrew.

mfg

Wenn es ums update von cpan geht...
https://stackoverflow.com/questions/3727795/how-do-i-update-all-my-cpan-modules-to-their-latest-versions (https://stackoverflow.com/questions/3727795/how-do-i-update-all-my-cpan-modules-to-their-latest-versions)

War gleich der erste Treffer bei der google-Suche
https://www.google.com/search?client=ubuntu&channel=fs&q=CPAN+aktuallisieren&ie=utf-8&oe=utf-8 (https://www.google.com/search?client=ubuntu&channel=fs&q=CPAN+aktuallisieren&ie=utf-8&oe=utf-8)

Guten Morgen,
das ist ein hochinteressanter Thread. Ich habe ihn sehr aufmerksam durchgelesen. Ob ich alles kapiert habe,ist was anderes. Eine Frage: Ich habe seit dem Update gestern viele Cannot Fork (hmm, "kann nicht Gabel? ", komisch).  Was ich nicht ganz kapiere - als Laie - sind folgende Punkte:

fhemdebug usage:

   1. defs                            2799987
   2. modules                          941357
   3. modules::eventTypes              671428
   4. modules::eventTypes::ldata       670366
   5. attr                             327462
   6. defs::DB920                       64915
   7. defs::Sonos_Wohnzimmer            55415
   8. defs::Sonos_Bad__Schlafz          55043
   9. defs::Sonos_Wohnzimmer::READINGS    53777
  10. defs::Sonos_Mobil                 53447
  11. defs::Sonos_Bad__Schlafz::READINGS    53401
  12. defs::Sonos_Buero                 53313
  13. defs::Sonos_Mobil::READINGS       51827
  14. defs::Sonos_Buero::READINGS       51693
  15. defs::Raspi_Werte                 47769
  16. POSIX::                           37247
  17. defs::DB920::READINGS             36201
  18. defs::DB7080                      35872


Sehe ich das richtig, dass die ersten 5 Positionen Zusammenfassungen sind? Und Sonos scheint ganz schön Memory zu benützen. War aber bislang (1 Jahr) nie ein Problem.

{ int(keys %intAt) } ergibt 180
{ int(keys %defs).":".int(keys %attr) } ergibt 349:350
{ join(",", grep { !$defs{$_} } sort keys %attr) } ergibt secLogging
{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$a}{TRIGGERTIME}<=>$intAt{$b}{TRIGGERTIME}} keys %intAt)[0..49]) } ergibt..


1535437302.52279 / CUL_HM_procQs
1535437307.68473 / SYSMON_Update
1535437307.7803 / ENIGMA2_GetStatus
1535437307.78838 / ENIGMA2_GetStatus
1535437307.85509 / DbLog_execmemcache
1535437309.06315 / HMUARTLGW_SendKeepAlive
1535437314.05931 / HMUARTLGW_CheckCredits
1535437322 / FW_closeInactiveClients
1535437323.50523 / SONOS_IsSubprocessAliveChecker
1535437457.14139 / CUL_HM_ActCheck
1535437459.79839 / myPoolcontroller_GetUpdate
1535437463 / netatmo_poll
1535437472.52632 / HusqvarnaAutomower_DoUpdate
1535437473.98012 / GardenaSmartBridge_getDevices
1535437479 / netatmo_poll
1535437486 / netatmo_poll
1535437800 / DOIF_TimerTrigger
1535437865 / netatmo_poll
1535437876 / netatmo_poll
1535438647.39345 / CUL_HM_complConfigTO
1535438749.61337 / monitoring_modify
1535438749.75914 / monitoring_modify
1535438750.2276 / monitoring_modify
1535438750.48849 / monitoring_modify
1535438960.11449 / monitoring_modify
1535438960.20374 / monitoring_modify
1535438980.2847 / monitoring_modify
1535439034.21547 / monitoring_modify
1535439034.30563 / monitoring_modify
1535439048.27531 / monitoring_modify
1535439060.45029 / monitoring_modify
1535439098.72736 / monitoring_modify
1535439595 / statistics_PeriodChange
1535439600 / DOIF_TimerTrigger
1535439600 / DOIF_TimerTrigger
1535440200 / DOIF_TimerTrigger
1535440200 / DOIF_TimerTrigger
1535440200 / DOIF_TimerTrigger
1535440200 / DOIF_TimerTrigger
1535440450.72071 / at_Exec

{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$b}{TRIGGERTIME}<=>$intAt{$a}{TRIGGERTIME}} keys %intAt)[0..49]) } ergibt..

1535523767.94828 / BlockingKill
1535522400 / DOIF_TimerTrigger
1535520000 / DOIF_TimerTrigger
1535520000 / DOIF_TimerTrigger
1535519100 / DOIF_TimerTrigger
1535518980 / DOIF_TimerTrigger
1535518980 / DOIF_TimerTrigger
1535518980 / DOIF_TimerTrigger
1535518980 / DOIF_TimerTrigger
1535515839 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535511600 / DOIF_TimerTrigger
1535511600 / DOIF_TimerTrigger
1535511600 / DOIF_TimerTrigger
1535511600 / DOIF_TimerTrigger
1535508847.3897 / CUL_HM_statCntRfresh
1535508000 / DOIF_TimerTrigger
1535506200 / DOIF_TimerTrigger
1535504700 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535497200 / DOIF_TimerTrigger
1535493603.82898 / DOIFtoolsCounterReset

im raspi shell ergibt ps -elf | sort -rnk 10 ...

4 S mysql      589     1  0  80   0 - 159409 -     08:14 ?        00:00:01 /usr/sbin/mysqld
4 S root       625   420  0  80   0 - 39653 -      08:14 tty7     00:00:00 /usr/lib/xorg/Xorg :0 -seat seat0 -auth /var/run/lightdm/root/:0 -nolisten tcp vt7 -novtswitch
5 S www-data   693   634  0  80   0 - 35271 -      08:14 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data   692   634  0  80   0 - 35271 -      08:14 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data   691   634  0  80   0 - 35271 -      08:14 ?        00:00:00 /usr/sbin/apache2 -k start
5 S www-data   688   634  0  80   0 - 35271 -      08:14 ?        00:00:00 /usr/sbin/apache2 -k start


und dstat -g -m -s --top-mem im raspi shell ergibt:


---paging-- ------memory-usage----- ----swap--- --most-expensive-
  in   out | used  buff  cach  free| used  free|  memory process
   0     0 | 356M 38.2M  297M  236M|   0   100M|fhem.pl     98.0M
   0     0 | 356M 38.2M  297M  236M|   0   100M|fhem.pl     98.0M
   0     0 | 356M 38.2M  297M  236M|   0   100M|fhem.pl     98.0M
   0     0 | 356M 38.2M  297M  236M|   0   100M|fhem.pl     98.0M

so, das wärs. Nun habe ich viele Daten, aber ehrlich gesagt, keine Ahnung was ich damit anfangen soll,kann... Wo ist der Uebeltäter? Ich tippe auf mysql, bin aber nicht sicher und kann auch nicht sagen wieso.. Die datanbank mysql (Dblog) klingt schon nach ressourcenverschleiss ;) Und gestern gab es dazu ein Update...

Was meint ihr? danke.

Kann den Memoryverbrauch bei Deiner Ausgabe schlecht erkennen .. kannst Du bitte mal:
ps aux | sort -rnk 4 | head -n5

Hintergrund:
Hast Du mysql Getunt? Laut Speicherverbrauch braucht er bei Dir von allen Programmen am meisten Speicher. Beim Tunen wird einem DB-Programm häufig mehr Speicher zugewiesen.

so sieht es aus:

fhem       714 14.3 10.6 109392 100844 ?       S    08:14   5:27 perl fhem.pl fhem.cfg
mysql      589  0.1  8.0 637636 76728 ?        Ssl  08:14   0:03 /usr/sbin/mysqld
fhem      1101  1.3  5.5  93784 53144 ?        Sl   08:14   0:30 /usr/bin/perl ./FHEM/00_SONOS.pm 4711 0 0 startedbyfhem
pi         608  0.2  4.4 138572 42108 ?        Sl   08:14   0:05 homebridge
root       625  0.0  4.2 158612 39968 tty7     Ssl+ 08:14   0:01 /usr/lib/xorg/Xorg :0 -seat seat0 -auth /var/run/lightdm/root/:0 -nolisten tcp vt7 -novtswitch

hmm, getuned habe ich wissentlich nichts. Mit DbRep mache ich Dumps, aber nicht automatisch, sondern manuell. Und für andere Tunings bin ich schlicht zu wenig versiert...

Guten Morgen,

ZitatUnd gestern gab es dazu ein Update...

nö  :), aber es kann sein dass du lange nicht dein FHeM aktualisiert hast und dann siehst du Änderungen reinlaufen die auch schon etwas älter sind (dblog am 05.08.)

In der letzten Zeit hatte Rudi SVG auf Blockingcall umgestellt. Viele Blockingcalls zur gleichen Zeit können einen temporären Speicherengpass verursachen. Dafür gibt es aber die globale Variable blockingCallMax. Die kannst du zb. auf 5 stellen um die Anzahl parallel laufender Blockingcalls zu begrenzen. Etliche Module verwenden Blockingcall um ein blockieren von FHEM bei bestimmten Operationen zu vermeiden.
Probiers mal, vielleicht hilft es dir.

LG,
Heiko

ZitatIn der letzten Zeit hatte Rudi SVG auf Blockingcall umgestellt.

Klarstellung:
- ich habe die Voreinstellung von plotEmbed von 1 auf 0 gestellt, d.h. die SVGs werden nicht ueber das <embed> Tag geladen, sondern direkt gerendert.
- falls plotFork gesetzt ist, dann wird jetzt auch bei plotEmbed via blockingCall gerendert, das war frueher nicht der Fall.
- falls plotFork gesetzt ist, und plotEmbed auf 1 steht (wie die fruehere Voreinstellung), dann wurde auch frueher geforkt.
- ich habe mit Absicht die plotFork Voreinstellung nicht auf 1 gesetzt, da mir diese Diskussion present ist. Ich habe auf einem "normalen" Rechner seit 10 Jahren damit kein Problem.

Will sagen: meine Aenderung sollte nicht zu mehr Speicherverbrauch fuehren, es sei denn man hat explizit plotFork gesetzt, aber plotEmbed nicht.

@choetzu: mit fhemdebug memusage kann man (im Gluecksfall) Speicherloecher im Perl-Code feststellen, das ist aber nur in den seltensten Faellen das Problem. Vermutlich gibt es mehrere moegliche Speicherlloecher in dieser Diskussion, einer hat ziemlich sicher mit dem Zusammenspiel eines Perl-Moduls und der C-Bibliothek unter ARM/Stretch zu tun.

auf 5 stellen um die Anzahl parallel laufender Blockingcalls
super, danke. das hab ich im device "global" so gemacht..


einer hat ziemlich sicher mit dem Zusammenspiel eines Perl-Moduls und der C-Bibliothek unter ARM/Stretch zu tun.
herzlichen Dank.hmm, und was bedeutet das nun für mich? Wie resp wo kann ich schrauben?

ab wieviel memory usage ist ein modul eigentlich kritisch, bei 1gb? Kann man das so sagen?

Hallo Rudi,

danke für die Ausführung. Es ist doch ein etwas weitergehender Kontext.

Ich arbeite schon eh und je mit plotfork=1 und hatte auch noch nie Probleme damit, obwohl ich viele Devices einsetze die BlockingCall nutzen (auf Prod 112 x DbRep, 3 x DbLog und SMA-Devices etc.). Läuft einwandfrei. Der Speicherverbrauch steigt auch nicht ständig an und lag bisher immer so um die 450/500-550MB.  Wenn umfangreiche Selektionen/Aktivitäten laufen geht er schon mal temporär entsprechend hoch um danach wieder auf den Durchschnittswert zu sinken. Also alles schick so wie es sein soll.

Allerdings hatte ich das Attr "plotEmbed" nie im Blick muss ich gestehen, es war also bisher nicht gesetzt. Nach deiner Ausführung habe ich dieses Attr in allen meinen FHEMWEB-Devices auf "1" gesetzt. Danach liegt der Speicherverbrauch jetzt nur noch bei 390-397MB soweit ich es bisher beobachten konnte, also eine recht deutliche Einsparung.

Das sollte nur mal ein kleiner Erfahrungs/Vergleichsbereicht sein. Da ich genügend Speicher zur Verfügung habe, funktionieren beide Einstellungsvarianten problemlos ... aber wenn man sparen kann  ;)

@choetzu, das Sonos recht viel Speicher braucht kann ich bestätigen, ist bei mir genauso. Der Sonos Subprozess läuft ebenso mit auf dem Produktivrechner. Die MariaDB (MySQL) Datenbanken sind bei mir allerdings remote auf meiner Synology angelegt und nehmen keine Ressourcen auf dem FHEM-Rechner weg.

Hat denn die Einstellung von Blockingcalls etwas gebracht ?

LG,
Heiko

Zitat von: DS_Starter am 28 August 2018, 18:53:18
@choetzu, das Sonos recht viel Speicher braucht kann ich bestätigen, ist bei mir genauso. Der Sonos Subprozess läuft ebenso mit auf dem Produktivrechner. Die MariaDB (MySQL) Datenbanken sind bei mir allerdings remote auf meiner Synology angelegt und nehmen keine Ressourcen auf dem FHEM-Rechner weg.
Har denn die Einstellung von Blockingcalls etwas gebracht ?
LG,
Heiko

Halllo Heiko,
ich denke schon, dass es was gebracht hat. Bin mir aber nicht sicher, denn ich denke, dass mein LGW-Gateway (HMUARTLGW) dazu beigetragen hat. Seit neustem macht der Probleme, öffnet, schliesst, öffnet etc.

2018.08.28 18:18:29 1: XXXXX:2000 reappeared (LGW_Gateway)
2018.08.28 18:18:30 3: LGW_Gateway:keepAlive device opened
2018.08.28 18:18:30 3: HMUARTLGW LGW_Gateway BidCoS-port opened
2018.08.28 18:18:30 3: HMUARTLGW LGW_Gateway:keepAlive KeepAlive-port opened
2018.08.28 18:31:52 1: XXXXX:2001 disconnected, waiting to reappear (LGW_Gateway:keepAlive)
2018.08.28 18:31:52 1: HMUARTLGW LGW_Gateway:keepAlive KeepAlive sent 90.570s too late, this might cause a disconnect!
2018.08.28 18:31:53 1: XXXXX:2000 disconnected, waiting to reappear (LGW_Gateway)
2018.08.28 18:31:53 3: Opening LGW_Gateway:keepAlive device XXXXX:2001
2018.08.28 18:31:53 1: XXXXX:2000 reappeared (LGW_Gateway)
2018.08.28 18:31:53 3: LGW_Gateway:keepAlive device opened
2018.08.28 18:31:53 3: HMUARTLGW LGW_Gateway BidCoS-port opened
2018.08.28 18:31:53 3: HMUARTLGW LGW_Gateway:keepAlive KeepAlive-port opened
2018.08.28 18:42:03 3: LGW_Gateway device closed

Ich hab ihn mal deaktiviert und es scheint schonmal besser zu laufen. BIn mich grad am durchlesen, was das sein könnte..

Bezüglich Datenbank auf NAS schreiben, ich habe auch eine Synology (DS216play), da werd ich mich mal schlau machen. V.a. auch wie man ihn konfiguriert, dass er nicht ins Standby geht... Das dauert sonst..

danke nochmals für die Hilfe. Ich bleibe dran.. ;)

EDIT: Ich habe über Nacht apptime laufen lassen. Sonos scheint mir hier etwas Kummer zu machen. Deshalb habe ich direkt ein Post in Multimedia eröffnet: https://forum.fhem.de/index.php/topic,90656.0.html

name                                     function                               max    count      total  average   maxDly   avgDly TS Max call     param Max call
tmr-SONOSPLAYER_TriggerCoverTitleLater   HASH(0x3023c00)                      19683       29  536795.79 18510.20 40829.32  9341.50 29.08. 06:21:19 HASH(Sonos_Bad__Schlafz)
Logging                                  DbLog_Log                            19583     8883  589674.92    66.38     0.00     0.00 29.08. 06:21:19 HASH(Logging); HASH(Sonos_Bad__Schlafz)
Sonos                                    SONOS_Read                            4647      494   40709.86    82.41     0.00     0.00 29.08. 06:05:34 HASH(Sonos)

Sonos schreibt übrigens nix ins Log...

naja .. wenn die Synologa nur wegen mysql durchlaufen soll .... hättest Du etwas mehr Stromverbrauch,. Nur mal so bedenken.

Zitat von: Wernieman am 04 September 2018, 15:47:49
naja .. wenn die Synologa nur wegen mysql durchlaufen soll .... hättest Du etwas mehr Stromverbrauch,. Nur mal so bedenken.

danke. etwas mehr oder etwas VIEL mehr?  Ich habe nun das Logging auf Synology DS216play umgesattelt. funktioniert ganz gut. Doch nach wie vor habe ich LGW abgeschaltet, da es in die Quere mit SONOS kommt, sobald ich SONOS am Morgen einschalte. Keine Ahnung wieso..

ZitatLogging auf Synology DS216play umgesattelt

Dann werden die Platten praktisch sowieso nicht abgeschaltet.

Zitat von: Wernieman am 05 September 2018, 22:59:49
Dann werden die Platten praktisch sowieso nicht abgeschaltet.

Danke, aber du sprichst für mich in Rätseln.?!??😏 was genau hat dies mit Cannot Fork zu tun?

Es ging um den Beitrag, für mehr Speicher mysql auszulagern .. ;o)

Hallo,
eine kurze Frage weil ich ebenso von sporadischen Fehlern versehen bin.

kann ich den Befehl

fhemdebug memusage

in der Kommandozeile von FHEM ausführen?
Ich erhalte da nur einen Neustart vom FHEM.

MfG

Na ausfuehren kannst du es ja offensichtlich, es bewirkt leider einen Absturz in der verwendeten Bibliothek Devel::Size und deswegen Neustart. Auf meinen FHEM Installationen funktioniert es, ich werde memusage aber trotzdem umbauen ohne Devel::Size.
Siehe auch https://forum.fhem.de/index.php/topic,84372.msg972708.html#msg972708 und nachfolgende Beitraege.