Hallo,
leider habe ich über die Suchfunktion zu meinem Problem nichts gefunden.
Mein FHEM Log füllt sich nach eine Laufzeit von ca. 3-4 Tagen immer wieder mit folgenden Meldungen:
2017.06.23 07:36:19 1: Cannot fork: Cannot allocate memory
2017.06.23 07:36:19 1: Cannot fork: Cannot allocate memory
2017.06.23 07:36:21 1: Cannot fork: Cannot allocate memory
2017.06.23 07:36:21 1: Cannot fork: Cannot allocate memory
Nur ein Reboot des Linux Systemes schaft hier Abhilfe. Den einzigen Hinweis den ich gefunden habe, ist dass man bei dieser Meldung im Device "global" das Attribut updateInBackground auf 0 stellen soll. Leider hat das bei mir nicht geholfen, die Meldung erscheinen trotzdem wieder.
Sobald diese Meldung im Log erscheinen ist ein Update oder shutdown aus FHEM heraus nicht mehr möglich.
Kann mir hier jemand weiterhelfen?
Gruß
Michael
Dass update nicht moeglich is, ist verstaendlich, da es per Voreinstellung forkt (attr global updateInBackground). shutdown restart macht das auch, warum shutdown (ohne restart) nicht funktioniert, kann ich nicht erklaeren.
Das Problem genau zu lokalisieren ist nicht einfach. Man muesste zunaechst feststellen, welcher der Prozesse den meisten Speicher verbraucht (z.Bsp. mit ps -elf | sort -rnk 10 | head). Falls FHEM ungewoehnlich gross ist/waechst, dann muss man die Module finden, die dafuer verantwortlich sind, z.Bsp. indem man sie einzeln deaktiviert.
Hallo
Befehl hab ich mal ausgeführt. Anbei das Ergebnis:
root@HNMWFHEM01:~# ps -elf | sort -rnk 10 | head
4 S root 2422 2331 0 80 0 - 192259 - Jun20 ? 00:01:20 homebridge
0 S root 1878 1 0 80 0 - 187335 - Jun20 ? 00:00:59 alexa
1 S fhem 3639 1 3 80 0 - 173279 - Jun20 ? 02:23:32 /usr/bin/perl fhem.pl fhem.cfg
4 S mysql 2791 2450 0 80 0 - 91021 - Jun20 ? 00:01:54 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
5 S www-data 3871 2149 0 80 0 - 55818 - Jun20 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2171 2149 0 80 0 - 55818 - Jun20 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2170 2149 0 80 0 - 55818 - Jun20 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2165 2149 0 80 0 - 55818 - Jun20 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2164 2149 0 80 0 - 55818 - Jun20 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2163 2149 0 80 0 - 55818 - Jun20 ? 00:00:00 /usr/sbin/apache2 -k start
Für die Grundsätzliche Analyse würde ich auch vorschlagen, das mehr Infos über das System bereit gestellt werden.
- was ist es für Hardware (ÜPi/PC/Speicher/Gestplatte etc.)
- was macht der Rechner außer FHEM?
- was für Module werden in FHEM verwendet
- .....
- und natürlich die Info, welche Rudolf schon anfragte
Sorry aber bitte um mehr Input für qualifizierten Output ....
Edit:Wenn ich die ersten 3 Zeilen Zusammenzähle. komme ich schon auf 552873Byte ...
Zitat4 S root 2422 2331 0 80 0 - 192259 - Jun20 ? 00:01:20 homebridge
0 S root 1878 1 0 80 0 - 187335 - Jun20 ? 00:00:59 alexa
1 S fhem 3639 1 3 80 0 - 173279 - Jun20 ? 02:23:32 /usr/bin/perl fhem.pl fhem.cfg
Braucht homebridge und alexa wirklich so viel Speicher???
@Werniemann: ich waere vorsichtig beim Addieren, ich gehe davon aus, dass diese Zahlen die dynamisch geladenen Bibliotheken jeweils enthalten. D.h. der Programmcode von libc wird zu jedem Prozess dazugezaehlt, liegt aber nur einmal im Speicher, dh. beim Addieren darf man diesen Teil nur einmal rechnen. Beim apache2 wird der gemeinsame Anteil wesentlich sein.
Trotzdem meine Meinung: der Rechner ist fuer diese Aufgabe (bzw. Kombination aller Aufgaben) unterdimensioniert.
@Rudolf
Du hast prinzipiell recht, war nur eine Überschlagsrechnung. Aber egal wie ... wenn es ein Pi ist, wovon ich momentan ausgehe, ist der Speicher zu klein. Auch wenn diese "Pi mal Daumen Rechnung" nur sehr grob ist ...
Wenn es dagegen ein "Richtiger Rechner" mit mehr Speicher, würde es schon anders aussehen. Deshalb meine Nachfrage nach der Art des Rechners ...
danke schon mal für das Feedback.
Mein FHEM läuft als virtuelle Machine und ist wie folgt Ausgestattet:
512MB RAM
CPU Intel i7 2,67GHz
40GB HDD auf SSD
Der Rechner selber macht nur FHEM, Alexa und Homebridge. Bis vor kurzem wurde noch SmartVISU auf dem Rechner betrieben. Dies ist aber aktuell nicht mehr in Benutzung.
Folgende Module werden eingesetzt:
+ alexa
+ allowed
+ at
+ autocreate
+ BOTVAC
+ Calendar
+ CALVIEW
+ CUL
+ CUL_HM
+ DbLog
+ dewpoint
+ DLNARenderer
+ DOIF
+ DOIRools
+ dummy
+ FB_CALLMONITOR
+ FBAHA
+ FBDECT
+ FHEM2FHEM
+ FHEMWEB
+ FHT
+ FRITZBOX
+ fronthem
+ fronthemDevice
+ FS20
+ harmony
+ HMLAN
+ HMS
+ HTTPMOD
+ IPCAM
+ jawboneUp
+ MPD
+ NEUTRINO
+ notify
+ OPENWEATHER
+ Pushover
+ readingsGroup
+ structure
+ SVG
+ TelegramBot
+ VIERA
+ WINCONNECT
+ XBMC
+ YAMAHA_AVR
Zitat512MB RAM
Dann gib ihm mal mehr Speicher! Siehe Diskussion mit Rudi und mir (s.o.)
Zitat von: Wernieman am 23 Juni 2017, 09:41:06
Dann gib ihm mal mehr Speicher! Siehe Diskussion mit Rudi und mir (s.o.)
Ok, das kann ich mal machen.
Gibt es eigentlich eine Grundsätzliche Empfehlung wie viel Hauptspeicher ein Standard FHEM Server haben sollte?
Siehe oben, es liegt nicht an fhem, sondern an den parallel laufenden Programmen.
WENN Du schon mit VM arbeitest, warum lagerst Du eigentlich alexa nicht in eine eigene aus?
Ob man homebringe auslagern könnte, bin ich überfragt.
das es noch von anderen Programmen abhängt habe ich verstanden.
Des Wegen hatte ich ja auch nach einer Empfehlung für FHEM gefragt. Das viel RAM immer gut ist, ist auch klar.
Ich habe jetzt mal 1GB Ram zugeteilt, ich werde es jetzt mal beobachten.
danke für eure Hilfe.
FHEM läuft auch auf einem Pi mit 512. Es gibt keine Empfehlung, da es auch von der Art/Menge der verwendeten Module abhängt.
Empfehlung ist schwer: es haengt von den eingesetzten Modulen, Anzahl der Geraete, was man damit macht, etc ab. Beispiele:
- manche Module achten auf Speicherverbrauch, andere weniger. Es findet diesbezueglich keine Kontrolle statt, nur wenn jemand sich beschwert, und der Autor Zeit und Musse hat es zu fixen.
- Jahresplots zu berechnen braucht mehr Speicher, als Tagesplots.
- Falls mehrere Plots auf einer Seite zu sehen sind, dann werden mehrere (bis zu 6) parallel berechnet
- die Leute wollen Features, z.Bsp. war CUL_HM mal 50k, inzwischen ist es bei 750k.
512MB fuer FHEM alleine sollte im Normalfall ausreichen.
In deinem Fall hat es ja auch nur fuer ein Drittel der Belegung gesorgt.
Leider ist das Problem wieder da. Diese mal hat es nur länger gedauert, da wohl mehr Arbeitsspeicher zur Verfügung stand.
Anbei mal das Speicherergebnis
Last login: Fri Jun 23 22:35:55 2017 from hnmwwks01.home.int
root@HNMWFHEM01:~# ps -elf | sort -rnk 10 | head
1 S fhem 1920 1 14 80 0 - 206548 - Jun23 ? 19:55:57 perl
4 S root 2420 2326 0 80 0 - 192202 - Jun23 ? 00:01:49 homeb
0 S root 2059 1 0 80 0 - 187813 - Jun23 ? 00:02:17 alexa
1 S fhem 28592 1920 0 80 0 - 180252 - Jun28 ? 00:00:04 perl
4 S mysql 2803 2448 0 80 0 - 91021 - Jun23 ? 00:04:10 /usr/ ysqld/mysqld.sock --port=3306
5 S www-data 5228 2144 0 80 0 - 55815 - Jun25 ? 00:00:00 /usr/
5 S www-data 3993 2144 0 80 0 - 55815 - Jun25 ? 00:00:00 /usr/
5 S www-data 3991 2144 0 80 0 - 55815 - Jun25 ? 00:00:00 /usr/
5 S www-data 3987 2144 0 80 0 - 55815 - Jun25 ? 00:00:00 /usr/
5 S www-data 3983 2144 0 80 0 - 55815 - Jun25 ? 00:00:00 /usr/
Gibt es eine Möglichkeit zu schauen welches Modul den meisten Speicher benötigt?
Ich kann Dir nur wieder raten, wenn Du schon mit VM arbeitest, dann richtig, d.h. eine VM = ein Dienst.
4 S root 2420 2326 0 80 0 - 192202 - Jun23 ? 00:01:49 homeb
0 S root 2059 1 0 80 0 - 187813 - Jun23 ? 00:02:17 alexa
Pache die einfach mal in eigene VMs ....
Zitat von: Wernieman am 29 Juni 2017, 11:25:29
Ich kann Dir nur wieder raten, wenn Du schon mit VM arbeitest, dann richtig, d.h. eine VM = ein Dienst.
4 S root 2420 2326 0 80 0 - 192202 - Jun23 ? 00:01:49 homeb
0 S root 2059 1 0 80 0 - 187813 - Jun23 ? 00:02:17 alexa
Pache die einfach mal in eigene VMs ....
Danke für den Hinweis.
Allerdings glaube ich nicht dass es durch das verschieben der zwei Dienste besser wird. Der Arbeitsspeicher dieser Dienste ändert sich über die Laufzeit kaum bis gar nicht. Der einzige Dienst der Speichertechnisch wächst ist FHEM.
Direkt nach einem Reboot sieht die Speicherauslastung wie folgt aus:
root@HNMWFHEM01:/# ps -elf | sort -rnk 10 | head
4 S root 2419 2325 0 80 0 - 191434 - 09:05 ? 00:00:04 homebridge
0 S root 2058 1 0 80 0 - 169515 - 09:05 ? 00:00:03 alexa
4 S mysql 2787 2447 0 80 0 - 91021 - 09:05 ? 00:00:04 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
1 S fhem 1986 1 1 80 0 - 61216 - 09:05 ? 00:02:53 perl fhem.pl fhem.cfg
5 S www-data 2161 2143 0 80 0 - 55818 - 09:05 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2160 2143 0 80 0 - 55818 - 09:05 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2157 2143 0 80 0 - 55818 - 09:05 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2156 2143 0 80 0 - 55818 - 09:05 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 7065 2143 0 80 0 - 55804 - 10:16 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2162 2143 0 80 0 - 55804 - 09:05 ? 00:00:00 /usr/sbin/apache2 -k start
Hier ist deutlich zu sehen das die beiden Dienste kaum kleiner sind wie bei meinem letzten Post. FHEM allerdings benötigt ca. 60MB und wächst dann kontinuierlich.
Ich habe in fhemdebug ein memusage Parameter eingebaut, bitte testen. Beschreibung (commandref):
Zitat
memusage [regexp] [nr]
Dump the name of the first nr datastructures with the largest memory footprint. Filter the names by regexp, if specified.
Notes:
this function depends on the Devel::Size module, so this must be installed first.
The used function Devel::Size::total_size crashes perl (and FHEM) for Functions and some other data structures. memusage tries to avoid to call it for such data structures, but as the problem is not identified, it may crash your currently running instance. Make sure you saved the config first.
The known data structures modules and defs are reported in more detail.
Ausgabe-Beispiel:
fhem> fhemdebug memusage
1. SIG 192236
2. modules::eventTypes 164861
3. Exporter::Cache 149540
4. modules::ZWave 115758
5. modules::FS20 87854
6. attr 84867
7. selectlist 78322
8. Net::SSLeay::BEGIN 73122
9. defs::KM271 67010
10. oldvalue 63730
11. defs::rg_temp 61100
12. ntfyHash 55244
13. modules::FHT 50081
14. Config::Config_SH_expanded 49496
15. POSIX::EXPORT_TAGS 42120
16. modules::FBDECT 40625
17. POSIX::EXPORT 39741
18. Net::SSLeay::EXPORT_OK 37473
19. defs::EingangsLampe 35544
20. defs::wz 32134
21. defs::EingangsSensor 30286
22. modules::CUL_WS 27554
23. defs::remo 26349
24. defs::kuehlschrank 25783
25. defs::GartenTor 24427
26. defs::fl 24377
27. defs::Stehlampe2 23944
28. intAt 23565
29. defs::remo.8 22527
30. defs::remo.1 21230
31. defs::remo.2 21230
32. defs::remo.3 21230
33. defs::remo.7 21230
34. defs::EingangsTemp 21217
35. Socket::EXPORT_TAGS 21016
36. defs::remo.4 20447
37. defs::remo.5 20447
38. defs::remo.B 20037
39. defs::remo.9 20034
40. defs::remo.A 20034
41. defs::EingangsLampe_Kanal2 19855
42. zwave_id2class 19730
43. defs::remo.6 19624
44. defs::EingangsLicht 19475
45. modules::KS300 19309
46. INC 18650
47. readyfnlist::zwd./dev/ttyUSB0 17579
48. defs::zwd 17579
49. defs::out1 17082
50. modules::CUL_EM 16856
fhem>
Verfuegbar per update (wie ueblich) ab morgen um 8, oder ab sofort aus dem SVN.
danke
hab mir die Datei heruntergeladen und per reload geladen. Leider spukt das Teil folgendes aus
Can't locate Devel/Size.pm in @INC (@INC contains: fhem.p/lib fhem.p/FHEM/lib ./FHEM/lib ./lib ./FHEM ./ /usr/local/FHEM/share/fhem/FHEM/lib . /etc/perl /usr/local/lib/perl/5.14.2 /usr/local/share/perl/5.14.2 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.14 /usr/share/perl/5.14 /usr/local/lib/site_perl) at (eval 5251) line 2.
BEGIN failed--compilation aborted at (eval 5251) line 2.
Habe ich da noch etwas vergessen?
OK ich habe das Modul Devel::Size nicht installiert. Bin noch auf der Suche wie ich das installieren kann..
OK habe es gefunden. Folgende per SSH installieren
cpanm Devel::Size
Erstes Ergebnis
1. intAt 9025270
2. icloud.kalender 6646993
3. selectlist 1222820
4. attr 958164
5. CUL_HM 702214
6. HMConfig::culHmRegDefine 647302
7. Abfall 608405
8. teleBot 587140
9. Wohnzimmer.Kodi.UPnP 514403
10. DLNASocket-FHEM.UPnP-41 505995
11. DLNASocket-FHEM.UPnP-42 505995
12. DLNASocket-FHEM.UPnP-40 505909
13. FHEM.UPnP 504952
14. FHEM.fronthem 379392
15. Service.Spritpreise 372364
16. utf8::loose_to_file_of 359363
17. SIG 284956
18. BEGIN 259745
19. Role::Tiny::INFO 249519
20. ntfyHash 207501
21. Exporter::Cache 206753
22. HMConfig::culHmModel 172179
23. HMConfig::culHmRegDefShLg 130622
24. Wohnzimmer.HUB 127420
25. oldvalue 126764
26. Badezimmer.Klima.DBLog 126637
27. Buero.Monitore.DBLog 125709
28. Allgemein.Batterie 125008
29. Schlafzimmer.Klima.DBLog 124876
30. Wohnzimmer.Heizung.DBLog 124876
31. Service.Spritpreise.DBLog 124876
32. Wohnzimmer.Klima.DBLog 124868
33. Niklas.Multimedia.DBLog 124868
34. Mobil.Powermeter.01.DBLog 124860
35. Garten.Pool.Temp.DBLog 124852
36. Werkstatt.USV.DBLog 124844
37. Garten.Klima.DBLog 124844
38. Kueche.Radio.DBLog 124844
39. DBI::installed_drh 124766
40. DBD::SQLite::drh 120885
41. Allgemein.Activity 120612
42. DateTime::Locale::Data::NativeNames 104118
43. DateTime::Locale::Data::Names 101192
44. BC_hash 76648
45. DateTime::Locale::Data::ISO639Aliases 75415
46. FritzBoxUG 74641
47. HMConfig::culHmRegChan 71814
48. DateTime::Locale::Data::Codes 71021
49. Buero.Notebook 70057
50. Net::SSLeay::BEGIN 68633
Jetzt warte ich bis der Fehler wieder kommt und vergleiche die Werte
besser wäre gewesen:
apt-get -s install libdevel-size-perl
cpan wird bei einem Systemupdate nicht mitupgedatet ....
Fehler ist zwar noch nicht da, aber eventuell sieht man schon woran es liegen könnte.
Name 29.06.2017 30.06.2017 Differenz
intAt 9025270 10213420 1188150
attr 958164 7084327 6126163
icloud.kalender 6646993 6649729 2736
selectlist 1222820 1506547 283727
CUL_HM 702214 715521 13307
HMConfig::culHmRegDefine 647302 647302 0
Abfall 608405 608885 480
teleBot 587140 588417 1277
Niklas.Fernseher.UPnP 124868 514612 389744
Wohnzimmer.Kodi.UPnP 514403 512726 -1677
DLNASocket-FHEM.UPnP-41 505995 504318 -1677
DLNASocket-FHEM.UPnP-42 505995 504318 -1677
DLNASocket-FHEM.UPnP-40 505909 504232 -1677
FHEM.UPnP 504952 503275 -1677
FHEM.fronthem 379392 379392 0
Service.Spritpreise 372364 372364 0
utf8::loose_to_file_of 359363 359363 0
SIG 284956 284956 0
BEGIN 259745 259745 0
Role::Tiny::INFO 249519 249519 0
ntfyHash 207501 207500 -1
Exporter::Cache 206753 206753 0
HMConfig::culHmModel 172179 172179 0
HMConfig::culHmRegDefShLg 130622 130622 0
oldvalue 126764 127687 923
Wohnzimmer.HUB 127420 127420 0
Allgemein.Batterie 125008 125008 0
Badezimmer.Klima.DBLog 126637 120749 -5888
Allgemein.Activity 120612 120612 0
DBI::installed_drh 124766 120078 -4688
Irgendwer fuegt wie wild Attribute hinzu.
intAt ist schwieriger zu interpretieren, da hier auch Parameter fuer die Funktionisaufrufe hinterlegt sind, und das kann alles moegliche sein, und sogar mehrfach gezaehlt werden.
Kannst du bitte folgendes ausfuehren:
{ int(keys %intAt) }
liefert Anzahl der internen Timer zurueck (at/DOIF/etc).
Ergebnis 804
Ist das ein Problem wenn ständig Attribute geändert werden?
ZitatErgebnis 804
Ich habe in meiner Produktivumgebung 15.
ZitatIst das ein Problem wenn ständig Attribute geändert werden?
Attribute "gehoeren" dem Benutzer, d.h. nur er sollte sie anlegen und aendern, Ausnahmen bestaetigen diesen Regel. Wenn ohne dein Zutun die Attribute sich versechsfachen, dann ist was faul. Da sie nach einem Neustart weniger Platz belegen, gehe ich davon aus, dass irgendwer fuer nicht existierende Geraete Attribute anlegt.
Kannst du bitte auch die Ausgabe von
{ int(keys %defs).":".int(keys %attr) }
hier mitteilen?
Zitat von: Wernieman am 29 Juni 2017, 16:31:19
apt-get -s install libdevel-size-perl
Ähm. Ohne "-s" wäre besser. :-)
Ups .. da ich es in meiner "produktiv" umgeben "getestet" habe ... und dann einfach copy&paste .. ;o)
Zitat von: rudolfkoenig am 30 Juni 2017, 09:06:04
Ich habe in meiner Produktivumgebung 15.
Attribute "gehoeren" dem Benutzer, d.h. nur er sollte sie anlegen und aendern, Ausnahmen bestaetigen diesen Regel. Wenn ohne dein Zutun die Attribute sich versechsfachen, dann ist was faul. Da sie nach einem Neustart weniger Platz belegen, gehe ich davon aus, dass irgendwer fuer nicht existierende Geraete Attribute anlegt.
Kannst du bitte auch die Ausgabe von
{ int(keys %defs).":".int(keys %attr) }
hier mitteilen?
Ich habe ein paar devices an denen ich das Attibut icon über ein doif ändere. Das kann ich mal überarbeiten.
Ergebnis 334:24086
ZitatIch habe ein paar devices an denen ich das Attibut icon über ein doif ändere. Das kann ich mal überarbeiten.
Darum gehts mir nicht, du bist der Benutzer.
Zitat334:24086
Ich habe einen Bug in TcpServerUtils.pm gefunden und behoben, das duerfte zumindest fuer einen Teil der sinnlosen attr Eintraege verantwortlich sein. Geaendert habe ich TcpServerUtils.pm und 01_FHEMWEB.pm.
Muss ich den FHEM Server neu starten wenn ich die beiden Dateien ersetze oder langt ein Reload der Module?
OK, habe die Dateien ersetzt und einen "shutdown restart" gemacht.
Im Log ist jetzt folgendes alle ca. 30 Sekunden zu sehen
2017.06.30 10:53:32 0: Strange call for nonexistent FEHM.Telnet_127.0.0.1_33136: DeleteFn
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
2017.06.30 10:53:32 1: in DELETED
Nachrtag
Das Ergebnis von { int(keys %defs).":".int(keys %attr) } sieht jetzt auch besser aus.
337:349
ZitatIm Log ist jetzt folgendes alle ca. 30 Sekunden zu sehen
Danke, ich habe es auch gemerkt, und eine neue Version der beiden Dateien eingecheckt.
Zitat von: rudolfkoenig am 30 Juni 2017, 11:40:19
Danke, ich habe es auch gemerkt, und eine neue Version der beiden Dateien eingecheckt.
Danke, jetzt sieht das Log besser aus. Ich beobachte jetzt mal wieder. Melde mich dann in den nächsten Tagen noch mal.
Noch mal ein fettes DANKE für Deine Hilfe!
Nachtrag:
Das Ergebnis von { int(keys %intAt) } sieht jetzt auch besser aus.
Ergebnis = 80
So nach zwei Tagen sieht es wie folgt aus:
Name 02.07.2017 30.06.2017 Diff
intAt 11827590 8594711 3232879
icloud.kalender 6674891 6646913 27978
selectlist 1175554 967821 207733
CUL_HM 721166 696188 24978
HMConfig::culHmRegDefine 647302 647302 0
Abfall 608581 608365 216
teleBot 600043 414721 185322
DLNASocket-FHEM.UPnP-41 491422 410039 81383
DLNASocket-FHEM.UPnP-40 491214 410039 81175
DLNASocket-FHEM.UPnP-39 491128 409953 81175
FHEM.UPnP 490135 409000 81135
{ int(keys %intAt) }
Ergebnis = 2168
{ int(keys %defs).":".int(keys %attr) }
Ergebnis = 307:319
Zitat{ int(keys %intAt) }
Ergebnis = 2168
Da ist was faul. Kannst Du bitte die ersten 50
{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$a}{TRIGGERTIME}<=>$intAt{$b}{TRIGGERTIME}} keys %intAt)[0..49]) }
und letzten 50
{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$b}{TRIGGERTIME}<=>$intAt{$a}{TRIGGERTIME}} keys %intAt)[0..49]) }
hier anhaengen?
Zitat{ int(keys %defs).":".int(keys %attr) }
Ergebnis = 307:319
Ist auch noch nicht perfekt, da sind mindestens 12 tote Eintraege drin. Diese kann man anzeigen mit:
{ join(",", grep { !$defs{$_} } sort keys %attr) }
{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$a}{TRIGGERTIME}<=>$intAt{$b}{TRIGGERTIME}} keys %intAt)[0..49]) }
Ergebnis
1499066624.70756 / HMLAN_KeepAlive
1499066625 / FW_closeInactiveClients
1499066626.89512 / MPD_watch_idle
1499066631.27574 / DLNARenderer_updateStereoMode
1499066634.08908 / at_Exec
1499066638.08063 / BOTVAC_GetStatus
1499066639.77238 / MPD_watch_idle
1499066639.83867 / XBMC_Check
1499066639.83878 / VIERA_GetStatus
1499066639.97945 / WINCONNECT_GetStatus
1499066640.01854 / YAMAHA_AVR_GetStatus
1499066640.0186 / VIERA_GetStatus
1499066640.07876 / NEUTRINO_GetStatus
1499066640.08441 / NEUTRINO_GetStatus
1499066640.23235 / WINCONNECT_GetStatus
1499066640.36448 / WINCONNECT_GetStatus
1499066640.3709 / WINCONNECT_GetStatus
1499066640.44225 / WINCONNECT_GetStatus
1499066642.95814 / WINCONNECT_GetStatus
1499066646.29441 / harmony_ping
1499066652.25995 / DLNARenderer_renewSubscriptions
1499066652.7423 / DLNARenderer_renewSubscriptions
1499066652.74243 / DLNARenderer_renewSubscriptions
1499066653.22499 / DLNARenderer_renewSubscriptions
1499066654.77717 / WINCONNECT_GetStatus
1499066655.15596 / WINCONNECT_GetStatus
1499066664.08292 / CUL_HM_ActCheck
1499066669.52223 / HTTPMOD_GetUpdate
1499066671.82122 / Calendar_Wakeup
1499066718.70719 / jawboneUp_poll
1499066718.80673 / FRITZBOX_Readout_Start
1499066859.54385 / HttpUtils_Err
1499067865.48485 / OPENWEATHER_Start
1499067865.6321 / Calendar_Wakeup
1499075072.88889 / Pushover_ValidateUser
1499090400 / at_Exec
1499092200 / at_Exec
1499103836.39784 / CUL_HM_statCntRfresh
1499109275.33286 / CALVIEW_GetUpdate
1499112000 / at_Exec
1499119201 / FileLog_dailySwitch
1499119203.66122 / DOIFtoolsCounterReset
1499140800 / at_Exec
1499148000 / at_Exec
1499151600 / at_Exec
1570666560.5242 / BlockingKill
1570684288.78942 / BlockingKill
1570684350.85428 / BlockingKill
1570684412.91672 / BlockingKill
1570684474.97844 / BlockingKill
{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$b}{TRIGGERTIME}<=>$intAt{$a}{TRIGGERTIME}} keys %intAt)[0..49]) }
1570907884.0115 / BlockingKill
1570907823.84594 / BlockingKill
1570907763.6807 / BlockingKill
1570907703.52867 / BlockingKill
1570907643.369 / BlockingKill
1570907583.2099 / BlockingKill
1570907523.04405 / BlockingKill
1570907460.91337 / BlockingKill
1570907398.79453 / BlockingKill
1570907336.64913 / BlockingKill
1570907274.53215 / BlockingKill
1570907212.41712 / BlockingKill
1570907150.29434 / BlockingKill
1570907088.16769 / BlockingKill
1570907026.04904 / BlockingKill
1570906963.92657 / BlockingKill
1570906901.80951 / BlockingKill
1570906839.69181 / BlockingKill
1570906777.55955 / BlockingKill
1570906715.4325 / BlockingKill
1570906653.31656 / BlockingKill
1570906591.19423 / BlockingKill
1570906529.06635 / BlockingKill
1570906466.94317 / BlockingKill
1570906404.80453 / BlockingKill
1570906342.67348 / BlockingKill
1570906281.61096 / BlockingKill
1570906219.48241 / BlockingKill
1570906158.87281 / BlockingKill
1570906096.75643 / BlockingKill
1570906034.60076 / BlockingKill
1570905972.47757 / BlockingKill
1570905910.36216 / BlockingKill
1570905848.24532 / BlockingKill
1570905786.12068 / BlockingKill
1570905723.99605 / BlockingKill
1570905661.86996 / BlockingKill
1570905599.75361 / BlockingKill
1570905537.62843 / BlockingKill
1570905475.51206 / BlockingKill
1570905413.39544 / BlockingKill
1570905351.26248 / BlockingKill
1570905289.14018 / BlockingKill
1570905227.01812 / BlockingKill
1570905164.9037 / BlockingKill
1570905102.78579 / BlockingKill
1570905040.64848 / BlockingKill
1570904978.53261 / BlockingKill
1570904916.40965 / BlockingKill
1570904854.28767 / BlockingKill
{ join(",", grep { !$defs{$_} } sort keys %attr) }
secBadezimmer.Klima.DBLog,secBuero.Monitore.DBLog,secGarten.Klima.DBLog,secGarten.Pool.Temp.DBLog,secKueche.Radio.DBLog,secMobil.Powermeter.01.DBLog,secNiklas.Multimedia.DBLog,secSchlafzimmer.Klima.DBLog,secService.Spritpreise.DBLog,secWerkstatt.USV.DBLog,secWohnzimmer.Heizung.DBLog,secWohnzimmer.Klima.DBLog
Zitat1570906963.92657 / BlockingKill
Ok, das geht teilweise auf meine Kappe: ich habe nicht damit gerechnet, dass jemand beim BlockingKill einen timeout von 2.2 Jahren angibt. Ich habe Blocking.pm modifiziert, so dass der jeweilige timeout-InternalTimer beim Beenden der Blocking-Routine entfernt wird.
Ich tippe beim Uebeltaeter auf 73_MPD.pm, da wird BlockingCall mit $hash fuer $timeout aufgerufen, das sollte bitte dem Maintainer gemeldet werden.
Wg. den toten Attributen: kannst du bitte zu den erwaehnten Eintraegen was sagen?
Zitat von: rudolfkoenig am 03 Juli 2017, 10:17:57
Wg. den toten Attributen: kannst du bitte zu den erwaehnten Eintraegen was sagen?
Das sind Devices welche in eine SQLite DB Daten schreiben..
Anbei mal die genaueren Device Informationen
{
"Arg":"Badezimmer.Klima.DBLog",
"Results": [
{
"Name":"Badezimmer.Klima.DBLog",
"PossibleSets":"reduceLog reduceLogNbl reopen rereadcfg:noArg count:noArg countNbl:noArg \u000a\u0009 deleteOldDays deleteOldDaysNbl userCommand clearReadings:noArg \u000a\u0009\u0009\u0009\u0009 eraseReadings:noArg addLog importCachefile ",
"PossibleAttrs":"alias comment:textField-long eventMap group room suppressReading userReadings:textField-long verbose:0,1,2,3,4,5 colEvent colReading colValue disable:1,0 DbLogType:Current,History,Current/History shutdownWait suppressUndef:0,1 verbose4Devs excludeDevs expimpdir syncInterval noNotifyDev:1,0 showproctime:1,0 asyncMode:1,0 cacheEvents:2,1,0 cacheLimit noSupportPK:1,0 syncEvents:1,0 showNotifyTime:1,0 timeout valueFn:textField-long DbLogSelectionMode:Exclude,Include,Exclude/Include event-on-change-reading event-on-update-reading event-aggregator event-min-interval stateFormat:textField-long timestamp-on-change-reading DbLogExclude DbLogInclude alexaName alexaRoom cmdIcon devStateIcon devStateStyle genericDeviceType:security,ignore,switch,outlet,light,blind,thermometer,thermostat,contact,garage,window,lock homebridgeMapping:textField-long icon sortby webCmd widgetOverride userattr",
"Internals": {
"COLUMNS": "field length used for Device: 64, Type: 64, Event: 512, Reading: 64, Value: 128, Unit: 32 ",
"CONFIGURATION": "./configDB.conf",
"DBMODEL": "SQLITE",
"DEF": "./configDB.conf (Badezimmer.Klima):(humidity|temperature).*",
"MODE": "synchronous",
"NAME": "Badezimmer.Klima.DBLog",
"NR": "160",
"NTFY_ORDER": "50-Badezimmer.Klima.DBLog",
"PID": "3001",
"REGEXP": "(Badezimmer.Klima):(humidity|temperature).*",
"STATE": "connected",
"TYPE": "DbLog",
"VERSION": "2.16.11",
"dbconn": "SQLite:dbname=/opt/fhem/fhemsql3.db",
"dbuser": ""
},
"Readings": {
"lastRowsDeleted": { "Value":"123", "Time":"2017-06-29 14:35:04" },
"reduceLogState": { "Value":"Rows processed: 35, deleted: 0, time: 0.14sec", "Time":"2017-06-29 14:20:40" },
"state": { "Value":"connected", "Time":"2017-07-03 10:33:12" },
"userCommand": { "Value":"VACUUM", "Time":"2017-06-29 14:39:44" },
"userCommandResult": { "Value":"no result", "Time":"2017-06-29 14:39:44" }
},
"Attributes": { }
} ],
"totalResultsReturned":1
}
Zitat von: rudolfkoenig am 03 Juli 2017, 10:17:57
Ich tippe beim Uebeltaeter auf 73_MPD.pm, da wird BlockingCall mit $hash fuer $timeout aufgerufen, das sollte bitte dem Maintainer gemeldet werden.
OK, ich werde das mal dem Kollegen melden.
Hallo Ihr beiden. Ich verfolge das Thema nun schon eine Weile und habe auch die ein und andere Sache ausprobiert. Interessant für mich ist das ich, zwar nicht die Menge, aber auch einige zu hohe Werte bekomme.
{ join(",", grep { !$defs{$_} } sort keys %attr) }
Zitat
2AC641,ELANKlm,ESSOTeltow,JETMahlowerStr,JETReihnstr,LgTV,SHELLStahnsdorf,SPRINTBerlin,SYSMON_Webapp01,WEB_10.6.9.10_37149,WEB_10.6.9.10_37161,WEB_10.6.9.10_38236,WEB_10.6.9.10_38237,WEB_10.6.9.10_38238,WEB_10.6.9.10_38289,WEB_10.6.9.10_38406,WEB_10.6.9.10_38487,WEB_10.6.9.10_38488,WEB_10.6.9.10_38489,WEB_10.6.9.10_38490,WEB_10.6.9.10_38491,WEB_10.6.9.10_38492,WEB_10.6.9.10_38624,WEB_10.6.9.10_38625,WEB_10.6.9.10_38725,WEB_10.6.9.10_38729,WEB_10.6.9.10_38731,WEB_10.6.9.10_38732,WEB_10.6.9.10_38733,WEB_10.6.9.10_38830,WEB_10.6.9.10_38831,WEB_10.6.9.10_38832,WEB_10.6.9.10_38834,WEB_10.6.9.10_38835,WEB_10.6.9.10_40755,WEB_10.6.9.10_40758,WEB_10.6.9.10_40759,WEB_10.6.9.10_41478,WEB_10.6.9.10_41479,WEB_10.6.9.10_41480,WEB_10.6.9.10_41483,WEB_10.6.9.10_43600,WEB_10.6.9.10_43603,WEB_10.6.9.10_43605,WEB_10.6.9.10_53508,WEB_10.6.9.10_54515,WEB_10.6.9.10_54516,WEB_10.6.9.10_54519,WEB_10.6.9.10_54520,WEB_10.6.9.10_54531,WEB_10.6.9.10_54542,WEB_10.6.9.10_54545,WEB_10.6.9.10_54548,WEB_10.6.9.18_35842,WEB_10.6.9.18_36760,WEB_10.6.9.18_38518,WEB_10.6.9.18_38534,WEB_10.6.9.18_38802,WEB_10.6.9.18_55909,WEB_10.6.9.18_55910,WEB_10.6.9.18_55913,WEB_10.6.9.18_55914,WEB_10.6.9.18_55917,WEB_10.6.9.18_55919,WEB_10.6.9.18_55920,WEB_10.6.9.18_55921,WEB_10.6.9.18_55922,WEB_10.6.9.18_55925,WEB_10.6.9.18_56167,WEB_10.6.9.18_56168,WEB_10.6.9.18_56169,WEB_10.6.9.18_56170,WEB_10.6.9.18_56173,WEB_10.6.9.18_56186,WEB_10.6.9.18_56227,WEB_10.6.9.18_56230,WEB_10.6.9.18_56232,WEB_10.6.9.18_56233,WEB_10.6.9.18_56235,WEB_10.6.9.18_56236,WEB_10.6.9.18_56238,WEB_10.6.9.18_56240,WEB_10.6.9.18_56241,WEB_10.6.9.18_56243,WEB_10.6.9.18_56244,WEB_10.6.9.18_56282,WEB_10.6.9.18_56283,WEB_10.6.9.18_56284,WEB_10.6.9.18_56287,WEB_10.6.9.18_56289,WEB_10.6.9.18_56329,WEB_10.6.9.18_56330,WEB_10.6.9.18_56331,WEB_10.6.9.18_56332,WEB_10.6.9.18_56333,WEB_10.6.9.18_56345,WEB_10.6.9.18_56346,WEB_10.6.9.18_56347,WEB_10.6.9.18_56348,WEB_10.6.9.18_56349,WEB_10.6.9.18_56398,WEB_10.6.9.18_56769,WEB_10.6.9.18_57014,WEB_10.6.9.18_57017,WEB_10.6.9.18_57018,WEB_10.6.9.18_57020,WEB_10.6.9.18_57021,WEB_10.6.9.18_57028,WEB_10.6.9.18_57318,WEB_10.6.9.18_57320,WEB_10.6.9.18_57325,WEB_10.6.9.18_57326,WEB_10.6.9.18_57327,WEB_10.6.9.18_57328,WEB_10.6.9.18_57368,WEB_10.6.9.18_58193,WEB_10.6.9.18_58194,WEB_10.6.9.18_58195,WEB_10.6.9.18_58196,WEB_10.6.9.18_58197,WEB_10.6.9.18_58198,WEB_10.6.9.18_58666,WEB_10.6.9.18_58668,WEB_10.6.9.18_58669,WEB_10.6.9.18_58670,WEB_10.6.9.18_58702,WEB_10.6.9.18_58749,WEB_10.6.9.18_58758,WEB_10.6.9.18_58759,WEB_10.6.9.18_58760,WEB_10.6.9.18_58761,WEB_10.6.9.18_58762,WEB_10.6.9.18_59158,WEB_10.6.9.18_59159,WEB_10.6.9.18_59160,WEB_10.6.9.18_59162,WEB_10.6.9.18_59163,WEB_10.6.9.18_59453,WEB_10.6.9.18_59455,WEB_10.6.9.18_59456,WEB_10.6.9.18_59457,WEB_10.6.9.18_59464,WEB_10.6.9.19_33493,WEB_10.6.9.19_33494,WEB_10.6.9.19_33580,WEB_10.6.9.19_33586,WEB_10.6.9.19_33587,WEB_10.6.9.19_33588,WEB_10.6.9.19_33590,WEB_10.6.9.19_33835,WEB_10.6.9.19_33836,WEB_10.6.9.19_33837,WEB_10.6.9.19_33838,WEB_10.6.9.19_33839,WEB_10.6.9.19_33852,WEB_10.6.9.19_33853,WEB_10.6.9.19_33859,WEB_10.6.9.19_33860,WEB_10.6.9.19_33864,WEB_10.6.9.19_33865,WEB_10.6.9.19_33866,WEB_10.6.9.19_33867,WEB_10.6.9.19_33926,WEB_10.6.9.19_33927,WEB_10.6.9.19_33929,WEB_10.6.9.19_33930,WEB_10.6.9.19_33931,WEB_10.6.9.19_34044,WEB_10.6.9.19_34045,WEB_10.6.9.19_34046,WEB_10.6.9.19_34047,WEB_10.6.9.19_34048,WEB_10.6.9.19_34049,WEB_10.6.9.19_34200,WEB_10.6.9.19_34201,WEB_10.6.9.19_34202,WEB_10.6.9.19_34203,WEB_10.6.9.19_34204,WEB_10.6.9.19_34205,WEB_10.6.9.19_34219,WEB_10.6.9.19_34220,WEB_10.6.9.19_34221,WEB_10.6.9.19_34222,WEB_10.6.9.19_34223,WEB_10.6.9.19_34226,WEB_10.6.9.19_34228,WEB_10.6.9.19_34229,WEB_10.6.9.19_34230,WEB_10.6.9.19_34233,WEB_10.6.9.19_34234,WEB_10.6.9.19_34235,WEB_10.6.9.19_34237,WEB_10.6.9.19_34238,WEB_10.6.9.19_34241,WEB_10.6.9.19_34243,WEB_10.6.9.19_34248,WEB_10.6.9.19_34250,WEB_10.6.9.19_34251,WEB_10.6.9.19_34253,WEB_10.6.9.19_34254,WEB_10.6.9.19_34255,WEB_10.6.9.19_34256,WEB_10.6.9.19_34258,WEB_10.6.9.19_34307,WEB_10.6.9.19_34308,WEB_10.6.9.19_34309,WEB_10.6.9.19_34310,WEB_10.6.9.19_34311,WEB_10.6.9.19_34448,WEB_10.6.9.19_34449,WEB_10.6.9.19_34450,WEB_10.6.9.19_34451,WEB_10.6.9.19_34452,WEB_10.6.9.19_34453,WEB_10.6.9.19_34476,WEB_10.6.9.19_34478,WEB_10.6.9.19_34483,WEB_10.6.9.19_34484,WEB_10.6.9.19_34485,WEB_10.6.9.19_34486,WEB_10.6.9.19_34490,WEB_10.6.9.19_34495,WEB_10.6.9.19_34496,WEB_10.6.9.19_34497,WEB_10.6.9.19_34498,WEB_10.6.9.19_34521,WEB_10.6.9.19_34523,WEB_10.6.9.19_34524,WEB_10.6.9.19_34559,WEB_10.6.9.19_34560,WEB_10.6.9.19_34628,WEB_10.6.9.19_34629,WEB_10.6.9.19_34630,WEB_10.6.9.19_34631,WEB_10.6.9.19_34636,WEB_10.6.9.19_34734,WEB_10.6.9.19_34797,WEB_10.6.9.19_34798,WEB_10.6.9.19_34799,WEB_10.6.9.19_34800,WEB_10.6.9.19_34801,WEB_10.6.9.19_35220,WEB_10.6.9.19_35221,WEB_10.6.9.19_35222,WEB_10.6.9.19_35224,WEB_10.6.9.19_35226,WEB_10.6.9.19_35233,WEB_10.6.9.19_35234,WEB_10.6.9.19_35235,WEB_10.6.9.19_35237,WEB_10.6.9.19_35238,WEB_10.6.9.19_35283,WEB_10.6.9.19_35284,WEB_10.6.9.19_35285,WEB_10.6.9.19_35286,WEB_10.6.9.19_35287,WEB_10.6.9.19_35347,WEB_10.6.9.19_35349,WEB_10.6.9.19_35352,WEB_10.6.9.19_35357,WEB_10.6.9.19_35358,WEB_10.6.9.19_35359,WEB_10.6.9.19_35365,WEB_10.6.9.19_35366,WEB_10.6.9.19_35367,WEB_10.6.9.19_35384,WEB_10.6.9.19_35386,WEB_10.6.9.19_35387,WEB_10.6.9.19_35389,WEB_10.6.9.19_35752,WEB_10.6.9.19_35756,WEB_10.6.9.19_35761,WEB_10.6.9.19_35762,WEB_10.6.9.19_35763,WEB_10.6.9.19_35767,WEB_10.6.9.19_35769,WEB_10.6.9.19_35770,WEB_10.6.9.19_35772,WEB_10.6.9.19_35773,WEB_10.6.9.19_35774,WEB_10.6.9.19_35775,WEB_10.6.9.19_35776,WEB_10.6.9.19_35777,WEB_10.6.9.19_35788,WEB_10.6.9.19_35807,WEB_10.6.9.19_35808,WEB_10.6.9.19_35809,WEB_10.6.9.19_35812,WEB_10.6.9.19_35882,WEB_10.6.9.19_35883,WEB_10.6.9.19_35988,WEB_10.6.9.19_35994,WEB_10.6.9.19_36000,WEB_10.6.9.19_36001,WEB_10.6.9.19_36002,WEB_10.6.9.19_36003,WEB_10.6.9.19_36005,WEB_10.6.9.19_36011,WEB_10.6.9.19_36012,WEB_10.6.9.19_36015,WEB_10.6.9.19_36017,WEB_10.6.9.19_36018,WEB_10.6.9.19_36020,WEB_10.6.9.19_36021,WEB_10.6.9.19_36022,WEB_10.6.9.19_36024,WEB_10.6.9.19_36025,WEB_10.6.9.19_36029,WEB_10.6.9.19_36032,WEB_10.6.9.19_36040,WEB_10.6.9.19_36042,WEB_10.6.9.19_36043,WEB_10.6.9.19_36550,WEB_10.6.9.19_36552,WEB_10.6.9.19_36553,WEB_10.6.9.19_36554,WEB_10.6.9.19_36555,WEB_10.6.9.19_36837,WEB_10.6.9.19_36838,WEB_10.6.9.19_36839,WEB_10.6.9.19_36840,WEB_10.6.9.19_36842,WEB_10.6.9.19_36850,WEB_10.6.9.19_36851,WEB_10.6.9.19_36852,WEB_10.6.9.19_36853,WEB_10.6.9.19_36854,WEB_10.6.9.19_36855,WEB_10.6.9.19_36859,WEB_10.6.9.19_36861,WEB_10.6.9.19_37079,WEB_10.6.9.19_37083,WEB_10.6.9.19_37084,WEB_10.6.9.19_37085,WEB_10.6.9.19_37086,WEB_10.6.9.19_37088,WEB_10.6.9.19_37210,WEB_10.6.9.19_37211,WEB_10.6.9.19_37212,WEB_10.6.9.19_37213,WEB_10.6.9.19_37215,WEB_10.6.9.19_37243,WEB_10.6.9.19_37244,WEB_10.6.9.19_37245,WEB_10.6.9.19_37246,WEB_10.6.9.19_37247,WEB_10.6.9.19_37270,WEB_10.6.9.19_37288,WEB_10.6.9.19_37289,WEB_10.6.9.19_37290,WEB_10.6.9.19_37291,WEB_10.6.9.19_37293,WEB_10.6.9.19_37296,WEB_10.6.9.19_37298,WEB_10.6.9.19_37300,WEB_10.6.9.19_37301,WEB_10.6.9.19_37302,WEB_10.6.9.19_37381,WEB_10.6.9.19_37382,WEB_10.6.9.19_37385,WEB_10.6.9.19_37386,WEB_10.6.9.19_37387,WEB_10.6.9.19_37425,WEB_10.6.9.19_37446,WEB_10.6.9.19_37557,WEB_10.6.9.19_37558,WEB_10.6.9.19_37560,WEB_10.6.9.19_37564,WEB_10.6.9.19_37565,WEB_10.6.9.19_37566,WEB_10.6.9.19_37569,WEB_10.6.9.19_37932,WEB_10.6.9.19_37934,WEB_10.6.9.19_37937,WEB_10.6.9.19_37938,WEB_10.6.9.19_37941,WEB_10.6.9.19_37947,WEB_10.6.9.19_37948,WEB_10.6.9.19_37950,WEB_10.6.9.19_37951,WEB_10.6.9.19_37952,WEB_10.6.9.19_38334,WEB_10.6.9.19_38335,WEB_10.6.9.19_38337,WEB_10.6.9.19_38338,WEB_10.6.9.19_38339,WEB_10.6.9.19_38343,WEB_10.6.9.19_38489,WEB_10.6.9.19_38491,WEB_10.6.9.19_38492,WEB_10.6.9.19_38493,WEB_10.6.9.19_38494,WEB_10.6.9.19_38653,WEB_10.6.9.19_38654,WEB_10.6.9.19_38655,WEB_10.6.9.19_38656,WEB_10.6.9.19_38672,WEB_10.6.9.19_38791,WEB_10.6.9.19_38792,WEB_10.6.9.19_38793,WEB_10.6.9.19_38794,WEB_10.6.9.19_38795,WEB_10.6.9.19_38796,WEB_10.6.9.19_38799,WEB_10.6.9.19_38800,WEB_10.6.9.19_38802,WEB_10.6.9.19_38808,WEB_10.6.9.19_38821,WEB_10.6.9.19_38825,WEB_10.6.9.19_38826,WEB_10.6.9.19_38827,WEB_10.6.9.19_38830,WEB_10.6.9.19_38831,WEB_10.6.9.19_38835,WEB_10.6.9.19_39022,WEB_10.6.9.19_39023,WEB_10.6.9.19_39024,WEB_10.6.9.19_39025,WEB_10.6.9.19_39026,WEB_10.6.9.19_39081,WEB_10.6.9.19_39112,WEB_10.6.9.19_39113,WEB_10.6.9.19_39114,WEB_10.6.9.19_39115,WEB_10.6.9.19_39117,WEB_10.6.9.19_40512,WEB_10.6.9.19_40513,WEB_10.6.9.19_40514,WEB_10.6.9.19_40515,WEB_10.6.9.19_40517,WEB_10.6.9.19_41281,WEB_10.6.9.19_41291,WEB_10.6.9.19_41362,WEB_10.6.9.19_41391,WEB_10.6.9.19_41397,WEB_10.6.9.19_41398,WEB_10.6.9.19_41399,WEB_10.6.9.19_41402,WEB_10.6.9.19_42405,WEB_10.6.9.19_42406,WEB_10.6.9.19_42407,WEB_10.6.9.19_42408,WEB_10.6.9.19_42410,WEB_10.6.9.19_42412,WEB_10.6.9.19_42519,WEB_10.6.9.19_42520,WEB_10.6.9.19_42521,WEB_10.6.9.19_42522,WEB_10.6.9.19_42523,WEB_10.6.9.19_42594,WEB_10.6.9.19_42596,WEB_10.6.9.19_42597,WEB_10.6.9.19_42598,WEB_10.6.9.19_42602,WEB_10.6.9.19_42606,WEB_10.6.9.19_42612,WEB_10.6.9.19_42613,WEB_10.6.9.19_42615,WEB_10.6.9.19_51694,WEB_10.6.9.19_51695,WEB_10.6.9.19_51697,WEB_10.6.9.19_51698,WEB_10.6.9.19_51699,WEB_10.6.9.19_51700,WEB_10.6.9.19_51703,WEB_10.6.9.19_51863,WEB_10.6.9.19_51864,WEB_10.6.9.19_51866,WEB_10.6.9.19_51867,WEB_10.6.9.19_51868,WEB_10.6.9.19_51869,WEB_10.6.9.19_51870,WEB_10.6.9.19_51871,WEB_10.6.9.19_51874,WEB_10.6.9.19_51875,WEB_10.6.9.19_51910,WEB_10.6.9.19_51911,WEB_10.6.9.19_51913,WEB_10.6.9.19_51915,WEB_10.6.9.19_51942,WEB_10.6.9.19_51946,WEB_10.6.9.19_51950,WEB_10.6.9.19_51952,WEB_10.6.9.19_51956,WEB_10.6.9.19_51973,WEB_10.6.9.19_51974,WEB_10.6.9.19_51978,WEB_10.6.9.19_51984,WEB_10.6.9.19_51985,WEB_10.6.9.19_51987,WEB_10.6.9.19_51988,WEB_10.6.9.19_51989,WEB_10.6.9.19_51990,WEB_10.6.9.19_51992,WEB_10.6.9.19_52028,WEB_10.6.9.19_52029,WEB_10.6.9.19_52030,WEB_10.6.9.19_52032,WEB_10.6.9.19_52033,WEB_10.6.9.19_52219,WEB_10.6.9.19_52220,WEB_10.6.9.19_52221,WEB_10.6.9.19_52222,WEB_10.6.9.19_52223,WEB_10.6.9.19_52234,WEB_10.6.9.19_52235,WEB_10.6.9.19_52236,WEB_10.6.9.19_52237,WEB_10.6.9.19_52295,WEB_10.6.9.19_52296,WEB_10.6.9.19_52298,WEB_10.6.9.19_52299,WEB_10.6.9.19_52300,WEB_10.6.9.19_52313,WEB_10.6.9.19_52314,WEB_10.6.9.19_52315,WEB_10.6.9.19_52316,WEB_10.6.9.19_52319,WEB_10.6.9.19_52321,WEB_10.6.9.19_52326,WEB_10.6.9.19_52328,WEB_10.6.9.19_52329,WEB_10.6.9.19_52342,WEB_10.6.9.19_52344,WEB_10.6.9.19_52346,WEB_10.6.9.19_52347,WEB_10.6.9.19_52349,WEB_10.6.9.19_52354,WEB_10.6.9.19_52355,WEB_10.6.9.19_52356,WEB_10.6.9.19_52357,WEB_10.6.9.19_52359,WEB_10.6.9.19_52841,WEB_10.6.9.19_52842,WEB_10.6.9.19_52843,WEB_10.6.9.19_52844,WEB_10.6.9.19_52846,WEB_10.6.9.19_52899,WEB_10.6.9.19_52901,WEB_10.6.9.19_52902,WEB_10.6.9.19_52903,WEB_10.6.9.19_52907,WEB_10.6.9.19_53207,WEB_10.6.9.19_53208,WEB_10.6.9.19_53210,WEB_10.6.9.19_53211,WEB_10.6.9.19_53213,WEB_10.6.9.19_53244,WEB_10.6.9.19_53245,WEB_10.6.9.19_53246,WEB_10.6.9.19_53247,WEB_10.6.9.19_53249,WEB_10.6.9.19_53476,WEB_10.6.9.19_53477,WEB_10.6.9.19_53478,WEB_10.6.9.19_53479,WEB_10.6.9.19_53481,WEB_10.6.9.19_53511,WEB_10.6.9.19_53514,WEB_10.6.9.19_53519,WEB_10.6.9.19_53520,WEB_10.6.9.19_53521,WEB_10.6.9.19_53535,WEB_10.6.9.19_53539,WEB_10.6.9.19_53540,WEB_10.6.9.19_53544,WEB_10.6.9.19_53545,WEB_10.6.9.19_53599,WEB_10.6.9.19_53600,WEB_10.6.9.19_53602,WEB_10.6.9.19_53603,WEB_10.6.9.19_53604,WEB_10.6.9.19_53609,WEB_10.6.9.19_53610,WEB_10.6.9.19_53613,WEB_10.6.9.19_53614,WEB_10.6.9.19_53617,WEB_10.6.9.19_53618,WEB_10.6.9.19_53619,WEB_10.6.9.19_53620,WEB_10.6.9.19_53622,WEB_10.6.9.19_53623,WEB_10.6.9.19_53626,WEB_10.6.9.19_53628,WEB_10.6.9.19_53629,WEB_10.6.9.19_53631,WEB_10.6.9.19_53632,WEB_10.6.9.19_53633,WEB_10.6.9.19_53636,WEB_10.6.9.19_53657,WEB_10.6.9.19_53659,WEB_10.6.9.19_53660,WEB_10.6.9.19_53662,WEB_10.6.9.19_53663,WEB_10.6.9.19_53665,WEB_10.6.9.19_53674,WEB_10.6.9.19_53676,WEB_10.6.9.19_53678,WEB_10.6.9.19_53682,WEB_10.6.9.19_53684,WEB_10.6.9.19_53685,WEB_10.6.9.19_53707,WEB_10.6.9.19_53717,WEB_10.6.9.19_53719,WEB_10.6.9.19_53721,WEB_10.6.9.19_53722,WEB_10.6.9.19_53723,WEB_10.6.9.19_53724,WEB_10.6.9.19_53734,WEB_10.6.9.19_53735,WEB_10.6.9.19_53736,WEB_10.6.9.19_53737,WEB_10.6.9.19_53738,WEB_10.6.9.19_53739,WEB_10.6.9.19_53840,WEB_10.6.9.19_53841,WEB_10.6.9.19_53842,WEB_10.6.9.19_53843,WEB_10.6.9.19_53844,WEB_10.6.9.19_53937,WEB_10.6.9.19_53938,WEB_10.6.9.19_53939,WEB_10.6.9.19_53941,WEB_10.6.9.19_54066,WEB_10.6.9.19_54067,WEB_10.6.9.19_54068,WEB_10.6.9.19_54070,WEB_10.6.9.19_54071,WEB_10.6.9.19_54073,WEB_10.6.9.19_54075,WEB_10.6.9.19_54076,WEB_10.6.9.19_54077,WEB_10.6.9.19_54079,WEB_10.6.9.19_54450,WEB_10.6.9.19_54451,WEB_10.6.9.19_54452,WEB_10.6.9.19_54453,WEB_10.6.9.19_54454,WEB_10.6.9.19_54455,WEB_10.6.9.19_54717,WEB_10.6.9.19_54718,WEB_10.6.9.19_54719,WEB_10.6.9.19_54749,WEB_10.6.9.19_54750,WEB_10.6.9.19_54751,WEB_10.6.9.19_54753,WEB_10.6.9.19_54755,WEB_10.6.9.19_54758,WEB_10.6.9.19_54759,WEB_10.6.9.19_54761,WEB_10.6.9.19_54762,WEB_10.6.9.19_54846,WEB_10.6.9.19_54847,WEB_10.6.9.19_54848,WEB_10.6.9.19_54849,WEB_10.6.9.19_54850,WEB_10.6.9.19_54862,WEB_10.6.9.19_54866,WEB_10.6.9.19_54867,WEB_10.6.9.19_54868,WEB_10.6.9.19_54869,WEB_10.6.9.19_54875,WEB_10.6.9.19_54876,WEB_10.6.9.19_54877,WEB_10.6.9.19_54879,WEB_10.6.9.19_54880,WEB_10.6.9.19_54886,WEB_10.6.9.19_54887,WEB_10.6.9.19_54888,WEB_10.6.9.19_54889,WEB_10.6.9.19_54891,WEB_10.6.9.19_54894,WEB_10.6.9.19_54898,WEB_10.6.9.19_54901,WEB_10.6.9.19_54902,WEB_10.6.9.19_54917,WEB_10.6.9.19_54918,WEB_10.6.9.19_54919,WEB_10.6.9.19_54920,WEB_10.6.9.19_54921,WEB_10.6.9.19_54960,WEB_10.6.9.19_54962,WEB_10.6.9.19_54965,WEB_10.6.9.19_54976,WEB_10.6.9.19_54977,WEB_10.6.9.19_54978,WEB_10.6.9.19_54980,WEB_10.6.9.19_54982,WEB_10.6.9.19_54991,WEB_10.6.9.19_54992,WEB_10.6.9.19_55009,WEB_10.6.9.19_55011,WEB_10.6.9.19_55012,WEB_10.6.9.19_55013,WEB_10.6.9.19_55014,WEB_10.6.9.19_55018,WEB_10.6.9.19_55020,WEB_10.6.9.19_55024,WEB_10.6.9.19_55025,WEB_10.6.9.19_55027,WEB_10.6.9.19_55029,WEB_10.6.9.19_55030,WEB_10.6.9.19_55031,WEB_10.6.9.19_55032,WEB_10.6.9.19_55033,WEB_10.6.9.19_55035,WEB_10.6.9.19_55036,WEB_10.6.9.19_55041,WEB_10.6.9.19_55042,WEB_10.6.9.19_55043,WEB_10.6.9.19_55044,WEB_10.6.9.19_55045,WEB_10.6.9.19_55050,WEB_10.6.9.19_55053,WEB_10.6.9.19_55054,WEB_10.6.9.19_55055,WEB_10.6.9.19_55056,WEB_10.6.9.19_55085,WEB_10.6.9.19_55086,WEB_10.6.9.19_55087,WEB_10.6.9.19_55088,WEB_10.6.9.19_55089,WEB_10.6.9.19_55090,WEB_10.6.9.19_55097,WEB_10.6.9.19_55099,WEB_10.6.9.19_55100,WEB_10.6.9.19_55101,WEB_10.6.9.19_55102,WEB_10.6.9.19_55103,WEB_10.6.9.19_55110,WEB_10.6.9.19_55111,WEB_10.6.9.19_55112,WEB_10.6.9.19_55113,WEB_10.6.9.19_55114,WEB_10.6.9.19_55115,WEB_10.6.9.19_55117,WEB_10.6.9.19_55125,WEB_10.6.9.19_55127,WEB_10.6.9.19_55128,WEB_10.6.9.19_55129,WEB_10.6.9.19_55130,WEB_10.6.9.19_55151,WEB_10.6.9.19_55152,WEB_10.6.9.19_55153,WEB_10.6.9.19_55154,WEB_10.6.9.19_55156,WEB_10.6.9.19_55241,WEB_10.6.9.19_55243,WEB_10.6.9.19_55244,WEB_10.6.9.19_55245,WEB_10.6.9.19_55246,WEB_10.6.9.19_55251,WEB_10.6.9.19_55252,WEB_10.6.9.19_55253,WEB_10.6.9.19_55254,WEB_10.6.9.19_55255,WEB_10.6.9.19_55303,WEB_10.6.9.19_55304,WEB_10.6.9.19_55305,WEB_10.6.9.19_55306,WEB_10.6.9.19_55313,WEB_10.6.9.19_55380,WEB_10.6.9.19_55382,WEB_10.6.9.19_55384,WEB_10.6.9.19_55385,WEB_10.6.9.19_55386,WEB_10.6.9.19_55387,WEB_10.6.9.19_55388,WEB_10.6.9.19_55389,WEB_10.6.9.19_55390,WEB_10.6.9.19_55392,WEB_10.6.9.19_55409,WEB_10.6.9.19_55410,WEB_10.6.9.19_55412,WEB_10.6.9.19_55413,WEB_10.6.9.19_55414,WEB_10.6.9.19_55749,WEB_10.6.9.19_55986,WEB_10.6.9.19_55987,WEB_10.6.9.19_55988,WEB_10.6.9.19_55989,WEB_10.6.9.19_55990,WEB_10.6.9.19_56115,WEB_10.6.9.19_56116,WEB_10.6.9.19_56117,WEB_10.6.9.19_56119,WEB_10.6.9.19_56120,WEB_10.6.9.19_56152,WEB_10.6.9.19_56153,WEB_10.6.9.19_56154,WEB_10.6.9.19_56156,WEB_10.6.9.19_56157,WEB_10.6.9.19_56353,WEB_10.6.9.19_56354,WEB_10.6.9.19_56355,WEB_10.6.9.19_56356,WEB_10.6.9.19_56357,WEB_10.6.9.19_56419,WEB_10.6.9.19_56421,WEB_10.6.9.19_56422,WEB_10.6.9.19_56423,WEB_10.6.9.19_56424,WEB_10.6.9.19_56429,WEB_10.6.9.19_56471,WEB_10.6.9.19_56472,WEB_10.6.9.19_56474,WEB_10.6.9.19_56475,WEB_10.6.9.19_56476,WEB_10.6.9.19_56536,WEB_10.6.9.19_56538,WEB_10.6.9.19_56544,WEB_10.6.9.19_56554,WEB_10.6.9.19_56555,WEB_10.6.9.19_56558,WEB_10.6.9.19_56560,WEB_10.6.9.19_56562,WEB_10.6.9.19_56563,WEB_10.6.9.19_56566,WEB_10.6.9.19_56661,WEB_10.6.9.19_56662,WEB_10.6.9.19_56663,WEB_10.6.9.19_56664,WEB_10.6.9.19_56666,WEB_10.6.9.19_56668,WEB_10.6.9.19_56669,WEB_10.6.9.19_56670,WEB_10.6.9.19_56671,WEB_10.6.9.19_56674,WEB_10.6.9.19_56935,WEB_10.6.9.19_56936,WEB_10.6.9.19_56937,WEB_10.6.9.19_56938,WEB_10.6.9.19_56939,WEB_10.6.9.19_56950,WEB_10.6.9.19_56952,WEB_10.6.9.19_56955,WEB_10.6.9.19_56958,WEB_10.6.9.19_56959,WEB_10.6.9.19_56970,WEB_10.6.9.19_56973,WEB_10.6.9.19_56974,WEB_10.6.9.19_56976,WEB_10.6.9.19_56977,WEB_10.6.9.19_57025,WEB_10.6.9.19_57026,WEB_10.6.9.19_57028,WEB_10.6.9.19_57030,WEB_10.6.9.19_57034,WEB_10.6.9.19_57056,WEB_10.6.9.19_57057,WEB_10.6.9.19_57059,WEB_10.6.9.19_57060,WEB_10.6.9.19_57061,WEB_10.6.9.19_57062,WEB_10.6.9.19_57064,WEB_10.6.9.19_57065,WEB_10.6.9.19_57069,WEB_10.6.9.19_57079,WEB_10.6.9.19_57243,WEB_10.6.9.19_57467,WEB_10.6.9.19_57468,WEB_10.6.9.19_57469,WEB_10.6.9.19_57471,WEB_10.6.9.19_57472,WEB_10.6.9.19_57476,WEB_10.6.9.19_57477,WEB_10.6.9.19_57478,WEB_10.6.9.19_57482,WEB_10.6.9.19_57485,WEB_10.6.9.19_57542,WEB_10.6.9.19_57543,WEB_10.6.9.19_57544,WEB_10.6.9.19_57545,WEB_10.6.9.19_57547,WEB_10.6.9.19_57567,WEB_10.6.9.19_57568,WEB_10.6.9.19_57569,WEB_10.6.9.19_57571,WEB_10.6.9.19_57572,WEB_10.6.9.19_57776,WEB_10.6.9.19_57777,WEB_10.6.9.19_57778,WEB_10.6.9.19_57779,WEB_10.6.9.19_57780,WEB_10.6.9.19_57794,WEB_10.6.9.19_57795,WEB_10.6.9.19_57797,WEB_10.6.9.19_57799,WEB_10.6.9.19_57800,WEB_10.6.9.19_57828,WEB_10.6.9.19_57831,WEB_10.6.9.19_57832,WEB_10.6.9.19_57835,WEB_10.6.9.19_57913,WEB_10.6.9.19_57914,WEB_10.6.9.19_57915,WEB_10.6.9.19_57916,WEB_10.6.9.19_57917,WEB_10.6.9.19_57918,WEB_10.6.9.19_57920,WEB_10.6.9.19_57921,WEB_10.6.9.19_57937,WEB_10.6.9.19_57938,WEB_10.6.9.19_57939,WEB_10.6.9.19_57941,WEB_10.6.9.19_57942,WEB_10.6.9.19_57963,WEB_10.6.9.19_57969,WEB_10.6.9.19_57970,WEB_10.6.9.19_57973,WEB_10.6.9.19_57974,WEB_10.6.9.19_57981,WEB_10.6.9.19_57982,WEB_10.6.9.19_57985,WEB_10.6.9.19_57986,WEB_10.6.9.19_57989,WEB_10.6.9.19_57992,WEB_10.6.9.19_58086,WEB_10.6.9.19_58087,WEB_10.6.9.19_58088,WEB_10.6.9.19_58089,WEB_10.6.9.19_58090,WEB_10.6.9.19_58258,WEB_10.6.9.19_58260,WEB_10.6.9.19_58261,WEB_10.6.9.19_58262,WEB_10.6.9.19_58263,WEB_10.6.9.19_58437,WEB_10.6.9.19_58438,WEB_10.6.9.19_58439,WEB_10.6.9.19_58440,WEB_10.6.9.19_58441,WEB_10.6.9.19_58444,WEB_10.6.9.19_58445,WEB_10.6.9.19_58446,WEB_10.6.9.19_58451,WEB_10.6.9.19_58452,WEB_10.6.9.19_58453,WEB_10.6.9.19_58465,WEB_10.6.9.19_58466,WEB_10.6.9.19_58467,WEB_10.6.9.19_58468,WEB_10.6.9.19_58469,WEB_10.6.9.19_58478,WEB_10.6.9.19_58492,WEB_10.6.9.19_58493,WEB_10.6.9.19_58494,WEB_10.6.9.19_58495,WEB_10.6.9.19_58497,WEB_10.6.9.19_58502,WEB_10.6.9.19_58535,WEB_10.6.9.19_58536,WEB_10.6.9.19_58537,WEB_10.6.9.19_58541,WEB_10.6.9.19_58542,WEB_10.6.9.19_59042,WEB_10.6.9.19_59043,WEB_10.6.9.19_59044,WEB_10.6.9.19_59539,WEB_10.6.9.19_59541,WEB_10.6.9.19_59542,WEB_10.6.9.19_59543,WEB_10.6.9.19_59544,WEB_10.6.9.19_59977,WEB_10.6.9.19_59978,WEB_10.6.9.19_59979,WEB_10.6.9.19_59981,WEB_10.6.9.19_59982,WEB_10.6.9.19_59983,WEB_10.6.9.19_60340,WEB_10.6.9.19_60347,WEB_10.6.9.19_60349,WEB_10.6.9.19_60350,WEB_10.6.9.19_60351,WEB_10.6.9.19_60388,WEB_10.6.9.19_60389,WEB_10.6.9.19_60390,WEB_10.6.9.19_60392,WEB_10.6.9.19_60393,WEB_10.6.9.19_60457,WEB_10.6.9.19_60460,WEB_10.6.9.2_41250,WEB_10.6.9.2_41252,WEB_10.6.9.2_41254,WEB_10.6.9.2_41258,WEB_10.6.9.2_41260,WEB_10.6.9.2_44024,WEB_10.6.9.2_44260,WEB_10.6.9.2_44264,WEB_10.6.9.2_44266,WEB_10.6.9.2_44268,WEB_10.6.9.2_44990,WEB_10.6.9.2_51792,WEB_10.6.9.2_51794,WEB_10.6.9.2_51796,WEB_10.6.9.2_51798,WEB_10.6.9.2_51800,WEB_10.6.9.2_56416,WEB_10.6.9.2_56422,WEB_10.6.9.2_56424,WEB_10.6.9.2_56426,WEB_10.6.9.2_56688,WEB_10.6.9.2_56690,WEB_10.6.9.2_56692,WEB_10.6.9.2_56694,WEB_10.6.9.2_57214,WEB_10.6.9.2_57218,WEB_10.6.9.2_57268,WEB_10.6.9.4_33390,WEB_10.6.9.4_37396,WEB_10.6.9.4_37402,WEB_10.6.9.4_37706,WEB_10.6.9.4_37740,WEB_10.6.9.4_37754,WEB_10.6.9.4_37764,WEB_10.6.9.4_37820,WEB_10.6.9.4_37822,WEB_10.6.9.4_37832,WEB_10.6.9.4_37834,WEB_10.6.9.4_37866,WEB_10.6.9.4_37868,WEB_10.6.9.4_37870,WEB_10.6.9.4_37912,WEB_10.6.9.4_37964,WEB_10.6.9.4_37966,WEB_10.6.9.4_37968,WEB_10.6.9.4_37970,WEB_10.6.9.4_37972,WEB_10.6.9.4_40650,WEB_10.6.9.4_41560,WEB_10.6.9.4_41606,WEB_10.6.9.4_41610,WEB_10.6.9.4_41616,WEB_10.6.9.4_41680,WEB_10.6.9.4_41878,WEB_10.6.9.4_41880,WEB_10.6.9.4_41884,WEB_10.6.9.4_41886,WEB_10.6.9.4_41892,WEB_10.6.9.4_41894,WEB_10.6.9.4_41898,WEB_10.6.9.4_41922,WEB_10.6.9.4_41924,WEB_10.6.9.4_41932,WEB_10.6.9.4_41940,WEB_10.6.9.4_41972,WEB_10.6.9.4_41974,WEB_10.6.9.4_41978,WEB_10.6.9.4_41982,WEB_10.6.9.4_42008,WEB_10.6.9.4_42010,WEB_10.6.9.4_42012,WEB_10.6.9.4_42014,WEB_10.6.9.4_42030,WEB_10.6.9.4_42052,WEB_10.6.9.4_42062,WEB_10.6.9.4_42066,WEB_10.6.9.4_42072,WEB_10.6.9.4_42078,WEB_10.6.9.4_42080,WEB_10.6.9.4_42082,WEB_10.6.9.4_42104,WEB_10.6.9.4_42108,WEB_10.6.9.4_42110,WEB_10.6.9.4_42112,WEB_10.6.9.4_42116,WEB_10.6.9.4_42120,WEB_10.6.9.4_42122,WEB_10.6.9.4_42124,WEB_10.6.9.4_42190,WEB_10.6.9.4_42194,WEB_10.6.9.4_42196,WEB_10.6.9.4_42198,WEB_10.6.9.4_42208,WEB_10.6.9.4_42248,WEB_10.6.9.4_42250,WEB_10.6.9.4_42254,WEB_10.6.9.4_42260,WEB_10.6.9.4_42354,WEB_10.6.9.4_42356,WEB_10.6.9.4_42358,WEB_10.6.9.4_42434,WEB_10.6.9.4_42464,WEB_10.6.9.4_42470,WEB_10.6.9.4_42480,WEB_10.6.9.4_42482,WEB_10.6.9.4_42576,WEB_10.6.9.4_42578,WEB_10.6.9.4_42582,WEB_10.6.9.4_42584,WEB_10.6.9.4_42586,WEB_10.6.9.4_43244,WEB_10.6.9.4_43246,WEB_10.6.9.4_43248,WEB_10.6.9.4_43250,WEB_10.6.9.4_43252,WEB_10.6.9.4_43366,WEB_10.6.9.4_43370,WEB_10.6.9.4_43378,WEB_10.6.9.4_43380,WEB_10.6.9.4_43382,WEB_10.6.9.4_43428,WEB_10.6.9.4_43434,WEB_10.6.9.4_43436,WEB_10.6.9.4_43440,WEB_10.6.9.4_43442,WEB_10.6.9.4_43470,WEB_10.6.9.4_43476,WEB_10.6.9.4_43478,WEB_10.6.9.4_43484,WEB_10.6.9.4_43486,WEB_10.6.9.4_43510,WEB_10.6.9.4_43518,WEB_10.6.9.4_43520,WEB_10.6.9.4_43540,WEB_10.6.9.4_43542,WEB_10.6.9.4_43574,WEB_10.6.9.4_43578,WEB_10.6.9.4_43580,WEB_10.6.9.4_43582,WEB_10.6.9.4_43584,WEB_10.6.9.4_43596,WEB_10.6.9.4_43598,WEB_10.6.9.4_43600,WEB_10.6.9.4_43604,WEB_10.6.9.4_43610,WEB_10.6.9.4_43646,WEB_10.6.9.4_43648,WEB_10.6.9.4_43650,WEB_10.6.9.4_43652,WEB_10.6.9.4_43658,WEB_10.6.9.4_43676,WEB_10.6.9.4_43680,WEB_10.6.9.4_43696,WEB_10.6.9.4_43698,WEB_10.6.9.4_43700,WEB_10.6.9.4_43852,WEB_10.6.9.4_43856,WEB_10.6.9.4_43864,WEB_10.6.9.4_43866,WEB_10.6.9.4_43868,WEB_10.6.9.4_44126,WEB_10.6.9.4_44134,WEB_10.6.9.4_44136,WEB_10.6.9.4_44148,WEB_10.6.9.4_44150,WEB_10.6.9.4_44222,WEB_10.6.9.4_44224,WEB_10.6.9.4_44226,WEB_10.6.9.4_44230,WEB_10.6.9.4_44232,WEB_10.6.9.4_44282,WEB_10.6.9.4_44284,WEB_10.6.9.4_44298,WEB_10.6.9.4_44324,WEB_10.6.9.4_44328,WEB_10.6.9.4_44382,WEB_10.6.9.4_44384,WEB_10.6.9.4_44386,WEB_10.6.9.4_44390,WEB_10.6.9.4_44392,WEB_10.6.9.4_44410,WEB_10.6.9.4_44412,WEB_10.6.9.4_44414,WEB_10.6.9.4_44416,WEB_10.6.9.4_44420,WEB_10.6.9.4_44464,WEB_10.6.9.4_44470,WEB_10.6.9.4_44486,WEB_10.6.9.4_44490,WEB_10.6.9.4_44506,WEB_10.6.9.4_44514,WEB_10.6.9.4_44516,WEB_10.6.9.4_44518,WEB_10.6.9.4_44520,WEB_10.6.9.4_44522,WEB_10.6.9.4_44674,WEB_10.6.9.4_44678,WEB_10.6.9.4_44680,WEB_10.6.9.4_44682,WEB_10.6.9.4_44700,WEB_10.6.9.4_44914,WEB_10.6.9.4_44920,WEB_10.6.9.4_44922,WEB_10.6.9.4_44924,WEB_10.6.9.4_44926,WEB_10.6.9.4_44948,WEB_10.6.9.4_44950,WEB_10.6.9.4_44952,WEB_10.6.9.4_44960,WEB_10.6.9.4_44962,WEB_10.6.9.4_44986,WEB_10.6.9.4_44990,WEB_10.6.9.4_44992,WEB_10.6.9.4_44994,WEB_10.6.9.4_44996,WEB_10.6.9.4_45008,WEB_10.6.9.4_45012,WEB_10.6.9.4_45016,WEB_10.6.9.4_45020,WEB_10.6.9.4_45022,WEB_10.6.9.4_45034,WEB_10.6.9.4_45042,WEB_10.6.9.4_45050,WEB_10.6.9.4_45060,WEB_10.6.9.4_45062,WEB_10.6.9.4_45074,WEB_10.6.9.4_45078,WEB_10.6.9.4_45080,WEB_10.6.9.4_45082,WEB_10.6.9.4_45084,WEB_10.6.9.4_45094,WEB_10.6.9.4_45096,WEB_10.6.9.4_45100,WEB_10.6.9.4_45102,WEB_10.6.9.4_45104,WEB_10.6.9.4_45120,WEB_10.6.9.4_45128,WEB_10.6.9.4_45134,WEB_10.6.9.4_45142,WEB_10.6.9.4_45144,WEB_10.6.9.4_45152,WEB_10.6.9.4_45158,WEB_10.6.9.4_45178,WEB_10.6.9.4_45214,WEB_10.6.9.4_45218,WEB_10.6.9.4_45220,WEB_10.6.9.4_45226,WEB_10.6.9.4_45228,WEB_10.6.9.4_45368,WEB_10.6.9.4_45370,WEB_10.6.9.4_45376,WEB_10.6.9.4_45378,WEB_10.6.9.4_45380,WEB_10.6.9.4_45478,WEB_10.6.9.4_45484,WEB_10.6.9.4_45486,WEB_10.6.9.4_45488,WEB_10.6.9.4_45490,WEB_10.6.9.4_45534,WEB_10.6.9.4_45538,WEB_10.6.9.4_45544,WEB_10.6.9.4_45548,WEB_10.6.9.4_45586,WEB_10.6.9.4_45590,WEB_10.6.9.4_45592,WEB_10.6.9.4_45596,WEB_10.6.9.4_45608,WEB_10.6.9.4_45610,WEB_10.6.9.4_45632,WEB_10.6.9.4_45656,WEB_10.6.9.4_45658,WEB_10.6.9.4_45660,WEB_10.6.9.4_45758,WEB_10.6.9.4_45770,WEB_10.6.9.4_45778,WEB_10.6.9.4_45782,WEB_10.6.9.4_45876,WEB_10.6.9.4_45892,WEB_10.6.9.4_45894,WEB_10.6.9.4_45898,WEB_10.6.9.4_45934,WEB_10.6.9.4_45968,WEB_10.6.9.4_45970,WEB_10.6.9.4_45972,WEB_10.6.9.4_45976,WEB_10.6.9.4_46162,WEB_10.6.9.4_46184,WEB_10.6.9.4_46190,WEB_10.6.9.4_46200,WEB_10.6.9.4_46220,WEB_10.6.9.4_46510,WEB_10.6.9.4_46514,WEB_10.6.9.4_46518,WEB_10.6.9.4_46520,WEB_10.6.9.4_46522,WEB_10.6.9.4_46530,WEB_10.6.9.4_46534,WEB_10.6.9.4_46536,WEB_10.6.9.4_46538,WEB_10.6.9.4_46540,WEB_10.6.9.4_47170,WEB_10.6.9.4_47174,WEB_10.6.9.4_47178,WEB_10.6.9.4_47180,WEB_10.6.9.4_47194,WEB_10.6.9.4_47200,WEB_10.6.9.4_47202,WEB_10.6.9.4_47204,WEB_10.6.9.4_47296,WEB_10.6.9.4_47300,WEB_10.6.9.4_47316,WEB_10.6.9.4_47320,WEB_10.6.9.4_47598,WEB_10.6.9.4_47604,WEB_10.6.9.4_47610,WEB_10.6.9.4_47612,WEB_10.6.9.4_47618,WEB_10.6.9.4_47620,WEB_10.6.9.4_47626,WEB_10.6.9.4_47638,WEB_10.6.9.4_47646,WEB_10.6.9.4_47648,WEB_10.6.9.4_47666,WEB_10.6.9.4_47670,WEB_10.6.9.4_47678,WEB_10.6.9.4_47724,WEB_10.6.9.4_47746,WEB_10.6.9.4_47770,WEB_10.6.9.4_47774,WEB_10.6.9.4_47798,WEB_10.6.9.4_47828,WEB_10.6.9.4_47834,WEB_10.6.9.4_48326,WEB_10.6.9.4_48328,WEB_10.6.9.4_48332,WEB_10.6.9.4_48334,WEB_10.6.9.4_48336,WEB_10.6.9.4_48714,WEB_10.6.9.4_48718,WEB_10.6.9.4_48726,WEB_10.6.9.4_48728,WEB_10.6.9.4_48744,WEB_10.6.9.4_48746,WEB_10.6.9.4_48748,WEB_10.6.9.4_48750,WEB_10.6.9.4_48752,WEB_10.6.9.4_48822,WEB_10.6.9.4_48824,WEB_10.6.9.4_48830,WEB_10.6.9.4_48842,WEB_10.6.9.4_48974,WEB_10.6.9.4_49042,WEB_10.6.9.4_49074,WEB_10.6.9.4_49224,WEB_10.6.9.4_49226,WEB_10.6.9.4_49228,WEB_10.6.9.4_49230,WEB_10.6.9.4_49234,WEB_10.6.9.4_49240,WEB_10.6.9.4_49242,WEB_10.6.9.4_49252,WEB_10.6.9.4_49254,WEB_10.6.9.4_49256,WEB_10.6.9.4_49368,WEB_10.6.9.4_49370,WEB_10.6.9.4_49372,WEB_10.6.9.4_49374,WEB_10.6.9.4_49378,WEB_10.6.9.4_49624,WEB_10.6.9.4_49626,WEB_10.6.9.4_49628,WEB_10.6.9.4_49630,WEB_10.6.9.4_49632,WEB_10.6.9.4_50532,WEB_10.6.9.4_50534,WEB_10.6.9.4_50536,WEB_10.6.9.4_50538,WEB_10.6.9.4_50540,WEB_10.6.9.4_50548,WEB_10.6.9.4_50550,WEB_10.6.9.4_50552,WEB_10.6.9.4_50588,WEB_10.6.9.4_50594,WEB_10.6.9.4_60210,WEB_192.168.240.252_32798,WEB_192.168.240.252_32806,WEB_192.168.240.252_32870,WEB_192.168.240.252_32872,WEB_192.168.240.252_32884,WEB_192.168.240.252_32888,WEB_192.168.240.252_32950,WEB_192.168.240.252_32952,WEB_192.168.240.252_32956,WEB_192.168.240.252_32958,WEB_192.168.240.252_32962,WEB_192.168.240.252_33366,WEB_192.168.240.252_33370,WEB_192.168.240.252_33374,WEB_192.168.240.252_33376,WEB_192.168.240.252_33730,WEB_192.168.240.252_33788,WEB_192.168.240.252_33822,WEB_192.168.240.252_33824,WEB_192.168.240.252_33838,WEB_192.168.240.252_33840,WEB_192.168.240.252_33856,WEB_192.168.240.252_33862,WEB_192.168.240.252_33864,WEB_192.168.240.252_33866,WEB_192.168.240.252_33880,WEB_192.168.240.252_33894,WEB_192.168.240.252_33896,WEB_192.168.240.252_33898,WEB_192.168.240.252_33920,WEB_192.168.240.252_33946,WEB_192.168.240.252_33948,WEB_192.168.240.252_33950,WEB_192.168.240.252_33952,WEB_192.168.240.252_33954,WEB_192.168.240.252_33968,WEB_192.168.240.252_33970,WEB_192.168.240.252_33974,WEB_192.168.240.252_33976,WEB_192.168.240.252_33980,WEB_192.168.240.252_33986,WEB_192.168.240.252_33988,WEB_192.168.240.252_33990,WEB_192.168.240.252_34030,WEB_192.168.240.252_34104,WEB_192.168.240.252_34108,WEB_192.168.240.252_34110,WEB_192.168.240.252_34120,WEB_192.168.240.252_34122,WEB_192.168.240.252_34168,WEB_192.168.240.252_34170,WEB_192.168.240.252_34172,WEB_192.168.240.252_34176,WEB_192.168.240.252_34178,WEB_192.168.240.252_34476,WEB_192.168.240.252_34478,WEB_192.168.240.252_34482,WEB_192.168.240.252_34484,WEB_192.168.240.252_34486,WEB_192.168.240.252_34694,WEB_192.168.240.252_34700,WEB_192.168.240.252_34702,WEB_192.168.240.252_34704,WEB_192.168.240.252_34730,WEB_192.168.240.252_34784,WEB_192.168.240.252_34786,WEB_192.168.240.252_34790,WEB_192.168.240.252_34792,WEB_192.168.240.252_34796,WEB_192.168.240.252_34830,WEB_192.168.240.252_34832,WEB_192.168.240.252_34838,WEB_192.168.240.252_34842,WEB_192.168.240.252_34846,WEB_192.168.240.252_34852,WEB_192.168.240.252_34868,WEB_192.168.240.252_34872,WEB_192.168.240.252_34880,WEB_192.168.240.252_34886,WEB_192.168.240.252_34888,WEB_192.168.240.252_34890,WEB_192.168.240.252_35020,WEB_192.168.240.252_35028,WEB_192.168.240.252_35044,WEB_192.168.240.252_35046,WEB_192.168.240.252_35048,WEB_192.168.240.252_35080,WEB_192.168.240.252_35082,WEB_192.168.240.252_35084,WEB_192.168.240.252_35086,WEB_192.168.240.252_35090,WEB_192.168.240.252_35116,WEB_192.168.240.252_35122,WEB_192.168.240.252_35132,WEB_192.168.240.252_35134,WEB_192.168.240.252_35142,WEB_192.168.240.252_35144,WEB_192.168.240.252_35146,WEB_192.168.240.252_35156,WEB_192.168.240.252_35158,WEB_192.168.240.252_35160,WEB_192.168.240.252_35162,WEB_192.168.240.252_35164,WEB_192.168.240.252_35454,WEB_192.168.240.252_35456,WEB_192.168.240.252_35460,WEB_192.168.240.252_35468,WEB_192.168.240.252_35548,WEB_192.168.240.252_35550,WEB_192.168.240.252_35554,WEB_192.168.240.252_35556,WEB_192.168.240.252_35558,WEB_192.168.240.252_35560,WEB_192.168.240.252_35562,WEB_192.168.240.252_35564,WEB_192.168.240.252_35568,WEB_192.168.240.252_35580,WEB_192.168.240.252_35582,WEB_192.168.240.252_35586,WEB_192.168.240.252_35588,WEB_192.168.240.252_35590,WEB_192.168.240.252_35626,WEB_192.168.240.252_35638,WEB_192.168.240.252_35642,WEB_192.168.240.252_35646,WEB_192.168.240.252_35648,WEB_192.168.240.252_35812,WEB_192.168.240.252_35814,WEB_192.168.240.252_35818,WEB_192.168.240.252_35822,WEB_192.168.240.252_35828,WEB_192.168.240.252_35914,WEB_192.168.240.252_35918,WEB_192.168.240.252_35920,WEB_192.168.240.252_36066,WEB_192.168.240.252_36070,WEB_192.168.240.252_36072,WEB_192.168.240.252_36076,WEB_192.168.240.252_36078,WEB_192.168.240.252_36088,WEB_192.168.240.252_36106,WEB_192.168.240.252_36204,WEB_192.168.240.252_36208,WEB_192.168.240.252_36210,WEB_192.168.240.252_36212,WEB_192.168.240.252_36214,WEB_192.168.240.252_36400,WEB_192.168.240.252_36402,WEB_192.168.240.252_36404,WEB_192.168.240.252_36406,WEB_192.168.240.252_36410,WEB_192.168.240.252_36468,WEB_192.168.240.252_36480,WEB_192.168.240.252_36496,WEB_192.168.240.252_36502,WEB_192.168.240.252_36504,WEB_192.168.240.252_36546,WEB_192.168.240.252_36548,WEB_192.168.240.252_36550,WEB_192.168.240.252_36552,WEB_192.168.240.252_36554,WEB_192.168.240.252_36624,WEB_192.168.240.252_36626,WEB_192.168.240.252_36628,WEB_192.168.240.252_36630,WEB_192.168.240.252_36634,WEB_192.168.240.252_36662,WEB_192.168.240.252_36664,WEB_192.168.240.252_36666,WEB_192.168.240.252_36678,WEB_192.168.240.252_36682,WEB_192.168.240.252_36684,WEB_192.168.240.252_36686,WEB_192.168.240.252_36688,WEB_192.168.240.252_36892,WEB_192.168.240.252_36896,WEB_192.168.240.252_36900,WEB_192.168.240.252_36902,WEB_192.168.240.252_36904,WEB_192.168.240.252_36934,WEB_192.168.240.252_36942,WEB_192.168.240.252_36950,WEB_192.168.240.252_36958,WEB_192.168.240.252_38000,WEB_192.168.240.252_38010,WEB_192.168.240.252_38012,WEB_192.168.240.252_38022,WEB_192.168.240.252_38040,WEB_192.168.240.252_38044,WEB_192.168.240.252_38046,WEB_192.168.240.252_38060,WEB_192.168.240.252_38086,WEB_192.168.240.252_38088,WEB_192.168.240.252_38092,WEB_192.168.240.252_38096,WEB_192.168.240.252_38102,WEB_192.168.240.252_38508,WEB_192.168.240.252_38512,WEB_192.168.240.252_38514,WEB_192.168.240.252_38518,WEB_192.168.240.252_38530,WEB_192.168.240.252_38708,WEB_192.168.240.252_38710,WEB_192.168.240.252_38714,WEB_192.168.240.252_38716,WEB_192.168.240.252_38718,WEB_192.168.240.252_38784,WEB_192.168.240.252_38786,WEB_192.168.240.252_38788,WEB_192.168.240.252_38790,WEB_192.168.240.252_38792,WEB_192.168.240.252_38798,WEB_192.168.240.252_38800,WEB_192.168.240.252_38802,WEB_192.168.240.252_38804,WEB_192.168.240.252_38808,WEB_192.168.240.252_39206,WEB_192.168.240.252_39210,WEB_192.168.240.252_39216,WEB_192.168.240.252_39560,WEB_192.168.240.252_39562,WEB_192.168.240.252_39564,WEB_192.168.240.252_39568,WEB_192.168.240.252_39570,WEB_192.168.240.252_39990,WEB_192.168.240.252_40000,WEB_192.168.240.252_40112,WEB_192.168.240.252_40114,WEB_192.168.240.252_40116,WEB_192.168.240.252_40120,WEB_192.168.240.252_40124,WEB_192.168.240.252_40132,WEB_192.168.240.252_40138,WEB_192.168.240.252_40140,WEB_192.168.240.252_40142,WEB_192.168.240.252_40146,WEB_192.168.240.252_40178,WEB_192.168.240.252_40180,WEB_192.168.240.252_40730,WEB_192.168.240.252_40732,WEB_192.168.240.252_40736,WEB_192.168.240.252_40738,WEB_192.168.240.252_40740,WEB_192.168.240.252_40924,WEB_192.168.240.252_40928,WEB_192.168.240.252_40932,WEB_192.168.240.252_40934,WEB_192.168.240.252_40938,WEB_192.168.240.252_41550,WEB_192.168.240.252_41552,WEB_192.168.240.252_41554,WEB_192.168.240.252_41556,WEB_192.168.240.252_41560,WEB_192.168.240.252_42192,WEB_192.168.240.252_42196,WEB_192.168.240.252_42198,WEB_192.168.240.252_42200,WEB_192.168.240.252_42204,WEB_192.168.240.252_43098,WEB_192.168.240.252_43100,WEB_192.168.240.252_43102,WEB_192.168.240.252_43106,WEB_192.168.240.252_43108,WEB_192.168.240.252_43800,WEB_192.168.240.252_43802,WEB_192.168.240.252_43804,WEB_192.168.240.252_43808,WEB_192.168.240.252_43882,WEB_192.168.240.252_45322,WEB_192.168.240.252_45328,WEB_192.168.240.252_45330,WEB_192.168.240.252_45360,WEB_192.168.240.252_45400,WEB_192.168.240.252_45702,WEB_192.168.240.252_45706,WEB_192.168.240.252_45708,WEB_192.168.240.252_45716,WEB_192.168.240.252_45726,WEB_192.168.240.252_46616,WEB_192.168.240.252_46618,WEB_192.168.240.252_46622,WEB_192.168.240.252_46624,WEB_192.168.240.252_46626,WEB_192.168.240.252_46730,WEB_192.168.240.252_46732,WEB_192.168.240.252_46734,WEB_192.168.240.252_46736,WEB_192.168.240.252_46740,WEB_192.168.240.252_46810,WEB_192.168.240.252_46812,WEB_192.168.240.252_46816,WEB_192.168.240.252_46818,WEB_192.168.240.252_46822,WEB_192.168.240.252_46984,WEB_192.168.240.252_46990,WEB_192.168.240.252_46996,WEB_192.168.240.252_46998,WEB_192.168.240.252_47028,WEB_192.168.240.252_47030,WEB_192.168.240.252_47034,WEB_192.168.240.252_47036,WEB_192.168.240.252_47038,WEB_192.168.240.252_47090,WEB_192.168.240.252_47446,WEB_192.168.240.252_47456,WEB_192.168.240.252_47462,WEB_192.168.240.252_47464,WEB_192.168.240.252_47470,WEB_192.168.240.252_47472,WEB_192.168.240.252_47840,WEB_192.168.240.252_47842,WEB_192.168.240.252_47844,WEB_192.168.240.252_47846,WEB_192.168.240.252_48282,WEB_192.168.240.252_48286,WEB_192.168.240.252_48288,WEB_192.168.240.252_48290,WEB_192.168.240.252_48294,WEB_192.168.240.252_48534,WEB_192.168.240.252_48536,WEB_192.168.240.252_48560,WEB_192.168.240.252_48806,WEB_192.168.240.252_48808,WEB_192.168.240.252_48810,WEB_192.168.240.252_48816,WEB_192.168.240.252_48818,WEB_192.168.240.252_48858,WEB_192.168.240.252_48862,WEB_192.168.240.252_48864,WEB_192.168.240.252_48866,WEB_192.168.240.252_48868,WEB_192.168.240.252_49770,WEB_192.168.240.252_49772,WEB_192.168.240.252_49774,WEB_192.168.240.252_49776,WEB_192.168.240.252_49778,WEB_192.168.240.252_49810,WEB_192.168.240.252_49812,WEB_192.168.240.252_49814,WEB_192.168.240.252_49816,WEB_192.168.240.252_49872,WEB_192.168.240.252_49876,WEB_192.168.240.252_49878,WEB_192.168.240.252_49880,WEB_192.168.240.252_49882,WEB_192.168.240.252_49884,WEB_192.168.240.252_49886,WEB_192.168.240.252_49888,WEB_192.168.240.252_49890,WEB_192.168.240.252_49942,WEB_192.168.240.252_49944,WEB_192.168.240.252_49946,WEB_192.168.240.252_49948,WEB_192.168.240.252_49950,WEB_192.168.240.252_49960,WEB_192.168.240.252_49966,WEB_192.168.240.252_49968,WEB_192.168.240.252_49972,WEB_192.168.240.252_49976,WEB_192.168.240.252_50086,WEB_192.168.240.252_50098,WEB_192.168.240.252_50118,WEB_192.168.240.252_50146,WEB_192.168.240.252_50184,WEB_192.168.240.252_50188,WEB_192.168.240.252_50190,WEB_192.168.240.252_50208,WEB_192.168.240.252_50212,WEB_192.168.240.252_50214,WEB_192.168.240.252_50226,WEB_192.168.240.252_50228,WEB_192.168.240.252_50230,WEB_192.168.240.252_50232,WEB_192.168.240.252_50234,WEB_192.168.240.252_50236,WEB_192.168.240.252_50262,WEB_192.168.240.252_50266,WEB_192.168.240.252_50268,WEB_192.168.240.252_50270,WEB_192.168.240.252_50272,WEB_192.168.240.252_50274,WEB_192.168.240.252_50342,WEB_192.168.240.252_50492,WEB_192.168.240.252_50494,WEB_192.168.240.252_50496,WEB_192.168.240.252_50526,WEB_192.168.240.252_50528,WEB_192.168.240.252_50598,WEB_192.168.240.252_50602,WEB_192.168.240.252_50604,WEB_192.168.240.252_50626,WEB_192.168.240.252_50628,WEB_192.168.240.252_50634,WEB_192.168.240.252_50648,WEB_192.168.240.252_50652,WEB_192.168.240.252_50654,WEB_192.168.240.252_50692,WEB_192.168.240.252_51088,WEB_192.168.240.252_51090,WEB_192.168.240.252_51104,WEB_192.168.240.252_51120,WEB_192.168.240.252_51180,WEB_192.168.240.252_51182,WEB_192.168.240.252_51184,WEB_192.168.240.252_51186,WEB_192.168.240.252_51188,WEB_192.168.240.252_51204,WEB_192.168.240.252_51440,WEB_192.168.240.252_51446,WEB_192.168.240.252_51456,WEB_192.168.240.252_51458,WEB_192.168.240.252_51460,WEB_192.168.240.252_51476,WEB_192.168.240.252_51478,WEB_192.168.240.252_51486,WEB_192.168.240.252_51516,WEB_192.168.240.252_51518,WEB_192.168.240.252_51732,WEB_192.168.240.252_51734,WEB_192.168.240.252_51736,WEB_192.168.240.252_51740,WEB_192.168.240.252_51742,WEB_192.168.240.252_51894,WEB_192.168.240.252_51896,WEB_192.168.240.252_51902,WEB_192.168.240.252_51918,WEB_192.168.240.252_52028,WEB_192.168.240.252_52030,WEB_192.168.240.252_52036,WEB_192.168.240.252_52038,WEB_192.168.240.252_52040,WEB_192.168.240.252_52046,WEB_192.168.240.252_52048,WEB_192.168.240.252_52050,WEB_192.168.240.252_52054,WEB_192.168.240.252_52056,WEB_192.168.240.252_52104,WEB_192.168.240.252_52106,WEB_192.168.240.252_52110,WEB_192.168.240.252_52124,WEB_192.168.240.252_52126,WEB_192.168.240.252_52154,WEB_192.168.240.252_52156,WEB_192.168.240.252_52160,WEB_192.168.240.252_52162,WEB_192.168.240.252_52164,WEB_192.168.240.252_52174,WEB_192.168.240.252_52178,WEB_192.168.240.252_52180,WEB_192.168.240.252_52192,WEB_192.168.240.252_52208,WEB_192.168.240.252_52220,WEB_192.168.240.252_52222,WEB_192.168.240.252_52226,WEB_192.168.240.252_52228,WEB_192.168.240.252_52266,WEB_192.168.240.252_52376,WEB_192.168.240.252_52434,WEB_192.168.240.252_52436,WEB_192.168.240.252_52438,WEB_192.168.240.252_52456,WEB_192.168.240.252_52792,WEB_192.168.240.252_52822,WEB_192.168.240.252_52910,WEB_192.168.240.252_52974,WEB_192.168.240.252_52978,WEB_192.168.240.252_52980,WEB_192.168.240.252_52982,WEB_192.168.240.252_52984,WEB_192.168.240.252_53046,WEB_192.168.240.252_53048,WEB_192.168.240.252_53054,WEB_192.168.240.252_53056,WEB_192.168.240.252_53058,WEB_192.168.240.252_53278,WEB_192.168.240.252_53286,WEB_192.168.240.252_53288,WEB_192.168.240.252_53422,WEB_192.168.240.252_53426,WEB_192.168.240.252_53428,WEB_192.168.240.252_53432,WEB_192.168.240.252_53436,WEB_192.168.240.252_53438,WEB_192.168.240.252_53504,WEB_192.168.240.252_53564,WEB_192.168.240.252_53628,WEB_192.168.240.252_53630,WEB_192.168.240.252_53632,WEB_192.168.240.252_53634,WEB_192.168.240.252_53636,WEB_192.168.240.252_53720,WEB_192.168.240.252_53724,WEB_192.168.240.252_53756,WEB_192.168.240.252_53764,WEB_192.168.240.252_53774,WEB_192.168.240.252_53844,WEB_192.168.240.252_53848,WEB_192.168.240.252_53850,WEB_192.168.240.252_53852,WEB_192.168.240.252_53864,WEB_192.168.240.252_53892,WEB_192.168.240.252_53896,WEB_192.168.240.252_53898,WEB_192.168.240.252_53900,WEB_192.168.240.252_53902,WEB_192.168.240.252_53962,WEB_192.168.240.252_53964,WEB_192.168.240.252_53966,WEB_192.168.240.252_53968,WEB_192.168.240.252_53972,WEB_192.168.240.252_54084,WEB_192.168.240.252_54086,WEB_192.168.240.252_54088,WEB_192.168.240.252_54090,WEB_192.168.240.252_54092,WEB_192.168.240.252_54174,WEB_192.168.240.252_54176,WEB_192.168.240.252_54178,WEB_192.168.240.252_54180,WEB_192.168.240.252_54182,WEB_192.168.240.252_54224,WEB_192.168.240.252_54228,WEB_192.168.240.252_54230,WEB_192.168.240.252_54232,WEB_192.168.240.252_54234,WEB_192.168.240.252_54324,WEB_192.168.240.252_54326,WEB_192.168.240.252_54328,WEB_192.168.240.252_54330,WEB_192.168.240.252_54332,WEB_192.168.240.252_54408,WEB_192.168.240.252_54410,WEB_192.168.240.252_54412,WEB_192.168.240.252_54416,WEB_192.168.240.252_54418,WEB_192.168.240.252_54732,WEB_192.168.240.252_54736,WEB_192.168.240.252_54738,WEB_192.168.240.252_54878,WEB_192.168.240.252_54880,WEB_192.168.240.252_54882,WEB_192.168.240.252_54884,WEB_192.168.240.252_54898,WEB_192.168.240.252_55044,WEB_192.168.240.252_55122,WEB_192.168.240.252_55124,WEB_192.168.240.252_55126,WEB_192.168.240.252_55128,WEB_192.168.240.252_55414,WEB_192.168.240.252_55416,WEB_192.168.240.252_55422,WEB_192.168.240.252_55428,WEB_192.168.240.252_55430,WEB_192.168.240.252_55580,WEB_192.168.240.252_55582,WEB_192.168.240.252_55586,WEB_192.168.240.252_55588,WEB_192.168.240.252_55590,WEB_192.168.240.252_55684,WEB_192.168.240.252_55686,WEB_192.168.240.252_55694,WEB_192.168.240.252_55698,WEB_192.168.240.252_55700,WEB_192.168.240.252_55874,WEB_192.168.240.252_55884,WEB_192.168.240.252_55886,WEB_192.168.240.252_55890,WEB_192.168.240.252_56040,WEB_192.168.240.252_56042,WEB_192.168.240.252_56044,WEB_192.168.240.252_56046,WEB_192.168.240.252_56122,WEB_192.168.240.252_56124,WEB_192.168.240.252_56126,WEB_192.168.240.252_56130,WEB_192.168.240.252_56134,WEB_192.168.240.252_56138,WEB_192.168.240.252_56142,WEB_192.168.240.252_56160,WEB_192.168.240.252_56174,WEB_192.168.240.252_56178,WEB_192.168.240.252_56190,WEB_192.168.240.252_56196,WEB_192.168.240.252_56204,WEB_192.168.240.252_56208,WEB_192.168.240.252_56242,WEB_192.168.240.252_56246,WEB_192.168.240.252_56252,WEB_192.168.240.252_56264,WEB_192.168.240.252_56282,WEB_192.168.240.252_56284,WEB_192.168.240.252_56386,WEB_192.168.240.252_56388,WEB_192.168.240.252_56390,WEB_192.168.240.252_56400,WEB_192.168.240.252_56428,WEB_192.168.240.252_56492,WEB_192.168.240.252_56494,WEB_192.168.240.252_56504,WEB_192.168.240.252_56516,WEB_192.168.240.252_56520,WEB_192.168.240.252_56638,WEB_192.168.240.252_56640,WEB_192.168.240.252_56642,WEB_192.168.240.252_56644,WEB_192.168.240.252_56742,WEB_192.168.240.252_56808,WEB_192.168.240.252_56810,WEB_192.168.240.252_56984,WEB_192.168.240.252_56986,WEB_192.168.240.252_56988,WEB_192.168.240.252_56992,WEB_192.168.240.252_56998,WEB_192.168.240.252_57000,WEB_192.168.240.252_57002,WEB_192.168.240.252_57004,WEB_192.168.240.252_57006,WEB_192.168.240.252_57020,WEB_192.168.240.252_57024,WEB_192.168.240.252_57026,WEB_192.168.240.252_57032,WEB_192.168.240.252_57034,WEB_192.168.240.252_57038,WEB_192.168.240.252_57048,WEB_192.168.240.252_57066,WEB_192.168.240.252_57068,WEB_192.168.240.252_57070,WEB_192.168.240.252_57072,WEB_192.168.240.252_57200,WEB_192.168.240.252_57202,WEB_192.168.240.252_57204,WEB_192.168.240.252_57208,WEB_192.168.240.252_57256,WEB_192.168.240.252_57260,WEB_192.168.240.252_57262,WEB_192.168.240.252_57264,WEB_192.168.240.252_57454,WEB_192.168.240.252_57456,WEB_192.168.240.252_57458,WEB_192.168.240.252_57460,WEB_192.168.240.252_57522,WEB_192.168.240.252_57524,WEB_192.168.240.252_57530,WEB_192.168.240.252_57574,WEB_192.168.240.252_57590,WEB_192.168.240.252_57602,WEB_192.168.240.252_57604,WEB_192.168.240.252_57606,WEB_192.168.240.252_57634,WEB_192.168.240.252_57658,WEB_192.168.240.252_57660,WEB_192.168.240.252_57662,WEB_192.168.240.252_57664,WEB_192.168.240.252_57666,WEB_192.168.240.252_57672,WEB_192.168.240.252_57674,WEB_192.168.240.252_57700,WEB_192.168.240.252_57704,WEB_192.168.240.252_57758,WEB_192.168.240.252_57768,WEB_192.168.240.252_57770,WEB_192.168.240.252_57774,WEB_192.168.240.252_57778,WEB_192.168.240.252_57780,WEB_192.168.240.252_57782,WEB_192.168.240.252_57784,WEB_192.168.240.252_57788,WEB_192.168.240.252_57800,WEB_192.168.240.252_57804,WEB_192.168.240.252_57818,WEB_192.168.240.252_57820,WEB_192.168.240.252_57822,WEB_192.168.240.252_57836,WEB_192.168.240.252_57848,WEB_192.168.240.252_57870,WEB_192.168.240.252_57874,WEB_192.168.240.252_58212,WEB_192.168.240.252_58214,WEB_192.168.240.252_58216,WEB_192.168.240.252_58244,WEB_192.168.240.252_58248,WEB_192.168.240.252_58366,WEB_192.168.240.252_58368,WEB_192.168.240.252_58370,WEB_192.168.240.252_58372,WEB_192.168.240.252_58376,WEB_192.168.240.252_58388,WEB_192.168.240.252_58390,WEB_192.168.240.252_58392,WEB_192.168.240.252_58404,WEB_192.168.240.252_58406,WEB_192.168.240.252_58892,WEB_192.168.240.252_58896,WEB_192.168.240.252_58908,WEB_192.168.240.252_58964,WEB_192.168.240.252_58966,WEB_192.168.240.252_58972,WEB_192.168.240.252_58974,WEB_192.168.240.252_58984,WEB_192.168.240.252_59236,WEB_192.168.240.252_59238,WEB_192.168.240.252_59240,WEB_192.168.240.252_59242,WEB_192.168.240.252_59246,WEB_192.168.240.252_59760,WEB_192.168.240.252_59764,WEB_192.168.240.252_59768,WEB_192.168.240.252_59782,WEB_192.168.240.252_59804,WEB_192.168.240.252_59806,WEB_192.168.240.252_59808,WEB_192.168.240.252_59810,WEB_192.168.240.252_59842,WEB_192.168.240.252_59870,WEB_192.168.240.252_59908,WEB_192.168.240.252_59910,WEB_192.168.240.252_59912,WEB_192.168.240.252_59914,WEB_192.168.240.252_59916,WEB_192.168.240.252_59918,WEB_192.168.240.252_59934,WEB_192.168.240.252_59940,WEB_192.168.240.252_59942,WEB_192.168.240.252_59946,WEB_192.168.240.252_60138,WEB_192.168.240.252_60140,WEB_192.168.240.252_60144,WEB_192.168.240.252_60164,WEB_192.168.240.252_60170,WEB_192.168.240.252_60192,WEB_192.168.240.252_60200,WEB_192.168.240.252_60202,WEB_192.168.240.252_60204,WEB_192.168.240.252_60334,WEB_192.168.240.252_60484,WEB_192.168.240.252_60490,WEB_192.168.240.252_60494,WEB_192.168.240.252_60496,WEB_192.168.240.252_60498,WEB_192.168.240.252_60536,WEB_192.168.240.252_60538,WEB_192.168.240.252_60540,WEB_192.168.240.252_60542,WEB_192.168.240.252_60554,WEB_192.168.240.252_60568,WEB_192.168.240.252_60608,WEB_192.168.240.252_60612,WEB_192.168.240.252_60614,WEB_192.168.240.253_47125,WEB_192.168.240.253_47126,WEB_192.168.240.253_56295,WEB_192.168.240.253_56296,WEBhook_109.45.0.132_34460,WEBhook_109.45.0.132_36320,WEBhook_109.45.0.132_36554,WEBhook_109.45.0.132_42274,WEBhook_109.45.0.132_50945,WEBhook_109.45.0.132_61500,WEBhook_109.45.0.158_39817,WEBhook_109.45.0.180_39858,WEBhook_109.45.1.25_32813,WEBhook_109.45.1.88_33795,WEBhook_109.45.1.88_36346,WEBhook_109.45.1.88_46742,WEBhook_109.45.1.88_48268,WEBhook_109.45.1.88_48553,WEBhook_109.45.1.88_50517,WEBhook_109.45.1.88_60729,WEBhook_109.45.2.184_46519,WEBhook_109.45.2.234_36397,WEBhook_109.45.2.234_37283,WEBhook_109.45.2.234_43441,WEBhook_109.45.2.234_46430,WEBhook_109.45.2.234_53754,WEBhook_2.247.240.185_11574,WEBhook_2.247.240.185_13568,WEBhook_2.247.240.185_26616,WEBhook_2.247.240.185_29861,WEBhook_2.247.241.112_12382,WEBhook_2.247.241.112_13202,WEBhook_2.247.241.112_18684,WEBhook_2.247.241.112_19609,WEBhook_2.247.241.112_19952,WEBhook_2.247.241.112_2262,WEBhook_2.247.241.112_2527,WEBhook_2.247.241.112_26932,WEBhook_2.247.241.112_8076,WEBhook_2.247.241.112_9844,WEBhook_2.247.241.195_17070,WEBhook_2.247.241.195_30150,WEBhook_2.247.241.195_5019,WEBhook_2.247.241.41_20273,WEBhook_2.247.242.105_10005,WEBhook_2.247.242.105_1297,WEBhook_2.247.242.105_17834,WEBhook_2.247.242.105_20830,WEBhook_2.247.242.105_29269,WEBhook_2.247.242.105_31380,WEBhook_2.247.243.79_17813,WEBhook_2.247.245.136_38528,WEBhook_2.247.245.136_61874,WEBhook_2.247.246.153_35025,WEBhook_2.247.246.153_39108,WEBhook_2.247.246.153_39434,WEBhook_2.247.246.153_39577,WEBhook_2.247.246.153_41051,WEBhook_2.247.246.153_41432,WEBhook_2.247.246.153_43817,WEBhook_2.247.246.153_43984,WEBhook_2.247.246.153_45431,WEBhook_2.247.246.153_45462,WEBhook_2.247.246.153_48018,WEBhook_2.247.246.153_48621,WEBhook_2.247.246.153_49203,WEBhook_2.247.246.153_51237,WEBhook_2.247.246.153_51850,WEBhook_2.247.246.153_54420,WEBhook_2.247.246.153_56985,WEBhook_2.247.246.153_58749,WEBhook_2.247.246.153_59398,WEBhook_2.247.246.153_60923,WEBhook_2.247.246.153_61265,WEBhook_2.247.246.153_62840,WEBhook_2.247.247.131_56071,WEBhook_2.247.247.146_33614,WEBhook_2.247.247.79_36279,WEBhook_2.247.247.79_49256,WEBhook_2.247.247.90_43938,WEBhook_2.247.247.90_45603,WEBhook_2.247.247.90_48443,WEBhook_2.247.248.149_49395,WEBhook_2.247.248.214_38092,WEBhook_2.247.248.76_38812,WEBhook_2.247.248.88_34232,WEBhook_2.247.248.88_34946,WEBhook_2.247.248.88_34995,WEBhook_2.247.248.88_40939,WEBhook_2.247.248.88_42758,WEBhook_2.247.248.88_43587,WEBhook_2.247.248.88_49856,WEBhook_2.247.248.88_55867,WEBhook_2.247.248.88_58893,WEBhook_2.247.248.88_60525,WEBhook_2.247.248.88_62955,WEBhook_2.247.249.176_49306,WEBhook_2.247.249.176_51579,WEBhook_2.247.249.176_54538,WEBhook_2.247.249.2_48520,WEBhook_2.247.249.56_33630,WEBhook_2.247.249.56_33837,WEBhook_2.247.249.56_34196,WEBhook_2.247.249.56_40071,WEBhook_2.247.249.56_53974,WEBhook_2.247.249.56_57848,WEBhook_2.247.249.56_62984,WEBhook_2.247.249.7_32846,WEBhook_2.247.250.122_44223,WEBhook_2.247.250.122_49149,WEBhook_2.247.250.122_49367,WEBhook_2.247.250.122_59935,WEBhook_2.247.250.247_34454,WEBhook_2.247.250.247_36406,WEBhook_2.247.250.247_37246,WEBhook_2.247.250.247_42418,WEBhook_2.247.250.247_42901,WEBhook_2.247.250.247_54799,WEBhook_2.247.250.247_56162,WEBhook_2.247.250.247_58273,WEBhook_2.247.250.247_60527,WEBhook_2.247.250.247_62071,WEBhook_2.247.251.122_33460,WEBhook_2.247.251.209_33188,WEBhook_2.247.251.209_33483,WEBhook_2.247.251.209_34426,WEBhook_2.247.251.209_34565,WEBhook_2.247.251.209_36616,WEBhook_2.247.251.209_41369,WEBhook_2.247.251.209_43251,WEBhook_2.247.251.209_53566,WEBhook_2.247.251.209_55765,WEBhook_2.247.251.209_58947,WEBhook_2.247.251.209_60082,WEBhook_2.247.251.209_61247,WEBhook_2.247.251.209_62013,WEBhook_2.247.251.2_47743,WEBhook_2.247.251.2_49867,WEBhook_2.247.251.2_51459,WEBhook_2.247.251.62_51445,WEBhook_2.247.251.62_54534,WEBhook_2.247.251.93_33038,WEBhook_2.247.251.93_33051,WEBhook_2.247.251.93_34767,WEBhook_2.247.251.93_42326,WEBhook_2.247.251.93_46135,WEBhook_2.247.251.93_54144,WEBhook_2.247.251.93_58309,WEBhook_2.247.251.93_59833,WEBhook_2.247.255.148_38696,WEBhook_2.247.255.148_47417,WEBhook_2.247.255.148_48007,WEBhook_2.247.255.148_58081,WEBhook_2.247.255.148_60154,WEBhook_212.204.61.202_41098,WEBhook_212.204.61.202_48966,WEBhook_212.204.61.202_51763,WEBhook_212.204.61.202_55132,WEBhook_212.204.61.202_58294,WEBhook_80.147.226.103_35156,WEBhook_80.147.226.103_35840,WEBhook_80.147.226.103_36521,WEBhook_80.147.226.103_37410,WEBhook_80.147.226.103_39250,WEBhook_80.147.226.103_39665,WEBhook_80.147.226.103_41364,WEBhook_80.147.226.103_47559,WEBhook_80.147.226.103_50295,WEBhook_80.147.226.103_53387,WEBhook_80.147.226.103_54553,WEBhook_80.147.226.103_55477,WEBhook_80.147.226.103_56690,WEBhook_80.147.226.103_57393,WEBhook_80.147.226.103_59086,WEBhook_80.147.226.103_59355,WEBhook_80.147.226.103_59568,WEBhook_80.147.226.103_61701,WEBhook_80.147.226.103_61839,WEBhook_80.147.226.103_61952,WEBhook_80.147.226.103_65047,WEBhook_82.113.99.99_62978,WEBhook_87.138.222.254_36903,WEBhook_87.138.222.254_39412,WEBhook_87.138.222.254_40043,WEBhook_87.138.222.254_48199,WEBhook_87.138.222.254_54983,WEBhook_87.138.222.254_57399,WEBhook_87.138.222.254_63640,WEBhook_89.204.135.24_34313,WEBhook_89.204.135.24_35966,WEBhook_89.204.135.24_40555,WEBhook_89.204.135.24_48113,WEBhook_89.204.135.24_49007,WEBhook_89.204.137.112_10685,WEBhook_89.204.137.112_23512,WEBhook_89.204.137.112_24294,WEBhook_89.204.137.112_25604,WEBhook_89.204.137.112_4021,WEBhook_89.204.137.112_7829,WEBhook_89.204.137.135_31012,WEBhook_89.204.137.13_12044,WEBhook_89.204.137.13_26136,WEBhook_89.204.137.13_28716,WEBhook_89.204.137.13_30005,WEBhook_89.204.137.194_12464,WEBhook_89.204.137.194_14722,WEBhook_89.204.137.194_14839,WEBhook_89.204.137.194_16414,WEBhook_89.204.137.194_18031,WEBhook_89.204.137.194_19543,WEBhook_89.204.137.194_26702,WEBhook_89.204.137.194_28721,WEBhook_89.204.137.194_30422,WEBhook_89.204.137.194_31184,WEBhook_89.204.137.194_7036,WEBhook_89.204.137.211_11613,WEBhook_89.204.137.211_13998,WEBhook_89.204.137.211_1606,WEBhook_89.204.137.211_17190,WEBhook_89.204.137.245_19258,WEBhook_89.204.137.39_4289,WEBhook_89.204.137.54_6357,WEBhook_89.204.137.56_6260,WEBhook_89.204.137.77_27961,WEBhook_89.204.138.166_20833,WEBhook_89.204.138.166_2358,WEBhook_89.204.138.166_3940,WEBhook_89.204.138.182_14075,WEBhook_89.204.138.198_15966,WEBhook_89.204.138.198_20396,WEBhook_89.204.138.212_20761,WEBhook_89.204.138.224_20175,WEBhook_89.204.138.225_25497,WEBhook_89.204.138.225_27406,WEBhook_89.204.138.234_11343,WEBhook_89.204.138.234_25314,WEBhook_89.204.138.234_25465,WEBhook_89.204.138.234_26272,WEBhook_89.204.138.234_29268,WEBhook_89.204.138.2_1701,WEBhook_89.204.138.33_24969,WEBhook_89.204.138.33_27798,WEBhook_89.204.138.33_28449,WEBhook_89.204.138.33_4890,WEBhook_89.204.138.33_8027,WEBhook_89.204.138.75_24643,WEBhook_89.204.138.9_11754,WEBhook_89.204.138.9_14120,WEBhook_89.204.138.9_2736,WEBhook_89.204.138.9_5029,WEBhook_89.204.139.111_19697,WEBhook_89.204.139.114_16080,WEBhook_89.204.139.114_31519,WEBhook_89.204.139.121_1104,WEBhook_89.204.139.121_20387,WEBhook_89.204.139.121_2167,WEBhook_89.204.139.121_29617,WEBhook_89.204.139.121_3984,WEBhook_89.204.139.121_7502,WEBhook_89.204.139.138_2558,WEBhook_89.204.139.138_27743,WEBhook_89.204.139.138_27858,WEBhook_89.204.139.138_9002,WEBhook_89.204.139.193_7790,WEBhook_89.204.139.217_11803,WEBhook_89.204.139.217_12934,WEBhook_89.204.139.217_21031,WEBhook_89.204.139.217_4021,WEBhook_89.204.139.217_5942,WEBhook_89.204.139.217_8058,WEBhook_89.204.139.218_12592,WEBhook_89.204.139.218_15404,WEBhook_89.204.139.218_19924,WEBhook_89.204.139.218_29489,WEBhook_89.204.139.22_27450,WEBhook_89.204.139.22_30184,WEBhook_89.204.139.23_11923,WEBhook_89.204.139.243_20568,WEBhook_89.204.139.36_18571,WEBhook_89.204.139.36_6350,WEBhook_89.204.139.36_8791,WEBhook_89.204.139.70_16011,WEBhook_89.204.139.70_17121,WEBhook_89.204.139.70_23862,WEBhook_89.204.139.70_6338,WEBhook_89.204.139.70_8424,WEBhook_89.204.139.8_10326,WEBhook_89.204.139.8_11116,WEBhook_89.204.139.8_14117,WEBhook_89.204.139.8_19380,WEBhook_89.204.139.8_2003,WEBhook_89.204.139.8_20097,WEBhook_89.204.139.8_23090,WEBhook_89.204.139.8_23175,WEBhook_89.204.139.8_27422,WEBhook_89.204.139.8_27509,WEBhook_89.204.139.8_27539,WEBhook_89.204.139.8_30060,WEBhook_89.204.139.8_30636,WEBhook_89.204.153.98_35004,WEBhook_89.204.153.98_38170,WEBhook_89.204.153.98_62714,WEBhook_89.204.154.231_46735,WEBhook_89.204.154.231_53680,WEBhook_89.204.154.231_56185,WEBhook_89.204.154.24_33104,WEBhook_89.204.154.24_42344,WEBhook_89.204.154.24_45084,WEBhook_89.204.154.24_48907,WEBhook_89.204.154.24_49395,WEBhook_89.204.154.24_53110,WEBhook_89.204.154.24_53464,WEBhook_89.204.154.24_54753,WEBhook_89.204.155.189_38372,WEBhook_89.204.155.189_61691,WEBhook_89.204.155.23_45302,WEBphone_127.0.0.1_33722,WEBphone_127.0.0.1_36630,WEBphone_127.0.0.1_37520,WEBphone_127.0.0.1_39914,WEBphone_127.0.0.1_41186,WEBphone_127.0.0.1_41366,WEBphone_127.0.0.1_41508,WEBphone_127.0.0.1_41574,WEBphone_127.0.0.1_41732,WEBphone_127.0.0.1_42062,WEBphone_127.0.0.1_42976,WEBphone_127.0.0.1_43272,WEBphone_127.0.0.1_43346,WEBphone_127.0.0.1_43378,WEBphone_127.0.0.1_43488,WEBphone_127.0.0.1_43612,WEBphone_127.0.0.1_43672,WEBphone_127.0.0.1_43836,WEBphone_127.0.0.1_45294,WEBphone_127.0.0.1_45460,WEBphone_127.0.0.1_45556,WEBphone_127.0.0.1_45970,WEBphone_127.0.0.1_46114,WEBphone_127.0.0.1_46298,WEBphone_127.0.0.1_46334,WEBphone_127.0.0.1_46376,WEBphone_127.0.0.1_46398,WEBphone_127.0.0.1_46406,WEBphone_127.0.0.1_46512,WEBphone_127.0.0.1_46528,WEBphone_127.0.0.1_46550,WEBphone_127.0.0.1_46584,WEBphone_127.0.0.1_46596,WEBphone_127.0.0.1_47122,WEBphone_127.0.0.1_48022,WEBphone_127.0.0.1_48606,WEBphone_127.0.0.1_49102,WEBphone_127.0.0.1_49498,WEBphone_127.0.0.1_49648,WEBphone_127.0.0.1_49816,WEBphone_127.0.0.1_50278,WEBphone_127.0.0.1_50394,WEBphone_127.0.0.1_50430,WEBphone_127.0.0.1_51168,WEBphone_127.0.0.1_51200,WEBphone_127.0.0.1_51388,WEBphone_127.0.0.1_51758,WEBphone_127.0.0.1_51932,WEBphone_127.0.0.1_51954,WEBphone_127.0.0.1_51990,WEBphone_127.0.0.1_52010,WEBphone_127.0.0.1_52040,WEBphone_127.0.0.1_52156,WEBphone_127.0.0.1_52208,WEBphone_127.0.0.1_52344,WEBphone_127.0.0.1_52534,WEBphone_127.0.0.1_52664,WEBphone_127.0.0.1_52704,WEBphone_127.0.0.1_52728,WEBphone_127.0.0.1_52914,WEBphone_127.0.0.1_52936,WEBphone_127.0.0.1_52968,WEBphone_127.0.0.1_52998,WEBphone_127.0.0.1_53130,WEBphone_127.0.0.1_53140,WEBphone_127.0.0.1_53156,WEBphone_127.0.0.1_53206,WEBphone_127.0.0.1_53280,WEBphone_127.0.0.1_53310,WEBphone_127.0.0.1_53330,WEBphone_127.0.0.1_53368,WEBphone_127.0.0.1_53384,WEBphone_127.0.0.1_53440,WEBphone_127.0.0.1_53486,WEBphone_127.0.0.1_53522,WEBphone_127.0.0.1_53554,WEBphone_127.0.0.1_53616,WEBphone_127.0.0.1_53644,WEBphone_127.0.0.1_53696,WEBphone_127.0.0.1_53708,WEBphone_127.0.0.1_53738,WEBphone_127.0.0.1_53780,WEBphone_127.0.0.1_53812,WEBphone_127.0.0.1_53846,WEBphone_127.0.0.1_53890,WEBphone_127.0.0.1_53898,WEBphone_127.0.0.1_53946,WEBphone_127.0.0.1_53966,WEBphone_127.0.0.1_53978,WEBphone_127.0.0.1_54114,WEBphone_127.0.0.1_54150,WEBphone_127.0.0.1_54288,WEBphone_127.0.0.1_54346,WEBphone_127.0.0.1_54432,WEBphone_127.0.0.1_54740,WEBphone_127.0.0.1_55216,WEBphone_127.0.0.1_55480,WEBphone_127.0.0.1_55820,WEBphone_127.0.0.1_55848,WEBphone_127.0.0.1_55988,WEBphone_127.0.0.1_56028,WEBphone_127.0.0.1_56078,WEBphone_127.0.0.1_56200,WEBphone_127.0.0.1_56374,WEBphone_127.0.0.1_56380,WEBphone_127.0.0.1_56452,WEBphone_127.0.0.1_56492,WEBphone_127.0.0.1_56556,WEBphone_127.0.0.1_56646,WEBphone_127.0.0.1_56750,WEBphone_127.0.0.1_56876,WEBphone_127.0.0.1_56908,WEBphone_127.0.0.1_57078,WEBphone_127.0.0.1_57288,WEBphone_127.0.0.1_57438,WEBphone_127.0.0.1_58282,WEBphone_127.0.0.1_58424,WEBphone_127.0.0.1_58426,WEBphone_127.0.0.1_59084,WEBphone_192.168.240.253_35304,WEBphone_192.168.240.253_35305,WEBphone_192.168.240.253_35306,WEBphone_192.168.240.253_35307,WEBphone_192.168.240.253_35309,WEBphone_192.168.240.253_35310,WEBphone_192.168.240.253_35312,WEBphone_192.168.240.253_35313,WEBphone_192.168.240.253_35314,WEBphone_192.168.240.253_35315,WEBphone_192.168.240.253_35317,WEBphone_192.168.240.253_35318,WEBphone_192.168.240.253_35319,WEBphone_192.168.240.253_35320,WEBphone_192.168.240.253_35321,WEBphone_192.168.240.253_35322,WEBphone_192.168.240.253_35326,WEBphone_192.168.240.253_35327,WEBphone_192.168.240.253_35328,WEBphone_192.168.240.253_35329,WEBphone_192.168.240.253_35330,WEBphone_192.168.240.253_35332,WEBphone_192.168.240.253_35333,WEBphone_192.168.240.253_35334,WEBphone_192.168.240.253_35335,WEBphone_192.168.240.253_35336,WEBphone_192.168.240.253_35337,WEBphone_192.168.240.253_35338,WEBphone_192.168.240.253_35339,WEBphone_192.168.240.253_35340,WEBphone_192.168.240.253_35341,WEBphone_192.168.240.253_35342,WEBphone_192.168.240.253_35343,WEBphone_192.168.240.253_35346,WEBphone_192.168.240.253_35347,WEBphone_192.168.240.253_35348,WEBphone_192.168.240.253_35349,WEBphone_192.168.240.253_35350,WEBphone_192.168.240.253_35351,WEBphone_192.168.240.253_35358,WEBphone_192.168.240.253_35359,WEBphone_192.168.240.253_35360,WEBphone_192.168.240.253_35361,WEBphone_192.168.240.253_35362,WEBphone_192.168.240.253_35363,WEBphone_192.168.240.253_35365,WEBphone_192.168.240.253_35366,WEBphone_192.168.240.253_35367,WEBphone_192.168.240.253_35368,WEBphone_192.168.240.253_35369,WEBphone_192.168.240.253_35370,WEBphone_192.168.240.253_35371,WEBphone_192.168.240.253_35372,WEBphone_192.168.240.253_35373,WEBphone_192.168.240.253_35374,WEBphone_192.168.240.253_35375,WEBphone_192.168.240.253_35376,WEBphone_192.168.240.253_35377,WEBphone_192.168.240.253_35378,WEBphone_192.168.240.253_35379,WEBphone_192.168.240.253_35380,WEBphone_192.168.240.253_35381,WEBphone_192.168.240.253_35382,WEBphone_192.168.240.253_35383,WEBphone_192.168.240.253_35384,WEBphone_192.168.240.253_35385,WEBphone_192.168.240.253_35386,WEBphone_192.168.240.253_35387,WEBphone_192.168.240.253_35388,WEBphone_192.168.240.253_35389,WEBphone_192.168.240.253_35390,WEBphone_192.168.240.253_35391,WEBphone_192.168.240.253_35392,WEBphone_192.168.240.253_35393,WEBphone_192.168.240.253_35394,WEBphone_192.168.240.253_35395,WEBphone_192.168.240.253_35396,WEBphone_192.168.240.253_35397,WEBphone_192.168.240.253_35398,WEBphone_192.168.240.253_35399,WEBphone_192.168.240.253_35400,WEBphone_192.168.240.253_35401,WEBphone_192.168.240.253_35402,WEBphone_192.168.240.253_35403,WEBphone_192.168.240.253_35404,WEBphone_192.168.240.253_35405,WEBphone_192.168.240.253_35406,WEBphone_192.168.240.253_35408,WEBphone_192.168.240.253_35409,WEBphone_192.168.240.253_35410,WEBphone_192.168.240.253_35411,WEBphone_192.168.240.253_35412,WEBphone_192.168.240.253_35413,WEBphone_192.168.240.253_35414,WEBphone_192.168.240.253_35415,WEBphone_192.168.240.253_35416,WEBphone_192.168.240.253_35417,WEBphone_192.168.240.253_35418,WEBphone_192.168.240.253_35419,WEBphone_192.168.240.253_35420,WEBphone_192.168.240.253_35421,WEBphone_192.168.240.253_35422,WEBphone_192.168.240.253_35423,WEBphone_192.168.240.253_35424,WEBphone_192.168.240.253_35425,WEBphone_192.168.240.253_35427,WEBphone_192.168.240.253_35428,WEBphone_192.168.240.253_35429,WEBphone_192.168.240.253_35430,WEBphone_192.168.240.253_35431,WEBphone_192.168.240.253_35432,WEBphone_192.168.240.253_35433,WEBphone_192.168.240.253_35434,WEBphone_192.168.240.253_35435,WEBphone_192.168.240.253_35436,WEBphone_192.168.240.253_35437,WEBphone_192.168.240.253_35438,WEBphone_192.168.240.253_35441,WEBphone_192.168.240.253_35442,WEBphone_192.168.240.253_35443,WEBphone_192.168.240.253_35444,WEBphone_192.168.240.253_35445,WEBphone_192.168.240.253_35446,WEBphone_192.168.240.253_35448,WEBphone_192.168.240.253_35449,WEBphone_192.168.240.253_35450,WEBphone_192.168.240.253_35451,WEBphone_192.168.240.253_35452,WEBphone_192.168.240.253_35453,WEBphone_192.168.240.253_35454,WEBphone_192.168.240.253_35455,WEBphone_192.168.240.253_35456,WEBphone_192.168.240.253_35457,WEBphone_192.168.240.253_35458,WEBphone_192.168.240.253_35459,WEBphone_192.168.240.253_35460,WEBphone_192.168.240.253_35461,WEBphone_192.168.240.253_35462,WEBphone_192.168.240.253_35463,WEBphone_192.168.240.253_35464,WEBphone_192.168.240.253_35465,WEBphone_192.168.240.253_35466,WEBphone_192.168.240.253_35467,WEBphone_192.168.240.253_35468,WEBphone_192.168.240.253_35469,WEBphone_192.168.240.253_35470,WEBphone_192.168.240.253_35471,WEBphone_192.168.240.253_35472,WEBphone_192.168.240.253_35473,WEBphone_192.168.240.253_35474,WEBphone_192.168.240.253_35475,WEBphone_192.168.240.253_35476,WEBphone_192.168.240.253_35477,WEBphone_192.168.240.253_35478,WEBphone_192.168.240.253_35479,WEBphone_192.168.240.253_35480,WEBphone_192.168.240.253_35482,WEBphone_192.168.240.253_35483,WEBphone_192.168.240.253_35488,WEBphone_192.168.240.253_35489,WEBphone_192.168.240.253_35490,WEBphone_192.168.240.253_35491,WEBphone_192.168.240.253_35492,WEBphone_192.168.240.253_35493,WEBphone_192.168.240.253_35496,WEBphone_192.168.240.253_35497,WEBphone_192.168.240.253_35498,WEBphone_192.168.240.253_35499,WEBphone_192.168.240.253_35500,WEBphone_192.168.240.253_35501,WEBphone_192.168.240.253_35502,WEBphone_192.168.240.253_35503,WEBphone_192.168.240.253_35504,WEBphone_192.168.240.253_35506,WEBphone_192.168.240.253_35507,WEBphone_192.168.240.253_35508,WEBphone_192.168.240.253_35509,WEBphone_192.168.240.253_35510,WEBphone_192.168.240.253_35511,WEBphone_192.168.240.253_35512,WEBphone_192.168.240.253_35513,WEBphone_192.168.240.253_35514,WEBphone_192.168.240.253_35515,WEBphone_192.168.240.253_35516,WEBphone_192.168.240.253_35517,WEBphone_192.168.240.253_35518,WEBphone_192.168.240.253_35519,WEBphone_192.168.240.253_35520,WEBphone_192.168.240.253_35521,WEBphone_192.168.240.253_35522,WEBphone_192.168.240.253_35523,WEBphone_192.168.240.253_35524,WEBphone_192.168.240.253_35525,WEBphone_192.168.240.253_35526,WEBphone_192.168.240.253_35527,WEBphone_192.168.240.253_35528,WEBphone_192.168.240.253_35529,WEBphone_192.168.240.253_35530,WEBphone_192.168.240.253_35531,WEBphone_192.168.240.253_35532,WEBphone_192.168.240.253_35533,WEBphone_192.168.240.253_35534,WEBphone_192.168.240.253_35535,WEBphone_192.168.240.253_35536,WEBphone_192.168.240.253_35537,WEBphone_192.168.240.253_35538,WEBphone_192.168.240.253_35539,WEBphone_192.168.240.253_35540,WEBphone_192.168.240.253_35541,WEBphone_192.168.240.253_35542,WEBphone_192.168.240.253_35543,WEBphone_192.168.240.253_35544,WEBphone_192.168.240.253_35545,WEBphone_192.168.240.253_35546,WEBphone_192.168.240.253_35547,WEBphone_192.168.240.253_35548,WEBphone_192.168.240.253_35549,WEBphone_192.168.240.253_35550,WEBphone_192.168.240.253_35551,WEBphone_192.168.240.253_35552,WEBphone_192.168.240.253_35553,WEBphone_192.168.240.253_35554,WEBphone_192.168.240.253_35555,WEBphone_192.168.240.253_35570,WEBphone_192.168.240.253_35571,WEBphone_192.168.240.253_35572,WEBphone_192.168.240.253_35573,WEBphone_192.168.240.253_35575,WEBphone_192.168.240.253_35580,WEBphone_192.168.240.253_35581,WEBphone_192.168.240.253_35582<
Hmm. Entwerder habe ich einen Denkfehler, und dann muesste man das so schreiben:
Zitat{ join(",", grep { !defined($defs{$_}) } sort keys %attr) }
oder sind diese Schluessel von %attr nicht in %defs present, und dann bin ich etwas ratlos.
Zitat von: rudolfkoenig am 03 Juli 2017, 14:04:39
Hmm. Entwerder habe ich einen Denkfehler, und dann muesste man das so schreiben:oder sind diese Schluessel von %attr nicht in %defs present, und dann bin ich etwas ratlos.
Dann bekomme ich eine identische Liste
Zitat
2AC641,ELANKlm,ESSOTeltow,JETMahlowerStr,JETReihnstr,LgTV,SHELLStahnsdorf,SPRINTBerlin,SYSMON_Webapp01,WEB_10.6.9.10_37149,WEB_10.6.9.10_37161,WEB_10.6.9.10_38236,WEB_10.6.9.10_38237,WEB_10.6.9.10_38238,WEB_10.6.9.10_38289,WEB_10.6.9.10_38406,WEB_10.6.9.10_38487,WEB_10.6.9.10_38488,WEB_10.6.9.10_38489,WEB_10.6.9.10_38490,WEB_10.6.9.10_38491,WEB_10.6.9.10_38492,WEB_10.6.9.10_38624,WEB_10.6.9.10_38625,WEB_10.6.9.10_38725,WEB_10.6.9.10_38729,WEB_10.6.9.10_38731,WEB_10.6.9.10_38732,WEB_10.6.9.10_38733,WEB_10.6.9.10_38830,WEB_10.6.9.10_38831,WEB_10.6.9.10_38832,WEB_10.6.9.10_38834,WEB_10.6.9.10_38835,WEB_10.6.9.10_40755,WEB_10.6.9.10_40758,WEB_10.6.9.10_40759,WEB_10.6.9.10_41478,WEB_10.6.9.10_41479,WEB_10.6.9.10_41480,WEB_10.6.9.10_41483,WEB_10.6.9.10_43600,WEB_10.6.9.10_43603,WEB_10.6.9.10_43605,WEB_10.6.9.10_53508,WEB_10.6.9.10_54515,WEB_10.6.9.10_54516,WEB_10.6.9.10_54519,WEB_10.6.9.10_54520,WEB_10.6.9.10_54531,WEB_10.6.9.10_54542,WEB_10.6.9.10_54545,WEB_10.6.9.10_54548,WEB_10.6.9.18_35842,WEB_10.6.9.18_36760,WEB_10.6.9.18_38518,WEB_10.6.9.18_38534,WEB_10.6.9.18_38802,WEB_10.6.9.18_55909,WEB_10.6.9.18_55910,WEB_10.6.9.18_55913,WEB_10.6.9.18_55914,WEB_10.6.9.18_55917,WEB_10.6.9.18_55919,WEB_10.6.9.18_55920,WEB_10.6.9.18_55921,WEB_10.6.9.18_55922,WEB_10.6.9.18_55925,WEB_10.6.9.18_56167,WEB_10.6.9.18_56168,WEB_10.6.9.18_56169,WEB_10.6.9.18_56170,WEB_10.6.9.18_56173,WEB_10.6.9.18_56186,WEB_10.6.9.18_56227,WEB_10.6.9.18_56230,WEB_10.6.9.18_56232,WEB_10.6.9.18_56233,WEB_10.6.9.18_56235,WEB_10.6.9.18_56236,WEB_10.6.9.18_56238,WEB_10.6.9.18_56240,WEB_10.6.9.18_56241,WEB_10.6.9.18_56243,WEB_10.6.9.18_56244,WEB_10.6.9.18_56282,WEB_10.6.9.18_56283,WEB_10.6.9.18_56284,WEB_10.6.9.18_56287,WEB_10.6.9.18_56289,WEB_10.6.9.18_56329,WEB_10.6.9.18_56330,WEB_10.6.9.18_56331,WEB_10.6.9.18_56332,WEB_10.6.9.18_56333,WEB_10.6.9.18_56345,WEB_10.6.9.18_56346,WEB_10.6.9.18_56347,WEB_10.6.9.18_56348,WEB_10.6.9.18_56349,WEB_10.6.9.18_56398,WEB_10.6.9.18_56769,WEB_10.6.9.18_57014,WEB_10.6.9.18_57017,WEB_10.6.9.18_57018,WEB_10.6.9.18_57020,WEB_10.6.9.18_57021,WEB_10.6.9.18_57028,WEB_10.6.9.18_57318,WEB_10.6.9.18_57320,WEB_10.6.9.18_57325,WEB_10.6.9.18_57326,WEB_10.6.9.18_57327,WEB_10.6.9.18_57328,WEB_10.6.9.18_57368,WEB_10.6.9.18_58193,WEB_10.6.9.18_58194,WEB_10.6.9.18_58195,WEB_10.6.9.18_58196,WEB_10.6.9.18_58197,WEB_10.6.9.18_58198,WEB_10.6.9.18_58666,WEB_10.6.9.18_58668,WEB_10.6.9.18_58669,WEB_10.6.9.18_58670,WEB_10.6.9.18_58702,WEB_10.6.9.18_58749,WEB_10.6.9.18_58758,WEB_10.6.9.18_58759,WEB_10.6.9.18_58760,WEB_10.6.9.18_58761,WEB_10.6.9.18_58762,WEB_10.6.9.18_59158,WEB_10.6.9.18_59159,WEB_10.6.9.18_10.6.9.19_35807,WEB_10.6.9.19_35808,WEB_10.6.9.19_35809,WEB_10.6.9.19_35812,WEB_10.6.9.19_35882,WEB_10.6.9.19_35883,WEB_10.6.9.19_35988,WEB_10.6.9.19_35994,WEB_10.6.9.19_36000,WEB_10.6.9.19_36001,WEB_10.6.9.19_36002,WEB_10.6.9.19_36003,WEB_10.6.9.19_36005,WEB_10.6.9.19_36011,WEB_10.6.9.19_36012,WEB_10.6.9.19_36015,WEB_10.6.9.19_36017,WEB_10.6.9.19_36018,WEB_10.6.9.19_36020,WEB_10.6.9.19_36021,WEB_10.6.9.19_36022,WEB_10.6.9.19_36024,WEB_10.6.9.19_36025,WEB_10.6.9.19_36029,WEB_10.6.9.19_36032,WEB_10.6.9.19_36040,WEB_10.6.9.19_36042,WEB_10.6.9.19_36043,WEB_10.6.9.19_36550,WEB_10.6.9.19_36552,WEB_10.6.9.19_36553,WEB_10.6.9.19_36554,WEB_10.6.9.19_36555,WEB_10.6.9.19_36837,WEB_10.6.9.19_36838,WEB_10.6.9.19_36839,WEB_10.6.9.19_36840,WEB_10.6.9.19_36842,WEB_10.6.9.19_36850,WEB_10.6.9.19_36851,WEB_10.6.9.19_36852,WEB_10.6.9.19_36853,WEB_10.6.9.19_36854,WEB_10.6.9.19_36855,WEB_10.6.9.19_36859,WEB_10.6.9.19_36861,WEB_10.6.9.19_37079,WEB_10.6.9.19_37083,WEB_10.6.9.19_37084,WEB_10.6.9.19_37085,WEB_10.6.9.19_37086,WEB_10.6.9.19_37088,WEB_10.6.9.19_37210,WEB_10.6.9.19_37211,WEB_10.6.9.19_37212,WEB_10.6.9.19_37213,WEB_10.6.9.19_37215,WEB_10.6.9.19_37243,WEB_10.6.9.19_37244,WEB_10.6.9.19_37245,WEB_10.6.9.19_37246,WEB_10.6.9.19_37247,WEB_10.6.9.19_37270,WEB_10.6.9.19_37288,WEB_10.6.9.19_37289,WEB_10.6.9.19_37290,WEB_10.6.9.19_37291,WEB_10.6.9.19_37293,WEB_10.6.9.19_37296,WEB_10.6.9.19_37298,WEB_10.6.9.19_37300,WEB_10.6.9.19_37301,WEB_10.6.9.19_37302,WEB_10.6.9.19_37381,WEB_10.6.9.19_37382,WEB_10.6.9.19_37385,WEB_10.6.9.19_37386,WEB_10.6.9.19_37387,WEB_10.6.9.19_37425,WEB_10.6.9.19_37446,WEB_10.6.9.19_37557,WEB_10.6.9.19_37558,WEB_10.6.9.19_37560,WEB_10.6.9.19_37564,WEB_10.6.9.19_37565,WEB_10.6.9.19_37566,WEB_10.6.9.19_37569,WEB_10.6.9.19_37932,WEB_10.6.9.19_37934,WEB_10.6.9.19_37937,WEB_10.6.9.19_37938,WEB_10.6.9.19_37941,WEB_10.6.9.19_37947,WEB_10.6.9.19_37948,WEB_10.6.9.19_37950,WEB_10.6.9.19_37951,WEB_10.6.9.19_37952,WEB_10.6.9.19_38334,WEB_10.6.9.19_38335,WEB_10.6.9.19_38337,WEB_10.6.9.19_38338,WEB_10.6.9.19_38339,WEB_10.6.9.19_38343,WEB_10.6.9.19_38489,WEB_10.6.9.19_38491,WEB_10.6.9.19_38492,WEB_10.6.9.19_38493,WEB_10.6.9.19_38494,WEB_10.6.9.19_38653,WEB_10.6.9.19_38654,WEB_10.6.9.19_38655,WEB_10.6.9.19_38656,WEB_10.6.9.19_38672,WEB_10.6.9.19_38791,WEB_10.6.9.19_38792,WEB_10.6.9.19_38793,WEB_10.6.9.19_38794,WEB_10.6.9.19_38795,WEB_10.6.9.19_38796,WEB_10.6.9.19_38799,WEB_10.6.9.19_38800,WEB_10.6.9.19_38802,WEB_10.6.9.19_38808,WEB_10.6.9.19_38821,WEB_10.6.9.19_38825,WEB_10.6.9.19_38826,WEB_10.6.9.19_38827,WEB_10.6.9.19_38830,WEB_10.6.9.19_38831,WEB_10.6.9.19_38835,WEB_10.6.9.19_39022,WEB_10.6.9.19_39023,WEB_10.6.9.19_39024,WEB_10.6.9.19_39025,WEB_10.6.9.19_39026,WEB_10.6.9.19_39081,WEB_10.6.9.19_39112,WEB_10.6.9.19_39113,WEB_10.6.9.19_39114,WEB_10.6.9.19_39115,WEB_10.6.9.19_39117,WEB_10.6.9.19_40512,WEB_10.6.9.19_40513,WEB_10.6.9.19_40514,WEB_10.6.9.19_40515,WEB_10.6.9.19_40517,WEB_10.6.9.19_41281,WEB_10.6.9.19_41291,WEB_10.6.9.19_41362,WEB_10.6.9.19_41391,WEB_10.6.9.19_41397,WEB_10.6.9.19_41398,WEB_10.6.9.19_41399,WEB_10.6.9.19_41402,WEB_10.6.9.19_42405,WEB_10.6.9.19_42406,WEB_10.6.9.19_42407,WEB_10.6.9.19_42408,WEB_10.6.9.19_42410,WEB_10.6.9.19_42412,WEB_10.6.9.19_42519,WEB_10.6.9.19_42520,WEB_10.6.9.19_42521,WEB_10.6.9.19_42522,WEB_10.6.9.19_42523,WEB_10.6.9.19_42594,WEB_10.6.9.19_42596,WEB_10.6.9.19_42597,WEB_10.6.9.19_42598,WEB_10.6.9.19_42602,WEB_10.6.9.19_42606,WEB_10.6.9.19_42612,WEB_10.6.9.19_42613,WEB_10.6.9.19_42615,WEB_10.6.9.19_51694,WEB_10.6.9.19_51695,WEB_10.6.9.19_51697,WEB_10.6.9.19_51698,WEB_10.6.9.19_51699,WEB_10.6.9.19_51700,WEB_10.6.9.19_51703,WEB_10.6.9.19_51863,WEB_10.6.9.19_51864,WEB_10.6.9.19_51866,WEB_10.6.9.19_51867,WEB_10.6.9.19_51868,WEB_10.6.9.19_51869,WEB_10.6.9.19_51870,WEB_10.6.9.19_51871,WEB_10.6.9.19_51874,WEB_10.6.9.19_51875,WEB_10.6.9.19_51910,WEB_10.6.9.19_51911,WEB_10.6.9.19_51913,WEB_10.6.9.19_51915,WEB_10.6.9.19_51942,WEB_10.6.9.19_51946,WEB_10.6.9.19_51950,WEB_10.6.9.19_51952,WEB_10.6.9.19_51956,WEB_10.6.9.19_51973,WEB_10.6.9.19_51974,WEB_10.6.9.19_51978,WEB_10.6.9.19_51984,WEB_10.6.9.19_51985,WEB_10.6.9.19_51987,WEB_10.6.9.19_51988,WEB_10.6.9.19_51989,WEB_10.6.9.19_51990,WEB_10.6.9.19_51992,WEB_10.6.9.19_52028,WEB_10.6.9.19_52029,WEB_10.6.9.19_52030,WEB_10.6.9.19_52032,WEB_10.6.9.19_52033,WEB_10.6.9.19_52219,WEB_10.6.9.19_52220,WEB_10.6.9.19_52221,WEB_10.6.9.19_52222,WEB_10.6.9.19_52223,WEB_10.6.9.19_52234,WEB_10.6.9.19_52235,WEB_10.6.9.19_52236,WEB_10.6.9.19_52237,WEB_10.6.9.19_52295,WEB_10.6.9.19_52296,WEB_10.6.9.19_52298,WEB_10.6.9.19_52299,WEB_10.6.9.19_52300,WEB_10.6.9.19_52313,WEB_10.6.9.19_52314,WEB_10.6.9.19_52315,WEB_10.6.9.19_52316,WEB_10.6.9.19_52319,WEB_10.6.9.19_52321,WEB_10.6.9.19_52326,WEB_10.6.9.19_52328,WEB_10.6.9.19_52329,WEB_10.6.9.19_52342,WEB_10.6.9.19_52344,WEB_10.6.9.19_52346,WEB_10.6.9.19_52347,WEB_10.6.9.19_52349,WEB_10.6.9.19_52354,WEB_10.6.9.19_52355,WEB_10.6.9.19_52356,WEB_10.6.9.19_52357,WEB_10.6.9.19_52359,WEB_10.6.9.19_52841,WEB_10.6.9.19_52842,WEB_10.6.9.19_52843,WEB_10.6.9.19_52844,WEB_10.6.9.19_52846,WEB_10.6.9.19_52899,WEB_10.6.9.19_52901,WEB_10.6.9.19_52902,WEB_10.6.9.19_52903,WEB_10.6.9.19_52907,WEB_10.6.9.19_53207,WEB_10.6.9.19_53208,WEB_10.6.9.19_53210,WEB_10.6.9.19_53211,WEB_10.6.9.19_53213,WEB_10.6.9.19_53244,WEB_10.6.9.19_53245,WEB_10.6.9.19_53246,WEB_10.6.9.19_53247,WEB_10.6.9.19_53249,WEB_10.6.9.19_53476,WEB_10.6.9.19_53477,WEB_10.6.9.19_53478,WEB_10.6.9.19_53479,WEB_10.6.9.19_53481,WEB_10.6.9.19_53511,WEB_10.6.9.19_53514,WEB_10.6.9.19_53519,WEB_10.6.9.19_53520,WEB_10.6.9.19_53521,WEB_10.6.9.19_53535,WEB_10.6.9.19_53539,WEB_10.6.9.19_53540,WEB_10.6.9.19_53544,WEB_10.6.9.19_53545,WEB_10.6.9.19_53599,WEB_10.6.9.19_53600,WEB_10.6.9.19_53602,WEB_10.6.9.19_53603,WEB_10.6.9.19_53604,WEB_10.6.9.19_53609,WEB_10.6.9.19_53610,WEB_10.6.9.19_53613,WEB_10.6.9.19_53614,WEB_10.6.9.19_53617,WEB_10.6.9.19_53618,WEB_10.6.9.19_53619,WEB_10.6.9.19_53620,WEB_10.6.9.19_53622,WEB_10.6.9.19_53623,WEB_10.6.9.19_53626,WEB_10.6.9.19_53628,WEB_10.6.9.19_53629,WEB_10.6.9.19_53631,WEB_10.6.9.19_53632,WEB_10.6.9.19_53633,WEB_10.6.9.19_53636,WEB_10.6.9.19_53657,WEB_10.6.9.19_53659,WEB_10.6.9.19_53660,WEB_10.6.9.19_53662,WEB_10.6.9.19_53663,WEB_10.6.9.19_53665,WEB_10.6.9.19_53674,WEB_10.6.9.19_53676,WEB_10.6.9.19_53678,WEB_10.6.9.19_53682,WEB_10.6.9.19_53684,WEB_10.6.9.19_53685,WEB_10.6.9.19_53707,WEB_10.6.9.19_53717,WEB_10.6.9.19_53719,WEB_10.6.9.19_53721,WEB_10.6.9.19_53722,WEB_10.6.9.19_53723,WEB_10.6.9.19_53724,WEB_10.6.9.19_53734,WEB_10.6.9.19_53735,WEB_10.6.9.19_53736,WEB_10.6.9.19_53737,WEB_10.6.9.19_53738,WEB_10.6.9.19_53739,WEB_10.6.9.19_53840,WEB_10.6.9.19_53841,WEB_10.6.9.19_53842,WEB_10.6.9.19_53843,WEB_10.6.9.19_53844,WEB_10.6.9.19_53937,WEB_10.6.9.19_53938,WEB_10.6.9.19_53939,WEB_10.6.9.19_53941,WEB_10.6.9.19_54066,WEB_10.6.9.19_54067,WEB_10.6.9.19_54068,WEB_10.6.9.19_54070,WEB_10.6.9.19_54071,WEB_10.6.9.19_54073,WEB_10.6.9.19_54075,WEB_10.6.9.19_54076,WEB_10.6.9.19_54077,WEB_10.6.9.19_54079,WEB_10.6.9.19_54450,WEB_10.6.9.19_54451,WEB_10.6.9.19_54452,WEB_10.6.9.19_54453,WEB_10.6.9.19_54454,WEB_10.6.9.19_54455,WEB_10.6.9.19_54717,WEB_10.6.9.19_54718,WEB_10.6.9.19_54719,WEB_10.6.9.19_54749,WEB_10.6.9.19_54750,WEB_10.6.9.19_54751,WEB_10.6.9.19_54753,WEB_10.6.9.19_54755,WEB_10.6.9.19_54758,WEB_10.6.9.19_54759,WEB_10.6.9.19_54761,WEB_10.6.9.19_54762,WEB_10.6.9.19_54846,WEB_10.6.9.19_54847,WEB_10.6.9.19_54848,WEB_10.6.9.19_54849,WEB_10.6.9.19_54850,WEB_10.6.9.19_54862,WEB_10.6.9.19_54866,WEB_10.6.9.19_54867,WEB_10.6.9.19_54868,WEB_10.6.9.19_54869,WEB_10.6.9.19_54875,WEB_10.6.9.19_54876,WEB_10.6.9.19_54877,WEB_10.6.9.19_54879,WEB_10.6.9.19_54880,WEB_10.6.9.19_54886,WEB_10.6.9.19_54887,WEB_10.6.9.19_54888,WEB_10.6.9.19_54889,WEB_10.6.9.19_54891,WEB_10.6.9.19_54894,WEB_10.6.9.19_54898,WEB_10.6.9.19_54901,WEB_10.6.9.19_54902,WEB_10.6.9.19_54917,WEB_10.6.9.19_54918,WEB_10.6.9.19_54919,WEB_10.6.9.19_54920,WEB_10.6.9.19_54921,WEB_10.6.9.19_54960,WEB_10.6.9.19_54962,WEB_10.6.9.19_54965,WEB_10.6.9.19_54976,WEB_10.6.9.19_54977,WEB_10.6.9.19_54978,WEB_10.6.9.19_54980,WEB_10.6.9.19_54982,WEB_10.6.9.19_54991,WEB_10.6.9.19_54992,WEB_10.6.9.19_55009,WEB_10.6.9.19_55011,WEB_10.6.9.19_55012,WEB_10.6.9.19_55013,WEB_10.6.9.19_55014,WEB_10.6.9.19_55018,WEB_10.6.9.19_55020,WEB_10.6.9.19_55024,WEB_10.6.9.19_55025,WEB_10.6.9.19_55027,WEB_10.6.9.19_55029,WEB_10.6.9.19_55030,WEB_10.6.9.19_55031,WEB_10.6.9.19_55032,WEB_10.6.9.19_55033,WEB_10.6.9.19_55035,WEB_10.6.9.19_55036,WEB_10.6.9.19_55041,WEB_10.6.9.19_55042,WEB_10.6.9.19_55043,WEB_10.6.9.19_55044,WEB_10.6.9.19_55045,WEB_10.6.9.19_55050,WEB_10.6.9.19_55053,WEB_10.6.9.19_55054,WEB_10.6.9.19_55055,WEB_10.6.9.19_55056,WEB_10.6.9.19_55085,WEB_10.6.9.19_55086,WEB_10.6.9.19_55087,WEB_10.6.9.19_55088,WEB_10.6.9.19_55089,WEB_10.6.9.19_55090,WEB_10.6.9.19_55097,WEB_10.6.9.19_55099,WEB_10.6.9.19_55100,WEB_10.6.9.19_55101,WEB_10.6.9.19_55102,WEB_10.6.9.19_55103,WEB_10.6.9.19_55110,WEB_10.6.9.19_55111,WEB_10.6.9.19_55112,WEB_10.6.9.19_55113,WEB_10.6.9.19_55114,WEB_10.6.9.19_55115,WEB_10.6.9.19_55117,WEB_10.6.9.19_55125,WEB_10.6.9.19_55127,WEB_10.6.9.19_55128,WEB_10.6.9.19_55129,WEB_10.6.9.19_55130,WEB_10.6.9.19_55151,WEB_10.6.9.19_55152,WEB_10.6.9.19_55153,WEB_10.6.9.19_55154,WEB_10.6.9.19_55156,WEB_10.6.9.19_55241,WEB_10.6.9.19_55243,WEB_10.6.9.19_55244,WEB_10.6.9.19_55245,WEB_10.6.9.19_55246,WEB_10.6.9.19_55251,WEB_10.6.9.19_55252,WEB_10.6.9.19_55253,WEB_10.6.9.19_55254,WEB_10.6.9.19_55255,WEB_10.6.9.19_55303,WEB_10.6.9.19_55304,WEB_10.6.9.19_55305,WEB_10.6.9.19_55306,WEB_10.6.9.19_55313,WEB_10.6.9.19_55380,WEB_10.6.9.19_55382,WEB_10.6.9.19_55384,WEB_10.6.9.19_55385,WEB_10.6.9.19_55386,WEB_10.6.9.19_55387,WEB_10.6.9.19_55388,WEB_10.6.9.19_55389,WEB_10.6.9.19_55390,WEB_10.6.9.19_55392,WEB_10.6.9.19_55409,WEB_10.6.9.19_55410,WEB_10.6.9.19_55412,WEB_10.6.9.19_55413,WEB_10.6.9.19_55414,WEB_10.6.9.19_55749,WEB_10.6.9.19_55986,WEB_10.6.9.19_55987,WEB_10.6.9.19_55988,WEB_10.6.9.19_55989,WEB_10.6.9.19_55990,WEB_10.6.9.19_56115,WEB_10.6.9.19_56116,WEB_10.6.9.19_56117,WEB_10.6.9.19_56119,WEB_10.6.9.19_56120,WEB_10.6.9.19_56152,WEB_10.6.9.19_56153,WEB_10.6.9.19_56154,WEB_10.6.9.19_56156,WEB_10.6.9.19_56157,WEB_10.6.9.19_56353,WEB_10.6.9.19_56354,WEB_10.6.9.19_56355,WEB_10.6.9.19_56356,WEB_10.6.9.19_56357,WEB_10.6.9.19_56419,WEB_10.6.9.19_56421,WEB_10.6.9.19_56422,WEB_10.6.9.19_56423,WEB_10.6.9.19_56424,WEB_10.6.9.19_56429,WEB_10.6.9.19_56471,WEB_10.6.9.19_56472,WEB_10.6.9.19_56474,WEB_10.6.9.19_56475,WEB_10.6.9.19_56476,WEB_10.6.9.19_56536,WEB_10.6.9.19_56538,WEB_10.6.9.19_56544,WEB_10.6.9.19_56554,WEB_10.6.9.19_56555,WEB_10.6.9.19_56558,WEB_10.6.9.19_56560,WEB_10.6.9.19_56562,WEB_10.6.9.19_56563,WEB_10.6.9.19_56566,WEB_10.6.9.19_56661,WEB_10.6.9.19_56662,WEB_10.6.9.19_56663,WEB_10.6.9.19_56664,WEB_10.6.9.19_56666,WEB_10.6.9.19_56668,WEB_10.6.9.19_56669,WEB_10.6.9.19_56670,WEB_10.6.9.19_56671,WEB_10.6.9.19_56674,WEB_10.6.9.19_56935,WEB_10.6.9.19_56936,WEB_10.6.9.19_56937,WEB_10.6.9.19_56938,WEB_10.6.9.19_56939,WEB_10.6.9.19_56950,WEB_10.6.9.19_56952,WEB_10.6.9.19_56955,WEB_10.6.9.19_56958,WEB_10.6.9.19_56959,WEB_10.6.9.19_56970,WEB_10.6.9.19_56973,WEB_10.6.9.19_56974,WEB_10.6.9.19_56976,WEB_10.6.9.19_56977,WEB_10.6.9.19_57025,WEB_10.6.9.19_57026,WEB_10.6.9.19_57028,WEB_10.6.9.19_57030,WEB_10.6.9.19_57034,WEB_10.6.9.19_57056,WEB_10.6.9.19_57057,WEB_10.6.9.19_57059,WEB_10.6.9.19_57060,WEB_10.6.9.19_57061,WEB_10.6.9.19_57062,WEB_10.6.9.19_57064,WEB_10.6.9.19_57065,WEB_10.6.9.19_57069,WEB_10.6.9.19_57079,WEB_10.6.9.19_57243,WEB_10.6.9.19_57467,WEB_10.6.9.19_57468,WEB_10.6.9.19_57469,WEB_10.6.9.19_57471,WEB_10.6.9.19_57472,WEB_10.6.9.19_57476,WEB_10.6.9.19_57477,WEB_10.6.9.19_57478,WEB_10.6.9.19_57482,WEB_10.6.9.19_57485,WEB_10.6.9.19_57542,WEB_10.6.9.19_57543,WEB_10.6.9.19_57544,WEB_10.6.9.19_57545,WEB_10.6.9.19_57547,WEB_10.6.9.19_57567,WEB_10.6.9.19_57568,WEB_10.6.9.19_57569,WEB_10.6.9.19_57571,WEB_10.6.9.19_57572,WEB_10.6.9.19_57776,WEB_10.6.9.19_57777,WEB_10.6.9.19_57778,WEB_10.6.9.19_57779,WEB_10.6.9.19_57780,WEB_10.6.9.19_57794,WEB_10.6.9.19_57795,WEB_10.6.9.19_57797,WEB_10.6.9.19_57799,WEB_10.6.9.19_57800,WEB_10.6.9.19_57828,WEB_10.6.9.19_57831,WEB_10.6.9.19_57832,WEB_10.6.9.19_57835,WEB_10.6.9.19_57913,WEB_10.6.9.19_57914,WEB_10.6.9.19_57915,WEB_10.6.9.19_57916,WEB_10.6.9.19_57917,WEB_10.6.9.19_57918,WEB_10.6.9.19_57920,WEB_10.6.9.19_57921,WEB_10.6.9.19_57937,WEB_10.6.9.19_57938,WEB_10.6.9.19_57939,WEB_10.6.9.19_57941,WEB_10.6.9.19_57942,WEB_10.6.9.19_57963,WEB_10.6.9.19_57969,WEB_10.6.9.19_57970,WEB_10.6.9.19_57973,WEB_10.6.9.19_57974,WEB_10.6.9.19_57981,WEB_10.6.9.19_57982,WEB_10.6.9.19_57985,WEB_10.6.9.19_57986,WEB_10.6.9.19_57989,WEB_10.6.9.19_57992,WEB_10.6.9.19_58086,WEB_10.6.9.19_58087,WEB_10.6.9.19_58088,WEB_10.6.9.19_58089,WEB_10.6.9.19_58090,WEB_10.6.9.19_58258,WEB_10.6.9.19_58260,WEB_10.6.9.19_58261,WEB_10.6.9.19_58262,WEB_10.6.9.19_58263,WEB_10.6.9.19_58437,WEB_10.6.9.19_58438,WEB_10.6.9.19_58439,WEB_10.6.9.19_58440,WEB_10.6.9.19_58441,WEB_10.6.9.19_58444,WEB_10.6.9.19_58445,WEB_10.6.9.19_58446,WEB_10.6.9.19_58451,WEB_10.6.9.19_58452,WEB_10.6.9.19_58453,WEB_10.6.9.19_58465,WEB_10.6.9.19_58466,WEB_10.6.9.19_58467,WEB_10.6.9.19_58468,WEB_10.6.9.19_58469,WEB_10.6.9.19_58478,WEB_10.6.9.19_58492,WEB_10.6.9.19_58493,WEB_10.6.9.19_58494,WEB_10.6.9.19_58495,WEB_10.6.9.19_58497,WEB_10.6.9.19_58502,WEB_10.6.9.19_58535,WEB_10.6.9.19_58536,WEB_10.6.9.19_58537,WEB_10.6.9.19_58541,WEB_10.6.9.19_58542,WEB_10.6.9.19_59042,WEB_10.6.9.19_59043,WEB_10.6.9.19_59044,WEB_10.6.9.19_59539,WEB_10.6.9.19_59541,WEB_10.6.9.19_59542,WEB_10.6.9.19_59543,WEB_10.6.9.19_59544,WEB_10.6.9.19_59977,WEB_10.6.9.19_59978,WEB_10.6.9.19_59979,WEB_10.6.9.19_59981,WEB_10.6.9.19_59982,WEB_10.6.9.19_59983,WEB_10.6.9.19_60340,WEB_10.6.9.19_60347,WEB_10.6.9.19_60349,WEB_10.6.9.19_60350,WEB_10.6.9.19_60351,WEB_10.6.9.19_60388,WEB_10.6.9.19_60389,WEB_10.6.9.19_60390,WEB_10.6.9.19_60392,WEB_10.6.9.19_60393,WEB_10.6.9.19_60457,WEB_10.6.9.19_60460,WEB_10.6.9.2_41250,WEB_10.6.9.2_41252,WEB_10.6.9.2_41254,WEB_10.6.9.2_41258,WEB_10.6.9.2_41260,WEB_10.6.9.2_44024,WEB_10.6.9.2_44260,WEB_10.6.9.2_44264,WEB_10.6.9.2_44266,WEB_10.6.9.2_44268,WEB_10.6.9.2_44990,WEB_10.6.9.2_51792,WEB_10.6.9.2_51794,WEB_10.6.9.2_51796,WEB_10.6.9.2_51798,WEB_10.6.9.2_51800,WEB_10.6.9.2_56416,WEB_10.6.9.2_56422,WEB_10.6.9.2_56424,WEB_10.6.9.2_56426,WEB_10.6.9.2_56688,WEB_10.6.9.2_56690,WEB_10.6.9.2_56692,WEB_10.6.9.2_56694,WEB_10.6.9.2_57214,WEB_10.6.9.2_57218,WEB_10.6.9.2_57268,WEB_10.6.9.4_33390,WEB_10.6.9.4_37396,WEB_10.6.9.4_37402,WEB_10.6.9.4_37706,WEB_10.6.9.4_37740,WEB_10.6.9.4_37754,WEB_10.6.9.4_37764,WEB_10.6.9.4_37820,WEB_10.6.9.4_37822,WEB_10.6.9.4_37832,WEB_10.6.9.4_37834,WEB_10.6.9.4_37866,WEB_10.6.9.4_37868,WEB_10.6.9.4_37870,WEB_10.6.9.4_37912,WEB_10.6.9.4_37964,WEB_10.6.9.4_37966,WEB_10.6.9.4_37968,WEB_10.6.9.4_37970,WEB_10.6.9.4_37972,WEB_10.6.9.4_40650,WEB_10.6.9.4_41560,WEB_10.6.9.4_41606,WEB_10.6.9.4_41610,WEB_10.6.9.4_41616,WEB_10.6.9.4_41680,WEB_10.6.9.4_41878,WEB_10.6.9.4_41880,WEB_10.6.9.4_41884,WEB_10.6.9.4_41886,WEB_10.6.9.4_41892,WEB_10.6.9.4_41894,WEB_10.6.9.4_41898,WEB_10.6.9.4_41922,WEB_10.6.9.4_41924,WEB_10.6.9.4_41932,WEB_10.6.9.4_41940,WEB_10.6.9.4_41972,WEB_10.6.9.4_41974,WEB_10.6.9.4_41978,WEB_10.6.9.4_41982,WEB_10.6.9.4_42008,WEB_10.6.9.4_42010,WEB_10.6.9.4_42012,WEB_10.6.9.4_42014,WEB_10.6.9.4_42030,WEB_10.6.9.4_42052,WEB_10.6.9.4_42062,WEB_10.6.9.4_42066,WEB_10.6.9.4_42072,WEB_10.6.9.4_42078,WEB_10.6.9.4_42080,WEB_10.6.9.4_42082,WEB_10.6.9.4_42104,WEB_10.6.9.4_42108,WEB_10.6.9.4_42110,WEB_10.6.9.4_42112,WEB_10.6.9.4_42116,WEB_10.6.9.4_42120,WEB_10.6.9.4_42122,WEB_10.6.9.4_42124,WEB_10.6.9.4_42190,WEB_10.6.9.4_42194,WEB_10.6.9.4_42196,WEB_10.6.9.4_42198,WEB_10.6.9.4_42208,WEB_10.6.9.4_42248,WEB_10.6.9.4_42250,WEB_10.6.9.4_42254,WEB_10.6.9.4_42260,WEB_10.6.9.4_42354,WEB_10.6.9.4_42356,WEB_10.6.9.4_42358,WEB_10.6.9.4_42434,WEB_10.6.9.4_42464,WEB_10.6.9.4_42470,WEB_10.6.9.4_42480,WEB_10.6.9.4_42482,WEB_10.6.9.4_42576,WEB_10.6.9.4_42578,WEB_10.6.9.4_42582,WEB_10.6.9.4_42584,WEB_10.6.9.4_42586,WEB_10.6.9.4_43244,WEB_10.6.9.4_43246,WEB_10.6.9.4_43248,WEB_10.6.9.4_43250,WEB_10.6.9.4_43252,WEB_10.6.9.4_43366,WEB_10.6.9.4_43370,WEB_10.6.9.4_43378,WEB_10.6.9.4_43380,WEB_10.6.9.4_43382,WEB_10.6.9.4_43428,WEB_10.6.9.4_43434,WEB_10.6.9.4_43436,WEB_10.6.9.4_43440,WEB_10.6.9.4_43442,WEB_10.6.9.4_43470,WEB_10.6.9.4_43476,WEB_10.6.9.4_43478,WEB_10.6.9.4_43484,WEB_10.6.9.4_43486,WEB_10.6.9.4_43510,WEB_10.6.9.4_43518,WEB_10.6.9.4_43520,WEB_10.6.9.4_43540,WEB_10.6.9.4_43542,WEB_10.6.9.4_43574,WEB_10.6.9.4_43578,WEB_10.6.9.4_43580,WEB_10.6.9.4_43582,WEB_10.6.9.4_43584,WEB_10.6.9.4_43596,WEB_10.6.9.4_43598,WEB_10.6.9.4_43600,WEB_10.6.9.4_43604,WEB_10.6.9.4_43610,WEB_10.6.9.4_43646,WEB_10.6.9.4_43648,WEB_10.6.9.4_43650,WEB_10.6.9.4_43652,WEB_10.6.9.4_43658,WEB_10.6.9.4_43676,WEB_10.6.9.4_43680,WEB_10.6.9.4_43696,WEB_10.6.9.4_43698,WEB_10.6.9.4_43700,WEB_10.6.9.4_43852,WEB_10.6.9.4_43856,WEB_10.6.9.4_43864,WEB_10.6.9.4_43866,WEB_10.6.9.4_43868,WEB_10.6.9.4_44126,WEB_10.6.9.4_44134,WEB_10.6.9.4_44136,WEB_10.6.9.4_44148,WEB_10.6.9.4_44150,WEB_10.6.9.4_44222,WEB_10.6.9.4_44224,WEB_10.6.9.4_44226,WEB_10.6.9.4_44230,WEB_10.6.9.4_44232,WEB_10.6.9.4_44282,WEB_10.6.9.4_44284,WEB_10.6.9.4_44298,WEB_10.6.9.4_44324,WEB_10.6.9.4_44328,WEB_10.6.9.4_44382,WEB_10.6.9.4_44384,WEB_10.6.9.4_44386,WEB_10.6.9.4_44390,WEB_10.6.9.4_44392,WEB_10.6.9.4_44410,WEB_10.6.9.4_44412,WEB_10.6.9.4_44414,WEB_10.6.9.4_44416,WEB_10.6.9.4_44420,WEB_10.6.9.4_44464,WEB_10.6.9.4_44470,WEB_10.6.9.4_44486,WEB_10.6.9.4_44490,WEB_10.6.9.4_44506,WEB_10.6.9.4_44514,WEB_10.6.9.4_44516,WEB_10.6.9.4_44518,WEB_10.6.9.4_44520,WEB_10.6.9.4_44522,WEB_10.6.9.4_44674,WEB_10.6.9.4_44678,WEB_10.6.9.4_44680,WEB_10.6.9.4_44682,WEB_10.6.9.4_44700,WEB_10.6.9.4_44914,WEB_10.6.9.4_44920,WEB_10.6.9.4_44922,WEB_10.6.9.4_44924,WEB_10.6.9.4_44926,WEB_10.6.9.4_44948,WEB_10.6.9.4_44950,WEB_10.6.9.4_44952,WEB_10.6.9.4_44960,WEB_10.6.9.4_44962,WEB_10.6.9.4_44986,WEB_10.6.9.4_44990,WEB_10.6.9.4_44992,WEB_10.6.9.4_44994,WEB_10.6.9.4_44996,WEB_10.6.9.4_45008,WEB_10.6.9.4_45012,WEB_10.6.9.4_45016,WEB_10.6.9.4_45020,WEB_10.6.9.4_45022,WEB_10.6.9.4_45034,WEB_10.6.9.4_45042,WEB_10.6.9.4_45050,WEB_10.6.9.4_45060,WEB_10.6.9.4_45062,WEB_10.6.9.4_45074,WEB_10.6.9.4_45078,WEB_10.6.9.4_45080,WEB_10.6.9.4_45082,WEB_10.6.9.4_45084,WEB_10.6.9.4_45094,WEB_10.6.9.4_45096,WEB_10.6.9.4_45100,WEB_10.6.9.4_45102,WEB_10.6.9.4_45104,WEB_10.6.9.4_45120,WEB_10.6.9.4_45128,WEB_10.6.9.4_45134,WEB_10.6.9.4_45142,WEB_10.6.9.4_45144,WEB_10.6.9.4_45152,WEB_10.6.9.4_45158,WEB_10.6.9.4_45178,WEB_10.6.9.4_45214,WEB_10.6.9.4_45218,WEB_10.6.9.4_45220,WEB_10.6.9.4_45226,WEB_10.6.9.4_45228,WEB_10.6.9.4_45368,WEB_10.6.9.4_45370,WEB_10.6.9.4_45376,WEB_10.6.9.4_45378,WEB_10.6.9.4_45380,WEB_10.6.9.4_45478,WEB_10.6.9.4_45484,WEB_10.6.9.4_45486,WEB_10.6.9.4_45488,WEB_10.6.9.4_45490,WEB_10.6.9.4_45534,WEB_10.6.9.4_45538,WEB_10.6.9.4_45544,WEB_10.6.9.4_45548,WEB_10.6.9.4_45586,WEB_10.6.9.4_45590,WEB_10.6.9.4_45592,WEB_10.6.9.4_45596,WEB_10.6.9.4_45608,WEB_10.6.9.4_45610,WEB_10.6.9.4_45632,WEB_10.6.9.4_45656,WEB_10.6.9.4_45658,WEB_10.6.9.4_45660,WEB_10.6.9.4_45758,WEB_10.6.9.4_45770,WEB_10.6.9.4_45778,WEB_10.6.9.4_45782,WEB_10.6.9.4_45876,WEB_10.6.9.4_45892,WEB_10.6.9.4_45894,WEB_10.6.9.4_45898,WEB_10.6.9.4_45934,WEB_10.6.9.4_45968,WEB_10.6.9.4_45970,WEB_10.6.9.4_45972,WEB_10.6.9.4_45976,WEB_10.6.9.4_46162,WEB_10.6.9.4_46184,WEB_10.6.9.4_46190,WEB_10.6.9.4_46200,WEB_10.6.9.4_46220,WEB_10.6.9.4_46510,WEB_10.6.9.4_46514,WEB_10.6.9.4_46518,WEB_10.6.9.4_46520,WEB_10.6.9.4_46522,WEB_10.6.9.4_46530,WEB_10.6.9.4_46534,WEB_10.6.9.4_46536,WEB_10.6.9.4_46538,WEB_10.6.9.4_46540,WEB_10.6.9.4_47170,WEB_10.6.9.4_47174,WEB_10.6.9.4_47178,WEB_10.6.9.4_47180,WEB_10.6.9.4_47194,WEB_10.6.9.4_47200,WEB_10.6.9.4_47202,WEB_10.6.9.4_47204,WEB_10.6.9.4_47296,WEB_10.6.9.4_47300,WEB_10.6.9.4_47316,WEB_10.6.9.4_47320,WEB_10.6.9.4_47598,WEB_10.6.9.4_47604,WEB_10.6.9.4_47610,WEB_10.6.9.4_47612,WEB_10.6.9.4_47618,WEB_10.6.9.4_47620,WEB_10.6.9.4_47626,WEB_10.6.9.4_47638,WEB_10.6.9.4_47646,WEB_10.6.9.4_47648,WEB_10.6.9.4_47666,WEB_10.6.9.4_47670,WEB_10.6.9.4_47678,WEB_10.6.9.4_47724,WEB_10.6.9.4_47746,WEB_10.6.9.4_47770,WEB_10.6.9.4_47774,WEB_10.6.9.4_47798,WEB_10.6.9.4_47828,WEB_10.6.9.4_47834,WEB_10.6.9.4_48326,WEB_10.6.9.4_48328,WEB_10.6.9.4_48332,WEB_10.6.9.4_48334,WEB_10.6.9.4_48336,WEB_10.6.9.4_48714,WEB_10.6.9.4_48718,WEB_10.6.9.4_48726,WEB_10.6.9.4_48728,WEB_10.6.9.4_48744,WEB_10.6.9.4_48746,WEB_10.6.9.4_48748,WEB_10.6.9.4_48750,WEB_10.6.9.4_48752,WEB_10.6.9.4_48822,WEB_10.6.9.4_48824,WEB_10.6.9.4_48830,WEB_10.6.9.4_48842,WEB_10.6.9.4_48974,WEB_10.6.9.4_49042,WEB_10.6.9.4_49074,WEB_10.6.9.4_49224,WEB_10.6.9.4_49226,WEB_10.6.9.4_49228,WEB_10.6.9.4_49230,WEB_10.6.9.4_49234,WEB_10.6.9.4_49240,WEB_10.6.9.4_49242,WEB_10.6.9.4_49252,WEB_10.6.9.4_49254,WEB_10.6.9.4_49256,WEB_10.6.9.4_49368,WEB_10.6.9.4_49370,WEB_10.6.9.4_49372,WEB_10.6.9.4_49374,WEB_10.6.9.4_49378,WEB_10.6.9.4_49624,WEB_10.6.9.4_49626,WEB_10.6.9.4_49628,WEB_10.6.9.4_49630,WEB_10.6.9.4_49632,WEB_10.6.9.4_50532,WEB_10.6.9.4_50534,WEB_10.6.9.4_50536,WEB_10.6.9.4_50538,WEB_10.6.9.4_50540,WEB_10.6.9.4_50548,WEB_10.6.9.4_50550,WEB_10.6.9.4_50552,WEB_10.6.9.4_50588,WEB_10.6.9.4_50594,WEB_10.6.9.4_60210,WEB_192.168.240.252_32798,WEB_192.168.240.252_32806,WEB_192.168.240.252_32870,WEB_192.168.240.252_32872,WEB_192.168.240.252_32884,WEB_192.168.240.252_32888,WEB_192.168.240.252_32950,WEB_192.168.240.252_32952,WEB_192.168.240.252_32956,WEB_192.168.240.252_32958,WEB_192.168.240.252_32962,WEB_192.168.240.252_33366,WEB_192.168.240.252_33370,WEB_192.168.240.252_33374,WEB_192.168.240.252_33376,WEB_192.168.240.252_33730,WEB_192.168.240.252_33788,WEB_192.168.240.252_33822,WEB_192.168.240.252_33824,WEB_192.168.240.252_33838,WEB_192.168.240.252_33840,WEB_192.168.240.252_33856,WEB_192.168.240.252_33862,WEB_192.168.240.252_33864,WEB_192.168.240.252_33866,WEB_192.168.240.252_33880,WEB_192.168.240.252_33894,WEB_192.168.240.252_33896,WEB_192.168.240.252_33898,WEB_192.168.240.252_33920,WEB_192.168.240.252_33946,WEB_192.168.240.252_33948,WEB_192.168.240.252_33950,WEB_192.168.240.252_33952,WEB_192.168.240.252_33954,WEB_192.168.240.252_33968,WEB_192.168.240.252_33970,WEB_192.168.240.252_33974,WEB_192.168.240.252_33976,WEB_192.168.240.252_33980,WEB_192.168.240.252_33986,WEB_192.168.240.252_33988,WEB_192.168.240.252_33990,WEB_192.168.240.252_34030,WEB_192.168.240.252_34104,WEB_192.168.240.252_34108,WEB_192.168.240.252_34110,WEB_192.168.240.252_34120,WEB_192.168.240.252_34122,WEB_192.168.240.252_34168,WEB_192.168.240.252_34170,WEB_192.168.240.252_34172,WEB_192.168.240.252_34176,WEB_192.168.240.252_34178,WEB_192.168.240.252_34476,WEB_192.168.240.252_34478,WEB_192.168.240.252_34482,WEB_192.168.240.252_34484,WEB_192.168.240.252_34486,WEB_192.168.240.252_34694,WEB_192.168.240.252_34700,WEB_192.168.240.252_34702,WEB_192.168.240.252_34704,WEB_192.168.240.252_34730,WEB_192.168.240.252_34784,WEB_192.168.240.252_34786,WEB_192.168.240.252_34790,WEB_192.168.240.252_34792,WEB_192.168.240.252_34796,WEB_192.168.240.252_34830,WEB_192.168.240.252_34832,WEB_192.168.240.252_34838,WEB_192.168.240.252_34842,WEB_192.168.240.252_34846,WEB_192.168.240.252_34852,WEB_192.168.240.252_34868,WEB_192.168.240.252_34872,WEB_192.168.240.252_34880,WEB_192.168.240.252_34886,WEB_192.168.240.252_34888,WEB_192.168.240.252_34890,WEB_192.168.240.252_35020,WEB_192.168.240.252_35028,WEB_192.168.240.252_35044,WEB_192.168.240.252_35046,WEB_192.168.240.252_35048,WEB_192.168.240.252_35080,WEB_192.168.240.252_35082,WEB_192.168.240.252_35084,WEB_192.168.240.252_35086,WEB_192.168.240.252_35090,WEB_192.168.240.252_35116,WEB_192.168.240.252_35122,WEB_192.168.240.252_35132,WEB_192.168.240.252_35134,WEB_192.168.240.252_35142,WEB_192.168.240.252_35144,WEB_192.168.240.252_35146,WEB_192.168.240.252_35156,WEB_192.168.240.252_35158,WEB_192.168.240.252_35160,WEB_192.168.240.252_35162,WEB_192.168.240.252_35164,WEB_192.168.240.252_35454,WEB_192.168.240.252_35456,WEB_192.168.240.252_35460,WEB_192.168.240.252_35468,WEB_192.168.240.252_35548,WEB_192.168.240.252_35550,WEB_192.168.240.252_35554,WEB_192.168.240.252_35556,WEB_192.168.240.252_35558,WEB_192.168.240.252_35560,WEB_192.168.240.252_35562,WEB_192.168.240.252_35564,WEB_192.168.240.252_35568,WEB_192.168.240.252_35580,WEB_192.168.240.252_35582,WEB_192.168.240.252_35586,WEB_192.168.240.252_35588,WEB_192.168.240.252_35590,WEB_192.168.240.252_35626,WEB_192.168.240.252_35638,WEB_192.168.240.252_35642,WEB_192.168.240.252_35646,WEB_192.168.240.252_35648,WEB_192.168.240.252_35812,WEB_192.168.240.252_35814,WEB_192.168.240.252_35818,WEB_192.168.240.252_35822,WEB_192.168.240.252_35828,WEB_192.168.240.252_35914,WEB_192.168.240.252_35918,WEB_192.168.240.252_35920,WEB_192.168.240.252_36066,WEB_192.168.240.252_36070,WEB_192.168.240.252_36072,WEB_192.168.240.252_36076,WEB_192.168.240.252_36078,WEB_192.168.240.252_36088,WEB_192.168.240.252_36106,WEB_192.168.240.252_36204,WEB_192.168.240.252_36208,WEB_192.168.240.252_36210,WEB_192.168.240.252_36212,WEB_192.168.240.252_36214,WEB_192.168.240.252_36400,WEB_192.168.240.252_36402,WEB_192.168.240.252_36404,WEB_192.168.240.252_36406,WEB_192.168.240.252_36410,WEB_192.168.240.252_36468,WEB_192.168.240.252_36480,WEB_192.168.240.252_36496,WEB_192.168.240.252_36502,WEB_192.168.240.252_36504,WEB_192.168.240.252_36546,WEB_192.168.240.252_36548,WEB_192.168.240.252_36550,WEB_192.168.240.252_36552,WEB_192.168.240.252_36554,WEB_192.168.240.252_36624,WEB_192.168.240.252_36626,WEB_192.168.240.252_36628,WEB_192.168.240.252_36630,WEB_192.168.240.252_36634,WEB_192.168.240.252_36662,WEB_192.168.240.252_36664,WEB_192.168.240.252_36666,WEB_192.168.240.252_36678,WEB_192.168.240.252_36682,WEB_192.168.240.252_36684,WEB_192.168.240.252_36686,WEB_192.168.240.252_36688,WEB_192.168.240.252_36892,WEB_192.168.240.252_36896,WEB_192.168.240.252_36900,WEB_192.168.240.252_36902,WEB_192.168.240.252_36904,WEB_192.168.240.252_36934,WEB_192.168.240.252_36942,WEB_192.168.240.252_36950,WEB_192.168.240.252_36958,WEB_192.168.240.252_38000,WEB_192.168.240.252_38010,WEB_192.168.240.252_38012,WEB_192.168.240.252_38022,WEB_192.168.240.252_38040,WEB_192.168.240.252_38044,WEB_192.168.240.252_38046,WEB_192.168.240.252_38060,WEB_192.168.240.252_38086,WEB_192.168.240.252_38088,WEB_192.168.240.252_38092,WEB_192.168.240.252_38096,WEB_192.168.240.252_38102,WEB_192.168.240.252_38508,WEB_192.168.240.252_38512,WEB_192.168.240.252_38514,WEB_192.168.240.252_38518,WEB_192.168.240.252_38530,WEB_192.168.240.252_38708,WEB_192.168.240.252_38710,WEB_192.168.240.252_38714,WEB_192.168.240.252_38716,WEB_192.168.240.252_38718,WEB_192.168.240.252_38784,WEB_192.168.240.252_38786,WEB_192.168.240.252_38788,WEB_192.168.240.252_38790,WEB_192.168.240.252_38792,WEB_192.168.240.252_38798,WEB_192.168.240.252_38800,WEB_192.168.240.252_38802,WEB_192.168.240.252_38804,WEB_192.168.240.252_38808,WEB_192.168.240.252_38880,WEB_192.168.240.252_38884,WEB_192.168.240.252_38886,WEB_192.168.240.252_38888,WEB_192.168.240.252_38890,WEB_192.168.240.252_38956,WEB_192.168.240.252_38958,WEB_192.168.240.252_38960,WEB_192.168.240.252_38964,WEB_192.168.240.252_38966,WEB_192.168.240.252_39206,WEB_192.168.240.252_39210,WEB_192.168.240.252_39216,WEB_192.168.240.252_39560,WEB_192.168.240.252_39562,WEB_192.168.240.252_39564,WEB_192.168.240.252_39568,WEB_192.168.240.252_39570,WEB_192.168.240.252_39990,WEB_192.168.240.252_40000,WEB_192.168.240.252_40112,WEB_192.168.240.252_40114,WEB_192.168.240.252_40116,WEB_192.168.240.252_40120,WEB_192.168.240.252_40124,WEB_192.168.240.252_40132,WEB_192.168.240.252_40138,WEB_192.168.240.252_40140,WEB_192.168.240.252_40142,WEB_192.168.240.252_40146,WEB_192.168.240.252_40178,WEB_192.168.240.252_40180,WEB_192.168.240.252_40730,WEB_192.168.240.252_40732,WEB_192.168.240.252_40736,WEB_192.168.240.252_40738,WEB_192.168.240.252_40740,WEB_192.168.240.252_40924,WEB_192.168.240.252_40928,WEB_192.168.240.252_40932,WEB_192.168.240.252_40934,WEB_192.168.240.252_40938,WEB_192.168.240.252_41260,WEB_192.168.240.252_41264,WEB_192.168.240.252_41268,WEB_192.168.240.252_41270,WEB_192.168.240.252_41272,WEB_192.168.240.252_41550,WEB_192.168.240.252_41552,WEB_192.168.240.252_41554,WEB_192.168.240.252_41556,WEB_192.168.240.252_41560,WEB_192.168.240.252_42192,WEB_192.168.240.252_42196,WEB_192.168.240.252_42198,WEB_192.168.240.252_42200,WEB_192.168.240.252_42204,WEB_192.168.240.252_43098,WEB_192.168.240.252_43100,WEB_192.168.240.252_43102,WEB_192.168.240.252_43106,WEB_192.168.240.252_43108,WEB_192.168.240.252_43800,WEB_192.168.240.252_43802,WEB_192.168.240.252_43804,WEB_192.168.240.252_43808,WEB_192.168.240.252_43882,WEB_192.168.240.252_45322,WEB_192.168.240.252_45328,WEB_192.168.240.252_45330,WEB_192.168.240.252_45360,WEB_192.168.240.252_45400,WEB_192.168.240.252_45702,WEB_192.168.240.252_45706,WEB_192.168.240.252_45708,WEB_192.168.240.252_45716,WEB_192.168.240.252_45726,WEB_192.168.240.252_46616,WEB_192.168.240.252_46618,WEB_192.168.240.252_46622,WEB_192.168.240.252_46624,WEB_192.168.240.252_46626,WEB_192.168.240.252_46730,WEB_192.168.240.252_46732,WEB_192.168.240.252_46734,WEB_192.168.240.252_46736,WEB_192.168.240.252_46740,WEB_192.168.240.252_46810,WEB_192.168.240.252_46812,WEB_192.168.240.252_46816,WEB_192.168.240.252_46818,WEB_192.168.240.252_46822,WEB_192.168.240.252_46984,WEB_192.168.240.252_46990,WEB_192.168.240.252_46996,WEB_192.168.240.252_46998,WEB_192.168.240.252_47028,WEB_192.168.240.252_47030,WEB_192.168.240.252_47034,WEB_192.168.240.252_47036,WEB_192.168.240.252_47038,WEB_192.168.240.252_47090,WEB_192.168.240.252_47446,WEB_192.168.240.252_47456,WEB_192.168.240.252_47462,WEB_192.168.240.252_47464,WEB_192.168.240.252_47470,WEB_192.168.240.252_47472,WEB_192.168.240.252_47840,WEB_192.168.240.252_47842,WEB_192.168.240.252_47844,WEB_192.168.240.252_47846,WEB_192.168.240.252_48282,WEB_192.168.240.252_48286,WEB_192.168.240.252_48288,WEB_192.168.240.252_48290,WEB_192.168.240.252_48294,WEB_192.168.240.252_48534,WEB_192.168.240.252_48536,WEB_192.168.240.252_48560,WEB_192.168.240.252_48806,WEB_192.168.240.252_48808,WEB_192.168.240.252_48810,WEB_192.168.240.252_48816,WEB_192.168.240.252_48818,WEB_192.168.240.252_48858,WEB_192.168.240.252_48862,WEB_192.168.240.252_48864,WEB_192.168.240.252_48866,WEB_192.168.240.252_48868,WEB_192.168.240.252_49770,WEB_192.168.240.252_49772,WEB_192.168.240.252_49774,WEB_192.168.240.252_49776,WEB_192.168.240.252_49778,WEB_192.168.240.252_49810,WEB_192.168.240.252_49812,WEB_192.168.240.252_49814,WEB_192.168.240.252_49816,WEB_192.168.240.252_49872,WEB_192.168.240.252_49876,WEB_192.168.240.252_49878,WEB_192.168.240.252_49880,WEB_192.168.240.252_49882,WEB_192.168.240.252_49884,WEB_192.168.240.252_49886,WEB_192.168.240.252_49888,WEB_192.168.240.252_49890,WEB_192.168.240.252_49942,WEB_192.168.240.252_49944,WEB_192.168.240.252_49946,WEB_192.168.240.252_49948,WEB_192.168.240.252_49950,WEB_192.168.240.252_49960,WEB_192.168.240.252_49966,WEB_192.168.240.252_49968,WEB_192.168.240.252_49972,WEB_192.168.240.252_49976,WEB_192.168.240.252_50086,WEB_192.168.240.252_50098,WEB_192.168.240.252_50118,WEB_192.168.240.252_50146,WEB_192.168.240.252_50184,WEB_192.168.240.252_50188,WEB_192.168.240.252_50190,WEB_192.168.240.252_50208,WEB_192.168.240.252_50212,WEB_192.168.240.252_50214,WEB_192.168.240.252_50226,WEB_192.168.240.252_50228,WEB_192.168.240.252_50230,WEB_192.168.240.252_50232,WEB_192.168.240.252_50234,WEB_192.168.240.252_50236,WEB_192.168.240.252_50262,WEB_192.168.240.252_50266,WEB_192.168.240.252_50268,WEB_192.168.240.252_50270,WEB_192.168.240.252_50272,WEB_192.168.240.252_50274,WEB_192.168.240.252_50342,WEB_192.168.240.252_50492,WEB_192.168.240.252_50494,WEB_192.168.240.252_50496,WEB_192.168.240.252_50526,WEB_192.168.240.252_50528,WEB_192.168.240.252_50598,WEB_192.168.240.252_50602,WEB_192.168.240.252_50604,WEB_192.168.240.252_50626,WEB_192.168.240.252_50628,WEB_192.168.240.252_50634,WEB_192.168.240.252_50648,WEB_192.168.240.252_50652,WEB_192.168.240.252_50654,WEB_192.168.240.252_50692,WEB_192.168.240.252_51088,WEB_192.168.240.252_51090,WEB_192.168.240.252_51104,WEB_192.168.240.252_51120,WEB_192.168.240.252_51180,WEB_192.168.240.252_51182,WEB_192.168.240.252_51184,WEB_192.168.240.252_51186,WEB_192.168.240.252_51188,WEB_192.168.240.252_51204,WEB_192.168.240.252_51440,WEB_192.168.240.252_51446,WEB_192.168.240.252_51456,WEB_192.168.240.252_51458,WEB_192.168.240.252_51460,WEB_192.168.240.252_51476,WEB_192.168.240.252_51478,WEB_192.168.240.252_51486,WEB_192.168.240.252_51516,WEB_192.168.240.252_51518,WEB_192.168.240.252_51732,WEB_192.168.240.252_51734,WEB_192.168.240.252_51736,WEB_192.168.240.252_51740,WEB_192.168.240.252_51742,WEB_192.168.240.252_51894,WEB_192.168.240.252_51896,WEB_192.168.240.252_51902,WEB_192.168.240.252_51918,WEB_192.168.240.252_52028,WEB_192.168.240.252_52030,WEB_192.168.240.252_52036,WEB_192.168.240.252_52038,WEB_192.168.240.252_52040,WEB_192.168.240.252_52046,WEB_192.168.240.252_52048,WEB_192.168.240.252_52050,WEB_192.168.240.252_52054,WEB_192.168.240.252_52056,WEB_192.168.240.252_52104,WEB_192.168.240.252_52106,WEB_192.168.240.252_52110,WEB_192.168.240.252_52124,WEB_192.168.240.252_52126,WEB_192.168.240.252_52154,WEB_192.168.240.252_52156,WEB_192.168.240.252_52160,WEB_192.168.240.252_52162,WEB_192.168.240.252_52164,WEB_192.168.240.252_52174,WEB_192.168.240.252_52178,WEB_192.168.240.252_52180,WEB_192.168.240.252_52192,WEB_192.168.240.252_52208,WEB_192.168.240.252_52220,WEB_192.168.240.252_52222,WEB_192.168.240.252_52226,WEB_192.168.240.252_52228,WEB_192.168.240.252_52266,WEB_192.168.240.252_52376,WEB_192.168.240.252_52434,WEB_192.168.240.252_52436,WEB_192.168.240.252_52438,WEB_192.168.240.252_52456,WEB_192.168.240.252_52792,WEB_192.168.240.252_52822,WEB_192.168.240.252_52910,WEB_192.168.240.252_52974,WEB_192.168.240.252_52978,WEB_192.168.240.252_52980,WEB_192.168.240.252_52982,WEB_192.168.240.252_52984,WEB_192.168.240.252_53046,WEB_192.168.240.252_53048,WEB_192.168.240.252_53054,WEB_192.168.240.252_53056,WEB_192.168.240.252_53058,WEB_192.168.240.252_53278,WEB_192.168.240.252_53286,WEB_192.168.240.252_53288,WEB_192.168.240.252_53422,WEB_192.168.240.252_53426,WEB_192.168.240.252_53428,WEB_192.168.240.252_53432,WEB_192.168.240.252_53436,WEB_192.168.240.252_53438,WEB_192.168.240.252_53504,WEB_192.168.240.252_53564,WEB_192.168.240.252_53628,WEB_192.168.240.252_53630,WEB_192.168.240.252_53632,WEB_192.168.240.252_53634,WEB_192.168.240.252_53636,WEB_192.168.240.252_53720,WEB_192.168.240.252_53724,WEB_192.168.240.252_53756,WEB_192.168.240.252_53764,WEB_192.168.240.252_53774,WEB_192.168.240.252_53844,WEB_192.168.240.252_53848,WEB_192.168.240.252_53850,WEB_192.168.240.252_53852,WEB_192.168.240.252_53864,WEB_192.168.240.252_53892,WEB_192.168.240.252_53896,WEB_192.168.240.252_53898,WEB_192.168.240.252_53900,WEB_192.168.240.252_53902,WEB_192.168.240.252_53962,WEB_192.168.240.252_53964,WEB_192.168.240.252_53966,WEB_192.168.240.252_53968,WEB_192.168.240.252_53972,WEB_192.168.240.252_54084,WEB_192.168.240.252_54086,WEB_192.168.240.252_54088,WEB_192.168.240.252_54090,WEB_192.168.240.252_54092,WEB_192.168.240.252_54174,WEB_192.168.240.252_54176,WEB_192.168.240.252_54178,WEB_192.168.240.252_54180,WEB_192.168.240.252_54182,WEB_192.168.240.252_54224,WEB_192.168.240.252_54228,WEB_192.168.240.252_54230,WEB_192.168.240.252_54232,WEB_192.168.240.252_54234,WEB_192.168.240.252_54324,WEB_192.168.240.252_54326,WEB_192.168.240.252_54328,WEB_192.168.240.252_54330,WEB_192.168.240.252_54332,WEB_192.168.240.252_54408,WEB_192.168.240.252_54410,WEB_192.168.240.252_54412,WEB_192.168.240.252_54416,WEB_192.168.240.252_54418,WEB_192.168.240.252_54732,WEB_192.168.240.252_54736,WEB_192.168.240.252_54738,WEB_192.168.240.252_54878,WEB_192.168.240.252_54880,WEB_192.168.240.252_54882,WEB_192.168.240.252_54884,WEB_192.168.240.252_54898,WEB_192.168.240.252_55044,WEB_192.168.240.252_55122,WEB_192.168.240.252_55124,WEB_192.168.240.252_55126,WEB_192.168.240.252_55128,WEB_192.168.240.252_55414,WEB_192.168.240.252_55416,WEB_192.168.240.252_55422,WEB_192.168.240.252_55428,WEB_192.168.240.252_55430,WEB_192.168.240.252_55580,WEB_192.168.240.252_55582,WEB_192.168.240.252_55586,WEB_192.168.240.252_55588,WEB_192.168.240.252_55590,WEB_192.168.240.252_55684,WEB_192.168.240.252_55686,WEB_192.168.240.252_55694,WEB_192.168.240.252_55698,WEB_192.168.240.252_55700,WEB_192.168.240.252_55874,WEB_192.168.240.252_55884,WEB_192.168.240.252_55886,WEB_192.168.240.252_55890,WEB_192.168.240.252_56040,WEB_192.168.240.252_56042,WEB_192.168.240.252_56044,WEB_192.168.240.252_56046,WEB_192.168.240.252_56122,WEB_192.168.240.252_56124,WEB_192.168.240.252_56126,WEB_192.168.240.252_56130,WEB_192.168.240.252_56134,WEB_192.168.240.252_56138,WEB_192.168.240.252_56142,WEB_192.168.240.252_56160,WEB_192.168.240.252_56174,WEB_192.168.240.252_56178,WEB_192.168.240.252_56190,WEB_192.168.240.252_56196,WEB_192.168.240.252_56204,WEB_192.168.240.252_56208,WEB_192.168.240.252_56242,WEB_192.168.240.252_56246,WEB_192.168.240.252_56252,WEB_192.168.240.252_56264,WEB_192.168.240.252_56282,WEB_192.168.240.252_56284,WEB_192.168.240.252_56386,WEB_192.168.240.252_56388,WEB_192.168.240.252_56390,WEB_192.168.240.252_56400,WEB_192.168.240.252_56428,WEB_192.168.240.252_56492,WEB_192.168.240.252_56494,WEB_192.168.240.252_56504,WEB_192.168.240.252_56516,WEB_192.168.240.252_56520,WEB_192.168.240.252_56638,WEB_192.168.240.252_56640,WEB_192.168.240.252_56642,WEB_192.168.240.252_56644,WEB_192.168.240.252_56742,WEB_192.168.240.252_56808,WEB_192.168.240.252_56810,WEB_192.168.240.252_56984,WEB_192.168.240.252_56986,WEB_192.168.240.252_56988,WEB_192.168.240.252_56992,WEB_192.168.240.252_56998,WEB_192.168.240.252_57000,WEB_192.168.240.252_57002,WEB_192.168.240.252_57004,WEB_192.168.240.252_57006,WEB_192.168.240.252_57020,WEB_192.168.240.252_57024,WEB_192.168.240.252_57026,WEB_192.168.240.252_57032,WEB_192.168.240.252_57034,WEB_192.168.240.252_57038,WEB_192.168.240.252_57048,WEB_192.168.240.252_57066,WEB_192.168.240.252_57068,WEB_192.168.240.252_57070,WEB_192.168.240.252_57072,WEB_192.168.240.252_57200,WEB_192.168.240.252_57202,WEB_192.168.240.252_57204,WEB_192.168.240.252_57208,WEB_192.168.240.252_57256,WEB_192.168.240.252_57260,WEB_192.168.240.252_57262,WEB_192.168.240.252_57264,WEB_192.168.240.252_57454,WEB_192.168.240.252_57456,WEB_192.168.240.252_57458,WEB_192.168.240.252_57460,WEB_192.168.240.252_57522,WEB_192.168.240.252_57524,WEB_192.168.240.252_57530,WEB_192.168.240.252_57574,WEB_192.168.240.252_57590,WEB_192.168.240.252_57602,WEB_192.168.240.252_57604,WEB_192.168.240.252_57606,WEB_192.168.240.252_57634,WEB_192.168.240.252_57658,WEB_192.168.240.252_57660,WEB_192.168.240.252_57662,WEB_192.168.240.252_57664,WEB_192.168.240.252_57666,WEB_192.168.240.252_57672,WEB_192.168.240.252_57674,WEB_192.168.240.252_57700,WEB_192.168.240.252_57704,WEB_192.168.240.252_57758,WEB_192.168.240.252_57768,WEB_192.168.240.252_57770,WEB_192.168.240.252_57774,WEB_192.168.240.252_57778,WEB_192.168.240.252_57780,WEB_192.168.240.252_57782,WEB_192.168.240.252_57784,WEB_192.168.240.252_57788,WEB_192.168.240.252_57800,WEB_192.168.240.252_57804,WEB_192.168.240.252_57818,WEB_192.168.240.252_57820,WEB_192.168.240.252_57822,WEB_192.168.240.252_57836,WEB_192.168.240.252_57848,WEB_192.168.240.252_57870,WEB_192.168.240.252_57874,WEB_192.168.240.252_58212,WEB_192.168.240.252_58214,WEB_192.168.240.252_58216,WEB_192.168.240.252_58244,WEB_192.168.240.252_58248,WEB_192.168.240.252_58366,WEB_192.168.240.252_58368,WEB_192.168.240.252_58370,WEB_192.168.240.252_58372,WEB_192.168.240.252_58376,WEB_192.168.240.252_58388,WEB_192.168.240.252_58390,WEB_192.168.240.252_58392,WEB_192.168.240.252_58404,WEB_192.168.240.252_58406,WEB_192.168.240.252_58892,WEB_192.168.240.252_58896,WEB_192.168.240.252_58908,WEB_192.168.240.252_58964,WEB_192.168.240.252_58966,WEB_192.168.240.252_58972,WEB_192.168.240.252_58974,WEB_192.168.240.252_58984,WEB_192.168.240.252_59236,WEB_192.168.240.252_59238,WEB_192.168.240.252_59240,WEB_192.168.240.252_59242,WEB_192.168.240.252_59246,WEB_192.168.240.252_59760,WEB_192.168.240.252_59764,WEB_192.168.240.252_59768,WEB_192.168.240.252_59782,WEB_192.168.240.252_59804,WEB_192.168.240.252_59806,WEB_192.168.240.252_59808,WEB_192.168.240.252_59810,WEB_192.168.240.252_59842,WEB_192.168.240.252_59870,WEB_192.168.240.252_59908,WEB_192.168.240.252_59910,WEB_192.168.240.252_59912,WEB_192.168.240.252_59914,WEB_192.168.240.252_59916,WEB_192.168.240.252_59918,WEB_192.168.240.252_59934,WEB_192.168.240.252_59940,WEB_192.168.240.252_59942,WEB_192.168.240.252_59946,WEB_192.168.240.252_60138,WEB_192.168.240.252_60140,WEB_192.168.240.252_60144,WEB_192.168.240.252_60164,WEB_192.168.240.252_60170,WEB_192.168.240.252_60192,WEB_192.168.240.252_60200,WEB_192.168.240.252_60202,WEB_192.168.240.252_60204,WEB_192.168.240.252_60334,WEB_192.168.240.252_60484,WEB_192.168.240.252_60490,WEB_192.168.240.252_60494,WEB_192.168.240.252_60496,WEB_192.168.240.252_60498,WEB_192.168.240.252_60536,WEB_192.168.240.252_60538,WEB_192.168.240.252_60540,WEB_192.168.240.252_60542,WEB_192.168.240.252_60554,WEB_192.168.240.252_60568,WEB_192.168.240.252_60608,WEB_192.168.240.252_60612,WEB_192.168.240.252_60614,WEB_192.168.240.253_47125,WEB_192.168.240.253_47126,WEB_192.168.240.253_56295,WEB_192.168.240.253_56296,WEBhook_109.45.0.132_34460,WEBhook_109.45.0.132_36320,WEBhook_109.45.0.132_36554,WEBhook_109.45.0.132_42274,WEBhook_109.45.0.132_50945,WEBhook_109.45.0.132_61500,WEBhook_109.45.0.158_39817,WEBhook_109.45.0.180_39858,WEBhook_109.45.1.25_32813,WEBhook_109.45.1.88_33795,WEBhook_109.45.1.88_36346,WEBhook_109.45.1.88_46742,WEBhook_109.45.1.88_48268,WEBhook_109.45.1.88_48553,WEBhook_109.45.1.88_50517,WEBhook_109.45.1.88_60729,WEBhook_109.45.2.184_46519,WEBhook_109.45.2.234_36397,WEBhook_109.45.2.234_37283,WEBhook_109.45.2.234_43441,WEBhook_109.45.2.234_46430,WEBhook_109.45.2.234_53754,WEBhook_2.247.240.185_11574,WEBhook_2.247.240.185_13568,WEBhook_2.247.240.185_26616,WEBhook_2.247.240.185_29861,WEBhook_2.247.241.112_12382,WEBhook_2.247.241.112_13202,WEBhook_2.247.241.112_18684,WEBhook_2.247.241.112_19609,WEBhook_2.247.241.112_19952,WEBhook_2.247.241.112_2262,WEBhook_2.247.241.112_2527,WEBhook_2.247.241.112_26932,WEBhook_2.247.241.112_8076,WEBhook_2.247.241.112_9844,WEBhook_2.247.241.195_17070,WEBhook_2.247.241.195_30150,WEBhook_2.247.241.195_5019,WEBhook_2.247.241.41_20273,WEBhook_2.247.242.105_10005,WEBhook_2.247.242.105_1297,WEBhook_2.247.242.105_17834,WEBhook_2.247.242.105_20830,WEBhook_2.247.242.105_29269,WEBhook_2.247.242.105_31380,WEBhook_2.247.243.79_17813,WEBhook_2.247.245.136_38528,WEBhook_2.247.245.136_61874,WEBhook_2.247.246.153_35025,WEBhook_2.247.246.153_39108,WEBhook_2.247.246.153_39434,WEBhook_2.247.246.153_39577,WEBhook_2.247.246.153_41051,WEBhook_2.247.246.153_41432,WEBhook_2.247.246.153_43817,WEBhook_2.247.246.153_43984,WEBhook_2.247.246.153_45431,WEBhook_2.247.246.153_45462,WEBhook_2.247.246.153_48018,WEBhook_2.247.246.153_48621,WEBhook_2.247.246.153_49203,WEBhook_2.247.246.153_51237,WEBhook_2.247.246.153_51850,WEBhook_2.247.246.153_54420,WEBhook_2.247.246.153_56985,WEBhook_2.247.246.153_58749,WEBhook_2.247.246.153_59398,WEBhook_2.247.246.153_60923,WEBhook_2.247.246.153_61265,WEBhook_2.247.246.153_62840,WEBhook_2.247.247.131_56071,WEBhook_2.247.247.146_33614,WEBhook_2.247.247.79_36279,WEBhook_2.247.247.79_49256,WEBhook_2.247.247.90_43938,WEBhook_2.247.247.90_45603,WEBhook_2.247.247.90_48443,WEBhook_2.247.248.149_49395,WEBhook_2.247.248.214_38092,WEBhook_2.247.248.76_38812,WEBhook_2.247.248.88_34232,WEBhook_2.247.248.88_34946,WEBhook_2.247.248.88_34995,WEBhook_2.247.248.88_40939,WEBhook_2.247.248.88_42758,WEBhook_2.247.248.88_43587,WEBhook_2.247.248.88_49856,WEBhook_2.247.248.88_55867,WEBhook_2.247.248.88_58893,WEBhook_2.247.248.88_60525,WEBhook_2.247.248.88_62955,WEBhook_2.247.249.176_49306,WEBhook_2.247.249.176_51579,WEBhook_2.247.249.176_54538,WEBhook_2.247.249.2_48520,WEBhook_2.247.249.56_33630,WEBhook_2.247.249.56_33837,WEBhook_2.247.249.56_34196,WEBhook_2.247.249.56_40071,WEBhook_2.247.249.56_53974,WEBhook_2.247.249.56_57848,WEBhook_2.247.249.56_62984,WEBhook_2.247.249.7_32846,WEBhook_2.247.250.122_44223,WEBhook_2.247.250.122_49149,WEBhook_2.247.250.122_49367,WEBhook_2.247.250.122_59935,WEBhook_2.247.250.247_34454,WEBhook_2.247.250.247_36406,WEBhook_2.247.250.247_37246,WEBhook_2.247.250.247_42418,WEBhook_2.247.250.247_42901,WEBhook_2.247.250.247_51552,WEBhook_2.247.250.247_51780,WEBhook_2.247.250.247_54415,WEBhook_2.247.250.247_54799,WEBhook_2.247.250.247_56162,WEBhook_2.247.250.247_56267,WEBhook_2.247.250.247_56664,WEBhook_2.247.250.247_58273,WEBhook_2.247.250.247_60527,WEBhook_2.247.250.247_62071,WEBhook_2.247.251.122_33460,WEBhook_2.247.251.209_33188,WEBhook_2.247.251.209_33483,WEBhook_2.247.251.209_34426,WEBhook_2.247.251.209_34565,WEBhook_2.247.251.209_36616,WEBhook_2.247.251.209_41369,WEBhook_2.247.251.209_43251,WEBhook_2.247.251.209_53566,WEBhook_2.247.251.209_55765,WEBhook_2.247.251.209_58947,WEBhook_2.247.251.209_60082,WEBhook_2.247.251.209_61247,WEBhook_2.247.251.209_62013,WEBhook_2.247.251.2_47743,WEBhook_2.247.251.2_49867,WEBhook_2.247.251.2_51459,WEBhook_2.247.251.62_51445,WEBhook_2.247.251.62_54534,WEBhook_2.247.251.93_33038,WEBhook_2.247.251.93_33051,WEBhook_2.247.251.93_34767,WEBhook_2.247.251.93_42326,WEBhook_2.247.251.93_46135,WEBhook_2.247.251.93_54144,WEBhook_2.247.251.93_58309,WEBhook_2.247.251.93_59833,WEBhook_2.247.255.148_38696,WEBhook_2.247.255.148_47417,WEBhook_2.247.255.148_48007,WEBhook_2.247.255.148_58081,WEBhook_2.247.255.148_60154,WEBhook_212.204.61.202_41098,WEBhook_212.204.61.202_48966,WEBhook_212.204.61.202_51763,WEBhook_212.204.61.202_55132,WEBhook_212.204.61.202_58294,WEBhook_80.147.226.103_35156,WEBhook_80.147.226.103_35840,WEBhook_80.147.226.103_36521,WEBhook_80.147.226.103_37410,WEBhook_80.147.226.103_39250,WEBhook_80.147.226.103_39665,WEBhook_80.147.226.103_41364,WEBhook_80.147.226.103_47559,WEBhook_80.147.226.103_50295,WEBhook_80.147.226.103_53387,WEBhook_80.147.226.103_54553,WEBhook_80.147.226.103_55477,WEBhook_80.147.226.103_56690,WEBhook_80.147.226.103_57393,WEBhook_80.147.226.103_59086,WEBhook_80.147.226.103_59355,WEBhook_80.147.226.103_59568,WEBhook_80.147.226.103_61701,WEBhook_80.147.226.103_61839,WEBhook_80.147.226.103_61952,WEBhook_80.147.226.103_65047,WEBhook_82.113.99.99_62978,WEBhook_87.138.222.254_36903,WEBhook_87.138.222.254_39412,WEBhook_87.138.222.254_40043,WEBhook_87.138.222.254_48199,WEBhook_87.138.222.254_54983,WEBhook_87.138.222.254_57399,WEBhook_87.138.222.254_63640,WEBhook_89.204.135.24_34313,WEBhook_89.204.135.24_35966,WEBhook_89.204.135.24_40555,WEBhook_89.204.135.24_48113,WEBhook_89.204.135.24_49007,WEBhook_89.204.137.112_10685,WEBhook_89.204.137.112_23512,WEBhook_89.204.137.112_24294,WEBhook_89.204.137.112_25604,WEBhook_89.204.137.112_4021,WEBhook_89.204.137.112_7829,WEBhook_89.204.137.135_31012,WEBhook_89.204.137.13_12044,WEBhook_89.204.137.13_26136,WEBhook_89.204.137.13_28716,WEBhook_89.204.137.13_30005,WEBhook_89.204.137.194_12464,WEBhook_89.204.137.194_14722,WEBhook_89.204.137.194_14839,WEBhook_89.204.137.194_16414,WEBhook_89.204.137.194_18031,WEBhook_89.204.137.194_19543,WEBhook_89.204.137.194_26702,WEBhook_89.204.137.194_28721,WEBhook_89.204.137.194_30422,WEBhook_89.204.137.194_31184,WEBhook_89.204.137.194_7036,WEBhook_89.204.137.211_11613,WEBhook_89.204.137.211_13998,WEBhook_89.204.137.211_1606,WEBhook_89.204.137.211_17190,WEBhook_89.204.137.245_19258,WEBhook_89.204.137.39_4289,WEBhook_89.204.137.54_6357,WEBhook_89.204.137.56_6260,WEBhook_89.204.137.77_27961,WEBhook_89.204.138.166_20833,WEBhook_89.204.138.166_2358,WEBhook_89.204.138.166_3940,WEBhook_89.204.138.182_14075,WEBhook_89.204.138.198_15966,WEBhook_89.204.138.198_20396,WEBhook_89.204.138.212_20761,WEBhook_89.204.138.224_20175,WEBhook_89.204.138.225_25497,WEBhook_89.204.138.225_27406,WEBhook_89.204.138.234_11343,WEBhook_89.204.138.234_25314,WEBhook_89.204.138.234_25465,WEBhook_89.204.138.234_26272,WEBhook_89.204.138.234_29268,WEBhook_89.204.138.2_1701,WEBhook_89.204.138.33_24969,WEBhook_89.204.138.33_27798,WEBhook_89.204.138.33_28449,WEBhook_89.204.138.33_4890,WEBhook_89.204.138.33_8027,WEBhook_89.204.138.75_24643,WEBhook_89.204.138.9_11754,WEBhook_89.204.138.9_14120,WEBhook_89.204.138.9_2736,WEBhook_89.204.138.9_5029,WEBhook_89.204.139.111_19697,WEBhook_89.204.139.114_16080,WEBhook_89.204.139.114_31519,WEBhook_89.204.139.121_1104,WEBhook_89.204.139.121_20387,WEBhook_89.204.139.121_2167,WEBhook_89.204.139.121_29617,WEBhook_89.204.139.121_3984,WEBhook_89.204.139.121_7502,WEBhook_89.204.139.138_2558,WEBhook_89.204.139.138_27743,WEBhook_89.204.139.138_27858,WEBhook_89.204.139.138_9002,WEBhook_89.204.139.193_7790,WEBhook_89.204.139.217_11803,WEBhook_89.204.139.217_12934,WEBhook_89.204.139.217_21031,WEBhook_89.204.139.217_4021,WEBhook_89.204.139.217_5942,WEBhook_89.204.139.217_8058,WEBhook_89.204.139.218_12592,WEBhook_89.204.139.218_15404,WEBhook_89.204.139.218_19924,WEBhook_89.204.139.218_29489,WEBhook_89.204.139.22_27450,WEBhook_89.204.139.22_30184,WEBhook_89.204.139.23_11923,WEBhook_89.204.139.243_20568,WEBhook_89.204.139.36_18571,WEBhook_89.204.139.36_6350,WEBhook_89.204.139.36_8791,WEBhook_89.204.139.70_16011,WEBhook_89.204.139.70_17121,WEBhook_89.204.139.70_23862,WEBhook_89.204.139.70_6338,WEBhook_89.204.139.70_8424,WEBhook_89.204.139.8_10326,WEBhook_89.204.139.8_11116,WEBhook_89.204.139.8_14117,WEBhook_89.204.139.8_19380,WEBhook_89.204.139.8_2003,WEBhook_89.204.139.8_20097,WEBhook_89.204.139.8_23090,WEBhook_89.204.139.8_23175,WEBhook_89.204.139.8_27422,WEBhook_89.204.139.8_27509,WEBhook_89.204.139.8_27539,WEBhook_89.204.139.8_30060,WEBhook_89.204.139.8_30636,WEBhook_89.204.153.98_35004,WEBhook_89.204.153.98_38170,WEBhook_89.204.153.98_62714,WEBhook_89.204.154.231_46735,WEBhook_89.204.154.231_53680,WEBhook_89.204.154.231_56185,WEBhook_89.204.154.24_33104,WEBhook_89.204.154.24_42344,WEBhook_89.204.154.24_45084,WEBhook_89.204.154.24_48907,WEBhook_89.204.154.24_49395,WEBhook_89.204.154.24_53110,WEBhook_89.204.154.24_53464,WEBhook_89.204.154.24_54753,WEBhook_89.204.155.189_38372,WEBhook_89.204.155.189_61691,WEBhook_89.204.155.23_45302,WEBphone_127.0.0.1_33722,WEBphone_127.0.0.1_36630,WEBphone_127.0.0.1_37520,WEBphone_127.0.0.1_39914,WEBphone_127.0.0.1_41186,WEBphone_127.0.0.1_41366,WEBphone_127.0.0.1_41508,WEBphone_127.0.0.1_41574,WEBphone_127.0.0.1_41732,WEBphone_127.0.0.1_42062,WEBphone_127.0.0.1_42976,WEBphone_127.0.0.1_43272,WEBphone_127.0.0.1_43346,WEBphone_127.0.0.1_43378,WEBphone_127.0.0.1_43488,WEBphone_127.0.0.1_43612,WEBphone_127.0.0.1_43672,WEBphone_127.0.0.1_43836,WEBphone_127.0.0.1_45294,WEBphone_127.0.0.1_45460,WEBphone_127.0.0.1_45556,WEBphone_127.0.0.1_45970,WEBphone_127.0.0.1_46114,WEBphone_127.0.0.1_46298,WEBphone_127.0.0.1_46334,WEBphone_127.0.0.1_46376,WEBphone_127.0.0.1_46398,WEBphone_127.0.0.1_46406,WEBphone_127.0.0.1_46512,WEBphone_127.0.0.1_46528,WEBphone_127.0.0.1_46550,WEBphone_127.0.0.1_46584,WEBphone_127.0.0.1_46596,WEBphone_127.0.0.1_47122,WEBphone_127.0.0.1_48022,WEBphone_127.0.0.1_48606,WEBphone_127.0.0.1_49102,WEBphone_127.0.0.1_49498,WEBphone_127.0.0.1_49648,WEBphone_127.0.0.1_49816,WEBphone_127.0.0.1_50278,WEBphone_127.0.0.1_50394,WEBphone_127.0.0.1_50430,WEBphone_127.0.0.1_51168,WEBphone_127.0.0.1_51200,WEBphone_127.0.0.1_51388,WEBphone_127.0.0.1_51758,WEBphone_127.0.0.1_51932,WEBphone_127.0.0.1_51954,WEBphone_127.0.0.1_51990,WEBphone_127.0.0.1_52010,WEBphone_127.0.0.1_52040,WEBphone_127.0.0.1_52156,WEBphone_127.0.0.1_52208,WEBphone_127.0.0.1_52344,WEBphone_127.0.0.1_52534,WEBphone_127.0.0.1_52664,WEBphone_127.0.0.1_52704,WEBphone_127.0.0.1_52728,WEBphone_127.0.0.1_52914,WEBphone_127.0.0.1_52936,WEBphone_127.0.0.1_52968,WEBphone_127.0.0.1_52998,WEBphone_127.0.0.1_53130,WEBphone_127.0.0.1_53140,WEBphone_127.0.0.1_53156,WEBphone_127.0.0.1_53206,WEBphone_127.0.0.1_53280,WEBphone_127.0.0.1_53310,WEBphone_127.0.0.1_53330,WEBphone_127.0.0.1_53368,WEBphone_127.0.0.1_53384,WEBphone_127.0.0.1_53440,WEBphone_127.0.0.1_53486,WEBphone_127.0.0.1_53522,WEBphone_127.0.0.1_53554,WEBphone_127.0.0.1_53616,WEBphone_127.0.0.1_53644,WEBphone_127.0.0.1_53696,WEBphone_127.0.0.1_53708,WEBphone_127.0.0.1_53738,WEBphone_127.0.0.1_53780,WEBphone_127.0.0.1_53812,WEBphone_127.0.0.1_53846,WEBphone_127.0.0.1_53890,WEBphone_127.0.0.1_53898,WEBphone_127.0.0.1_53946,WEBphone_127.0.0.1_53966,WEBphone_127.0.0.1_53978,WEBphone_127.0.0.1_54114,WEBphone_127.0.0.1_54150,WEBphone_127.0.0.1_54288,WEBphone_127.0.0.1_54346,WEBphone_127.0.0.1_54432,WEBphone_127.0.0.1_54740,WEBphone_127.0.0.1_55216,WEBphone_127.0.0.1_55480,WEBphone_127.0.0.1_55820,WEBphone_127.0.0.1_55848,WEBphone_127.0.0.1_55988,WEBphone_127.0.0.1_56028,WEBphone_127.0.0.1_56078,WEBphone_127.0.0.1_56200,WEBphone_127.0.0.1_56374,WEBphone_127.0.0.1_56380,WEBphone_127.0.0.1_56452,WEBphone_127.0.0.1_56492,WEBphone_127.0.0.1_56556,WEBphone_127.0.0.1_56646,WEBphone_127.0.0.1_56750,WEBphone_127.0.0.1_56876,WEBphone_127.0.0.1_56908,WEBphone_127.0.0.1_57078,WEBphone_127.0.0.1_57288,WEBphone_127.0.0.1_57438,WEBphone_127.0.0.1_58282,WEBphone_127.0.0.1_58424,WEBphone_127.0.0.1_58426,WEBphone_127.0.0.1_59084,WEBphone_192.168.240.253_35304,WEBphone_192.168.240.253_35305,WEBphone_192.168.240.253_35306,WEBphone_192.168.240.253_35307,WEBphone_192.168.240.253_35309,WEBphone_192.168.240.253_35310,WEBphone_192.168.240.253_35312,WEBphone_192.168.240.253_35313,WEBphone_192.168.240.253_35314,WEBphone_192.168.240.253_35315,WEBphone_192.168.240.253_35317,WEBphone_192.168.240.253_35318,WEBphone_192.168.240.253_35319,WEBphone_192.168.240.253_35320,WEBphone_192.168.240.253_35321,WEBphone_192.168.240.253_35322,WEBphone_192.168.240.253_35326,WEBphone_192.168.240.253_35327,WEBphone_192.168.240.253_35328,WEBphone_192.168.240.253_35329,WEBphone_192.168.240.253_35330,WEBphone_192.168.240.253_35332,WEBphone_192.168.240.253_35333,WEBphone_192.168.240.253_35334,WEBphone_192.168.240.253_35335,WEBphone_192.168.240.253_35336,WEBphone_192.168.240.253_35337,WEBphone_192.168.240.253_35338,WEBphone_192.168.240.253_35339,WEBphone_192.168.240.253_35340,WEBphone_192.168.240.253_35341,WEBphone_192.168.240.253_35342,WEBphone_192.168.240.253_35343,WEBphone_192.168.240.253_35346,WEBphone_192.168.240.253_35347,WEBphone_192.168.240.253_35348,WEBphone_192.168.240.253_35349,WEBphone_192.168.240.253_35350,WEBphone_192.168.240.253_35351,WEBphone_192.168.240.253_35358,WEBphone_192.168.240.253_35359,WEBphone_192.168.240.253_35360,WEBphone_192.168.240.253_35361,WEBphone_192.168.240.253_35362,WEBphone_192.168.240.253_35363,WEBphone_192.168.240.253_35365,WEBphone_192.168.240.253_35366,WEBphone_192.168.240.253_35367,WEBphone_192.168.240.253_35368,WEBphone_192.168.240.253_35369,WEBphone_192.168.240.253_35370,WEBphone_192.168.240.253_35371,WEBphone_192.168.240.253_35372,WEBphone_192.168.240.253_35373,WEBphone_192.168.240.253_35374,WEBphone_192.168.240.253_35375,WEBphone_192.168.240.253_35376,WEBphone_192.168.240.253_35377,WEBphone_192.168.240.253_35378,WEBphone_192.168.240.253_35379,WEBphone_192.168.240.253_35380,WEBphone_192.168.240.253_35381,WEBphone_192.168.240.253_35382,WEBphone_192.168.240.253_35383,WEBphone_192.168.240.253_35384,WEBphone_192.168.240.253_35385,WEBphone_192.168.240.253_35386,WEBphone_192.168.240.253_35387,WEBphone_192.168.240.253_35388,WEBphone_192.168.240.253_35389,WEBphone_192.168.240.253_35390,WEBphone_192.168.240.253_35391,WEBphone_192.168.240.253_35392,WEBphone_192.168.240.253_35393,WEBphone_192.168.240.253_35394,WEBphone_192.168.240.253_35395,WEBphone_192.168.240.253_35396,WEBphone_192.168.240.253_35397,WEBphone_192.168.240.253_35398,WEBphone_192.168.240.253_35399,WEBphone_192.168.240.253_35400,WEBphone_192.168.240.253_35401,WEBphone_192.168.240.253_35402,WEBphone_192.168.240.253_35403,WEBphone_192.168.240.253_35404,WEBphone_192.168.240.253_35405,WEBphone_192.168.240.253_35406,WEBphone_192.168.240.253_35408,WEBphone_192.168.240.253_35409,WEBphone_192.168.240.253_35410,WEBphone_192.168.240.253_35411,WEBphone_192.168.240.253_35412,WEBphone_192.168.240.253_35413,WEBphone_192.168.240.253_35414,WEBphone_192.168.240.253_35415,WEBphone_192.168.240.253_35416,WEBphone_192.168.240.253_35417,WEBphone_192.168.240.253_35418,WEBphone_192.168.240.253_35419,WEBphone_192.168.240.253_35420,WEBphone_192.168.240.253_35421,WEBphone_192.168.240.253_35422,WEBphone_192.168.240.253_35423,WEBphone_192.168.240.253_35424,WEBphone_192.168.240.253_35425,WEBphone_192.168.240.253_35427,WEBphone_192.168.240.253_35428,WEBphone_192.168.240.253_35429,WEBphone_192.168.240.253_35430,WEBphone_192.168.240.253_35431,WEBphone_192.168.240.253_35432,WEBphone_192.168.240.253_35433,WEBphone_192.168.240.253_35434,WEBphone_192.168.240.253_35435,WEBphone_192.168.240.253_35436,WEBphone_192.168.240.253_35437,WEBphone_192.168.240.253_35438,WEBphone_192.168.240.253_35441,WEBphone_192.168.240.253_35442,WEBphone_192.168.240.253_35443,WEBphone_192.168.240.253_35444,WEBphone_192.168.240.253_35445,WEBphone_192.168.240.253_35446,WEBphone_192.168.240.253_35448,WEBphone_192.168.240.253_35449,WEBphone_192.168.240.253_35450,WEBphone_192.168.240.253_35451,WEBphone_192.168.240.253_35452,WEBphone_192.168.240.253_35453,WEBphone_192.168.240.253_35454,WEBphone_192.168.240.253_35455,WEBphone_192.168.240.253_35456,WEBphone_192.168.240.253_35457,WEBphone_192.168.240.253_35458,WEBphone_192.168.240.253_35459,WEBphone_192.168.240.253_35460,WEBphone_192.168.240.253_35461,WEBphone_192.168.240.253_35462,WEBphone_192.168.240.253_35463,WEBphone_192.168.240.253_35464,WEBphone_192.168.240.253_35465,WEBphone_192.168.240.253_35466,WEBphone_192.168.240.253_35467,WEBphone_192.168.240.253_35468,WEBphone_192.168.240.253_35469,WEBphone_192.168.240.253_35470,WEBphone_192.168.240.253_35471,WEBphone_192.168.240.253_35472,WEBphone_192.168.240.253_35473,WEBphone_192.168.240.253_35474,WEBphone_192.168.240.253_35475,WEBphone_192.168.240.253_35476,WEBphone_192.168.240.253_35477,WEBphone_192.168.240.253_35478,WEBphone_192.168.240.253_35479,WEBphone_192.168.240.253_35480,WEBphone_192.168.240.253_35482,WEBphone_192.168.240.253_35483,WEBphone_192.168.240.253_35488,WEBphone_192.168.240.253_35489,WEBphone_192.168.240.253_35490,WEBphone_192.168.240.253_35491,WEBphone_192.168.240.253_35492,WEBphone_192.168.240.253_35493,WEBphone_192.168.240.253_35496,WEBphone_192.168.240.253_35497,WEBphone_192.168.240.253_35498,WEBphone_192.168.240.253_35499,WEBphone_192.168.240.253_35500,WEBphone_192.168.240.253_35501,WEBphone_192.168.240.253_35502,WEBphone_192.168.240.253_35503,WEBphone_192.168.240.253_35504,WEBphone_192.168.240.253_35506,WEBphone_192.168.240.253_35507,WEBphone_192.168.240.253_35508,WEBphone_192.168.240.253_35509,WEBphone_192.168.240.253_35510,WEBphone_192.168.240.253_35511,WEBphone_192.168.240.253_35512,WEBphone_192.168.240.253_35513,WEBphone_192.168.240.253_35514,WEBphone_192.168.240.253_35515,WEBphone_192.168.240.253_35516,WEBphone_192.168.240.253_35517,WEBphone_192.168.240.253_35518,WEBphone_192.168.240.253_35519,WEBphone_192.168.240.253_35520,WEBphone_192.168.240.253_35521,WEBphone_192.168.240.253_35522,WEBphone_192.168.240.253_35523,WEBphone_192.168.240.253_35524,WEBphone_192.168.240.253_35525,WEBphone_192.168.240.253_35526,WEBphone_192.168.240.253_35527,WEBphone_192.168.240.253_35528,WEBphone_192.168.240.253_35529,WEBphone_192.168.240.253_35530,WEBphone_192.168.240.253_35531,WEBphone_192.168.240.253_35532,WEBphone_192.168.240.253_35533,WEBphone_192.168.240.253_35534,WEBphone_192.168.240.253_35535,WEBphone_192.168.240.253_35536,WEBphone_192.168.240.253_35537,WEBphone_192.168.240.253_35538,WEBphone_192.168.240.253_35539,WEBphone_192.168.240.253_35540,WEBphone_192.168.240.253_35541,WEBphone_192.168.240.253_35542,WEBphone_192.168.240.253_35543,WEBphone_192.168.240.253_35544,WEBphone_192.168.24
Musste die Liste künstlich kürzen. Die Forumssoftware hat immer gestreikt.
list TYPE=FHEMWEB
WEB
WEB_10.6.9.19_41417
WEB_192.168.240.252_41884
WEB_192.168.240.252_41898
WEB_192.168.240.252_41900
WEB_192.168.240.252_41902
WEB_192.168.240.252_41904
WEB_192.168.240.252_41906
WEBhook
WEBphone
@CoolTux: das attr Problem mit WEB.* sollte seit 3 Tagen gefixt sein.
@Rudi
Ahhh, Danke Dir. Dann ist das das was Du Ende letzte Woche erzählt hast.
Danke Dir.
Grüße
Update gemacht. Jetzt sind es nur noch
SYSMON_Webapp01,seclogDbCurrent,seclogDbHistory
Zitat von: rudolfkoenig am 03 Juli 2017, 10:17:57
Ich tippe beim Uebeltaeter auf 73_MPD.pm, da wird BlockingCall mit $hash fuer $timeout aufgerufen,
Oh je .... Schande über mich :( k.A. wie sich da der hash als Timeoutwert hin verirrt hat. Lustigerweise besteht der Fehler seit der allersten Version des Moduls -> 1.2.2014
Aber seine Tage sind gezählt, ich werde mit dem nächsten Update auch eine $abortFn einführen.
@michael.winkler, du kannst ja mal als Quickfix die Zeile von
$hash->{helper}{RUNNING_PID} = BlockingCall("MPD_IdleStart",$name, "MPD_IdleDone", $hash) unless(exists($hash->{helper}{RUNNING_PID}));
ändern in
$hash->{helper}{RUNNING_PID} = BlockingCall("MPD_IdleStart",$name, "MPD_IdleDone") unless(exists($hash->{helper}{RUNNING_PID}));
Badezimmer.Klima.DBLog: Das kann ich mir nicht erklaeren. Wenn man das per XmlList anzeigen kann, dann muss ein %defs Eintrag geben, aber mein Einzeiler sollte genau sowas wegfiltern.
seclogDbCurrent,seclogDbHistory: Das kann ich erklaeren: 93_DbLog.pm und 93_DbRep.pm missbrauchen %attr absichtlich. Nur das "Warum" verstehe ich noch nicht.
Bei der allgemeinen Suche nach Uebeltaeter ist mir ein Bug in 00_ZWDongle.pm aufgefallen (den habe ich gefixt), und was harmloses / sinnloses in 37_Spotify.pm:
my $updateIntervalWhilePlaying = $attr{updateIntervalWhilePlaying};
Zitat von: Wzut am 03 Juli 2017, 19:19:34
@michael.winkler, du kannst ja mal als Quickfix die Zeile von
OK, habe es mal eingebaut. Modul funktioniert noch ;-)
Die Ausgabe { int(keys %intAt) } sieht jetzt auch gut aus.
Ergebnis = 47
Die Ausgabe { join(",", grep { !$defs{$_} } sort keys %attr) } zeigt aber immer noch die dbLog Devices
Was mir noch auffällt ist dass vor jedem Device noch "sec" steht! Was bedeutet das?
Ergebnis =
secBadezimmer.Klima.DBLog,
secBuero.Monitore.DBLog,
secGarten.Klima.DBLog,
secGarten.Pool.Temp.DBLog,
secKueche.Radio.DBLog,
secMobil.Powermeter.01.DBLog,
secNiklas.Multimedia.DBLog,
secSchlafzimmer.Klima.DBLog,
secService.Spritpreise.DBLog,
secWerkstatt.USV.DBLog,
secWohnzimmer.Heizung.DBLog,
secWohnzimmer.Klima.DBLog
sec* ist, wie ich das weiter oben erklaert habe, bewusst von den DbLog Jungs eingebaut. Keine Ahnung, wozu.
Ich glaube wir haben mit diesen Bugfixes Speicherloecher in Groessenordnung 1-10MB gestopft, damit waere dein urspruengliches Problem noch nicht geloest.
Zitat von: rudolfkoenig am 04 Juli 2017, 08:45:38
sec* ist, wie ich das weiter oben erklaert habe, bewusst von den DbLog Jungs eingebaut. Keine Ahnung, wozu.
Wer lesen kann ist klar im vorteil, sorry.
Zitat von: rudolfkoenig am 04 Juli 2017, 08:45:38
Ich glaube wir haben mit diesen Bugfixes Speicherloecher in Groessenordnung 1-10MB gestopft, damit waere dein urspruengliches Problem noch nicht geloest.
Hmm ok, ich dachte damit wäre es gelöst. OK dann beobachte ich mal meine Speicherwerte weiter und melde mich wieder.
Beim Ausführen des Befehls "ps -elf | sort -rnk 10 | head" ist mir aufgefallen dass FHEM zwei mal aufgeführt wird, ist das normal?
root@HNMWFHEM01:~# ps -elf | sort -rnk 10 | head
4 S root 2412 2321 0 80 0 - 191941 - Jul03 ? 00:00:16 homebridge
0 S root 3714 1 0 80 0 - 170827 - Jul03 ? 00:00:19 alexa
4 S mysql 2780 2440 0 80 0 - 91021 - Jul03 ? 00:00:40 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
1 R fhem 23241 1 1 80 0 - 59578 - 07:00 ? 00:02:03 /usr/bin/perl fhem.pl fhem.cfg
1 S fhem 23285 23241 0 80 0 - 56985 - 07:01 ? 00:00:00 /usr/bin/perl fhem.pl fhem.cfg
5 S www-data 5119 2139 0 80 0 - 55818 - Jul03 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2161 2139 0 80 0 - 55818 - Jul03 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2160 2139 0 80 0 - 55818 - Jul03 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2159 2139 0 80 0 - 55818 - Jul03 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2156 2139 0 80 0 - 55818 - Jul03 ? 00:00:00 /usr/sbin/apache2 -k start
ZitatBeim Ausführen des Befehls "ps -elf | sort -rnk 10 | head" ist mir aufgefallen dass FHEM zwei mal aufgeführt wird, ist das normal?
Ja, wenn einer deiner Module BlockingCall verwendet. Da der Entwickler etwas machen will, was laenger blockiert, forkt BlockingCall einen zweiten Prozess, wo das passiert, und so kann der urspruengliche FHEM Prozess weiterlaufen.
Wenn ich das richtig verstanden habe sollte, wenn alles sauber funktioniert nur ein einziger perl Prozess zu sehen sein.
Bei mir tauchen aber immer noch mehrere auf, und so wie es aussieht bleiben die auch sehr lange stehen. Die Auswertung ist von 18:39.
Gibt es eine Möglichkeit zu sehen welches Modul diese Prozesse anstartet?
root@HNMWFHEM01:~# ps -elf | sort -rnk 10 | head
1 S fhem 30287 1966 0 80 0 - 62321 - 18:21 ? 00:00:00 perl fhem.pl fhem.cfg
1 S fhem 30162 1966 0 80 0 - 62321 - 18:19 ? 00:00:00 perl fhem.pl fhem.cfg
1 S fhem 1966 1 1 80 0 - 62321 - 09:00 ? 00:10:17 perl fhem.pl fhem.cfg
Einer davon stammt schonmal vom MPD Modul , denn das seht im Fork Prozess im Dauerkontakt mit dem MPD Server (Telnet Verbindung) um auf dessen Nachrichten sofort reagieren zu können.
ZitatGibt es eine Möglichkeit zu sehen welches Modul diese Prozesse anstartet?
In der bisherigen Version wohl nicht. Ich habe jetzt eine Neue eingecheckt, die nach dem ersten BlockingCall ein blockinginfo Befehl zur Verfuegung stellt, mit folgenden Output:
fhem> blockinginfo
Pid:9388 Fn:DoSleep Arg:HASH Timeout:555
Deine Ausgabe wuerde mich interessieren, und auch, ob es dabei Warnungen im FHEM-Log gibt.
Anbei noch die Speicherinformationen vor dem Austausch der Blocking.pm und shutdown restart.
root@HNMWFHEM01:~# ps -elf | sort -rnk 10 | head
4 S root 2422 2331 0 80 0 - 176015 - Jul04 ? 00:00:24 homebridge
0 S root 2066 1 0 80 0 - 170448 - Jul04 ? 00:00:19 alexa
4 S mysql 2790 2450 0 80 0 - 91021 - Jul04 ? 00:00:48 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
1 S fhem 1966 1 1 80 0 - 65483 - Jul04 ? 00:27:21 perl fhem.pl fhem.cfg
1 S fhem 30287 1966 0 80 0 - 62321 - Jul04 ? 00:00:00 perl fhem.pl fhem.cfg
5 S www-data 3628 2152 0 80 0 - 55818 - Jul04 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2174 2152 0 80 0 - 55818 - Jul04 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2171 2152 0 80 0 - 55818 - Jul04 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2169 2152 0 80 0 - 55818 - Jul04 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 2165 2152 0 80 0 - 55818 - Jul04 ? 00:00:00 /usr/sbin/apache2 -k start
1. intAt 8929506
2. icloud.kalender 6671557
3. selectlist 1081174
4. CUL_HM 721113
5. HMConfig::culHmRegDefine 647302
6. Abfall 608621
7. teleBot 581800
8. Niklas.Fernseher.UPnP 490747
9. Wohnzimmer.Fernseher.UPNP 487595
10. Wohnzimmer.Kodi.UPnP 485517
11. DLNASocket-FHEM.UPnP-41 477353
12. DLNASocket-FHEM.UPnP-42 477353
13. DLNASocket-FHEM.UPnP-40 477267
14. FHEM.UPnP 476066
15. Service.Spritpreise 365243
16. utf8::loose_to_file_of 359363
17. SIG 277555
18. BEGIN 252344
19. Role::Tiny::INFO 249514
20. Exporter::Cache 206201
21. attr 205328
22. HMConfig::culHmModel 172179
Folgende Zeit die blockinginfo bei mir
Pid:11992 Fn:VIERA_GetDoIt Arg:HASH Timeout:10
Pid:11941 Fn:MPD_IdleStart Arg:Garten.MPD Timeout:N/A
Pid:11993 Fn:VIERA_GetDoIt Arg:HASH Timeout:10
Die beiden VIERA verschwinden und tauchen später wieder auf. Im FHEM Log sind keine Meldungen zu sehen.
Zu intAt/selectlist: die angezeigte Zahl beinhaltet auch die Groessen der verlinkten Datenstrukturen, und diese beiden Variablen enthalten noralerweise die $defs Eintraege der einzelnen Geraete, will sagen, die 9MB/1MB ist nicht unbedingt Grund zur Sorge. Zu den anderen Zahlen kann ich nichts sagen, z.Bsp. ob ein Kalendar mit 6MB normal oder kaputt ist.
Mir gehen langsam auch die Ideen aus, wie man nach der Ursache suchen kann. Apropos: besteht das Problem noch?
Zitat von: rudolfkoenig am 05 Juli 2017, 11:14:24
Zu intAt/selectlist: die angezeigte Zahl beinhaltet auch die Groessen der verlinkten Datenstrukturen, und diese beiden Variablen enthalten noralerweise die $defs Eintraege der einzelnen Geraete, will sagen, die 9MB/1MB ist nicht unbedingt Grund zur Sorge. Zu den anderen Zahlen kann ich nichts sagen, z.Bsp. ob ein Kalendar mit 6MB normal oder kaputt ist.
Mir gehen langsam auch die Ideen aus, wie man nach der Ursache suchen kann. Apropos: besteht das Problem noch?
Dadurch das ich dem FHEM Server mehr Speicher gegeben habe dauert es natürlich länger bis der Fehler wieder auftaucht. Gerade durch die Änderungen der Dateien musste ich den Server immer wieder neu starten. Ich würde vorschlagen das ich den Speicher wieder auf 512 MB begrenze und mich dann wieder melde wenn der Fehler wieder auftaucht.
Ich denke das durch Deine Änderungen der Fehler verschwunden ist.
@Rudi,
ich beobachte diesen Thread auch schon eine Weile und meine FB7390 läuft wieder stabil ohne "Cannot allocate memory" Error nach den updates.
Kann es sein, dass dieser "Fehler" auch bei FHEM2FHEM im LOG Modus auftritt wenn die Devices nicht angelegt sind?
{ int(keys %defs).":".int(keys %attr) }
liefert bei mir ein Ungleichgewicht, wenn die Devices nicht definiert sind (127:207). Nach identifizieren der "Devices" mit:
{ join(",", grep { !$defs{$_} } sort keys %attr) }
und durch das Anlegen eines dummy Devices für jeden gelieferten Eintrag bin ich wieder in Sync: 207:207
MfGroby
ZitatKann es sein, dass dieser "Fehler" auch bei FHEM2FHEM im LOG Modus auftritt wenn die Devices nicht angelegt sind?
Ja, aber FHEM2FHEM sollte daran nicht direkt Schuld sein.
Es legt fuer den Dauer des notifies den $defs Eintrag an, und loescht ihn danach. Wenn jemand im notify-Prozess Attribute setzt, dann werden diese nicht entfernt. Ich werde das in FHEM2FHEM fixen, wuesste aber vorher gerne, wer diese Attribute anlegt.
Kannst du bitte rausfinden, welche Attribute so angelegt werden? Falls du unsicher bist wie:
- devices nicht definieren (alos "alter" Zustand)
- mit { join(",", grep { !$defs{$_} } sort keys %attr) } die Liste der Herrenlosen Attribute ausgeben.
- fuer einige dieser Werte mit { join("\n", map { "$_=$attr{XXX}{$_}" } sort keys %{$attr{XXX}}) } die Attribute ausgeben, wobei XXX passend ersetzt werden muss
{ join(",", grep { !$defs{$_} } sort keys %attr) }
gibt folgendes aus: Dachluke,Plissee
{ join("\n", map { "$_=$attr{Dachluke}{$_}" } sort keys %{$attr{Dachluke}}) }
{ join("\n", map { "$_=$attr{Plissee}{$_}" } sort keys %{$attr{Plissee}}) }
gibt jeweils kein Ergebnis.
Ist das richtig so oder habe ich einen Tippfehler?
Wenn das so richtig ist, begebe ich mich morgen früh auf die genauere Suche und gehe Device für Device durch...
Die Devicenamen in ' ' setzen
{ join("\n", map { "$_=$attr{'Dachluke'}{$_}" } sort keys %{$attr{'Dachluke'}}) }
{ join("\n", map { "$_=$attr{'Plissee'}{$_}" } sort keys %{$attr{'Plissee'}}) }
Device in '' macht keinen Unterschied. Wieder kein Ergebnis...
ich habe verschiedene Devices über ein "at" abgefragt. Folgendes findet sich dann im LOG:
2017.07.08 19:21:45.409 3: CheckDevices:
{ join("\n", map { "$_=$attr{'SunMeterD'}{$_}" } sort keys %{$attr{'SunMeterD'}}) }
2017.07.08 19:21:45.379 3: eval: { join("\n", map { "$_=$attr{'SunMeter2'}{$_}" } sort keys %{$attr{'SunMeter2'}}) }
2017.07.08 19:21:45.379 1: PERL WARNING: Useless use of join or string in void context at (eval 356) line 1.
{ join("\n", map { "$_=$attr{'SunMeter'}{$_}" } sort keys %{$attr{'SunMeter'}}) }
2017.07.08 19:21:45.372 3: eval: { join("\n", map { "$_=$attr{'SunLight'}{$_}" } sort keys %{$attr{'SunLight'}}) }
2017.07.08 19:21:45.371 1: PERL WARNING: Useless use of join or string in void context at (eval 355) line 1.
{ join("\n", map { "$_=$attr{'LuxMeter'}{$_}" } sort keys %{$attr{'LuxMeter'}}) }
2017.07.08 19:21:45.363 3: eval: { join("\n", map { "$_=$attr{'Lux'}{$_}" } sort keys %{$attr{'Lux'}}) }
2017.07.08 19:21:45.361 1: PERL WARNING: Useless use of join or string in void context at (eval 353) line 1.
{ join("\n", map { "$_=$attr{'SunMeterD'}{$_}" } sort keys %{$attr{'SunMeterD'}}) }}
2017.07.08 19:21:35.088 3: eval: {return undef; { join("\n", map { "$_=$attr{'SunMeter2'}{$_}" } sort keys %{$attr{'SunMeter2'}}) }
@Rudi,
ich habe nochmal eine Standard FHEM Installation probiert und mit "LOG:HK.*" nur die Heizkoerper Events geloggt.
Ergibt dann: 14:20 und: HK_Flur,HK_Kueche,HK_Schlaf,HK_WC,HK_WZ_li,HK_WZ_re
{ join("\n", map { "$_=$attr{XXX}{$_}" } sort keys %{$attr{XXX}}) } bleibt ohne Ergebnis.
Es scheint sich also immer um die "geloggten" Devices zu handeln...
@Groby: Danke fuer die Testwerte. Es gibt wohl 100+ Module, die Attribute direkt abfragen, ohne AttrVal, mit (if($attr{$name}{myattribute}) ... ) und dadurch $attr{$name} implizit anlegen. Ich habe das selbst bei meinen Modulen gefunden, und bei 3 gerade gefixt (FHEMWEB, Blocking, structure). Habe danach in FHEM2FHEM fuer temporaere Geraete im LOG Modus das dazugehoerige $attr Eintrag auch entfernt.
@CoolTux: '' oder "" beim Ansprechen eines Hash-Wertes in perl nur dann notwendig, wenn der Schluessel nicht als Variablenname durchgeht. Ist fuer die meisten FHEM-Geraetenamen nicht notwendig.
Zitat von: rudolfkoenig am 09 Juli 2017, 14:08:15
@CoolTux: '' oder "" beim Ansprechen eines Hash-Wertes in perl nur dann notwendig, wenn der Schluessel nicht als Variablenname durchgeht. Ist fuer die meisten FHEM-Geraetenamen nicht notwendig.
Danke Rudi für den Tip.
Grüße
Zitat von: rudolfkoenig am 09 Juli 2017, 14:08:15
@Groby: Danke fuer die Testwerte. Es gibt wohl 100+ Module, die Attribute direkt abfragen, ohne AttrVal, mit (if($attr{$name}{myattribute}) ... ) und dadurch $attr{$name} implizit anlegen. Ich habe das selbst bei meinen Modulen gefunden, und bei 3 gerade gefixt (FHEMWEB, Blocking, structure). Habe danach in FHEM2FHEM fuer temporaere Geraete im LOG Modus das dazugehoerige $attr Eintrag auch entfernt.
Könnte wetten das ich das auch bei mir in meinen ersten Modulen finde. Ich fixe Mal die Tage.
@Rudi,
ich habe mir die Files direkt abgegriffen und getestet.
Nach >150 Events sieht das bei mir für FHEM2FHEM im LOG Modus verdammt gut aus.
"{ join(",", grep { !$defs{$_} } sort keys %attr) }" liefert keinen einzigen Eintrag mehr.
Danke...
Ich habe mir gerade mein eigenes Modul angeschaut.
# set default settings on first define
if ($init_done) {
$attr{$name}{icon} = 'it_server';
}
# set default settings on first define
if ($init_done) {
# use http-method POST for FritzBox environment as GET does not seem to
# work properly. Might restrict use to newer
# NEUTRINO Webif versions or use of OWIF only.
if ( exists $ENV{CONFIG_PRODUKT_NAME}
&& defined $ENV{CONFIG_PRODUKT_NAME} )
{
$attr{$name}{"http-method"} = 'POST';
}
# default method is GET and should be compatible to most
# NEUTRINO Webif versions
else {
$attr{$name}{"http-method"} = 'GET';
}
$attr{$name}{webCmd} = 'channel';
$attr{$name}{devStateIcon} =
'on:rc_GREEN:off off:rc_YELLOW:on absent:rc_STOP:on';
$attr{$name}{icon} = 'dreambox';
}
Ist dieser Code auch davon betroffen? Wenn ja, wie müsste ich den abändern?
Nein ist nicht betroffen. Du machst ja keine Abfrage auf ein $attr sondern eine Zuweisung.
Zitat von: CoolTux am 10 Juli 2017, 07:57:37
Nein ist nicht betroffen. Du machst ja keine Abfrage auf ein $attr sondern eine Zuweisung.
ok, danke für die Info. Dann sind meine Module erstmal nicht davon betroffen.
Wollte auch schon seit ein paar Wochen einen Thread zu dem Thema aufmachen,
da ich das selbe Problem habe.
Da es mit 1GB auf dem Pi2 meist über eine Woche dauert bis der Zustand wieder einsetzt, ist die Fehlersuche für mich sehr schwer gewesen bisher.
Danke für die vielen Tips und Änderungen hier.
Habe schon testweise nach einem Backup mal alles an Devices gelöscht was ich in den letzten Monaten neu angelegt / hinzugefügt habe.
Leider ohne Wirkung.
"Früher" lief FHEM teilweise sehr lange ohne Probleme durch.
Das Problem ist, dass ich nicht richtig eingrenzen kann wann das Ganze begonnen hat.
Wir sind am Jahresanfang umgezogen und es kam über die Zeit danach sehr viel an neuen Devices dazu.
Eine Uptime von > 1 Woche kam da durch regelmäßige Updates/Neustarts eh kaum vor.
Mal sehen ob sich das Problem nach einem Update mit euren Änderungen gelöst hat,
sonst fuchse ich mich auch mal in die Tips hier rein und versuche mehr Infos zu liefern...
Thema ist zwar schon älter, aber die Meldung habe ich die letzten Tage auch immer mal wieder im Log. Eine Frage, die indirekt damit zu tun hat, kann ich irgendwie auf die Meldung Triggern. Soll heißen ich würde mir gerne eine Nachricht schicken lassen, wenn diese Meldung im Log auftaucht um Zeitnah zu schauen. Soll heißen gibt es ein entsprechendes EVENT dazu?
Ich glaube nicht.
Musst du denn FHEM auch neustarten um den Speicher wieder frei zu bekommen, oder verhält sich das bei dir anders?
Bei mir beginnt das eben wenn FHEM irgendwann an der 50% Marke des verfügbaren Arbeitsspeichers knabbert.
Der Speicherverbrauch von meinem FHEM steigt auch immer noch an.
Bis die Meldungen bei mir kommen dauert es eine knappe Woche nach einem erneuten Start von FHEM.
Fhem liegt dann meist bei einer Speichernutzung von ein paar hundert MB.
Früher blieb das auch nach wochenlanger Nutzung bei unter 50MB.
Auf dem Pi läuft neben Homebridge und Alexa an sich nur FHEM.
Der Rest der Prozesse wächst auch über die Tage hinweg kaum.
Es reicht dann auch FHEM neu zu starten, muss nicht das ganze System sein.
Ich habe schon alles aus diesem Thread und vielen weiteren die man zu dem Thema im Forum findet durch.
Bei keiner der genannten Diagnosemöglichkeiten kam es zu irgendwelchen Auffälligkeiten. :-\
Mangels Ideen und Zeit das im Moment intensiver zu verfolgen,
habe ich jetzt einfach einen Cronjob aufgesetzt, welcher FHEM täglich um 05:00 Uhr neu startet.
Nicht wirklich befriedigend, aber immerhin läuft das System so wieder 100% stabil.
edit:
Da ich mein System in Verdacht hatte, habe ich auch Raspbian und alle benötigten Pakete auf einer neuen SD Karte komplett neu aufgesetzt.
Danach nur benötigte Dateien aus dem FEHM Backup wiederhergestellt.
Das Problem besteht aber leider weiterhin.
es gibt eine Million Möglichkeiten wie Speicherlecks entstehen können und in 99% ist der Entwickler (eines) Moduls dafür zuständig. Gleichzeitig sind die aber auch sehr schwer zu finden.
So https://tech.binary.com/tracing-perl-memory-leaks-with-devel-mat/ kann man zb vorgehen
Es gibt also keine Möglichkeit rauszufinden, wie viel ein Modul an Speicher braucht? Auch nicht mal "abschätzungsweise"?
Ich glaube mich erinnern zu können das Rudi da mal was gebastelt hat. Es war ein User Thread. Ich muss überlegen mit welchen User. Ich glaube es war Winkler oder so. Also mit Vornamen dazu.
Aha ich Dussel, das ist der Thread. Lach ;D
Shit mit 40 ist alles vorbei merke ich gerade
Bitte schön
https://forum.fhem.de/index.php/topic,73490.msg653927.html#msg653927
short: händisch ja, automatisch nein.
long: Jeder Eintrag im heap (+stack ;)) müsste manuell erforscht und einem modul zugeordnet werden. Das dauert "etwas" ;) Im Zweifel ist es besser 2 dumps anzulegen. Einen nach dem Start und einen wenn der Speicher "voll läuft". Dort sucht man nach Auffälligkeiten. Es gibt auch Speicherleichen die aus FHEM (also "von innen") überhaupt nicht mehr finden lassen.
Beispiel:
sub
test {
my $a;
my $b;
$a->{b} = \$b;
$a->{0} = [1..65535];
$b->{a} = \$a;
$b->{0} = [1..65535];
return;
}
for (1..65535) {
test();
}
)
for (1..65535) {
test();
}
Nach dem Verlassen von "test" laufen "a" und "b" aus dem scope, bleiben aber im Speicher. Wenn "test" fertig ist kann man keine der beiden Variablen mehr erreichen (ergo löschen). Sie belegen jedoch weiter Speicher. Im Beipiel 65k x ein dutzend bytes.
Das Beispiel ist übersichtlich. closures, "$parent", rekursive functionen verstecken das oft so "gut" das es schwer zu sehen ist. Weil FHEM jedoch ein long running process ist summiert sich das. Es sind oft nur wenige bytes die "verloren" gehen. IO Operationen (Netzwerk Kommikation) findet aber so oft statt das sich auch kleine leaks (bugs) im Laufe von Tagen / Wochen summieren.
Aus dem verlinkten dokument:
ZitatAs the user guide explains:
The basic workflow consists of two main stages: first a heap dump file is generated from the perl process being debugged, at or around the time that the problem becomes apparent, and secondly this file is loaded by an analysis tool in order to inspect the contents.
These two stages are described here separately. It is important to note that they don't have to be done at the same time, on the same perl process, or even on the same sort of machine. It is fully possible to capture the heap from a process on, say, a small server, then copy the file to a development workstation or laptop and analyse it there at a later time.
edit: codebeispiel
Zitat von: CoolTux am 06 Dezember 2017, 14:34:42
Bitte schön
https://forum.fhem.de/index.php/topic,73490.msg653927.html#msg653927
yepp. Aber leaks wie aus dem post darüber sieht man damit auch nicht.
Nun sei mal nicht so Jörg. Bin froh mich mit 40 überhaupt noch an den Thread erinnern zu können ;D 8)
Ach so.
Jörg hat Recht :)
@CoolTux:
Was soll ich sagen, ich habe es gelesen, ausprobiert und einen Tag später .... aber 40 ist wirklich nicht mehr viel los mit einem :o
Zitat von: Amenophis86 am 06 Dezember 2017, 07:49:26
Thema ist zwar schon älter, aber die Meldung habe ich die letzten Tage auch immer mal wieder im Log. Eine Frage, die indirekt damit zu tun hat, kann ich irgendwie auf die Meldung Triggern. Soll heißen ich würde mir gerne eine Nachricht schicken lassen, wenn diese Meldung im Log auftaucht um Zeitnah zu schauen. Soll heißen gibt es ein entsprechendes EVENT dazu?
notify's können mit attr readLog auch auf fhem.log lauschen. ;)
Zitat von: frank am 07 Dezember 2017, 13:15:06
notify's können mit attr readLog auch auf fhem.log lauschen. ;)
Schau an, gut zu wissen. Werde ich mich die Tage mal dran machen und versuchen. Dank dir.
Wenn Du etwas gefunden hast, könntest Du deine Lösung posten?
also das notify war kein Problem. Jetzt wollte ich mit dem debugbefehl: fhemdebug memusage arbeiten, aber dieser lässt mein FHEM direkt ohne Meldung abstürzen. Ich habe Devel::Size sowohl über cpanm Devel::Size
als auch mittels apt-get -s install libdevel-size-perl
als auch apt-get install libdevel-size-perl
installiert bzw. versucht. Kann ich irgendwie prüfen ob es klappt bzw. warum es nicht klappt?
d.h. enn Du (auch manuell)? aufrufst:
fhemdebug memusage
Ist fhem sofort weg? Was sagt denn das Log?
korrekt, auch dann. Mit ohne Meldung meinte ich, dass auch im Log keine Meldung mehr kommt. Ist direkt weg und nix geht mehr. In der Beschreibung von Rudi steht ja, dass es zum Absturz kommen kann, weiß nur nicht, wie ich das verhindern kann.
Sorry, da kann ich Dir nicht helfen, da müssen wir auf "tiefere" Experten warten
Eigentlich muesste Devel::Size gefixt werden, dazu habe ich aber keine Musse.
Falls das Perl-Modul nicht installiert ist, dann meldet FHEM das direkt.
Ich habe eine neue Version eingecheckt, der bei "attr global verbose 5" das naechste Element ausgibt, was geprueft wird. Nach einem Absturz sollte das als Letztes im fhem-Log stehen.
Werde es die Tage prüfen und mich melden. Danke
Hi,
nachdem ich jetzt viel Hilfe von Heiko erhalten habe, komm ich hier mal rein:
Ich hab das Problem, dass logdb async in letzter Zeit regelmäßig abstürzt, und mittlerweile herausgefunden, dass es an "can not allocate memory" liegt.
Das Problem war heute gerade wieder aktuell, weshalb ich diesen Thread gefunden habe.
Daraufhin hab ich "fhemdebug memusage" ausgeführt, natürlich ohne vorher global auf verbose 5 zu schalten. FHEM ist genauso natürlich abgestürzt.
Wenn ich jetzt am (frisch gestarteten) FHEM das fhemdebug memusage ausführe, stürzt es ebenfalls ab. Im Log stehen dann diese Meldungen:
2018.01.25 16:38:25.123 5: Cmd: >fhemdebug memusage<
2018.01.25 16:38:25.124 5: Loading ./FHEM/98_fhemdebug.pm
2018.01.25 16:38:25.142 5: main::oldvalue
2018.01.25 16:38:25.145 5: main::FW_fhemwebjs
2018.01.25 16:38:25.146 5: main::cmds
2018.01.25 16:38:25.147 5: main::FW_detail
2018.01.25 16:38:25.147 5: main::reread_active
2018.01.25 16:38:25.148 5: main::overload::numbers::names
2018.01.25 16:38:25.148 5: main::overload::category
2018.01.25 16:38:25.148 5: main::overload::constants
2018.01.25 16:38:25.149 5: main::overload::ops
2018.01.25 16:38:25.149 5: main::overload::BEGIN
2018.01.25 16:38:25.149 5: main::overload::package
2018.01.25 16:38:25.149 5: main::constant::BEGIN
2018.01.25 16:38:25.150 5: main::constant::__ANON__
2018.01.25 16:38:25.150 5: main::constant::declared
2018.01.25 16:38:25.151 5: main::integer::hint_bits
2018.01.25 16:38:25.151 5: main::Symbol::EXPORT
2018.01.25 16:38:25.152 5: main::Symbol::BEGIN
2018.01.25 16:38:25.152 5: main::Symbol::EXPORT_OK
2018.01.25 16:38:25.152 5: main::Symbol::ISA
2018.01.25 16:38:25.153 5: main::FH1
2018.01.25 16:38:25.153 5: main::INC
2018.01.25 16:38:25.154 5: main::selectlist
2018.01.25 16:38:25.157 1: PERL WARNING: Devel::Size: Unknown variable type: 251 encountered
2018.01.25 16:38:25.157 1: stacktrace:
2018.01.25 16:38:25.158 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (141)
2018.01.25 16:38:25.158 1: (eval) called by ./FHEM/98_fhemdebug.pm (123)
2018.01.25 16:38:25.158 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (149)
2018.01.25 16:38:25.158 1: main::fhemdebug_memusage called by ./FHEM/98_fhemdebug.pm (41)
2018.01.25 16:38:25.158 1: main::fhemdebug_Fn called by fhem.pl (1169)
2018.01.25 16:38:25.158 1: main::AnalyzeCommand called by fhem.pl (1023)
2018.01.25 16:38:25.159 1: main::AnalyzeCommandChain called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.25 16:38:25.159 1: main::FW_fC called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.25 16:38:25.159 1: main::FW_answerCall called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.25 16:38:25.159 1: main::FW_Read called by fhem.pl (3493)
2018.01.25 16:38:25.159 1: main::CallFn called by fhem.pl (688)
2018.01.25 16:38:25.160 1: PERL WARNING: Devel::Size: Unknown variable type: 62 encountered
2018.01.25 16:38:25.160 1: stacktrace:
2018.01.25 16:38:25.160 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (141)
2018.01.25 16:38:25.160 1: (eval) called by ./FHEM/98_fhemdebug.pm (123)
2018.01.25 16:38:25.160 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (149)
2018.01.25 16:38:25.160 1: main::fhemdebug_memusage called by ./FHEM/98_fhemdebug.pm (41)
2018.01.25 16:38:25.161 1: main::fhemdebug_Fn called by fhem.pl (1169)
2018.01.25 16:38:25.161 1: main::AnalyzeCommand called by fhem.pl (1023)
2018.01.25 16:38:25.161 1: main::AnalyzeCommandChain called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.25 16:38:25.161 1: main::FW_fC called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.25 16:38:25.161 1: main::FW_answerCall called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.25 16:38:25.161 1: main::FW_Read called by fhem.pl (3493)
2018.01.25 16:38:25.161 1: main::CallFn called by fhem.pl (688)
2018.01.25 16:38:25.162 1: PERL WARNING: Devel::Size: Unknown variable type: 62 encountered
2018.01.25 16:38:25.162 1: stacktrace:
2018.01.25 16:38:25.162 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (141)
2018.01.25 16:38:25.162 1: (eval) called by ./FHEM/98_fhemdebug.pm (123)
2018.01.25 16:38:25.162 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (149)
2018.01.25 16:38:25.162 1: main::fhemdebug_memusage called by ./FHEM/98_fhemdebug.pm (41)
2018.01.25 16:38:25.163 1: main::fhemdebug_Fn called by fhem.pl (1169)
2018.01.25 16:38:25.163 1: main::AnalyzeCommand called by fhem.pl (1023)
2018.01.25 16:38:25.163 1: main::AnalyzeCommandChain called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.25 16:38:25.163 1: main::FW_fC called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.25 16:38:25.163 1: main::FW_answerCall called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.25 16:38:25.164 1: main::FW_Read called by fhem.pl (3493)
2018.01.25 16:38:25.164 1: main::CallFn called by fhem.pl (688)
Liegt der Absturz am oben erwähnten Fehler von Devel::Size?
Wenn nein, was kann ich machen, damit es *nicht* abstürzt?
Kann jemand aus dem Log erkennen, was den Absturz von FHEM verursacht?
Wenns das nächste mal hängt, werd ich an verbose 5 denken und mich melden. Kann nicht lange dauern:)
Grüße
Stephan
ZitatLiegt der Absturz am oben erwähnten Fehler von Devel::Size?
Vermutlich.
ZitatKann jemand aus dem Log erkennen, was den Absturz von FHEM verursacht?
Irgendetwas war in %selectlist, was Devel::Size::total_size nicht vertragen hat. Vermutlich hat einer der von Dir verwendeten Module was unuebliches an Datentyp reingeschrieben.
Ich habe gerade eine neue Variante von fhemdebug eingecheckt: es werden mehr interne Hashes detailliert gemessen (wie %selectlist), und es gibt ein Blacklist: das MAX-Modul und HTTPMOD Geraete werden nicht geprueft, da diese bei mir in einem Testsetup den Absturz bewirkt haben. Falls es bei dir auch mit dieser Version abstuerzt, dann bitte die letzten Zeilen bei "attr global verbose 5" hier anhaengen.
Hi,
danke für deine Änderung.
Es stürzt immer noch ab, jetzt bekomm ich aber eine lange Liste von ... Devices.
Hier sind die letzten 6, wenn du mehr brauchst, sag Bescheid.
Grüße,
Stephan
2018.01.27 00:30:31.115 5: main::defs::devstateicon
2018.01.27 00:30:31.116 5: main::defs::SVG_Kuehlschrank
2018.01.27 00:30:31.116 5: main::defs::D_Gast
2018.01.27 00:30:31.116 5: main::defs::global
2018.01.27 00:30:31.116 5: main::defs::cmd_sendTelegramSVG
2018.01.27 00:30:31.117 5: main::defs::01static_DbRep
Ich habe DbRep zum Blacklist hinzugefuegt.
Es waere interessant rauszukriegen, was HTTPMOD, $modules{MAX} und DbRep gemeinsam haben, und Devel::Size::total_size zum Absturz bringen.
Hallo zusammen,
weil mich Stephan (abc2006) gerade hierher gelotst hat, habe ich auch gleich mal "fhemdebug memusage" bei mir ausgeführt.
Stürzt aber nichts ab und gibt einwandfrei Rückmeldung.
Ich habe natürlich DbLog und DbRep exzessiv im Einsatz, HTTPMOD allerdings nicht.
Habe bei mir dergleichen wie bei Stephan auftritt noch nicht feststellen können.
LG,
Heiko
Hi,
Danke für euer Engagement!
Ich hab leider weiterhin Abstürze:
2018.01.27 16:53:49.598 5: Cmd: >fhemdebug memusage<
2018.01.27 16:53:49.599 5: Loading ./FHEM/98_fhemdebug.pm
2018.01.27 16:53:49.622 5: main::authenticate
2018.01.27 16:53:49.623 5: main::157487574
2018.01.27 16:53:49.623 5: main::inform
2018.01.27 16:53:49.623 5: main::FW_dir
2018.01.27 16:53:49.624 5: main::cvsid
2018.01.27 16:53:49.626 5: main::Socket::__ANON__
2018.01.27 16:53:49.626 5: main::Socket::EXPORT_TAGS
2018.01.27 16:53:49.627 5: main::Socket::EXPORT_OK
2018.01.27 16:53:49.630 5: main::Socket::EXPORT
2018.01.27 16:53:49.630 5: main::Socket::ISA
2018.01.27 16:53:49.631 5: main::Socket::EXPORT_FAIL
2018.01.27 16:53:49.632 5: main::Socket::BEGIN
2018.01.27 16:53:49.633 5: main::readingFnAttributes
2018.01.27 16:53:49.633 5: main::TGB_BINFILE
2018.01.27 16:53:49.634 5: main::fhem_started
2018.01.27 16:53:49.634 5: main::FW_hiddenroom
2018.01.27 16:53:49.634 5: main::selectlist::WEB_192.168.0.201_5592
2018.01.27 16:53:49.635 5: main::selectlist::telnetPort_192.168.0.113_40742
2018.01.27 16:53:49.635 5: main::selectlist::telnetPort_192.168.0.105_43182
2018.01.27 16:53:49.635 5: main::selectlist::WEB_192.168.0.201_5593
2018.01.27 16:53:49.636 5: main::selectlist::WEB_192.168.0.201_5597
2018.01.27 16:53:49.636 5: main::selectlist::WEB_192.168.0.201_5596
2018.01.27 16:53:49.636 5: main::selectlist::HASH(0x560e90585720)
2018.01.27 16:53:49.640 1: PERL WARNING: Devel::Size: Unknown variable type: 255 encountered
2018.01.27 16:53:49.640 1: stacktrace:
2018.01.27 16:53:49.640 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (148)
2018.01.27 16:53:49.641 1: (eval) called by ./FHEM/98_fhemdebug.pm (124)
2018.01.27 16:53:49.641 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (166)
2018.01.27 16:53:49.641 1: main::fhemdebug_memusage called by ./FHEM/98_fhemdebug.pm (41)
2018.01.27 16:53:49.641 1: main::fhemdebug_Fn called by fhem.pl (1172)
2018.01.27 16:53:49.641 1: main::AnalyzeCommand called by fhem.pl (1025)
2018.01.27 16:53:49.642 1: main::AnalyzeCommandChain called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.27 16:53:49.642 1: main::FW_fC called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.27 16:53:49.642 1: main::FW_answerCall called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.27 16:53:49.642 1: main::FW_Read called by fhem.pl (3498)
2018.01.27 16:53:49.642 1: main::CallFn called by fhem.pl (689)
2018.01.27 16:53:49.642 1: PERL WARNING: Devel::Size: Unknown variable type: 111 encountered
2018.01.27 16:53:49.643 1: stacktrace:
2018.01.27 16:53:49.643 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (148)
2018.01.27 16:53:49.643 1: (eval) called by ./FHEM/98_fhemdebug.pm (124)
2018.01.27 16:53:49.643 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (166)
2018.01.27 16:53:49.643 1: main::fhemdebug_memusage called by ./FHEM/98_fhemdebug.pm (41)
2018.01.27 16:53:49.643 1: main::fhemdebug_Fn called by fhem.pl (1172)
2018.01.27 16:53:49.644 1: main::AnalyzeCommand called by fhem.pl (1025)
2018.01.27 16:53:49.644 1: main::AnalyzeCommandChain called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.27 16:53:49.644 1: main::FW_fC called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.27 16:53:49.644 1: main::FW_answerCall called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.27 16:53:49.644 1: main::FW_Read called by fhem.pl (3498)
2018.01.27 16:53:49.645 1: main::CallFn called by fhem.pl (689)
2018.01.27 16:53:49.645 1: PERL WARNING: Devel::Size: Unknown variable type: 69 encountered
2018.01.27 16:53:49.645 1: stacktrace:
2018.01.27 16:53:49.645 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (148)
2018.01.27 16:53:49.645 1: (eval) called by ./FHEM/98_fhemdebug.pm (124)
2018.01.27 16:53:49.645 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (166)
2018.01.27 16:53:49.646 1: main::fhemdebug_memusage called by ./FHEM/98_fhemdebug.pm (41)
2018.01.27 16:53:49.646 1: main::fhemdebug_Fn called by fhem.pl (1172)
2018.01.27 16:53:49.646 1: main::AnalyzeCommand called by fhem.pl (1025)
2018.01.27 16:53:49.646 1: main::AnalyzeCommandChain called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.27 16:53:49.646 1: main::FW_fC called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.27 16:53:49.646 1: main::FW_answerCall called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.27 16:53:49.647 1: main::FW_Read called by fhem.pl (3498)
2018.01.27 16:53:49.647 1: main::CallFn called by fhem.pl (689)
2018.01.27 16:53:49.647 1: PERL WARNING: Devel::Size: Unknown variable type: 108 encountered
2018.01.27 16:53:49.647 1: stacktrace:
2018.01.27 16:53:49.647 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (148)
2018.01.27 16:53:49.648 1: (eval) called by ./FHEM/98_fhemdebug.pm (124)
2018.01.27 16:53:49.648 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (166)
2018.01.27 16:53:49.648 1: main::fhemdebug_memusage called by ./FHEM/98_fhemdebug.pm (41)
2018.01.27 16:53:49.648 1: main::fhemdebug_Fn called by fhem.pl (1172)
2018.01.27 16:53:49.648 1: main::AnalyzeCommand called by fhem.pl (1025)
2018.01.27 16:53:49.648 1: main::AnalyzeCommandChain called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.27 16:53:49.649 1: main::FW_fC called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.27 16:53:49.649 1: main::FW_answerCall called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.27 16:53:49.649 1: main::FW_Read called by fhem.pl (3498)
2018.01.27 16:53:49.649 1: main::CallFn called by fhem.pl (689)
könnte evtl doch meine Hardware der Grund sein?
Habe das ganze jetzt mal wiederholt. Interessanterweise mit anderen Logeinträgen:
2018.01.27 16:59:38.562 5: main::DBD::_::st::BEGIN
2018.01.27 16:59:38.563 5: main::DBD::_::st::FH
2018.01.27 16:59:38.563 5: main::DBD::_::db::ISA
2018.01.27 16:59:38.564 5: main::DBD::_::db::BEGIN
2018.01.27 16:59:38.564 5: main::DBD::Switch::dr_mem::ISA
2018.01.27 16:59:38.564 5: main::DBD::Switch::db::ISA
2018.01.27 16:59:38.565 5: main::DBD::Switch::st::ISA
2018.01.27 16:59:38.565 5: main::DBD::Switch::db_mem::ISA
2018.01.27 16:59:38.566 5: main::DBD::Switch::st_mem::ISA
2018.01.27 16:59:38.566 5: main::DBD::Switch::dr::ISA
2018.01.27 16:59:38.566 5: main::DBD::Switch::dr::imp_data_size
2018.01.27 16:59:38.567 5: main::DBD::_mem::db::ISA
2018.01.27 16:59:38.567 5: main::DBD::_mem::st::ISA
2018.01.27 16:59:38.567 5: main::DBD::_mem::dr::ISA
2018.01.27 16:59:38.568 5: main::DBD::mysql::QUIET
2018.01.27 16:59:38.568 5: main::DBD::mysql::err
2018.01.27 16:59:38.568 5: main::DBD::mysql::BEGIN
2018.01.27 16:59:38.569 5: main::DBD::mysql::db_mem::ISA
2018.01.27 16:59:38.569 5: main::DBD::mysql::st_mem::ISA
2018.01.27 16:59:38.570 5: main::DBD::mysql::dr::imp_data_size
2018.01.27 16:59:38.570 5: main::DBD::mysql::dr::ISA
2018.01.27 16:59:38.571 5: main::DBD::mysql::dr::GetInfoType
2018.01.27 16:59:38.571 5: main::DBD::mysql::dr::BEGIN
2018.01.27 16:59:38.572 5: main::DBD::mysql::ISA
2018.01.27 16:59:38.572 5: main::DBD::mysql::db::b
2018.01.27 16:59:38.573 5: main::DBD::mysql::db::BEGIN
2018.01.27 16:59:38.573 5: main::DBD::mysql::db::ISA
2018.01.27 16:59:38.574 5: main::DBD::mysql::db::__ANON__
2018.01.27 16:59:38.574 5: main::DBD::mysql::db::imp_data_size
2018.01.27 16:59:38.575 5: main::DBD::mysql::db::a
2018.01.27 16:59:38.575 5: main::DBD::mysql::st::imp_data_size
2018.01.27 16:59:38.576 5: main::DBD::mysql::st::BEGIN
2018.01.27 16:59:38.576 5: main::DBD::mysql::st::ISA
2018.01.27 16:59:38.577 5: main::DBD::mysql::st::__ANON__
2018.01.27 16:59:38.577 5: main::DBD::mysql::dr_mem::ISA
2018.01.27 16:59:38.578 5: main::DBD::mysql::GetInfo::info
2018.01.27 16:59:38.578 5: main::DBD::mysql::errstr
2018.01.27 16:59:38.578 5: main::DBD::mysql::drh
und noch ein drittes mal, wieder mit anderen Einträgen... :
2018.01.27 17:08:38.514 5: main::Config::Config_SH_expanded
2018.01.27 17:08:38.514 5: main::Config::BEGIN
2018.01.27 17:08:38.514 5: main::Config::byteorder
2018.01.27 17:08:38.514 5: main::Config::Git_Data
2018.01.27 17:08:38.515 5: main::Config::EXPORT_OK
2018.01.27 17:08:38.515 5: main::Config::Config
2018.01.27 17:08:38.515 5: main::Config::summary
2018.01.27 17:08:38.516 5: main::INPUTFILE
2018.01.27 17:08:38.517 5: main::intAt::3391
2018.01.27 17:08:38.517 5: main::intAt::93
2018.01.27 17:08:38.517 5: main::intAt::2996
2018.01.27 17:08:38.518 5: main::intAt::117
2018.01.27 17:08:38.518 5: main::intAt::75
2018.01.27 17:08:38.519 5: main::intAt::3010
2018.01.27 17:08:38.519 5: main::intAt::3386
2018.01.27 17:08:38.519 5: main::intAt::2992
2018.01.27 17:08:38.520 5: main::intAt::76
2018.01.27 17:08:38.520 5: main::intAt::83
2018.01.27 17:08:38.521 5: main::intAt::2983
2018.01.27 17:08:38.521 5: main::intAt::78
2018.01.27 17:08:38.522 5: main::intAt::3019
2018.01.27 17:08:38.522 5: main::intAt::101
2018.01.27 17:08:38.523 5: main::intAt::3033
2018.01.27 17:08:38.523 5: main::intAt::3000
2018.01.27 17:08:38.524 5: main::intAt::99
2018.01.27 17:08:38.524 5: main::intAt::2437
2018.01.27 17:08:38.525 5: main::intAt::105
2018.01.27 17:08:38.525 5: main::intAt::18
2018.01.27 17:08:38.526 5: main::intAt::3073
2018.01.27 17:08:38.526 5: main::intAt::3393
2018.01.27 17:08:38.526 5: main::intAt::3004
2018.01.27 17:08:38.527 5: main::intAt::3389
2018.01.27 17:08:38.527 5: main::intAt::80
2018.01.27 17:08:38.528 5: main::intAt::3016
2018.01.27 17:08:38.528 5: main::intAt::88
2018.01.27 17:08:38.529 5: main::intAt::97
2018.01.27 17:08:38.529 5: main::intAt::2939
2018.01.27 17:08:38.530 5: main::intAt::3018
2018.01.27 17:08:38.530 5: main::intAt::2940
2018.01.27 17:08:38.531 5: main::intAt::3350
2018.01.27 17:08:38.531 5: main::intAt::95
2018.01.27 17:08:38.531 5: main::intAt::3013
2018.01.27 17:08:38.532 5: main::intAt::3022
2018.01.27 17:08:38.532 5: main::intAt::87
2018.01.27 17:08:38.533 5: main::intAt::1441
2018.01.27 17:08:38.533 5: main::intAt::92
2018.01.27 17:08:38.534 5: main::intAt::3012
2018.01.27 17:08:38.534 5: main::intAt::2877
Grüße,
Stephan
Ich habe memusage umgebaut, dass es Devel::Size::size() statt total_size() verwendet. Dadurch wird vermutlich etliches nicht gemessen, dafuer scheint es nicht mehr abzustuerzen. Und ich hoffe, man kann es trotzdem zum lokalisieren von Speicherloechern verwenden.
Weiterhin problematisch ist die Zuordnung von mehrfach referenzierten Hashes: memusage rechnet solche dem "erstbesten" Referenzierer zu. Z.Bsp. wenn ein Modul die Struktur $modules{ModulName}{defptr} zusaetzlich in jedem GeraeteInstanz dieses Typs ($defs{GeraeteName}) eintraegt, dann ist es Zufall, wem diese Daten zugeordnet werden. Immerhin sollte memusage sowas nur einmal zaehlen.
Hi,
sorry, aber es stürzt bei mir immer noch ab:
Zitat2018.01.30 17:04:54.346 5: CHECK main::count / main:: / count /
2018.01.30 17:04:54.346 5: CHECK main::cvsid / main:: / cvsid /
2018.01.30 17:04:54.347 5: CHECK main::data / main:: / data /
2018.01.30 17:04:54.347 5: CHECK main::defaultattr / main:: / defaultattr /
2018.01.30 17:04:54.347 5: CHECK main::defs / main:: / defs / HASH
2018.01.30 17:04:54.349 5: CHECK main::defs::01static_DbRep / main::defs / 01static_DbRep / HASH
2018.01.30 17:04:54.349 5: CHECK main::defs::01static_DbRep::DATABASE / main::defs::01static_DbRep / DATABASE /
2018.01.30 17:04:54.349 5: CHECK main::defs::01static_DbRep::DBH / main::defs::01static_DbRep / DBH / DBI::db
2018.01.30 17:04:54.350 1: PERL WARNING: Devel::Size: Unknown variable type: 22 encountered
2018.01.30 17:04:54.350 1: stacktrace:
2018.01.30 17:04:54.350 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (140)
2018.01.30 17:04:54.350 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (137)
2018.01.30 17:04:54.350 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (137)
2018.01.30 17:04:54.351 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (151)
2018.01.30 17:04:54.351 1: main::fhemdebug_memusage called by ./FHEM/98_fhemdebug.pm (41)
2018.01.30 17:04:54.351 1: main::fhemdebug_Fn called by fhem.pl (1172)
2018.01.30 17:04:54.351 1: main::AnalyzeCommand called by fhem.pl (1025)
2018.01.30 17:04:54.351 1: main::AnalyzeCommandChain called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.30 17:04:54.351 1: main::FW_fC called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.30 17:04:54.352 1: main::FW_answerCall called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.30 17:04:54.352 1: main::FW_Read called by fhem.pl (3511)
2018.01.30 17:04:54.352 1: main::CallFn called by fhem.pl (689)
Grüße,
Stephan
edit:
gerade ist mir passiert, dass ich von dem Rechner, auf dem der Browser offen war, in dem ich fhemdebug ausgeführt habe, die Netzwerkverbindung verloren habe.
Ich versuche noch, herauszufinden, warum. Google, Fhem Forum, Owncloud, FHEM, selbst meine FritzBox war nicht mehr erreichbar ...
Ich habe jetzt eine FHEM-Instanz mit DbLog definiert: war etwas schwierig, da die Fehlermeldung der Bibliothek in DbLog.pm unterdrueckt wird, und man sieht nur "Can't connect to database", aber kein warum. Nachdem ich das eval in DbLog.pm entfernt habe, kam die Meldung per PERL WARNING zum Vorschein, und ich konnte das Problem loesen :)
Mit einem Funktionierenden DbLog war fhemdebug memusage bei mir auch abgestuerzt.
Das habe ich jetzt gefixt, indem Klassenvariablen (wie DBI::db) nicht mehr gemessen werden.
Ich wuerde mich ueber erneuten Feedback freuen.
Hallo Rudi,
ZitatNachdem ich das eval in DbLog.pm entfernt habe,....
An welcher Stelle hast du das eval rausgenommen ?
Eigentlich gebe ich überall beim DBI-connect nach dem eval die resultierende Meldung $@ aus sofern sie existiert, damit solche Warnungen rauskommen.
Wenn ich eine Stelle übersehen habe, würde ich das gerne nachziehen, habe aber bisher keine gefunden wo es fehlen könnte.
LG,
Heiko
Hi Rudi, hi Heiko,
hier mein Log-Beitrag. Das Ergebnis (Absturz von FHEM) hat sich leider nicht geändert...
2018.01.31 01:37:44.035 5: CHECK main::b / main:: / b /
2018.01.31 01:37:44.035 5: CHECK main::base:: / main:: / base:: /
2018.01.31 01:37:44.036 5: CHECK main::bytes:: / main:: / bytes:: /
2018.01.31 01:37:44.036 5: CHECK main::cfgDB_FW_fileList / main:: / cfgDB_FW_fileList /
2018.01.31 01:37:44.036 5: CHECK main::cfgDB_FileRead / main:: / cfgDB_FileRead /
2018.01.31 01:37:44.037 5: CHECK main::cfgDB_FileWrite / main:: / cfgDB_FileWrite /
2018.01.31 01:37:44.037 5: CHECK main::cfgDB_Fileversion / main:: / cfgDB_Fileversion /
2018.01.31 01:37:44.037 5: CHECK main::cfgDB_Read99 / main:: / cfgDB_Read99 /
2018.01.31 01:37:44.038 5: CHECK main::cfgDB_svnId / main:: / cfgDB_svnId /
2018.01.31 01:37:44.038 5: CHECK main::cmdFromAnalyze / main:: / cmdFromAnalyze /
2018.01.31 01:37:44.038 5: CHECK main::cmds / main:: / cmds /
2018.01.31 01:37:44.039 5: CHECK main::common:: / main:: / common:: /
2018.01.31 01:37:44.039 5: CHECK main::constant:: / main:: / constant:: /
2018.01.31 01:37:44.039 5: CHECK main::controlVL_ARD / main:: / controlVL_ARD /
2018.01.31 01:37:44.040 5: CHECK main::count / main:: / count /
2018.01.31 01:37:44.040 5: CHECK main::cvsid / main:: / cvsid /
2018.01.31 01:37:44.040 5: CHECK main::data / main:: / data /
2018.01.31 01:37:44.041 5: CHECK main::defaultattr / main:: / defaultattr /
2018.01.31 01:37:44.041 5: CHECK main::defs / main:: / defs / HASH
2018.01.31 01:37:44.042 5: CHECK main::defs::01static_DbRep / main::defs / 01static_DbRep / HASH
2018.01.31 01:37:44.042 5: CHECK main::defs::01static_DbRep::DATABASE / main::defs::01static_DbRep / DATABASE /
2018.01.31 01:37:44.043 5: CHECK main::defs::01static_DbRep::DBH / main::defs::01static_DbRep / DBH / DBI::db
2018.01.31 01:37:44.043 1: PERL WARNING: Devel::Size: Unknown variable type: 139 encountered
2018.01.31 01:37:44.043 1: stacktrace:
2018.01.31 01:37:44.044 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (140)
2018.01.31 01:37:44.044 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (137)
2018.01.31 01:37:44.044 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (137)
2018.01.31 01:37:44.044 1: main::__ANON__ called by ./FHEM/98_fhemdebug.pm (151)
2018.01.31 01:37:44.044 1: main::fhemdebug_memusage called by ./FHEM/98_fhemdebug.pm (41)
2018.01.31 01:37:44.044 1: main::fhemdebug_Fn called by fhem.pl (1172)
2018.01.31 01:37:44.045 1: main::AnalyzeCommand called by fhem.pl (1025)
2018.01.31 01:37:44.045 1: main::AnalyzeCommandChain called by ./FHEM/01_FHEMWEB.pm (2486)
2018.01.31 01:37:44.045 1: main::FW_fC called by ./FHEM/01_FHEMWEB.pm (881)
2018.01.31 01:37:44.045 1: main::FW_answerCall called by ./FHEM/01_FHEMWEB.pm (525)
2018.01.31 01:37:44.045 1: main::FW_Read called by fhem.pl (3508)
2018.01.31 01:37:44.046 1: main::CallFn called by fhem.pl (689)
Dazu muss ich sagen, ich hab die Version
fhem.pl 16050 2018-01-30 20:21:02Z rudolfkoenig
aus dem SVN geholt. Kann bis zum Wochenende wahrscheinlich nicht weiter testen.
Danke euch und Grüße,
Stephan
Edit: an der DbLog hattest du nichts geändert - oder?
Die Versionsnummer scheint gleich zu sein...
@Heiko: Ich habe alle 12 connect Aufrufe mit Log versehen, da ich nicht wusste, welcher bei mir zutrifft, und Nr 6 hat zugeschlagen (DbLog_ConnectPush, # Server default). $@ war in meinem Fall nichtssagend, es kam nur
ZitatDbLog db -> DbLog_Push Returncode: Can't connect to database.
Nach dem Ausbau von eval habe ich
ZitatPERL WARNING: DBI connect('database=fhem;host=localhost;port=3306','fhemuser',...) failed:Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) at ./FHEM/93_DbLog.pm line 2277.
bekommen, woraufhin ich statt localhost die IP konfiguriert habe in db.conf, und schon ging es. Diese spezifische Meldung ist nicht als Fehlermeldung an DbLog zu verstehen (ist eher ein DBD::mysql Konfigurations-Bug), sondern nur als Erklaerung, dass ich mit einer besseren Fehlermeldung mehr anfangen kann. Und es bedeutet auch nicht, dass ich das Verfahren, wie DBI die Fehler meldet, fuer richtig finde.
@Stephan: bist du sicher, dass due diese Version auch verwendet (sprich FHEM neugestartet) hast?
Wenn ja, dann bin ich ratlos, eine CHECK Zeile mit :: im letzten Wort ($ref) duerfte gar nicht kommen.
Hi,
2018.01.31 01:36:27.411 4: WEB: /fhem?cmd=setreading%20tempOWarduino%20289B8489060000%2062.06&XHR=1 / RL:0 / text/plain; charset=UTF-8 / /
2018.01.31 01:36:27.412 4: Connection accepted from WEB_192.168.0.100_48948
2018.01.31 01:36:27.415 4: WEB_192.168.0.100_48948 POST /fhem?XHR=1&cmd=shutdown%20restart&fw_id=40303; BUFLEN:0
2018.01.31 01:36:27.416 5: Cmd: >shutdown restart<
2018.01.31 01:36:27.416 5: Starting notify loop for global, 1 event(s), first is SHUTDOWN
2018.01.31 01:36:27.417 5: statistics stats_KNX: Notify.266 Notification of 'global' received. Device not monitored.
2018.01.31 01:36:27.456 5: End notify loop for global
2018.01.31 01:36:27.456 0: Server shutdown
Ja, bin mir sicher. Ich mach aber nochmal nen Reboot, weil auch "reload" ab und zu nicht den gewünschten erfolg bringt.
2018.01.31 12:47:25.991 5: CHECK main::cmdFromAnalyze / main:: / cmdFromAnalyze /
2018.01.31 12:47:25.992 5: CHECK main::cmds / main:: / cmds /
2018.01.31 12:47:25.992 5: CHECK main::common:: / main:: / common:: /
2018.01.31 12:47:25.993 5: CHECK main::constant:: / main:: / constant:: /
2018.01.31 12:47:25.993 5: CHECK main::controlVL_ARD / main:: / controlVL_ARD /
2018.01.31 12:47:25.993 5: CHECK main::count / main:: / count /
2018.01.31 12:47:25.994 5: CHECK main::cvsid / main:: / cvsid /
2018.01.31 12:47:25.994 5: CHECK main::data / main:: / data /
2018.01.31 12:47:25.995 5: CHECK main::defaultattr / main:: / defaultattr /
2018.01.31 12:47:25.995 5: CHECK main::defs / main:: / defs / HASH
2018.01.31 12:47:25.996 5: CHECK main::defs::01static_DbRep / main::defs / 01static_DbRep / HASH
2018.01.31 12:47:25.997 5: CHECK main::defs::01static_DbRep::DATABASE / main::defs::01static_DbRep / DATABASE /
2018.01.31 12:47:25.997 5: CHECK main::defs::01static_DbRep::DBH / main::defs::01static_DbRep / DBH / DBI::db
sorry :( Immerhin jetzt anscheinend reproduzierbar an der gleichen Stelle ....
Vielleicht stürzt fhem ab, bevor es die ganze Zeile loggen kann?
Grüße,
Stephan
Sehr merkwuerdig, kann ich nicht erklaeren.
Habe trotzdem eine neue Version eingecheckt, die die Groessen der defs Eintraege an richtigen Stelle zaehlen sollte, und keine Sinnlose symbole in main:: anlegt.
... ich habe hier dasselbe Problem, und es tritt erst auf seitdem ich homebridge auf demselben pi wie fhem laufen lasse.
Bevor ich homebridge benutzt habe (inkl fhem Plugin) lief Fhem wochenlang, es gab auch kein Speicher voll laufen.
Ich habe den Verdacht das das Homebridge Modul in Fhem oder homebridge selbst dafür verantwortlich ist.
Ich habe nun auch diese Fehlermeldungen (cannot fork), obwohl der RPi 3 drei Monate mit FHEM durchlief und ich tausende Kilometer davon entfernt war. Inzwischen in drei Tagen fünf Abstürze. Ich habe nur freezemon definiert und hinzugefügt, sonst mW nichts geändert. Ich gebe mal an, was ich so ausgelesen habe.
memusage
1. defs 829081
2. modules 433412
3. modules::eventTypes 187594
4. modules::eventTypes::ldata 186532
5. attr 95641
6. defs::sysmon 49940
7. defs::MeinWetter 47322
8. defs::MeinWetter::READINGS 45306
9. defs::Gasrechner 35094
10. defs::Gasrechner::READINGS 33577
11. POSIX:: 32038
12. defs::sysmon::READINGS 30735
13. defs::X10_prog 26643
14. defs::Stromrechner 24435
15. defs::X10_prog::READINGS 24237
16. B:: 20324
17. defs::TelegramBot 19410
18. modules::eventTypes::ldata::sduino 19298
19. defs::Viessmann 17765
20. modules::eventTypes::ldata::MeinWetter 17141
21. Socket:: 16978
22. modules::eventTypes::ldata::Schulferien 16706
23. defs::Stromrechner::READINGS 16633
24. defs::Sonoff_pow1 14195
25. defs::Anwesenheitssimulation_Slampher 14166
26. defs::Viessmann::READINGS 14094
27. GetInfoType 13572
28. defs::sysmon::helper 13505
29. INC 13435
30. defs::WEB_127.0.0.1_49054 13386
31. defs::Anwesenheitssimulation_B1 12588
32. defs::wetter 12574
33. modules::CUL_TCM97001 12506
34. defs::WEB_127.0.0.1_49054::inform 11844
35. defs::GarageOffenDOIF 11663
36. defs::TelefonListe 11639
37. defs::Sonoff_TH10a 11638
38. modules::eventTypes::ldata::TelegramBot 11622
39. defs::sduino 11509
40. defs::sysmon::helper::cur_readings_map 11321
41. defs::Anwesenheitssimulation_A_Strich 11263
42. defs::WEB_127.0.0.1_49054::inform::devices 11167
43. defs::Schulferien 11025
44. defs::Kaffeemaschine 10996
45. modules::CUL_TCM97001::AutoCreate 10934
46. defs::TelefonListe::helper 10711
47. defs::DECT1 10670
48. defs::Sonoff_pow1::READINGS 10612
49. defs::Heizungskeller 10570
50. defs::SensorHydrAbgleich_rot 10520
ps -elf | sort -rnk 10 | head
4 S root 1738 1734 0 80 0 - 222309 - 20:50 ? 00:00:02 ./grafana-server
4 S mysql 1195 851 11 80 0 - 81218 - 20:48 ? 00:03:57 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --log-error=/var/log/mysql/error.log --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
0 S pi 824 1 0 80 0 - 33953 SyS_ep 20:48 ? 00:00:04 homebridge
5 S www-data 1245 1224 0 80 0 - 29657 - 20:48 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 1249 1224 0 80 0 - 29645 - 20:48 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 1248 1224 0 80 0 - 29645 - 20:48 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 1247 1224 0 80 0 - 29645 - 20:48 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 1246 1224 0 80 0 - 29645 - 20:48 ? 00:00:00 /usr/sbin/apache2 -k start
5 S root 1224 1 0 80 0 - 29639 - 20:48 ? 00:00:00 /usr/sbin/apache2 -k start
1 S fhem 2100 1 1 80 0 - 25230 - 20:58 ? 00:00:25 perl fhem.pl fhem.cfg
{ join(",", grep { !$defs{$_} } sort keys %attr) }
HASH(0x2e85a50),HASH(0x38c87b0),secDbLog
{ int(keys %defs).":".int(keys %attr) }
144:136
{ join(",", grep { !$defs{$_} } sort keys %attr) }
HASH(0x2e85a50),HASH(0x38c87b0),secDbLog
blockinginfo
No BlockingCall processes running currently
{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$a}{TRIGGERTIME}<=>$intAt{$b}{TRIGGERTIME}} keys %intAt)[0..49]) }
1524338303.0287 / BlockingKill
1524338308 / FW_closeInactiveClients
1524338308.01267 / SIGNALduino_KeepAlive
1524338308.0135 / SYSMON_Update
1524338314.7129 / FBAHAHTTP_Poll
1524338314.86999 / HTTPMOD_GetUpdate
1524338314.87649 / HTTPMOD_GetUpdate
1524338315.05323 / VZLOGGER_StatusTimer
1524338360.34303 / HttpUtils_Err
1524338760 / DOIF_TimerTrigger
1524338911.16104 / VCLIENT_Update
1524338914.88248 / HTTPMOD_GetUpdate
1524340714.87097 / HTTPMOD_GetUpdate
1524340718.1983 / Weather_GetUpdate
1524340920 / DOIF_TimerTrigger
1524341160 / DOIF_TimerTrigger
1524343114.76058 / HTTPMOD_GetUpdate
1524344305.9826 / DBPlan_Get_DB_Info
1524344460 / DOIF_TimerTrigger
1524344520 / at_Exec
1524344520 / DOIF_TimerTrigger
1524344580 / DOIF_TimerTrigger
1524346114.87351 / HTTPMOD_GetUpdate
1524346114.87612 / HTTPMOD_GetUpdate
1524346114.87861 / HTTPMOD_GetUpdate
1524346114.88373 / HTTPMOD_GetUpdate
1524346114.8862 / HTTPMOD_GetUpdate
1524346114.88869 / HTTPMOD_GetUpdate
1524346114.89377 / HTTPMOD_GetUpdate
1524347400 / at_Exec
1524347850 / at_Exec
1524348001 / FileLog_dailySwitch
1524348002.71843 / holiday_refresh
1524348060 / at_Exec
1524358716.32815 / Pushover_ValidateUser
1524358800 / at_Exec
1524369900 / DOIF_TimerTrigger
1524373200 / DOIF_TimerTrigger
1524373800 / DOIF_TimerTrigger
1524373800 / DOIF_TimerTrigger
1524373800 / DOIF_TimerTrigger
1524374400 / DOIF_TimerTrigger
1524374400 / DOIF_TimerTrigger
1524375900 / DOIF_TimerTrigger
1524375960 / DOIF_TimerTrigger
1524377700 / DOIF_TimerTrigger
1524379500 / DOIF_TimerTrigger
1524379500 / at_Exec
1524380700 / DOIF_TimerTrigger
1524420060 / DOIF_TimerTrigger
{ int(keys %intAt) }
58
Hat jemand eine Idee, wo ich weitersuchen kann?
Moin,
bei mir auch seit ein paar Tagen ein cannot fork im Log.
Leider kann ich fhemdebug memusage nicht nutzen.
Folgende Meldung kommt dann
Can't load '/usr/local/lib/arm-linux-gnueabihf/perl/5.22.1/auto/Devel/Size/Size.so' for module Devel::Size: /usr/lib/arm-linux-gnueabihf/libc.so: invalid ELF header at /usr/local/lib/arm-linux-gnueabihf/perl/5.22.1/XSLoader.pm line 96.
at /usr/local/lib/arm-linux-gnueabihf/perl/5.22.1/Devel/Size.pm line 19.
Compilation failed in require at (eval 3278) line 2.
BEGIN failed--compilation aborted at (eval 3278) line 2.
Habe das Modul libdevel-size-perl installiert und auch mit cpan Devel::Size versucht.
kann evtl jemand helfen?
mfg
Was mich etwas stört:
/usr/lib/arm-linux-gnueabihf/libc.so: invalid ELF header at /usr/local/lib/arm-linux-gnueabihf/perl/5.22.1/XSLoader.pm line 96.
Invalid ELF header hört sich eigentlich nicht gut an ....
1. Bitte installiere mal NICHT per CPAN
2. Hast Du in der Vergangenheit per CPAN und dann mal das System per apt-get aktuallisiert?
3. Wie aktuell ist das System (apt-get update / -s upgrade )
Moin,
Ja, ich habe in der Vergangenheit einige Sachen mit cpan (einige sachen für fhem) installiert.
Apt-get update && upgrade wird einmal wöchentlich gefahren.
System ist Ubuntu 16.04 lts
Damit hast Du leider ein System mit verschiedenen versionen von perl-Libarys. Die vom System installierten und per apt-get upgrade installlierten und die per CPAN, welche eben definitiv NICHT per apt-get upgegradet werden.
Sorry aber könntest Du alle per CPAN installierten Libarys reinstallieren?
ich denke nicht, dass ich das kann.
einige, für fhem verwendeten module liessen sich nur über cpan installieren.
ich wage mal einen versuch mit perlbrew.
mfg
Wenn es ums update von cpan geht...
https://stackoverflow.com/questions/3727795/how-do-i-update-all-my-cpan-modules-to-their-latest-versions (https://stackoverflow.com/questions/3727795/how-do-i-update-all-my-cpan-modules-to-their-latest-versions)
War gleich der erste Treffer bei der google-Suche
https://www.google.com/search?client=ubuntu&channel=fs&q=CPAN+aktuallisieren&ie=utf-8&oe=utf-8 (https://www.google.com/search?client=ubuntu&channel=fs&q=CPAN+aktuallisieren&ie=utf-8&oe=utf-8)
Guten Morgen,
das ist ein hochinteressanter Thread. Ich habe ihn sehr aufmerksam durchgelesen. Ob ich alles kapiert habe,ist was anderes. Eine Frage: Ich habe seit dem Update gestern viele Cannot Fork (hmm, "kann nicht Gabel? ", komisch). Was ich nicht ganz kapiere - als Laie - sind folgende Punkte:
fhemdebug usage:
1. defs 2799987
2. modules 941357
3. modules::eventTypes 671428
4. modules::eventTypes::ldata 670366
5. attr 327462
6. defs::DB920 64915
7. defs::Sonos_Wohnzimmer 55415
8. defs::Sonos_Bad__Schlafz 55043
9. defs::Sonos_Wohnzimmer::READINGS 53777
10. defs::Sonos_Mobil 53447
11. defs::Sonos_Bad__Schlafz::READINGS 53401
12. defs::Sonos_Buero 53313
13. defs::Sonos_Mobil::READINGS 51827
14. defs::Sonos_Buero::READINGS 51693
15. defs::Raspi_Werte 47769
16. POSIX:: 37247
17. defs::DB920::READINGS 36201
18. defs::DB7080 35872
Sehe ich das richtig, dass die ersten 5 Positionen Zusammenfassungen sind? Und Sonos scheint ganz schön Memory zu benützen. War aber bislang (1 Jahr) nie ein Problem.
{ int(keys %intAt) } ergibt 180
{ int(keys %defs).":".int(keys %attr) } ergibt 349:350
{ join(",", grep { !$defs{$_} } sort keys %attr) } ergibt secLogging
{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$a}{TRIGGERTIME}<=>$intAt{$b}{TRIGGERTIME}} keys %intAt)[0..49]) } ergibt..
1535437302.52279 / CUL_HM_procQs
1535437307.68473 / SYSMON_Update
1535437307.7803 / ENIGMA2_GetStatus
1535437307.78838 / ENIGMA2_GetStatus
1535437307.85509 / DbLog_execmemcache
1535437309.06315 / HMUARTLGW_SendKeepAlive
1535437314.05931 / HMUARTLGW_CheckCredits
1535437322 / FW_closeInactiveClients
1535437323.50523 / SONOS_IsSubprocessAliveChecker
1535437457.14139 / CUL_HM_ActCheck
1535437459.79839 / myPoolcontroller_GetUpdate
1535437463 / netatmo_poll
1535437472.52632 / HusqvarnaAutomower_DoUpdate
1535437473.98012 / GardenaSmartBridge_getDevices
1535437479 / netatmo_poll
1535437486 / netatmo_poll
1535437800 / DOIF_TimerTrigger
1535437865 / netatmo_poll
1535437876 / netatmo_poll
1535438647.39345 / CUL_HM_complConfigTO
1535438749.61337 / monitoring_modify
1535438749.75914 / monitoring_modify
1535438750.2276 / monitoring_modify
1535438750.48849 / monitoring_modify
1535438960.11449 / monitoring_modify
1535438960.20374 / monitoring_modify
1535438980.2847 / monitoring_modify
1535439034.21547 / monitoring_modify
1535439034.30563 / monitoring_modify
1535439048.27531 / monitoring_modify
1535439060.45029 / monitoring_modify
1535439098.72736 / monitoring_modify
1535439595 / statistics_PeriodChange
1535439600 / DOIF_TimerTrigger
1535439600 / DOIF_TimerTrigger
1535440200 / DOIF_TimerTrigger
1535440200 / DOIF_TimerTrigger
1535440200 / DOIF_TimerTrigger
1535440200 / DOIF_TimerTrigger
1535440450.72071 / at_Exec
{ join("\n", map { "$intAt{$_}{TRIGGERTIME} / $intAt{$_}{FN}" } (sort {$intAt{$b}{TRIGGERTIME}<=>$intAt{$a}{TRIGGERTIME}} keys %intAt)[0..49]) } ergibt..
1535523767.94828 / BlockingKill
1535522400 / DOIF_TimerTrigger
1535520000 / DOIF_TimerTrigger
1535520000 / DOIF_TimerTrigger
1535519100 / DOIF_TimerTrigger
1535518980 / DOIF_TimerTrigger
1535518980 / DOIF_TimerTrigger
1535518980 / DOIF_TimerTrigger
1535518980 / DOIF_TimerTrigger
1535515839 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535515200 / DOIF_TimerTrigger
1535511600 / DOIF_TimerTrigger
1535511600 / DOIF_TimerTrigger
1535511600 / DOIF_TimerTrigger
1535511600 / DOIF_TimerTrigger
1535508847.3897 / CUL_HM_statCntRfresh
1535508000 / DOIF_TimerTrigger
1535506200 / DOIF_TimerTrigger
1535504700 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535504400 / DOIF_TimerTrigger
1535497200 / DOIF_TimerTrigger
1535493603.82898 / DOIFtoolsCounterReset
im raspi shell ergibt ps -elf | sort -rnk 10 ...
4 S mysql 589 1 0 80 0 - 159409 - 08:14 ? 00:00:01 /usr/sbin/mysqld
4 S root 625 420 0 80 0 - 39653 - 08:14 tty7 00:00:00 /usr/lib/xorg/Xorg :0 -seat seat0 -auth /var/run/lightdm/root/:0 -nolisten tcp vt7 -novtswitch
5 S www-data 693 634 0 80 0 - 35271 - 08:14 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 692 634 0 80 0 - 35271 - 08:14 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 691 634 0 80 0 - 35271 - 08:14 ? 00:00:00 /usr/sbin/apache2 -k start
5 S www-data 688 634 0 80 0 - 35271 - 08:14 ? 00:00:00 /usr/sbin/apache2 -k start
und dstat -g -m -s --top-mem im raspi shell ergibt:
---paging-- ------memory-usage----- ----swap--- --most-expensive-
in out | used buff cach free| used free| memory process
0 0 | 356M 38.2M 297M 236M| 0 100M|fhem.pl 98.0M
0 0 | 356M 38.2M 297M 236M| 0 100M|fhem.pl 98.0M
0 0 | 356M 38.2M 297M 236M| 0 100M|fhem.pl 98.0M
0 0 | 356M 38.2M 297M 236M| 0 100M|fhem.pl 98.0M
so, das wärs. Nun habe ich viele Daten, aber ehrlich gesagt, keine Ahnung was ich damit anfangen soll,kann... Wo ist der Uebeltäter? Ich tippe auf mysql, bin aber nicht sicher und kann auch nicht sagen wieso.. Die datanbank mysql (Dblog) klingt schon nach ressourcenverschleiss ;) Und gestern gab es dazu ein Update...
Was meint ihr? danke.
Kann den Memoryverbrauch bei Deiner Ausgabe schlecht erkennen .. kannst Du bitte mal:
ps aux | sort -rnk 4 | head -n5
Hintergrund:
Hast Du mysql Getunt? Laut Speicherverbrauch braucht er bei Dir von allen Programmen am meisten Speicher. Beim Tunen wird einem DB-Programm häufig mehr Speicher zugewiesen.
so sieht es aus:
fhem 714 14.3 10.6 109392 100844 ? S 08:14 5:27 perl fhem.pl fhem.cfg
mysql 589 0.1 8.0 637636 76728 ? Ssl 08:14 0:03 /usr/sbin/mysqld
fhem 1101 1.3 5.5 93784 53144 ? Sl 08:14 0:30 /usr/bin/perl ./FHEM/00_SONOS.pm 4711 0 0 startedbyfhem
pi 608 0.2 4.4 138572 42108 ? Sl 08:14 0:05 homebridge
root 625 0.0 4.2 158612 39968 tty7 Ssl+ 08:14 0:01 /usr/lib/xorg/Xorg :0 -seat seat0 -auth /var/run/lightdm/root/:0 -nolisten tcp vt7 -novtswitch
hmm, getuned habe ich wissentlich nichts. Mit DbRep mache ich Dumps, aber nicht automatisch, sondern manuell. Und für andere Tunings bin ich schlicht zu wenig versiert...
Guten Morgen,
ZitatUnd gestern gab es dazu ein Update...
nö :), aber es kann sein dass du lange nicht dein FHeM aktualisiert hast und dann siehst du Änderungen reinlaufen die auch schon etwas älter sind (dblog am 05.08.)
In der letzten Zeit hatte Rudi SVG auf Blockingcall umgestellt. Viele Blockingcalls zur gleichen Zeit können einen temporären Speicherengpass verursachen. Dafür gibt es aber die globale Variable blockingCallMax. Die kannst du zb. auf 5 stellen um die Anzahl parallel laufender Blockingcalls zu begrenzen. Etliche Module verwenden Blockingcall um ein blockieren von FHEM bei bestimmten Operationen zu vermeiden.
Probiers mal, vielleicht hilft es dir.
LG,
Heiko
ZitatIn der letzten Zeit hatte Rudi SVG auf Blockingcall umgestellt.
Klarstellung:
- ich habe die Voreinstellung von plotEmbed von 1 auf 0 gestellt, d.h. die SVGs werden nicht ueber das <embed> Tag geladen, sondern direkt gerendert.
- falls plotFork gesetzt ist, dann wird jetzt auch bei plotEmbed via blockingCall gerendert, das war frueher nicht der Fall.
- falls plotFork gesetzt ist, und plotEmbed auf 1 steht (wie die fruehere Voreinstellung), dann wurde auch frueher geforkt.
- ich habe mit Absicht die plotFork Voreinstellung nicht auf 1 gesetzt, da mir diese Diskussion present ist. Ich habe auf einem "normalen" Rechner seit 10 Jahren damit kein Problem.
Will sagen: meine Aenderung sollte nicht zu mehr Speicherverbrauch fuehren, es sei denn man hat explizit plotFork gesetzt, aber plotEmbed nicht.
@choetzu: mit fhemdebug memusage kann man (im Gluecksfall) Speicherloecher im Perl-Code feststellen, das ist aber nur in den seltensten Faellen das Problem. Vermutlich gibt es mehrere moegliche Speicherlloecher in dieser Diskussion, einer hat ziemlich sicher mit dem Zusammenspiel eines Perl-Moduls und der C-Bibliothek unter ARM/Stretch zu tun.
auf 5 stellen um die Anzahl parallel laufender Blockingcalls
super, danke. das hab ich im device "global" so gemacht..
einer hat ziemlich sicher mit dem Zusammenspiel eines Perl-Moduls und der C-Bibliothek unter ARM/Stretch zu tun.
herzlichen Dank.hmm, und was bedeutet das nun für mich? Wie resp wo kann ich schrauben?
ab wieviel memory usage ist ein modul eigentlich kritisch, bei 1gb? Kann man das so sagen?
Hallo Rudi,
danke für die Ausführung. Es ist doch ein etwas weitergehender Kontext.
Ich arbeite schon eh und je mit plotfork=1 und hatte auch noch nie Probleme damit, obwohl ich viele Devices einsetze die BlockingCall nutzen (auf Prod 112 x DbRep, 3 x DbLog und SMA-Devices etc.). Läuft einwandfrei. Der Speicherverbrauch steigt auch nicht ständig an und lag bisher immer so um die 450/500-550MB. Wenn umfangreiche Selektionen/Aktivitäten laufen geht er schon mal temporär entsprechend hoch um danach wieder auf den Durchschnittswert zu sinken. Also alles schick so wie es sein soll.
Allerdings hatte ich das Attr "plotEmbed" nie im Blick muss ich gestehen, es war also bisher nicht gesetzt. Nach deiner Ausführung habe ich dieses Attr in allen meinen FHEMWEB-Devices auf "1" gesetzt. Danach liegt der Speicherverbrauch jetzt nur noch bei 390-397MB soweit ich es bisher beobachten konnte, also eine recht deutliche Einsparung.
Das sollte nur mal ein kleiner Erfahrungs/Vergleichsbereicht sein. Da ich genügend Speicher zur Verfügung habe, funktionieren beide Einstellungsvarianten problemlos ... aber wenn man sparen kann ;)
@choetzu, das Sonos recht viel Speicher braucht kann ich bestätigen, ist bei mir genauso. Der Sonos Subprozess läuft ebenso mit auf dem Produktivrechner. Die MariaDB (MySQL) Datenbanken sind bei mir allerdings remote auf meiner Synology angelegt und nehmen keine Ressourcen auf dem FHEM-Rechner weg.
Hat denn die Einstellung von Blockingcalls etwas gebracht ?
LG,
Heiko
Zitat von: DS_Starter am 28 August 2018, 18:53:18
@choetzu, das Sonos recht viel Speicher braucht kann ich bestätigen, ist bei mir genauso. Der Sonos Subprozess läuft ebenso mit auf dem Produktivrechner. Die MariaDB (MySQL) Datenbanken sind bei mir allerdings remote auf meiner Synology angelegt und nehmen keine Ressourcen auf dem FHEM-Rechner weg.
Har denn die Einstellung von Blockingcalls etwas gebracht ?
LG,
Heiko
Halllo Heiko,
ich denke schon, dass es was gebracht hat. Bin mir aber nicht sicher, denn ich denke, dass mein LGW-Gateway (HMUARTLGW) dazu beigetragen hat. Seit neustem macht der Probleme, öffnet, schliesst, öffnet etc.
2018.08.28 18:18:29 1: XXXXX:2000 reappeared (LGW_Gateway)
2018.08.28 18:18:30 3: LGW_Gateway:keepAlive device opened
2018.08.28 18:18:30 3: HMUARTLGW LGW_Gateway BidCoS-port opened
2018.08.28 18:18:30 3: HMUARTLGW LGW_Gateway:keepAlive KeepAlive-port opened
2018.08.28 18:31:52 1: XXXXX:2001 disconnected, waiting to reappear (LGW_Gateway:keepAlive)
2018.08.28 18:31:52 1: HMUARTLGW LGW_Gateway:keepAlive KeepAlive sent 90.570s too late, this might cause a disconnect!
2018.08.28 18:31:53 1: XXXXX:2000 disconnected, waiting to reappear (LGW_Gateway)
2018.08.28 18:31:53 3: Opening LGW_Gateway:keepAlive device XXXXX:2001
2018.08.28 18:31:53 1: XXXXX:2000 reappeared (LGW_Gateway)
2018.08.28 18:31:53 3: LGW_Gateway:keepAlive device opened
2018.08.28 18:31:53 3: HMUARTLGW LGW_Gateway BidCoS-port opened
2018.08.28 18:31:53 3: HMUARTLGW LGW_Gateway:keepAlive KeepAlive-port opened
2018.08.28 18:42:03 3: LGW_Gateway device closed
Ich hab ihn mal deaktiviert und es scheint schonmal besser zu laufen. BIn mich grad am durchlesen, was das sein könnte..
Bezüglich Datenbank auf NAS schreiben, ich habe auch eine Synology (DS216play), da werd ich mich mal schlau machen. V.a. auch wie man ihn konfiguriert, dass er nicht ins Standby geht... Das dauert sonst..
danke nochmals für die Hilfe. Ich bleibe dran.. ;)
EDIT: Ich habe über Nacht apptime laufen lassen. Sonos scheint mir hier etwas Kummer zu machen. Deshalb habe ich direkt ein Post in Multimedia eröffnet: https://forum.fhem.de/index.php/topic,90656.0.html
name function max count total average maxDly avgDly TS Max call param Max call
tmr-SONOSPLAYER_TriggerCoverTitleLater HASH(0x3023c00) 19683 29 536795.79 18510.20 40829.32 9341.50 29.08. 06:21:19 HASH(Sonos_Bad__Schlafz)
Logging DbLog_Log 19583 8883 589674.92 66.38 0.00 0.00 29.08. 06:21:19 HASH(Logging); HASH(Sonos_Bad__Schlafz)
Sonos SONOS_Read 4647 494 40709.86 82.41 0.00 0.00 29.08. 06:05:34 HASH(Sonos)
Sonos schreibt übrigens nix ins Log...
naja .. wenn die Synologa nur wegen mysql durchlaufen soll .... hättest Du etwas mehr Stromverbrauch,. Nur mal so bedenken.
Zitat von: Wernieman am 04 September 2018, 15:47:49
naja .. wenn die Synologa nur wegen mysql durchlaufen soll .... hättest Du etwas mehr Stromverbrauch,. Nur mal so bedenken.
danke. etwas mehr oder etwas VIEL mehr? Ich habe nun das Logging auf Synology DS216play umgesattelt. funktioniert ganz gut. Doch nach wie vor habe ich LGW abgeschaltet, da es in die Quere mit SONOS kommt, sobald ich SONOS am Morgen einschalte. Keine Ahnung wieso..
ZitatLogging auf Synology DS216play umgesattelt
Dann werden die Platten praktisch sowieso nicht abgeschaltet.
Zitat von: Wernieman am 05 September 2018, 22:59:49
Dann werden die Platten praktisch sowieso nicht abgeschaltet.
Danke, aber du sprichst für mich in Rätseln.?!??😏 was genau hat dies mit Cannot Fork zu tun?
Es ging um den Beitrag, für mehr Speicher mysql auszulagern .. ;o)
Hallo,
eine kurze Frage weil ich ebenso von sporadischen Fehlern versehen bin.
kann ich den Befehl
fhemdebug memusage
in der Kommandozeile von FHEM ausführen?
Ich erhalte da nur einen Neustart vom FHEM.
MfG
Na ausfuehren kannst du es ja offensichtlich, es bewirkt leider einen Absturz in der verwendeten Bibliothek Devel::Size und deswegen Neustart. Auf meinen FHEM Installationen funktioniert es, ich werde memusage aber trotzdem umbauen ohne Devel::Size.
Siehe auch https://forum.fhem.de/index.php/topic,84372.msg972708.html#msg972708 und nachfolgende Beitraege.