ganglia 用multi source (cluster)

ganglia  有需要監控二個 source ， 一個hadoop 一個solr ..

ganglia 主機設定，改用unicast

1. gmetad.conf
    data_source "hadoop" 172.1.0.2:8649
    data_source "solr" 172.1.0.2:8655

2. 要設定二個 gmond.conf.1 gmond.conf.2 ， 開二個gmond 來收metric

     gmond.conf.1   (這個gmond 收也送，主機加入hadoop source)
         cluster {
         name = "hadoop"
         owner = "unspecified"
         latlong = "unspecified"
         url = "unspecified"
         }
         host {
           location = "unspecified"
         }
         udp_send_channel {
           host = 172.1.0.2
           port = 8649
           ttl = 1
         }
         udp_recv_channel {
          port = 8649
          bind = 172.1.0.2
         }
         tcp_accept_channel {
         port = 8649
         }

      gmond.conf.2 (這個gmond 就只收)

         cluster {
         name = "solr"
         owner = "unspecified"
         latlong = "unspecified"
         url = "unspecified"
         }
         host {
          location = "unspecified"
         }
         udp_recv_channel {
           port = 8655
          bind = 172.1.0.2
         }
         tcp_accept_channel {
          port = 8655
         }
3. 執行gmond
    /usr/sbin/gmond  --conf /etc/ganglia/gmond.conf.1
    /usr/sbin/gmond  --conf /etc/ganglia/gmond.conf.2

    或改daemon 的shell  , /etc/init.d/ganglia-monitor
         start-stop-daemon --start --quiet --name gmond1 \
                --exec $DAEMON -- --pid-file /var/run/$NAME.pid.1 --conf /etc/ganglia/gmond.conf.1
        start-stop-daemon --start --quiet --name gmond2 \
                --exec $DAEMON -- --pid-file /var/run/$NAME.pid.2 --conf /etc/ganglia/gmond.conf.2

   

log4j log 送到 logstash log4j input

jvm 程式，像是hadoop solr 可以把log 送到ELK 集中控管

ex: 修改hadoop log4j.properties
log4j.appender.server=org.apache.log4j.net.SocketAppender
log4j.appender.server.Port=4560
log4j.appender.server.RemoteHost=172.1.1.1
log4j.appender.server.LocationInfo=true
log4j.appender.server.Application=hadoop

logstash 設定
input {
  log4j {
    host => "172.1.1.1"
    port => 4560
  }
}
filter {
  grok {
    match => { "host" => "%{IPORHOST:host}:%{POSINT}" }  // 修改1.2.3.4:8888 => 1.2.3.4
    overwrite => [ "host" ]
  }
}

output {
  elasticsearch { hosts => ["localhost:9200"] }
}

mrtg 不對稱線路（FTTB,ADSL）的MaxBytes設定方法

當MRTG要監控不對稱線路如FTTB,ADSL，這種上下載不一樣的線路，原本只設定MaxBytes會讓上載或下載的使用百分比不正確，以光世代12M/3M為例，將MaxBytes改為..

MaxBytes1[192.168.1.1_9]: 1500000   （in的流量最大值）

MaxBytes2[192.168.1.1_9]: 375000    （out的流量最大值）

這樣使用量的百分比就會正確了..

terminal server (遠端桌面)的登入紀錄

因terminal service 或遠端桌面 都無法紀錄比較詳細的資訊，只好用批次檔的方式紀錄成log檔

新增一bat檔，登入後執行

echo  ********************************************************************* >>c:\tslog.log
echo   時間：%date% %time% >>c:\tslog.log
echo   遠端電腦: %CLIENTNAME% >>c:\tslog.log
echo   登入網域: %USERDOMAIN% >>c:\tslog.log
echo   登入帳號: %USERNAME% >>c:\tslog.log
echo   遠端連線狀況 >>c:\tslog.log
netstat -n -p tcp | find ":3389" >>c:\tslog.log
echo  ********************************************************************* >>c:\tslog.log

Passive (PASV) FTP server在Firewall的設定方法

Passive (PASV) FTP server在Firewall內，不走標準的FTP port (21,20)，通常會有問題，解決方法如下。

以IIS 7.5為例….

1.    設定IIS預設選項>>FTP防火牆支援

使用https 存取Gmail常發生ssl_error_access_denied_alert 的錯誤

使用https 存取Gmail常發生ssl_error_access_denied_alert 的錯誤，發現並不是系統的問題，又是Fortigate再搞鬼，檢查Firewall Protection Profile設定，設定以下Command即可已解決...
config firewall profile
Fortigate (profile) $ edit scan
Fortigate (scan) $ set https allow-ssl-unknown-sess-id
Fortigate (scan) $ end

使用NTOP管理網路流量

管理頻寬使用量的常用工具
Openview
MRTG
sniffer,ethereal
Webtrend for Firewall
BandwidthD,Ntop
（以上我都有用，最常使用的是mrtg及ntop）

NTOP 的簡介
NTOP的發展原是為因對網路頻寬使用狀況的掌握，正如運用unix系統中的top指令以瞭解系統資源使用狀況一樣，可用圖形化的介面了解頻寬的使用情形.

NTOP 的運作原理
利用libpcap 的擷取封包功能將封包分析後存入資料庫，並將其結果輸出

NTOP的限制
只能用於區域網路內
無法跨SWITCH
硬體需求高，需要記憶體儲存擷取封包的資訊。

最近把google map及whois的功能新增進去，可反查ip的位置及owner。

限制公用無線AP進入公司

因開放二個無線AP在開放空間使用，

為方便使用所以無作安全設定，

我針對這個無線網路的network作限制，

讓這個network無法連到公司內部，

在core switch的設定如下...

interface vlan 12

ip access-group 110 in

access-list 110 deny ip 172.18.139.0 0.0.0.255 any log (限制無線網路的IP無法進入並記錄log)
access-list 110 permit ip any 192.168.0.0 0.0.255.255
access-list 110 permit icmp any 192.168.0.0 0.0.255.255