ganglia 用multi source (cluster)

ganglia  有需要監控二個 source ， 一個hadoop 一個solr ..

ganglia 主機設定，改用unicast

1. gmetad.conf
    data_source "hadoop" 172.1.0.2:8649
    data_source "solr" 172.1.0.2:8655

2. 要設定二個 gmond.conf.1 gmond.conf.2 ， 開二個gmond 來收metric

     gmond.conf.1   (這個gmond 收也送，主機加入hadoop source)
         cluster {
         name = "hadoop"
         owner = "unspecified"
         latlong = "unspecified"
         url = "unspecified"
         }
         host {
           location = "unspecified"
         }
         udp_send_channel {
           host = 172.1.0.2
           port = 8649
           ttl = 1
         }
         udp_recv_channel {
          port = 8649
          bind = 172.1.0.2
         }
         tcp_accept_channel {
         port = 8649
         }

      gmond.conf.2 (這個gmond 就只收)

         cluster {
         name = "solr"
         owner = "unspecified"
         latlong = "unspecified"
         url = "unspecified"
         }
         host {
          location = "unspecified"
         }
         udp_recv_channel {
           port = 8655
          bind = 172.1.0.2
         }
         tcp_accept_channel {
          port = 8655
         }
3. 執行gmond
    /usr/sbin/gmond  --conf /etc/ganglia/gmond.conf.1
    /usr/sbin/gmond  --conf /etc/ganglia/gmond.conf.2

    或改daemon 的shell  , /etc/init.d/ganglia-monitor
         start-stop-daemon --start --quiet --name gmond1 \
                --exec $DAEMON -- --pid-file /var/run/$NAME.pid.1 --conf /etc/ganglia/gmond.conf.1
        start-stop-daemon --start --quiet --name gmond2 \
                --exec $DAEMON -- --pid-file /var/run/$NAME.pid.2 --conf /etc/ganglia/gmond.conf.2

   

log4j log 送到 logstash log4j input

jvm 程式，像是hadoop solr 可以把log 送到ELK 集中控管

ex: 修改hadoop log4j.properties
log4j.appender.server=org.apache.log4j.net.SocketAppender
log4j.appender.server.Port=4560
log4j.appender.server.RemoteHost=172.1.1.1
log4j.appender.server.LocationInfo=true
log4j.appender.server.Application=hadoop

logstash 設定
input {
  log4j {
    host => "172.1.1.1"
    port => 4560
  }
}
filter {
  grok {
    match => { "host" => "%{IPORHOST:host}:%{POSINT}" }  // 修改1.2.3.4:8888 => 1.2.3.4
    overwrite => [ "host" ]
  }
}

output {
  elasticsearch { hosts => ["localhost:9200"] }
}

ubuntu 16.04 procos 的bug

ubuntu 16.04 遇到的bug ， 會把process 誤砍，這二個package 請更新到以下版本，即可修正..

ii  libprocps4:amd64                   2:3.3.10-4ubuntu2.3             amd64        library for accessing process information from /proc
ii  procps                             2:3.3.10-4ubuntu2.3             amd64        /proc file system utilities

https://bugs.launchpad.net/ubuntu/+source/procps/+bug/1610499

dd disk to disk 看進度的方法

dd if=/dev/hda of=/dev/sda bs=4k

再開另外一個terminal ，執行 sudo kill -USR1 $(pgrep ^dd) 

在dd的那個terminal 就會顯示copy 多少資料，speed多少..

33706002+0 records in 

33706002+0 records out 

17257473024 bytes (17 GB) copied, 34.791 s, 496 MB/s

停止 ubuntu gui介面

有時gui 介面使用過多的記憶體，在cmd 下：

sudo service lightdm stop

即可以停掉gui介面


ubuntu 新增apache 網站

新增/etc/apache2/sites-available/<site name>
<VirtualHost *:8080>  DocumentRoot /path/to/new/site  ServerName www.example.com  </VirtualHost>

啟動此網站 
sudo a2ensite <site name>

重啟apache
sudo /etc/init.d/apache2 restart

ubuntu eth0 或eth1 不見

新安裝網卡時,有時會發生eth0或eth1消失,或是eth1變成eth2,
設定/etc/network/interfaces 的IP設定無法正常設定,
使用mii-tool可以找到網卡,只是eth?錯亂.
刪除 /etc/udev/rules.d/70-persistent-net.rules,

再重新開機後,就會恢復正常...