debiancdn

AWS, Content Delivery Network and Debian

カテゴリーアーカイブ: centos

squid 2.7 on CentOS

Squidをreverse proxyで使う話。

Squid Twister by Articulate Matter, on Flickr

いまどきsquidってナイヨナーという気もするのですが、

  • 昔おせわになった
  • siblingやらparentやらをつかうとoriginへの負担が小さくすむ
  • メモリが小さくてもそれなりに動く

というような理由で使うことも多い。

squidは2.xと3.xがあるが、何を使うべきなのかといえば、俺の答えは「squid2.7を使う」である。理由としては

  • 3.xはまだまだ枯れていない。http://wiki.squid-cache.org/RoadMap/Squid3あたりをみると、まだまだこれから感。
  • とはいえ,2.xは古すぎる。特に今時のマシンに適した中身になっていない。
  • ところが、2.7では、3.xで導入されたマルチコア対応の機能が使えるなど、http://wiki.squid-cache.org/RoadMap/Squid2 perfomace改善に必要な改善はなされている。

以下,インストールの話。

  • debianならapt-get install squidで済む(2.7.STABLE9-2.1あたりがはいる)
  • CentOSやRHEL 5 ならhttp://people.redhat.com/jskala/squid/squid-2.7.STABLE9-1.el5/x86_64/squid-2.7.STABLE9-1.el5.x86_64.rpmからとってくる.
yum install perl perl-URI
rpm -i squid-2.7.STABLE9-1.el5.x86_64.rpm
mkdir -p /var/log/squid/run

/etc/init.d/squidがまちがってるので修正.

--- squid.dist  2010-11-22 06:07:05.000000000 +0900
+++ squid       2010-11-22 06:08:03.000000000 +0900
@@ -9,7 +9,7 @@
 #      requesting site than to the source. Web browsers can then use the \
 #      local Squid cache as a proxy HTTP server, reducing access time as \
 #      well as bandwidth consumption.
-# pidfile: /var/run/squid.pid
+# pidfile: /var/log/squid/run/squid.pid
 # config: /etc/squid/squid.conf
 
 PATH=/usr/bin:/sbin:/bin:/usr/sbin
@@ -63,7 +63,7 @@
     if [ $RETVAL -eq 0 ]; then 
        timeout=0;
        while : ; do
-          [ ! -f /var/run/squid.pid ] || break
+          [ ! -f /var/log/squid/run/squid.pid ] || break
          if [ $timeout -ge $SQUID_PIDFILE_TIMEOUT ]; then
             RETVAL=1
             break
@@ -88,7 +88,7 @@
        rm -f /var/lock/subsys/$SQUID
        timeout=0
        while : ; do
-               [ -f /var/run/squid.pid ] || break
+               [ -f /var/log/squid/run/squid.pid ] || break
                if [ $timeout -ge $SQUID_SHUTDOWN_TIMEOUT ]; then
                    echo
                    return 1

最後に

 chkconfig squid on

もわすれずにしておく。

gitoriousではまったことのmemo

自分がはまったところ.

  • gitorious_client_hostには制限をかけないこと.

「gitoriousを動かすvirtualhostにパスワード認証がかかっている」が故の問題

gitoriousは内部から内部に対して正確には gitorious_client_host と gitorious_client_port で指定した先にアクセスがある.

ここに認証をかけたりすると,あっさりあきらめられてしまうので,このアクセスが通るように指定しておく必要がある.

例:

    Require valid-user
    Allow from 192.168.1
    Satisfy Any
  • ユーザgitにはパスワードをつけること.

gitoriousはgit pushをするのに内部でsshをする.

それゆえ,git ユーザはsshで外部から接続できなければならない.ダミーでいいのでパスワードを設定しないと,sshは空のパスワードのアカウントには例え公開鍵ログインの場合でも許可してくれない.

gitoriousを動かすまで

正直いって、gitoriousにそれほど大きな価値があるわけではない。

githubのほうがいいケースは無数にあげられる

  • 前提として「外部のサーバにソースおいても問題ない」
  • お金が少々ある( [https://github.com/plans]に金のことが書いてある)
    • あるいは、そもそも俺のコードは全て公開だ

これを満たさない人か、GPL大好きな人ならgitoriousはトライする価値はある。

以下は,gitorious.orgにある2009年11月7日版にCentOS5.3でgitoriousを動かすまでの記録。

おおむね,http://gitorious.org/gitorious/mainline/blobs/master/doc/recipes/install-centos.txt にある通りやればいいのだが,いかんせんupdateされていないので,酔狂な人以外はubuntuでやるのがいいと思います.

CentOSのpackage以外で利用したものは以下の通り.

http://gitorious.org/gitorious/mainline/blobs/master/doc/recipes/install-centos.txtにある通りなのだが違うところ.

/etc/init.d/git-daemon

#!/bin/bash
#
# Init file for Gitorious GIT-Daemon daemon
#
# chkconfig: 2345 55 25
# description: GIT-Daemon server daemon
#
# processname: git-daemon
# pidfile: /var/www/gitorious/log/git-daemon.pid
 
# source function library
. /etc/rc.d/init.d/functions
PATH=/usr/local/ruby-enterprise/bin:/usr/local/bin:$PATH
 
RETVAL=0
PROG="git daemon"
GIT_DAEMON="/usr/local/ruby-enterprise/bin/ruby /var/www/gitorious/script/git-da
emon -d"
LOCK_FILE=/var/lock/git-daemon
PID_FILE=/var/www/gitorious/log/git-daemon.pid
 
do_check_pid() {
  if [ -f $PID_FILE ]; then
    PID=`cat $PID_FILE`
    RUNNING=`ps --pid $PID | wc -l`
  else
    PID=0
    RUNNING=0
  fi
}
 
runlevel=$(set -- $(runlevel); eval "echo \$$#" )
 
start()
{
  do_check_pid
  if [ $RUNNING != 2 ] ; then
echo -n $"Starting $PROG: "
                /bin/su git -c "$GIT_DAEMON"
    sleep 1
    if [ -f $PID_FILE ] ; then
      success
    else
      failure
    fi
RETVAL=$?
  else
    echo -n $"$PROG already running"
    failure
  fi
  [ "$RETVAL" = 0 ] && touch $LOCK_FILE
  echo
}
 
stop()
{
  do_check_pid
  echo -n $"Stopping $PROG: "
  if [ $RUNNING != 2 ] ; then
    failure $"Stopping $PROG"
  else
    killproc -p $PID_FILE
  fi
  RETVAL=$?
  # if we are in halt or reboot runlevel kill all running sessions
  # so the TCP connections are closed cleanly
  if [ "x$runlevel" = x0 -o "x$runlevel" = x6 ] ; then
   killproc -p $PID 2>/dev/null
  fi
  [ "$RETVAL" = 0 ] && rm -f $LOCK_FILE
  echo
}
 
case "$1" in
  start)
    start
    ;;
  stop)
    stop
    ;;
    restart)
        stop
        start
        ;;
  condrestart)
    if [ -f $LOCK_FILE ] ; then
      if [ "$RETVAL" = 0 ] ; then
        stop
        # avoid race
        sleep 5
        start
      fi
    fi
    ;;
  *)
    echo $"Usage: $0 {start|stop|restart|condrestart}"
    RETVAL=1
esac
exit $RETVAL

/etc/init.d/ultrasphinx

#!/bin/bash
#
# Init file for Gitorious Ultrasphinx daemon
#
# chkconfig: 2345 55 25
# description: Ultrasphinx server daemon
#
# processname: searchd
# pidfile: /var/www/gitorious/db/sphinx/log/searchd.pid
PATH=/usr/local/ruby-enterprise/bin:/usr/local/bin:$PATH
 
RETVAL=0
START_CMD="cd /var/www/gitorious/ && rake ultrasphinx:daemon:start RAILS_ENV=production"
STOP_CMD="cd /var/www/gitorious/ && rake ultrasphinx:daemon:stop RAILS_ENV=production"
RESTART_CMD="cd /var/www/gitorious/ && rake ultrasphinx:daemon:restart RAILS_ENV=production"
STATUS_CMD="cd /var/www/gitorious/ && rake ultrasphinx:daemon:status RAILS_ENV=production"
LOCK_FILE=/var/lock/git-ultrasphinx
PID_FILE=/var/www/gitorious/db/sphinx/log/searchd.pid
 
case "$1" in
  start)
    /bin/su git -c "$START_CMD"
    ;;
  stop)
    /bin/su git -c "$STOP_CMD"
    ;;
  status)
    /bin/su git -c "$STATUS_CMD"
    ;;
        restart)
    /bin/su git -c "$RESTART_CMD"
                ;;
  *)
    echo $"Usage: $0 {start|stop|restart|status}"
    RETVAL=1
esac
exit $RETVAL

/etc/init.d/stomp

#!/bin/bash
#
# Init file for Gitorious stomp daemon
#
# chkconfig: 2345 55 25
# description: stomp server daemon
#
# processname: stomp
# pidfile: /var/www/gitorious/log/stomp.pid
 
# source function library
. /etc/rc.d/init.d/functions
PATH=/usr/local/ruby-enterprise/bin:/usr/local/bin:$PATH
 
RETVAL=0
PROG=/usr/local/bin/stompserver
DAEMON=/usr/local/bin/stompserver
LOCK_FILE=/var/lock/stomp
#PID_FILE=/var/www/gitorious/log/stomp.pid
 
runlevel=$(set -- $(runlevel); eval "echo \$$#" )
 
start()
{
echo -n $"Starting $PROG: "
                $DAEMON > /dev/null &
    sleep 1
}
 
stop()
{
  echo -n $"Stopping $PROG: "
  killall stompserver
  echo
}
 
case "$1" in
  start)
    start
    ;;
  stop)
    stop
    ;;
    restart)
        stop
        start
        ;;
  *)
    echo $"Usage: $0 {start|stop|restart}"
    RETVAL=1
esac
exit $RETVAL

おわったらこの3つの/etc/init.d以下のファイルはchkconfig -add file名 で追加.

crontabにtask_performerはもういらない.

gitoriousは自分で自分にアクセスするので注意

CentOS5.3にgitoriousをいれる続き.

自分がはまったところ.

  • gitorious_client_hostには制限をかけないこと.

「gitoriousを動かすvirtualhostにパスワード認証がかかっている」が故の問題

gitoriousは内部から内部に対して正確には gitorious_client_host と gitorious_client_port で指定した先にアクセスがある.

ここに認証をかけたりすると,あっさりあきらめられてしまうので,このアクセスが通るように指定しておく必要がある.

例えば、同じネットワーク上にいる人にはウェブサイトのある部分について 無制限のアクセスを許したいけれど、外のネットワークの人には パスワードを提供させるようにするためには、次のような設定をすることが できます:

    Require valid-user
    Allow from 192.168.1
    Satisfy Any

バージョン 2.0.51 からは セクションと セクションを使用することで Satisfy ディレクティブが 適用されるメソッドを制限することが できるようになりました。

  • ユーザgitにはパスワードをつけること.

gitoriousはgit pushをするのに内部でsshをする.

それゆえ,git ユーザはsshで外部から接続できなければならない.ダミーでいいのでパスワードを設定しないと,sshは空のパスワードのアカウントには例え公開鍵ログインの場合でも許可してくれない.

CentOS5.3でgitoriousを動かすまで.

CentOS5.3でgitoriousを動かすまで.

以下は,gitorious.orgにある2009年11月7日版で動かす話.

おおむね,http://gitorious.org/gitorious/mainline/blobs/master/doc/recipes/install-centos.txt にある通りやればいいのだが,いかんせんupdateされていないので,酔狂な人以外はubuntuでやるのがいいと思います.

CentOSのpackage以外で利用したものは以下の通り.

http://gitorious.org/gitorious/mainline/blobs/master/doc/recipes/install-centos.txtにある通りなのだが違うところ.

/etc/init.d/git-daemon

#!/bin/bash
#
# Init file for Gitorious GIT-Daemon daemon
#
# chkconfig: 2345 55 25
# description: GIT-Daemon server daemon
#
# processname: git-daemon
# pidfile: /var/www/gitorious/log/git-daemon.pid
 
# source function library
. /etc/rc.d/init.d/functions
PATH=/usr/local/ruby-enterprise/bin:/usr/local/bin:$PATH
 
RETVAL=0
PROG="git daemon"
GIT_DAEMON="/usr/local/ruby-enterprise/bin/ruby /var/www/gitorious/script/git-da
emon -d"
LOCK_FILE=/var/lock/git-daemon
PID_FILE=/var/www/gitorious/log/git-daemon.pid
 
do_check_pid() {
  if [ -f $PID_FILE ]; then
    PID=`cat $PID_FILE`
    RUNNING=`ps --pid $PID | wc -l`
  else
    PID=0
    RUNNING=0
  fi
}
 
runlevel=$(set -- $(runlevel); eval "echo \$$#" )
 
start()
{
  do_check_pid
  if [ $RUNNING != 2 ] ; then
echo -n $"Starting $PROG: "
                /bin/su git -c "$GIT_DAEMON"
    sleep 1
    if [ -f $PID_FILE ] ; then
      success
    else
      failure
    fi
RETVAL=$?
  else
    echo -n $"$PROG already running"
    failure
  fi
  [ "$RETVAL" = 0 ] && touch $LOCK_FILE
  echo
}
 
stop()
{
  do_check_pid
  echo -n $"Stopping $PROG: "
  if [ $RUNNING != 2 ] ; then
    failure $"Stopping $PROG"
  else
    killproc -p $PID_FILE
  fi
  RETVAL=$?
  # if we are in halt or reboot runlevel kill all running sessions
  # so the TCP connections are closed cleanly
  if [ "x$runlevel" = x0 -o "x$runlevel" = x6 ] ; then
   killproc -p $PID 2>/dev/null
  fi
  [ "$RETVAL" = 0 ] && rm -f $LOCK_FILE
  echo
}
 
case "$1" in
  start)
    start
    ;;
  stop)
    stop
    ;;
    restart)
        stop
        start
        ;;
  condrestart)
    if [ -f $LOCK_FILE ] ; then
      if [ "$RETVAL" = 0 ] ; then
        stop
        # avoid race
        sleep 5
        start
      fi
    fi
    ;;
  *)
    echo $"Usage: $0 {start|stop|restart|condrestart}"
    RETVAL=1
esac
exit $RETVAL

/etc/init.d/ultrasphinx

#!/bin/bash
#
# Init file for Gitorious Ultrasphinx daemon
#
# chkconfig: 2345 55 25
# description: Ultrasphinx server daemon
#
# processname: searchd
# pidfile: /var/www/gitorious/db/sphinx/log/searchd.pid
PATH=/usr/local/ruby-enterprise/bin:/usr/local/bin:$PATH
 
RETVAL=0
START_CMD="cd /var/www/gitorious/ && rake ultrasphinx:daemon:start RAILS_ENV=production"
STOP_CMD="cd /var/www/gitorious/ && rake ultrasphinx:daemon:stop RAILS_ENV=production"
RESTART_CMD="cd /var/www/gitorious/ && rake ultrasphinx:daemon:restart RAILS_ENV=production"
STATUS_CMD="cd /var/www/gitorious/ && rake ultrasphinx:daemon:status RAILS_ENV=production"
LOCK_FILE=/var/lock/git-ultrasphinx
PID_FILE=/var/www/gitorious/db/sphinx/log/searchd.pid
 
case "$1" in
  start)
    /bin/su git -c "$START_CMD"
    ;;
  stop)
    /bin/su git -c "$STOP_CMD"
    ;;
  status)
    /bin/su git -c "$STATUS_CMD"
    ;;
        restart)
    /bin/su git -c "$RESTART_CMD"
                ;;
  *)
    echo $"Usage: $0 {start|stop|restart|status}"
    RETVAL=1
esac
exit $RETVAL

/etc/init.d/stomp

#!/bin/bash
#
# Init file for Gitorious stomp daemon
#
# chkconfig: 2345 55 25
# description: stomp server daemon
#
# processname: stomp
# pidfile: /var/www/gitorious/log/stomp.pid
 
# source function library
. /etc/rc.d/init.d/functions
PATH=/usr/local/ruby-enterprise/bin:/usr/local/bin:$PATH
 
RETVAL=0
PROG=/usr/local/bin/stompserver
DAEMON=/usr/local/bin/stompserver
LOCK_FILE=/var/lock/stomp
#PID_FILE=/var/www/gitorious/log/stomp.pid
 
runlevel=$(set -- $(runlevel); eval "echo \$$#" )
 
start()
{
echo -n $"Starting $PROG: "
                $DAEMON > /dev/null &
    sleep 1
}
 
stop()
{
  echo -n $"Stopping $PROG: "
  killall stompserver
  echo
}
 
case "$1" in
  start)
    start
    ;;
  stop)
    stop
    ;;
    restart)
        stop
        start
        ;;
  *)
    echo $"Usage: $0 {start|stop|restart}"
    RETVAL=1
esac
exit $RETVAL

おわったらこの3つの/etc/init.d以下のファイルはchkconfig -add file名 で追加.

crontabにtask_performerはもういらない.