1. 下载 jxta 2.5.2版本
2. 服务端的采用何种形式部署?
3. 客户端采用swing的形式,还是applet的形式,还是flash的形式?
4. 普通用户,管理员用户,高级用户
5. 阶段性目标
5.1 服务端运行
5.2 客户端运行
5.3 客户端和服务端通讯,并且登陆成功。
5.4 多用户登陆,查看在线用户。 在线/离开/掉线/隐身/忙碌/勿扰
5.5 文字聊天
5.6 收听语音节目
5.7 收看视频节目
5.8 建立语音聊天室 (高级用户)
5.9 建立视频聊天室 (高级用户)
5.10 普通用户加入语音聊天室
5.11 普通用户语音聊天
5.12 普通用户加入视频聊天室
5.13 普通用户视频聊天
5.14 共享文件夹
5.15 分布式搜索共享文件夹
参考文章:
http://technica.blogbus.com/logs/15909321.html
http://www.cnblogs.com/jobs/archive/2007/03/25.html
http://sourceforge.net/projects/activex
http://osflash.org/red5/linux-install
http://www.linuxidc.com/Linux/2008-04/12293.htm
http://soft.zdnet.com.cn/software_zone/2007/1009/543087.shtml
http://www.d5power.com/thread-35-1-1.html
http://blog.zol.com.cn/779/article_778677.html
http://xinsync.xju.edu.cn/index.php/archives/2656#more-2656
-- Performance Issue: just extend the class MultiThreadedApplicationAdapter instead of the previous ApplicationAdapter and make sure your code is thread-safe
http://xinsync.xju.edu.cn/index.php/archives/2284#more-2284
-- 直接修改得到一个版本?
XMPP for flex <-- client
XMPP wildfire (java) <-- server
1. http://blog.csdn.net/rongjch/archive/2006/04/20/670721.aspx
2. http://hi.baidu.com/jabber/blog/category/Wildfire
3. http://www.xiongcaocao.com/yaotian/diary/122
使用wildfire和linq在一个客户端整合QQ,MSN,Gtalk。
1. http://www.jivesoftware.org/ 感谢jive提供了如此优秀的xmpp服务端和客户端库文件。
2. http://www.google.com/talk/intl/zh-CN/ 感谢gtalk对xmpp协议的支持。
3. http://linq.sourceforge.net/ 非常优秀的xmpp客户端。
4. http://lumaqq.linuxsir.org/main/ 超级出色的纯java的qq客户端。
5.http://hi.baidu.com/jabber 一个很不错的关于xmpp的blog。
http://wangcheng.javaeye.com/blog/153548
Flex2基于XMPP的chat程序(二)
暂定框架
1. 目标。
20个视频聊天室
1个公共文字聊天室
1.1. 公共文字聊天室
所有人群聊,直接滚屏即可。
1.2. 视频聊天室
1个主持人。
1个视频双向直连观众 第一梯队
2个声频直连观众 第二梯队
1 http://www.javaeye.com/topic/154697
构建 基于openfire + jwchat 的 WEB IM
2. http://code.google.com/p/xmpphp/
3. http://fairyfish.net/2008/08/28/xmpphp/
4. http://wiki.jabber.org/web/Bidirectional-streams_Over_Synchronous_HTTP_(BOSH)_(XEP-0124)
2008年10月9日星期四
2008年10月2日星期四
ouxunsi视频网站搭建
1. 确认登录服务器没有问题。[ok 20080909]
1.1 服务器上已经存在的服务分析
----------------------------------------
# netstat -an | grep -e "LISTEN"
tcp 0 0 0.0.0.0:905 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN <-- mysql服务
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:6000 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:21 0.0.0.0:* LISTEN <-- ftp服务
tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN
tcp 0 0 ::ffff:127.0.0.1:8005 :::* LISTEN
tcp 0 0 :::8009 :::* LISTEN
tcp 0 0 :::80 :::* LISTEN <-- http服务
tcp 0 0 :::6000 :::* LISTEN
tcp 0 0 :::22 :::* LISTEN <-- ssh服务
unix 2 [ ACC ] STREAM LISTENING 8533 /var/run/xdmctl/dmctl/socket
unix 2 [ ACC ] STREAM LISTENING 8565 /var/run/xdmctl/dmctl-:0/socket
unix 2 [ ACC ] STREAM LISTENING 7071 /tmp/mysql.sock
unix 2 [ ACC ] STREAM LISTENING 6575 /var/run/dbus/system_bus_socket
unix 2 [ ACC ] STREAM LISTENING 6505 /tmp/.font-unix/fs7100
unix 2 [ ACC ] STREAM LISTENING 8560 /tmp/.X11-unix/X0
unix 2 [ ACC ] STREAM LISTENING 6367 /dev/gpmctl
unix 2 [ ACC ] STREAM LISTENING 6059 /var/run/acpid.socket
unix 2 [ ACC ] STREAM LISTENING 6452 /var/run/iiim/.iiimp-unix/9010
----------------------------------------
1.2 已经存在的相关应用分析
java version "1.5.0_07" 安装位置 /usr/java/jdk1.5.0_07
apache-tomcat-6.0.10 安装位置 /usr/apache-tomcat-6.0.10
mysql Ver 14.12 Distrib 5.0.45 安装位置 /usr/mysql-5.0.45-linux-i686
gcc version 3.4.6 20060404 (Red Hat 3.4.6-9)
----------------------------------------
# ps -ef | grep -e "java"
root 4254 1 0 Jul29 ? 12:17:31 /usr/java/jdk1.5.0_07/bin/java -
Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djava.util.log
ging.config.file=/usr/apache-tomcat-6.0.10/conf/logging.properties -server -XX:P
ermSize=64M -XX:MaxPermSize=128M -Djava.endorsed.dirs=/usr/apache-tomcat-6.0.10/
endorsed -classpath :/usr/apache-tomcat-6.0.10/bin/bootstrap.jar:/usr/apache-tom
cat-6.0.10/bin/commons-logging-api.jar -Dcatalina.base=/usr/apache-tomcat-6.0.10
-Dcatalina.home=/usr/apache-tomcat-6.0.10 -Djava.io.tmpdir=/usr/apache-tomcat-6
.0.10/temp org.apache.catalina.startup.Bootstrap start
# gcc -v
Reading specs from /usr/lib/gcc/x86_64-redhat-linux/3.4.6/specs
Configured with: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/u
sr/share/info --enable-shared --enable-threads=posix --disable-checking --with-s
ystem-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-java-aw
t=gtk --host=x86_64-redhat-linux
Thread model: posix
gcc version 3.4.6 20060404 (Red Hat 3.4.6-9)
# java -version
java version "1.5.0_07"
Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_07-b03)
Java HotSpot(TM) Client VM (build 1.5.0_07-b03, mixed mode)
# /usr/mysql-5.0.45-linux-i686/bin/mysql -V
/usr/mysql-5.0.45-linux-i686/bin/mysql Ver 14.12 Distrib 5.0.45, for pc-linux-g
nu (i686) using readline 5.0
----------------------------------------
2. 安装apache服务器,测试index.html [ok 20081003]
2.0 安装Apache日志截断程序cronolog
wget -c wget http://cronolog.org/download/cronolog-1.6.2.tar.gz
tar -zxvf cronolog-1.6.2.tar.gz
cd cronolog-1.6.2
./configure --prefix=/usr/ouxunsi/video/install/cronolog
make
make install
2.1 下载
wget -c http://apache.freelamp.com/httpd/httpd-2.2.9.tar.gz
2.2 解压缩,配置,编译,安装
tar -zxvf httpd-2.2.9.tar.gz
cd httpd-2.2.9
./configure \
--prefix=/usr/ouxunsi/video/install/apache2 \
--enable-so \
--enable-rewrite=static \
--enable-cache \
--enable-file-cache \
--enable-mem-cache \
--enable-disk-cache \
--enable-static-support \
--enable-static-htpasswd \
--enable-static-htdigest \
--enable-static-rotatelogs \
--enable-static-logresolve \
--enable-static-htdbm \
--enable-static-ab \
--enable-static-checkgid \
--disable-cgid \
--disable-cgi
========================================
编译配置说明
./configure //配置源代码树
--prefix=/usr/ouxunsi/video/install/apache2 //体系无关文件的顶级安装目录PREFIX ,也就Apache的安装目录。
--enable-so //打开 so 模块,so 模块是用来提 DSO 支持的 apache 核心模块
--enable-rewrite=static //打开rewrite 功能模块
--enable-mods-shared=all //编译全部的模板,对于不需要我们可以在httpd.conf去掉。这个选项打开可能会需要有更多的依赖库,在这里可以去掉
--enable-cache //支持缓存
--enable-file-cache //支持文件缓存
--enable-mem-cache //支持记忆缓存
--enable-disk-cache //支持磁盘缓存
--enable-static-support //支持静态连接(默认为动态连接)
--enable-static-htpasswd //使用静态连接编译 htpasswd - 管理用于基本认证的用户文件
--enable-static-htdigest //使用静态连接编译 htdigest - 管理用于摘要认证的用户文件
--enable-static-rotatelogs //使用静态连接编译 rotatelogs - 滚动 Apache 日志的管道日志程序
--enable-static-logresolve //使用静态连接编译 logresolve - 解析 Apache 日志中的IP地址为主机名
--enable-static-htdbm //使用静态连接编译 htdbm - 操作 DBM 密码数据库
--enable-static-ab //使用静态连接编译 ab - Apache HTTP 服务器性能测试工具
--enable-static-checkgid //使用静态连接编译 checkgid
--disable-cgid //禁止用一个外部 CGI 守护进程执行CGI脚本
--disable-cgi //禁止编译 CGI 版本的 PHP
--enable-ssl // 编译 ssl模块。这个选项打开可能需要更多的依赖库,在这里可以去掉
=============================
make
make install
2.3 配置apache2的端口和根目录
cd /usr/ouxunsi/video/install/apache2
cp conf/httpd.conf conf/httpd.conf.20081003
vi conf/httpd.conf
==========================================
Listen 80 --> Listen 8080
DirectoryIndex index.html --> DirectoryIndex index.php index.html
DocumentRoot "/usr/ouxunsi/video/install/apache2/htdocs" --> DocumentRoot "/usr/ouxunsi/video/htdocs"
-->
==========================================
2.4 配置cronolog日志截断程序
vi conf/httpd.conf
==========================================
CustomLog "logs/access_log" common
-->
CustomLog "|/usr/ouxunsi/video/install/cronolog/sbin/cronolog /usr/ouxunsi/v
ideo/install/apache2/logs/access_log.%Y%m%d" combined
==========================================
3. 安装php环境,测试phpinfo.php (应该在安装完 mysql 之后安装)
3.0 需要lib-xml2
wget -c ftp://ftp.pbone.net/mirror/www.startcom.org/AS-4.0.0/updates/x86_64/zlib-devel-1.2.1.2-1.2.x86_64.rpm
wget -c ftp://ftp.pbone.net/mirror/www.startcom.org/AS-4.0.0/os/x86_64/StartCom/RPMS/libxml2-devel-2.6.16-6.x86_64.rpm
rpm -i libxml2-devel-2.6.16-6.x86_64.rpm zlib-devel-1.2.1.2-1.2.x86_64.rpm
3.1 下载
wget -c http://cn.php.net/get/php-5.2.6.tar.gz/from/this/mirror
3.2 解压缩,编译,安装
tar -zxvf php-5.2.6.tar.gz
cd php-5.2.6
ln -sf libjpeg.so.62.0.0 libjpeg.so
ln -sf libpng.so.3.1.2.7 libpng.so
./configure \
--prefix=/usr/ouxunsi/video/install/php5 \
--with-apxs2=/usr/ouxunsi/video/install/apache2/bin/apxs \
--with-mysql=/usr/ouxunsi/video/install/mysql5 \
--disable-debug \
--with-zlib \
--enable-mbstring \
--with-gd \
--with-jpeg-dir \
--with-png-dir \
--enable-fastcgi \
--with-config-file-scan-dir=/usr/ouxunsi/video/install/php5/etc/php \
--with-mysqli=/usr/ouxunsi/video/install/mysql5/bin/mysql_config
make
make test
make install
cp php.ini-dist /usr/ouxunsi/video/install/php5/etc/php/php.ini
3.3 整合php和apache2
#make install 会自动修改http.conf 加上 LoadModule php5_module modules/libphp5.so
只需要在最后一行加上:
AddType application/x-httpd-php .php
或者更加安全的:
SetHandler application/x-httpd-php
4. 安装mysql服务器
4.0 需要安装g++ 和 ncurse-devel
wget -c ftp://mirror.switch.ch/pool/3/mirror/centos/4.6/os/x86_64/CentOS/RPMS/gcc-c++-3.4.6-9.x86_64.rpm
wget -c ftp://mirror.switch.ch/pool/3/mirror/centos/4.6/os/x86_64/CentOS/RPMS/libstdc++-devel-3.4.6-9.x86_64.rpm
wget -c ftp://mirror.switch.ch/pool/3/mirror/centos/4.6/os/x86_64/CentOS/RPMS/libstdc++-3.4.6-9.x86_64.rpm
wget -c ftp://ftp.chg.ru/pub/Linux/scientific/41/x86_64/SL/RPMS/ncurses-devel-5.4-13.x86_64.rpm
rpm -i gcc-c++-3.4.6-9.x86_64.rpm libstdc++-devel-3.4.6-9.x86_64.rpm libstdc++-3.4.6-9.x86_64.rpm ncurses-devel-5.4-13.x86_64.rpm
4.1 已经存在了一个mysql5数据库,需要注意修改端口号和相关的目录。不需要重复增加mysql用户帐号了。
wget -c http://mysql.mirror.rafal.ca/Downloads/MySQL-5.0/mysql-5.0.67.tar.gz
cd /usr/ouxunsi/video/download/mysql-5.0.67
mkdir /usr/ouxunsi/video/install/mysql5
mkdir /usr/ouxunsi/video/var/lib/mysql5
./configure \
--prefix=/usr/ouxunsi/video/install/mysql5 \
--localstatedir=/usr/ouxunsi/video/var/lib/mysql5 \
--with-comment=Source \
--with-server-suffix=-Community \
--with-mysqld-user=mysql \
--without-debug \
--with-big-tables \
--with-charset=utf8 \
--with-collation=utf8_unicode_ci \
--with-extra-charsets=all \
--with-pthread \
--enable-static \
--enable-thread-safe-client \
--with-client-ldflags=-all-static \
--with-mysqld-ldflags=-all-static \
--enable-assembler \
--without-innodb \
--without-ndb-debug
make
make install
cd /usr/ouxunsi/video/install/mysql5
#useradd mysql //添加 mysql 用户,已经存在,所以不用重复添加
./bin/mysql_install_db --user=mysql
chown -R root:mysql .
chown -R mysql /usr/ouxunsi/video/var/lib/mysql5
chgrp -R mysql .
cp share/mysql/my-huge.cnf .
vi my-huge.cnf
==========================================
port: 3306 --> 3307 两个地方
socket: /tmp/mysql.sock --> /tmp/mysqlvideo.sock 两个地方
==========================================
cp share/mysql/mysql.server /etc/rc.d/init.d/mysqlvideo
vi /etc/rc.d/init.d/mysqlvideo
==========================================
datadir=/var/lib/mysql5
conf=/usr/ouxunsi/video/install/mysql5/my-huge.cnf
把"$bindir/mysqld_safe --datadir=$datadir --pid-file=$server_pid_file $other_args >/dev/null 2>&1 &"替换为(双引号中的)
"$bindir/mysqld_safe --defaults-file=/usr/ouxunsi/video/install/mysql5/my-huge.cnf --datadir=$datadir --pid-file=$server_pid_file $other_args >/dev/null 2>&1 &"(双引号中的)
==========================================
chmod 755 /etc/rc.d/init.d/mysqlvideo
chkconfig --add mysqlvideo
4.2 启动数据库
/etc/rc.d/init.d/mysqlvideo start
4.3 修改root用户密码
./bin/mysql -u root -S /tmp/mysqlvideo.sock
======================================================
mysql> use mysql
mysql> update user set password=password('video') where user='root';
mysql> FLUSH PRIVILEGES;
======================================================
4.4 停止数据库运行
/etc/rc.d/init.d/mysqlvideo stop
5. 安装svn服务器,是否可以提供密码保护(使用svn+ssh实现)
5.0 需要expat-devel neon等库
wget -c ftp://ftp.pbone.net/mirror/www.startcom.org/AS-4.0.0/os/x86_64/StartCom/RPMS/expat-devel-1.95.7-4.x86_64.rpm
rpm -i expat-devel-1.95.7-4.x86_64.rpm
wget -c ftp://ftp.pbone.net/mirror/www.startcom.org/AS-4.0.0/os/x86_64/StartCom/RPMS/neon-devel-0.24.7-4.x86_64.rpm
wget -c http://ftp.riken.go.jp/Linux/cern/slc41/updates/x86_64/RPMS/openssl-devel-0.9.7a-43.10.x86_64.rpm
wget -c http://ftp.riken.go.jp/Linux/cern/slc41/updates/x86_64/RPMS/krb5-devel-1.3.4-33.x86_64.rpm
wget -c http://ftp.riken.go.jp/Linux/cern/slc41/updates/x86_64/RPMS/e2fsprogs-devel-1.35-12.4.EL4.x86_64.rpm
rpm -i neon-devel-0.24.7-4.x86_64.rpm openssl-devel-0.9.7a-43.10.x86_64.rpm krb5-devel-1.3.4-33.x86_64.rpm e2fsprogs-devel-1.35-12.4.EL4.x86_64.rpm
5.1 下载svn源代码
wget -c http://subversion.tigris.org/downloads/subversion-1.5.2.tar.gz
tar -zxvf subversion-1.5.2.tar.gz
cd subversion-1.5.2
./configure --with-apr=/usr/ouxunsi/video/install/apache2 \
--with-apr-util=/usr/ouxunsi/video/install/apache2 \
--prefix=/usr/ouxunsi/video/install/subversion \
--with-ssl \
--with-neon=/usr
make
make install
5.2 创建代码库
cd /usr/ouxunsi/video/
mkdir svnroot
cd svnroot
svnadmin create .
5.3 增加一个软链接到svnserve 从而可以使用 svn+ssh
ln -s /usr/ouxunsi/video/install/subversion/bin/svnserve /usr/bin/svnserve
svn checkout svn+ssh://root@xxx.xxx.xxx.xxx/usr/ouxunsi/video/svnroot .
6. 安装web ftp服务器
6.1 下载安装
wget -c ftp://ftp.proftpd.org/distrib/source/proftpd-1.3.1.tar.gz
tar -zxvf proftpd-1.3.1.tar.gz
cd proftpd-1.3.1
mkdir /usr/ouxunsi/video/install/proftpd
mkdir /usr/ouxunsi/video/install/proftpd/etc
./configure --prefix=/usr/ouxunsi/video/install/proftpd \
--sysconfdir=/usr/ouxunsi/video/install/proftpd/etc
make
make install
6.2 配置proftpd.conf
cd /usr/ouxunsi/video/install/proftpd/etc
cp proftpd.conf proftpd.conf.20081010
vi proftpd.conf
====================================================
Port 21 --> Port 8021
Group nogroup --> Group nobody
注释所有Anonymous部分
在最后增加如下行,定义虚拟用户和目录权限
RequireValidShell off
AuthOrder mod_auth_file.c
AuthUserFile /usr/ouxunsi/video/install/proftpd/etc/passwd
AuthGroupFile /usr/ouxunsi/video/install/proftpd/etc/group
SystemLog /usr/ouxunsi/video/var/proftpd.log
AllowGroup editor
====================================================
cp /usr/ouxunsi/video/download/proftpd-1.3.1/contrib/ftpasswd .
./ftpasswd --passwd --file /usr/ouxunsi/video/install/proftpd/etc/passwd --name=editor01 --uid=2001 --home=/usr/ouxunsi/video/htdocs --shell=/bin/false
./ftpasswd --group --name=editor --gid=2001 --file /usr/ouxunsi/video/install/proftpd/etc/group
./ftpasswd --passwd --file /usr/ouxunsi/video/install/proftpd/etc/passwd --name=ftpupload --uid=2001 --home=/usr/ouxunsi/video/ftpupload --shell=/bin/false
./ftpasswd --passwd --file /usr/ouxunsi/video/install/proftpd/etc/passwd --name=editor01 --uid=99 --gid=99 --home=/usr/ouxunsi/video/htdocs --shell=/bin/false
./ftpasswd --passwd --file /usr/ouxunsi/video/install/proftpd/etc/passwd --name=ftpupload --uid=99 --gid=99 --home=/usr/ouxunsi/video/ftpupload --shell=/bin/false
./ftpasswd --passwd --file /usr/ouxunsi/video/install/proftpd/etc/passwd --name=ftpupload --uid=2 --gid=2 --home=/usr/ouxunsi/video/ftpupload --shell=/bin/false
<-- 因为apache httpd2默认的用户名为daemon,所以需要用同样的,从而避免权限问题。
chown -R nobody:nobody /usr/ouxunsi/video/htdocs
chmod -R 777 /usr/ouxunsi/video/htdocs
6.3 配置启动脚本
cp /usr/ouxunsi/video/download/proftpd-1.3.1/contrib/dist/rpm/proftpd.init.d /usr/ouxunsi/video/install/proftpd
vi /usr/ouxunsi/video/install/proftpd/proftpd.init.d
===========================================
PATH="$PATH:/usr/local/sbin" --> PATH="$PATH:/usr/ouxunsi/video/install/proftpd/sbin"
===========================================
参考文章:
[01] http://www.centoschina.com/read.php?tid-9692.html
centos 5.0 编译安装apache 2.2.6+php5.2.5+mysql5.0.46+Zend笔记
[02] http://www.javaeye.com/topic/203986
Linux下两个不同版本Mysql的安装实战(Mysql5和mysql4)
[03] http://203.208.37.104/search?q=cache:61JaO2KxL5gJ:bbs.dadipedia.com/showthread.php%3Ft%3D24+subversion+%E7%BC%96%E8%AF%91+with-neon+with-ssl&hl=zh-CN&ct=clnk&cd=1&gl=cn&st_usg=ALhdy292DtxQYGhYxFtJKeHaST1h_1KwNA
LAMP, Trac, SQLite3, SubVersion 编译参数
1.1 服务器上已经存在的服务分析
----------------------------------------
# netstat -an | grep -e "LISTEN"
tcp 0 0 0.0.0.0:905 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN <-- mysql服务
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:6000 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:21 0.0.0.0:* LISTEN <-- ftp服务
tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN
tcp 0 0 ::ffff:127.0.0.1:8005 :::* LISTEN
tcp 0 0 :::8009 :::* LISTEN
tcp 0 0 :::80 :::* LISTEN <-- http服务
tcp 0 0 :::6000 :::* LISTEN
tcp 0 0 :::22 :::* LISTEN <-- ssh服务
unix 2 [ ACC ] STREAM LISTENING 8533 /var/run/xdmctl/dmctl/socket
unix 2 [ ACC ] STREAM LISTENING 8565 /var/run/xdmctl/dmctl-:0/socket
unix 2 [ ACC ] STREAM LISTENING 7071 /tmp/mysql.sock
unix 2 [ ACC ] STREAM LISTENING 6575 /var/run/dbus/system_bus_socket
unix 2 [ ACC ] STREAM LISTENING 6505 /tmp/.font-unix/fs7100
unix 2 [ ACC ] STREAM LISTENING 8560 /tmp/.X11-unix/X0
unix 2 [ ACC ] STREAM LISTENING 6367 /dev/gpmctl
unix 2 [ ACC ] STREAM LISTENING 6059 /var/run/acpid.socket
unix 2 [ ACC ] STREAM LISTENING 6452 /var/run/iiim/.iiimp-unix/9010
----------------------------------------
1.2 已经存在的相关应用分析
java version "1.5.0_07" 安装位置 /usr/java/jdk1.5.0_07
apache-tomcat-6.0.10 安装位置 /usr/apache-tomcat-6.0.10
mysql Ver 14.12 Distrib 5.0.45 安装位置 /usr/mysql-5.0.45-linux-i686
gcc version 3.4.6 20060404 (Red Hat 3.4.6-9)
----------------------------------------
# ps -ef | grep -e "java"
root 4254 1 0 Jul29 ? 12:17:31 /usr/java/jdk1.5.0_07/bin/java -
Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djava.util.log
ging.config.file=/usr/apache-tomcat-6.0.10/conf/logging.properties -server -XX:P
ermSize=64M -XX:MaxPermSize=128M -Djava.endorsed.dirs=/usr/apache-tomcat-6.0.10/
endorsed -classpath :/usr/apache-tomcat-6.0.10/bin/bootstrap.jar:/usr/apache-tom
cat-6.0.10/bin/commons-logging-api.jar -Dcatalina.base=/usr/apache-tomcat-6.0.10
-Dcatalina.home=/usr/apache-tomcat-6.0.10 -Djava.io.tmpdir=/usr/apache-tomcat-6
.0.10/temp org.apache.catalina.startup.Bootstrap start
# gcc -v
Reading specs from /usr/lib/gcc/x86_64-redhat-linux/3.4.6/specs
Configured with: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/u
sr/share/info --enable-shared --enable-threads=posix --disable-checking --with-s
ystem-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-java-aw
t=gtk --host=x86_64-redhat-linux
Thread model: posix
gcc version 3.4.6 20060404 (Red Hat 3.4.6-9)
# java -version
java version "1.5.0_07"
Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_07-b03)
Java HotSpot(TM) Client VM (build 1.5.0_07-b03, mixed mode)
# /usr/mysql-5.0.45-linux-i686/bin/mysql -V
/usr/mysql-5.0.45-linux-i686/bin/mysql Ver 14.12 Distrib 5.0.45, for pc-linux-g
nu (i686) using readline 5.0
----------------------------------------
2. 安装apache服务器,测试index.html [ok 20081003]
2.0 安装Apache日志截断程序cronolog
wget -c wget http://cronolog.org/download/cronolog-1.6.2.tar.gz
tar -zxvf cronolog-1.6.2.tar.gz
cd cronolog-1.6.2
./configure --prefix=/usr/ouxunsi/video/install/cronolog
make
make install
2.1 下载
wget -c http://apache.freelamp.com/httpd/httpd-2.2.9.tar.gz
2.2 解压缩,配置,编译,安装
tar -zxvf httpd-2.2.9.tar.gz
cd httpd-2.2.9
./configure \
--prefix=/usr/ouxunsi/video/install/apache2 \
--enable-so \
--enable-rewrite=static \
--enable-cache \
--enable-file-cache \
--enable-mem-cache \
--enable-disk-cache \
--enable-static-support \
--enable-static-htpasswd \
--enable-static-htdigest \
--enable-static-rotatelogs \
--enable-static-logresolve \
--enable-static-htdbm \
--enable-static-ab \
--enable-static-checkgid \
--disable-cgid \
--disable-cgi
========================================
编译配置说明
./configure //配置源代码树
--prefix=/usr/ouxunsi/video/install/apache2 //体系无关文件的顶级安装目录PREFIX ,也就Apache的安装目录。
--enable-so //打开 so 模块,so 模块是用来提 DSO 支持的 apache 核心模块
--enable-rewrite=static //打开rewrite 功能模块
--enable-mods-shared=all //编译全部的模板,对于不需要我们可以在httpd.conf去掉。这个选项打开可能会需要有更多的依赖库,在这里可以去掉
--enable-cache //支持缓存
--enable-file-cache //支持文件缓存
--enable-mem-cache //支持记忆缓存
--enable-disk-cache //支持磁盘缓存
--enable-static-support //支持静态连接(默认为动态连接)
--enable-static-htpasswd //使用静态连接编译 htpasswd - 管理用于基本认证的用户文件
--enable-static-htdigest //使用静态连接编译 htdigest - 管理用于摘要认证的用户文件
--enable-static-rotatelogs //使用静态连接编译 rotatelogs - 滚动 Apache 日志的管道日志程序
--enable-static-logresolve //使用静态连接编译 logresolve - 解析 Apache 日志中的IP地址为主机名
--enable-static-htdbm //使用静态连接编译 htdbm - 操作 DBM 密码数据库
--enable-static-ab //使用静态连接编译 ab - Apache HTTP 服务器性能测试工具
--enable-static-checkgid //使用静态连接编译 checkgid
--disable-cgid //禁止用一个外部 CGI 守护进程执行CGI脚本
--disable-cgi //禁止编译 CGI 版本的 PHP
--enable-ssl // 编译 ssl模块。这个选项打开可能需要更多的依赖库,在这里可以去掉
=============================
make
make install
2.3 配置apache2的端口和根目录
cd /usr/ouxunsi/video/install/apache2
cp conf/httpd.conf conf/httpd.conf.20081003
vi conf/httpd.conf
==========================================
Listen 80 --> Listen 8080
DirectoryIndex index.html --> DirectoryIndex index.php index.html
DocumentRoot "/usr/ouxunsi/video/install/apache2/htdocs" --> DocumentRoot "/usr/ouxunsi/video/htdocs"
==========================================
2.4 配置cronolog日志截断程序
vi conf/httpd.conf
==========================================
CustomLog "logs/access_log" common
-->
CustomLog "|/usr/ouxunsi/video/install/cronolog/sbin/cronolog /usr/ouxunsi/v
ideo/install/apache2/logs/access_log.%Y%m%d" combined
==========================================
3. 安装php环境,测试phpinfo.php (应该在安装完 mysql 之后安装)
3.0 需要lib-xml2
wget -c ftp://ftp.pbone.net/mirror/www.startcom.org/AS-4.0.0/updates/x86_64/zlib-devel-1.2.1.2-1.2.x86_64.rpm
wget -c ftp://ftp.pbone.net/mirror/www.startcom.org/AS-4.0.0/os/x86_64/StartCom/RPMS/libxml2-devel-2.6.16-6.x86_64.rpm
rpm -i libxml2-devel-2.6.16-6.x86_64.rpm zlib-devel-1.2.1.2-1.2.x86_64.rpm
3.1 下载
wget -c http://cn.php.net/get/php-5.2.6.tar.gz/from/this/mirror
3.2 解压缩,编译,安装
tar -zxvf php-5.2.6.tar.gz
cd php-5.2.6
ln -sf libjpeg.so.62.0.0 libjpeg.so
ln -sf libpng.so.3.1.2.7 libpng.so
./configure \
--prefix=/usr/ouxunsi/video/install/php5 \
--with-apxs2=/usr/ouxunsi/video/install/apache2/bin/apxs \
--with-mysql=/usr/ouxunsi/video/install/mysql5 \
--disable-debug \
--with-zlib \
--enable-mbstring \
--with-gd \
--with-jpeg-dir \
--with-png-dir \
--enable-fastcgi \
--with-config-file-scan-dir=/usr/ouxunsi/video/install/php5/etc/php \
--with-mysqli=/usr/ouxunsi/video/install/mysql5/bin/mysql_config
make
make test
make install
cp php.ini-dist /usr/ouxunsi/video/install/php5/etc/php/php.ini
3.3 整合php和apache2
#make install 会自动修改http.conf 加上 LoadModule php5_module modules/libphp5.so
只需要在最后一行加上:
AddType application/x-httpd-php .php
或者更加安全的:
SetHandler application/x-httpd-php
4. 安装mysql服务器
4.0 需要安装g++ 和 ncurse-devel
wget -c ftp://mirror.switch.ch/pool/3/mirror/centos/4.6/os/x86_64/CentOS/RPMS/gcc-c++-3.4.6-9.x86_64.rpm
wget -c ftp://mirror.switch.ch/pool/3/mirror/centos/4.6/os/x86_64/CentOS/RPMS/libstdc++-devel-3.4.6-9.x86_64.rpm
wget -c ftp://mirror.switch.ch/pool/3/mirror/centos/4.6/os/x86_64/CentOS/RPMS/libstdc++-3.4.6-9.x86_64.rpm
wget -c ftp://ftp.chg.ru/pub/Linux/scientific/41/x86_64/SL/RPMS/ncurses-devel-5.4-13.x86_64.rpm
rpm -i gcc-c++-3.4.6-9.x86_64.rpm libstdc++-devel-3.4.6-9.x86_64.rpm libstdc++-3.4.6-9.x86_64.rpm ncurses-devel-5.4-13.x86_64.rpm
4.1 已经存在了一个mysql5数据库,需要注意修改端口号和相关的目录。不需要重复增加mysql用户帐号了。
wget -c http://mysql.mirror.rafal.ca/Downloads/MySQL-5.0/mysql-5.0.67.tar.gz
cd /usr/ouxunsi/video/download/mysql-5.0.67
mkdir /usr/ouxunsi/video/install/mysql5
mkdir /usr/ouxunsi/video/var/lib/mysql5
./configure \
--prefix=/usr/ouxunsi/video/install/mysql5 \
--localstatedir=/usr/ouxunsi/video/var/lib/mysql5 \
--with-comment=Source \
--with-server-suffix=-Community \
--with-mysqld-user=mysql \
--without-debug \
--with-big-tables \
--with-charset=utf8 \
--with-collation=utf8_unicode_ci \
--with-extra-charsets=all \
--with-pthread \
--enable-static \
--enable-thread-safe-client \
--with-client-ldflags=-all-static \
--with-mysqld-ldflags=-all-static \
--enable-assembler \
--without-innodb \
--without-ndb-debug
make
make install
cd /usr/ouxunsi/video/install/mysql5
#useradd mysql //添加 mysql 用户,已经存在,所以不用重复添加
./bin/mysql_install_db --user=mysql
chown -R root:mysql .
chown -R mysql /usr/ouxunsi/video/var/lib/mysql5
chgrp -R mysql .
cp share/mysql/my-huge.cnf .
vi my-huge.cnf
==========================================
port: 3306 --> 3307 两个地方
socket: /tmp/mysql.sock --> /tmp/mysqlvideo.sock 两个地方
==========================================
cp share/mysql/mysql.server /etc/rc.d/init.d/mysqlvideo
vi /etc/rc.d/init.d/mysqlvideo
==========================================
datadir=/var/lib/mysql5
conf=/usr/ouxunsi/video/install/mysql5/my-huge.cnf
把"$bindir/mysqld_safe --datadir=$datadir --pid-file=$server_pid_file $other_args >/dev/null 2>&1 &"替换为(双引号中的)
"$bindir/mysqld_safe --defaults-file=/usr/ouxunsi/video/install/mysql5/my-huge.cnf --datadir=$datadir --pid-file=$server_pid_file $other_args >/dev/null 2>&1 &"(双引号中的)
==========================================
chmod 755 /etc/rc.d/init.d/mysqlvideo
chkconfig --add mysqlvideo
4.2 启动数据库
/etc/rc.d/init.d/mysqlvideo start
4.3 修改root用户密码
./bin/mysql -u root -S /tmp/mysqlvideo.sock
======================================================
mysql> use mysql
mysql> update user set password=password('video') where user='root';
mysql> FLUSH PRIVILEGES;
======================================================
4.4 停止数据库运行
/etc/rc.d/init.d/mysqlvideo stop
5. 安装svn服务器,是否可以提供密码保护(使用svn+ssh实现)
5.0 需要expat-devel neon等库
wget -c ftp://ftp.pbone.net/mirror/www.startcom.org/AS-4.0.0/os/x86_64/StartCom/RPMS/expat-devel-1.95.7-4.x86_64.rpm
rpm -i expat-devel-1.95.7-4.x86_64.rpm
wget -c ftp://ftp.pbone.net/mirror/www.startcom.org/AS-4.0.0/os/x86_64/StartCom/RPMS/neon-devel-0.24.7-4.x86_64.rpm
wget -c http://ftp.riken.go.jp/Linux/cern/slc41/updates/x86_64/RPMS/openssl-devel-0.9.7a-43.10.x86_64.rpm
wget -c http://ftp.riken.go.jp/Linux/cern/slc41/updates/x86_64/RPMS/krb5-devel-1.3.4-33.x86_64.rpm
wget -c http://ftp.riken.go.jp/Linux/cern/slc41/updates/x86_64/RPMS/e2fsprogs-devel-1.35-12.4.EL4.x86_64.rpm
rpm -i neon-devel-0.24.7-4.x86_64.rpm openssl-devel-0.9.7a-43.10.x86_64.rpm krb5-devel-1.3.4-33.x86_64.rpm e2fsprogs-devel-1.35-12.4.EL4.x86_64.rpm
5.1 下载svn源代码
wget -c http://subversion.tigris.org/downloads/subversion-1.5.2.tar.gz
tar -zxvf subversion-1.5.2.tar.gz
cd subversion-1.5.2
./configure --with-apr=/usr/ouxunsi/video/install/apache2 \
--with-apr-util=/usr/ouxunsi/video/install/apache2 \
--prefix=/usr/ouxunsi/video/install/subversion \
--with-ssl \
--with-neon=/usr
make
make install
5.2 创建代码库
cd /usr/ouxunsi/video/
mkdir svnroot
cd svnroot
svnadmin create .
5.3 增加一个软链接到svnserve 从而可以使用 svn+ssh
ln -s /usr/ouxunsi/video/install/subversion/bin/svnserve /usr/bin/svnserve
svn checkout svn+ssh://root@xxx.xxx.xxx.xxx/usr/ouxunsi/video/svnroot .
6. 安装web ftp服务器
6.1 下载安装
wget -c ftp://ftp.proftpd.org/distrib/source/proftpd-1.3.1.tar.gz
tar -zxvf proftpd-1.3.1.tar.gz
cd proftpd-1.3.1
mkdir /usr/ouxunsi/video/install/proftpd
mkdir /usr/ouxunsi/video/install/proftpd/etc
./configure --prefix=/usr/ouxunsi/video/install/proftpd \
--sysconfdir=/usr/ouxunsi/video/install/proftpd/etc
make
make install
6.2 配置proftpd.conf
cd /usr/ouxunsi/video/install/proftpd/etc
cp proftpd.conf proftpd.conf.20081010
vi proftpd.conf
====================================================
Port 21 --> Port 8021
Group nogroup --> Group nobody
注释所有Anonymous部分
在最后增加如下行,定义虚拟用户和目录权限
RequireValidShell off
AuthOrder mod_auth_file.c
AuthUserFile /usr/ouxunsi/video/install/proftpd/etc/passwd
AuthGroupFile /usr/ouxunsi/video/install/proftpd/etc/group
SystemLog /usr/ouxunsi/video/var/proftpd.log
AllowGroup editor
====================================================
cp /usr/ouxunsi/video/download/proftpd-1.3.1/contrib/ftpasswd .
./ftpasswd --passwd --file /usr/ouxunsi/video/install/proftpd/etc/passwd --name=editor01 --uid=2001 --home=/usr/ouxunsi/video/htdocs --shell=/bin/false
./ftpasswd --group --name=editor --gid=2001 --file /usr/ouxunsi/video/install/proftpd/etc/group
./ftpasswd --passwd --file /usr/ouxunsi/video/install/proftpd/etc/passwd --name=ftpupload --uid=2001 --home=/usr/ouxunsi/video/ftpupload --shell=/bin/false
./ftpasswd --passwd --file /usr/ouxunsi/video/install/proftpd/etc/passwd --name=editor01 --uid=99 --gid=99 --home=/usr/ouxunsi/video/htdocs --shell=/bin/false
./ftpasswd --passwd --file /usr/ouxunsi/video/install/proftpd/etc/passwd --name=ftpupload --uid=99 --gid=99 --home=/usr/ouxunsi/video/ftpupload --shell=/bin/false
./ftpasswd --passwd --file /usr/ouxunsi/video/install/proftpd/etc/passwd --name=ftpupload --uid=2 --gid=2 --home=/usr/ouxunsi/video/ftpupload --shell=/bin/false
<-- 因为apache httpd2默认的用户名为daemon,所以需要用同样的,从而避免权限问题。
chown -R nobody:nobody /usr/ouxunsi/video/htdocs
chmod -R 777 /usr/ouxunsi/video/htdocs
6.3 配置启动脚本
cp /usr/ouxunsi/video/download/proftpd-1.3.1/contrib/dist/rpm/proftpd.init.d /usr/ouxunsi/video/install/proftpd
vi /usr/ouxunsi/video/install/proftpd/proftpd.init.d
===========================================
PATH="$PATH:/usr/local/sbin" --> PATH="$PATH:/usr/ouxunsi/video/install/proftpd/sbin"
===========================================
参考文章:
[01] http://www.centoschina.com/read.php?tid-9692.html
centos 5.0 编译安装apache 2.2.6+php5.2.5+mysql5.0.46+Zend笔记
[02] http://www.javaeye.com/topic/203986
Linux下两个不同版本Mysql的安装实战(Mysql5和mysql4)
[03] http://203.208.37.104/search?q=cache:61JaO2KxL5gJ:bbs.dadipedia.com/showthread.php%3Ft%3D24+subversion+%E7%BC%96%E8%AF%91+with-neon+with-ssl&hl=zh-CN&ct=clnk&cd=1&gl=cn&st_usg=ALhdy292DtxQYGhYxFtJKeHaST1h_1KwNA
LAMP, Trac, SQLite3, SubVersion 编译参数
2008年9月24日星期三
2008年9月22日星期一
2008年9月21日星期日
中国移动WAP 2.0业务开发建议
1)必须是XHTML格式页面,不能是WML页面
这是WAP 2.0与WAP 1.X的根本区别之一。
2)必须限定页面大小,建议为5K~10K
虽然WAP 2.0协议栈的传输效率要高于WAP 1.X,但为了限制页面下载时间,提高业务可用性,保持良好的用户感受,必须对页面大小进行限定。
3)必须是彩色页面,使用图文混排功能
图文混排能极大的提高用户界面内操作的数量和方便程度,对于提高用户对于WAP 2.0业务的体验极为有效。
4)建议使用BANNAR功能,以方便用户返回到相应层次
例如:首页》掌中新闻》今日星闻
5)建议使用CSS样式表,来实现终端适配功能
对于WAP 2.0业务,终端适配的要求比WAP 1.X更高,而CSS样式表极大方便了SP终端适配的工作。
6)对于新闻咨询类应用,建议在使用大量文字时,使用背景色以增强用户感受,并区别于WAP1.X业务。
对于新闻咨询类应用,在页面布局上可能与WAP 1.X业务比较类似,都是按条排列,有上下翻页功能。为了区别与WAP 1.X业务,同时使得用户界面更加美观,建议在使用大量文字时,使用背景色以增强用户感受。
7)对于图铃下载类应用,建议可以直接点击预览图片来下载相应图片
WAP2.0支持图片链接,对于图片下载业务,可以通过直接点击图片的方式来下载图片,以提高页面布局效率。
8)对于视频下载类应用,建议对视频文件的长度进行限制,以保证下载成功率
对于新的视频下载类应用,应当限制下载文件大小,以提高用户感受。
9)对于需要翻页的应用,建议使用“最前页”“下一页”“上一页”“最后页”等选项,并且尽量排列在同一行上。同时翻页次数不要太多,若超过一定次数,建议分为不同栏目。
新闻咨询、图铃下载等业务都大量的使用到了翻页功能,为了提高页面效率和用户感受,建议将翻页选项放在同一行上,同时翻页次数不要过多,限制在5次之内比较合适。
10)对于游戏类应用,建议尽量使用小GIF图片来实现相关操作以增加游戏趣味性,以及页面布局效果。
这是WAP 2.0与WAP 1.X的根本区别之一。
2)必须限定页面大小,建议为5K~10K
虽然WAP 2.0协议栈的传输效率要高于WAP 1.X,但为了限制页面下载时间,提高业务可用性,保持良好的用户感受,必须对页面大小进行限定。
3)必须是彩色页面,使用图文混排功能
图文混排能极大的提高用户界面内操作的数量和方便程度,对于提高用户对于WAP 2.0业务的体验极为有效。
4)建议使用BANNAR功能,以方便用户返回到相应层次
例如:首页》掌中新闻》今日星闻
5)建议使用CSS样式表,来实现终端适配功能
对于WAP 2.0业务,终端适配的要求比WAP 1.X更高,而CSS样式表极大方便了SP终端适配的工作。
6)对于新闻咨询类应用,建议在使用大量文字时,使用背景色以增强用户感受,并区别于WAP1.X业务。
对于新闻咨询类应用,在页面布局上可能与WAP 1.X业务比较类似,都是按条排列,有上下翻页功能。为了区别与WAP 1.X业务,同时使得用户界面更加美观,建议在使用大量文字时,使用背景色以增强用户感受。
7)对于图铃下载类应用,建议可以直接点击预览图片来下载相应图片
WAP2.0支持图片链接,对于图片下载业务,可以通过直接点击图片的方式来下载图片,以提高页面布局效率。
8)对于视频下载类应用,建议对视频文件的长度进行限制,以保证下载成功率
对于新的视频下载类应用,应当限制下载文件大小,以提高用户感受。
9)对于需要翻页的应用,建议使用“最前页”“下一页”“上一页”“最后页”等选项,并且尽量排列在同一行上。同时翻页次数不要太多,若超过一定次数,建议分为不同栏目。
新闻咨询、图铃下载等业务都大量的使用到了翻页功能,为了提高页面效率和用户感受,建议将翻页选项放在同一行上,同时翻页次数不要过多,限制在5次之内比较合适。
10)对于游戏类应用,建议尽量使用小GIF图片来实现相关操作以增加游戏趣味性,以及页面布局效果。
2008年9月17日星期三
各种垃圾回收算法的通俗解释
引用计数( Reference Counting )算法
1960 年以前,人们为胚胎中的 Lisp 语言设计垃圾收集机制时,第一个想到的算法是引用计数算法。拿餐巾纸的例子来说,这种算法的原理大致可以描述为:
午餐时,为了把脑子里突然跳出来的设计灵感记下来,我从餐巾纸袋中抽出一张餐巾纸,打算在上面画出系统架构的蓝图。按照“餐巾纸使用规约之引用计数版”的要求,画图之前,我必须先在餐巾纸的一角写上计数值 1 ,以表示我在使用这张餐巾纸。这时,如果你也想看看我画的蓝图,那你就要把餐巾纸上的计数值加 1 ,将它改为 2 ,这表明目前有 2 个人在同时使用这张餐巾纸(当然,我是不会允许你用这张餐巾纸来擦鼻涕的)。你看完后,必须把计数值减 1 ,表明你对该餐巾纸的使用已经结束。同样,当我将餐巾纸上的内容全部誊写到笔记本上之后,我也会自觉地把餐巾纸上的计数值减 1 。此时,不出意外的话,这张餐巾纸上的计数值应当是 0 ,它会被垃圾收集器——假设那是一个专门负责打扫卫生的机器人——捡起来扔到垃圾箱里,因为垃圾收集器的惟一使命就是找到所有计数值为 0 的餐巾纸并清理它们。
引用计数算法的优点和缺陷同样明显。这一算法在执行垃圾收集任务时速度较快,但算法对程序中每一次内存分配和指针操作提出了额外的要求(增加或减少内存块的引用计数)。更重要的是,引用计数算法无法正确释放循环引用的内存块,对此, D. Hillis 有一段风趣而精辟的论述:
一天,一个学生走到 Moon 面前说:“我知道如何设计一个更好的垃圾收集器了。我们必须记录指向每个结点的指针数目。” Moon 耐心地给这位学生讲了下面这个故事:“一天,一个学生走到 Moon 面前说:‘我知道如何设计一个更好的垃圾收集器了……’”
D. Hillis 的故事和我们小时候常说的“从前有座山,山上有个庙,庙里有个老和尚”的故事有异曲同工之妙。这说明,单是使用引用计数算法还不足以解决垃圾收集中的所有问题。正因为如此,引用计数算法也常常被研究者们排除在狭义的垃圾收集算法之外。当然,作为一种最简单、最直观的解决方案,引用计数算法本身具有其不可替代的优越性。 1980 年代前后, D. P. Friedman , D. S. Wise , H. G. Baker 等人对引用计数算法进行了数次改进,这些改进使得引用计数算法及其变种(如延迟计数算法等)在简单的环境下,或是在一些综合了多种算法的现代垃圾收集系统中仍然可以一展身手。
标记-清除( Mark-Sweep )算法
第一种实用和完善的垃圾收集算法是 J. McCarthy 等人在 1960 年提出并成功地应用于 Lisp 语言的标记-清除算法。仍以餐巾纸为例,标记-清除算法的执行过程是这样的:
午餐过程中,餐厅里的所有人都根据自己的需要取用餐巾纸。当垃圾收集机器人想收集废旧餐巾纸的时候,它会让所有用餐的人先停下来,然后,依次询问餐厅里的每一个人:“你正在用餐巾纸吗?你用的是哪一张餐巾纸?”机器人根据每个人的回答将人们正在使用的餐巾纸画上记号。询问过程结束后,机器人在餐厅里寻找所有散落在餐桌上且没有记号的餐巾纸(这些显然都是用过的废旧餐巾纸),把它们统统扔到垃圾箱里。
正如其名称所暗示的那样,标记-清除算法的执行过程分为“标记”和“清除”两大阶段。这种分步执行的思路奠定了现代垃圾收集算法的思想基础。与引用计数算法不同的是,标记-清除算法不需要运行环境监测每一次内存分配和指针操作,而只要在“标记”阶段中跟踪每一个指针变量的指向——用类似思路实现的垃圾收集器也常被后人统称为跟踪收集器( Tracing Collector )
伴随着 Lisp 语言的成功,标记-清除算法也在大多数早期的 Lisp 运行环境中大放异彩。尽管最初版本的标记-清除算法在今天看来还存在效率不高(标记和清除是两个相当耗时的过程)等诸多缺陷,但在后面的讨论中,我们可以看到,几乎所有现代垃圾收集算法都是标记-清除思想的延续,仅此一点, J. McCarthy 等人在垃圾收集技术方面的贡献就丝毫不亚于他们在 Lisp 语言上的成就了。
复制( Copying )算法
为了解决标记-清除算法在垃圾收集效率方面的缺陷, M. L. Minsky 于 1963 年发表了著名的论文“一种使用双存储区的 Lisp 语言垃圾收集器( A LISP Garbage Collector Algorithm Using Serial Secondary Storage )”。 M. L. Minsky 在该论文中描述的算法被人们称为复制算法,它也被 M. L. Minsky 本人成功地引入到了 Lisp 语言的一个实现版本中。
复制算法别出心裁地将堆空间一分为二,并使用简单的复制操作来完成垃圾收集工作,这个思路相当有趣。借用餐巾纸的比喻,我们可以这样理解 M. L. Minsky 的复制算法:
餐厅被垃圾收集机器人分成南区和北区两个大小完全相同的部分。午餐时,所有人都先在南区用餐(因为空间有限,用餐人数自然也将减少一半),用餐时可以随意使用餐巾纸。当垃圾收集机器人认为有必要回收废旧餐巾纸时,它会要求所有用餐者以最快的速度从南区转移到北区,同时随身携带自己正在使用的餐巾纸。等所有人都转移到北区之后,垃圾收集机器人只要简单地把南区中所有散落的餐巾纸扔进垃圾箱就算完成任务了。下一次垃圾收集的工作过程也大致类似,惟一的不同只是人们的转移方向变成了从北区到南区。如此循环往复,每次垃圾收集都只需简单地转移(也就是复制)一次,垃圾收集速度无与伦比——当然,对于用餐者往返奔波于南北两区之间的辛劳,垃圾收集机器人是决不会流露出丝毫怜悯的。
M. L. Minsky 的发明绝对算得上一种奇思妙想。分区、复制的思路不仅大幅提高了垃圾收集的效率,而且也将原本繁纷复杂的内存分配算法变得前所未有地简明和扼要(既然每次内存回收都是对整个半区的回收,内存分配时也就不用考虑内存碎片等复杂情况,只要移动堆顶指针,按顺序分配内存就可以了),这简直是个奇迹!不过,任何奇迹的出现都有一定的代价,在垃圾收集技术中,复制算法提高效率的代价是人为地将可用内存缩小了一半。实话实说,这个代价未免也太高了一些。
标记-整理( Mark-Compact )算法
标记-整理算法是标记-清除算法和复制算法的有机结合。把标记-清除算法在内存占用上的优点和复制算法在执行效率上的特长综合起来,这是所有人都希望看到的结果。不过,两种垃圾收集算法的整合并不像 1 加 1 等于 2 那样简单,我们必须引入一些全新的思路。 1970 年前后, G. L. Steele , C. J. Cheney 和 D. S. Wise 等研究者陆续找到了正确的方向,标记-整理算法的轮廓也逐渐清晰了起来:
在我们熟悉的餐厅里,这一次,垃圾收集机器人不再把餐厅分成两个南北区域了。需要执行垃圾收集任务时,机器人先执行标记-清除算法的第一个步骤,为所有使用中的餐巾纸画好标记,然后,机器人命令所有就餐者带上有标记的餐巾纸向餐厅的南面集中,同时把没有标记的废旧餐巾纸扔向餐厅北面。这样一来,机器人只消站在餐厅北面,怀抱垃圾箱,迎接扑面而来的废旧餐巾纸就行了。
实验表明,标记-整理算法的总体执行效率高于标记-清除算法,又不像复制算法那样需要牺牲一半的存储空间,这显然是一种非常理想的结果。在许多现代的垃圾收集器中,人们都使用了标记-整理算法或其改进版本。
增量收集( Incremental Collecting )算法
对实时垃圾收集算法的研究直接导致了增量收集算法的诞生。
最初,人们关于实时垃圾收集的想法是这样的:为了进行实时的垃圾收集,可以设计一个多进程的运行环境,比如用一个进程执行垃圾收集工作,另一个进程执行程序代码。这样一来,垃圾收集工作看上去就仿佛是在后台悄悄完成的,不会打断程序代码的运行。
在收集餐巾纸的例子中,这一思路可以被理解为:垃圾收集机器人在人们用餐的同时寻找废弃的餐巾纸并将它们扔到垃圾箱里。这个看似简单的思路会在设计和实现时碰上进程间冲突的难题。比如说,如果垃圾收集进程包括标记和清除两个工作阶段,那么,垃圾收集器在第一阶段中辛辛苦苦标记出的结果很可能被另一个进程中的内存操作代码修改得面目全非,以至于第二阶段的工作没有办法开展。
M. L. Minsky 和 D. E. Knuth 对实时垃圾收集过程中的技术难点进行了早期的研究, G. L. Steele 于 1975 年发表了题为“多进程整理的垃圾收集( Multiprocessing compactifying garbage collection )”的论文,描述了一种被后人称为“ Minsky-Knuth-Steele 算法”的实时垃圾收集算法。 E. W. Dijkstra , L. Lamport , R. R. Fenichel 和 J. C. Yochelson 等人也相继在此领域做出了各自的贡献。 1978 年, H. G. Baker 发表了“串行计算机上的实时表处理技术( List Processing in Real Time on a Serial Computer )”一文,系统阐述了多进程环境下用于垃圾收集的增量收集算法。
增量收集算法的基础仍是传统的标记-清除和复制算法。增量收集算法通过对进程间冲突的妥善处理,允许垃圾收集进程以分阶段的方式完成标记、清理或复制工作。详细分析各种增量收集算法的内部机理是一件相当繁琐的事情,在这里,读者们需要了解的仅仅是: H. G. Baker 等人的努力已经将实时垃圾收集的梦想变成了现实,我们再也不用为垃圾收集打断程序的运行而烦恼了
分代收集( Generational Collecting )算法
和大多数软件开发技术一样,统计学原理总能在技术发展的过程中起到强力催化剂的作用。 1980 年前后,善于在研究中使用统计分析知识的技术人员发现,大多数内存块的生存周期都比较短,垃圾收集器应当把更多的精力放在检查和清理新分配的内存块上。这个发现对于垃圾收集技术的价值可以用餐巾纸的例子概括如下:
如果垃圾收集机器人足够聪明,事先摸清了餐厅里每个人在用餐时使用餐巾纸的习惯——比如有些人喜欢在用餐前后各用掉一张餐巾纸,有的人喜欢自始至终攥着一张餐巾纸不放,有的人则每打一个喷嚏就用去一张餐巾纸——机器人就可以制定出更完善的餐巾纸回收计划,并总是在人们刚扔掉餐巾纸没多久就把垃圾捡走。这种基于统计学原理的做法当然可以让餐厅的整洁度成倍提高。
D. E. Knuth , T. Knight , G. Sussman 和 R. Stallman 等人对内存垃圾的分类处理做了最早的研究。 1983 年, H. Lieberman 和 C. Hewitt 发表了题为“基于对象寿命的一种实时垃圾收集器( A real-time garbage collector based on the lifetimes of objects )”的论文。这篇著名的论文标志着分代收集算法的正式诞生。此后,在 H. G. Baker , R. L. Hudson , J. E. B. Moss 等人的共同努力下,分代收集算法逐渐成为了垃圾收集领域里的主流技术。
分代收集算法通常将堆中的内存块按寿命分为两类,年老的和年轻的。垃圾收集器使用不同的收集算法或收集策略,分别处理这两类内存块,并特别地把主要工作时间花在处理年轻的内存块上。分代收集算法使垃圾收集器在有限的资源条件下,可以更为有效地工作——这种效率上的提高在今天的 Java 虚拟机中得到了最好的证明。
一个简单的实现
http://www.utdallas.edu/~ramakrishnan/Projects/GC_for_C/index.htm
惠普的一个免费的C/C++内存回收器的实现.
http://www.hpl.hp.com/personal/Hans_Boehm/gc/
动态分配的选择、折衷和实现
http://blog.csdn.net/wishfly/archive/2005/10/16/504854.aspx
Art of C++ 一书的C++ 的内存回收器的实现
http://www.devarticles.com/c/a/Cplusplus/A-Simple-Garbage-Collector-for-C-plus-plus/11/
1960 年以前,人们为胚胎中的 Lisp 语言设计垃圾收集机制时,第一个想到的算法是引用计数算法。拿餐巾纸的例子来说,这种算法的原理大致可以描述为:
午餐时,为了把脑子里突然跳出来的设计灵感记下来,我从餐巾纸袋中抽出一张餐巾纸,打算在上面画出系统架构的蓝图。按照“餐巾纸使用规约之引用计数版”的要求,画图之前,我必须先在餐巾纸的一角写上计数值 1 ,以表示我在使用这张餐巾纸。这时,如果你也想看看我画的蓝图,那你就要把餐巾纸上的计数值加 1 ,将它改为 2 ,这表明目前有 2 个人在同时使用这张餐巾纸(当然,我是不会允许你用这张餐巾纸来擦鼻涕的)。你看完后,必须把计数值减 1 ,表明你对该餐巾纸的使用已经结束。同样,当我将餐巾纸上的内容全部誊写到笔记本上之后,我也会自觉地把餐巾纸上的计数值减 1 。此时,不出意外的话,这张餐巾纸上的计数值应当是 0 ,它会被垃圾收集器——假设那是一个专门负责打扫卫生的机器人——捡起来扔到垃圾箱里,因为垃圾收集器的惟一使命就是找到所有计数值为 0 的餐巾纸并清理它们。
引用计数算法的优点和缺陷同样明显。这一算法在执行垃圾收集任务时速度较快,但算法对程序中每一次内存分配和指针操作提出了额外的要求(增加或减少内存块的引用计数)。更重要的是,引用计数算法无法正确释放循环引用的内存块,对此, D. Hillis 有一段风趣而精辟的论述:
一天,一个学生走到 Moon 面前说:“我知道如何设计一个更好的垃圾收集器了。我们必须记录指向每个结点的指针数目。” Moon 耐心地给这位学生讲了下面这个故事:“一天,一个学生走到 Moon 面前说:‘我知道如何设计一个更好的垃圾收集器了……’”
D. Hillis 的故事和我们小时候常说的“从前有座山,山上有个庙,庙里有个老和尚”的故事有异曲同工之妙。这说明,单是使用引用计数算法还不足以解决垃圾收集中的所有问题。正因为如此,引用计数算法也常常被研究者们排除在狭义的垃圾收集算法之外。当然,作为一种最简单、最直观的解决方案,引用计数算法本身具有其不可替代的优越性。 1980 年代前后, D. P. Friedman , D. S. Wise , H. G. Baker 等人对引用计数算法进行了数次改进,这些改进使得引用计数算法及其变种(如延迟计数算法等)在简单的环境下,或是在一些综合了多种算法的现代垃圾收集系统中仍然可以一展身手。
标记-清除( Mark-Sweep )算法
第一种实用和完善的垃圾收集算法是 J. McCarthy 等人在 1960 年提出并成功地应用于 Lisp 语言的标记-清除算法。仍以餐巾纸为例,标记-清除算法的执行过程是这样的:
午餐过程中,餐厅里的所有人都根据自己的需要取用餐巾纸。当垃圾收集机器人想收集废旧餐巾纸的时候,它会让所有用餐的人先停下来,然后,依次询问餐厅里的每一个人:“你正在用餐巾纸吗?你用的是哪一张餐巾纸?”机器人根据每个人的回答将人们正在使用的餐巾纸画上记号。询问过程结束后,机器人在餐厅里寻找所有散落在餐桌上且没有记号的餐巾纸(这些显然都是用过的废旧餐巾纸),把它们统统扔到垃圾箱里。
正如其名称所暗示的那样,标记-清除算法的执行过程分为“标记”和“清除”两大阶段。这种分步执行的思路奠定了现代垃圾收集算法的思想基础。与引用计数算法不同的是,标记-清除算法不需要运行环境监测每一次内存分配和指针操作,而只要在“标记”阶段中跟踪每一个指针变量的指向——用类似思路实现的垃圾收集器也常被后人统称为跟踪收集器( Tracing Collector )
伴随着 Lisp 语言的成功,标记-清除算法也在大多数早期的 Lisp 运行环境中大放异彩。尽管最初版本的标记-清除算法在今天看来还存在效率不高(标记和清除是两个相当耗时的过程)等诸多缺陷,但在后面的讨论中,我们可以看到,几乎所有现代垃圾收集算法都是标记-清除思想的延续,仅此一点, J. McCarthy 等人在垃圾收集技术方面的贡献就丝毫不亚于他们在 Lisp 语言上的成就了。
复制( Copying )算法
为了解决标记-清除算法在垃圾收集效率方面的缺陷, M. L. Minsky 于 1963 年发表了著名的论文“一种使用双存储区的 Lisp 语言垃圾收集器( A LISP Garbage Collector Algorithm Using Serial Secondary Storage )”。 M. L. Minsky 在该论文中描述的算法被人们称为复制算法,它也被 M. L. Minsky 本人成功地引入到了 Lisp 语言的一个实现版本中。
复制算法别出心裁地将堆空间一分为二,并使用简单的复制操作来完成垃圾收集工作,这个思路相当有趣。借用餐巾纸的比喻,我们可以这样理解 M. L. Minsky 的复制算法:
餐厅被垃圾收集机器人分成南区和北区两个大小完全相同的部分。午餐时,所有人都先在南区用餐(因为空间有限,用餐人数自然也将减少一半),用餐时可以随意使用餐巾纸。当垃圾收集机器人认为有必要回收废旧餐巾纸时,它会要求所有用餐者以最快的速度从南区转移到北区,同时随身携带自己正在使用的餐巾纸。等所有人都转移到北区之后,垃圾收集机器人只要简单地把南区中所有散落的餐巾纸扔进垃圾箱就算完成任务了。下一次垃圾收集的工作过程也大致类似,惟一的不同只是人们的转移方向变成了从北区到南区。如此循环往复,每次垃圾收集都只需简单地转移(也就是复制)一次,垃圾收集速度无与伦比——当然,对于用餐者往返奔波于南北两区之间的辛劳,垃圾收集机器人是决不会流露出丝毫怜悯的。
M. L. Minsky 的发明绝对算得上一种奇思妙想。分区、复制的思路不仅大幅提高了垃圾收集的效率,而且也将原本繁纷复杂的内存分配算法变得前所未有地简明和扼要(既然每次内存回收都是对整个半区的回收,内存分配时也就不用考虑内存碎片等复杂情况,只要移动堆顶指针,按顺序分配内存就可以了),这简直是个奇迹!不过,任何奇迹的出现都有一定的代价,在垃圾收集技术中,复制算法提高效率的代价是人为地将可用内存缩小了一半。实话实说,这个代价未免也太高了一些。
标记-整理( Mark-Compact )算法
标记-整理算法是标记-清除算法和复制算法的有机结合。把标记-清除算法在内存占用上的优点和复制算法在执行效率上的特长综合起来,这是所有人都希望看到的结果。不过,两种垃圾收集算法的整合并不像 1 加 1 等于 2 那样简单,我们必须引入一些全新的思路。 1970 年前后, G. L. Steele , C. J. Cheney 和 D. S. Wise 等研究者陆续找到了正确的方向,标记-整理算法的轮廓也逐渐清晰了起来:
在我们熟悉的餐厅里,这一次,垃圾收集机器人不再把餐厅分成两个南北区域了。需要执行垃圾收集任务时,机器人先执行标记-清除算法的第一个步骤,为所有使用中的餐巾纸画好标记,然后,机器人命令所有就餐者带上有标记的餐巾纸向餐厅的南面集中,同时把没有标记的废旧餐巾纸扔向餐厅北面。这样一来,机器人只消站在餐厅北面,怀抱垃圾箱,迎接扑面而来的废旧餐巾纸就行了。
实验表明,标记-整理算法的总体执行效率高于标记-清除算法,又不像复制算法那样需要牺牲一半的存储空间,这显然是一种非常理想的结果。在许多现代的垃圾收集器中,人们都使用了标记-整理算法或其改进版本。
增量收集( Incremental Collecting )算法
对实时垃圾收集算法的研究直接导致了增量收集算法的诞生。
最初,人们关于实时垃圾收集的想法是这样的:为了进行实时的垃圾收集,可以设计一个多进程的运行环境,比如用一个进程执行垃圾收集工作,另一个进程执行程序代码。这样一来,垃圾收集工作看上去就仿佛是在后台悄悄完成的,不会打断程序代码的运行。
在收集餐巾纸的例子中,这一思路可以被理解为:垃圾收集机器人在人们用餐的同时寻找废弃的餐巾纸并将它们扔到垃圾箱里。这个看似简单的思路会在设计和实现时碰上进程间冲突的难题。比如说,如果垃圾收集进程包括标记和清除两个工作阶段,那么,垃圾收集器在第一阶段中辛辛苦苦标记出的结果很可能被另一个进程中的内存操作代码修改得面目全非,以至于第二阶段的工作没有办法开展。
M. L. Minsky 和 D. E. Knuth 对实时垃圾收集过程中的技术难点进行了早期的研究, G. L. Steele 于 1975 年发表了题为“多进程整理的垃圾收集( Multiprocessing compactifying garbage collection )”的论文,描述了一种被后人称为“ Minsky-Knuth-Steele 算法”的实时垃圾收集算法。 E. W. Dijkstra , L. Lamport , R. R. Fenichel 和 J. C. Yochelson 等人也相继在此领域做出了各自的贡献。 1978 年, H. G. Baker 发表了“串行计算机上的实时表处理技术( List Processing in Real Time on a Serial Computer )”一文,系统阐述了多进程环境下用于垃圾收集的增量收集算法。
增量收集算法的基础仍是传统的标记-清除和复制算法。增量收集算法通过对进程间冲突的妥善处理,允许垃圾收集进程以分阶段的方式完成标记、清理或复制工作。详细分析各种增量收集算法的内部机理是一件相当繁琐的事情,在这里,读者们需要了解的仅仅是: H. G. Baker 等人的努力已经将实时垃圾收集的梦想变成了现实,我们再也不用为垃圾收集打断程序的运行而烦恼了
分代收集( Generational Collecting )算法
和大多数软件开发技术一样,统计学原理总能在技术发展的过程中起到强力催化剂的作用。 1980 年前后,善于在研究中使用统计分析知识的技术人员发现,大多数内存块的生存周期都比较短,垃圾收集器应当把更多的精力放在检查和清理新分配的内存块上。这个发现对于垃圾收集技术的价值可以用餐巾纸的例子概括如下:
如果垃圾收集机器人足够聪明,事先摸清了餐厅里每个人在用餐时使用餐巾纸的习惯——比如有些人喜欢在用餐前后各用掉一张餐巾纸,有的人喜欢自始至终攥着一张餐巾纸不放,有的人则每打一个喷嚏就用去一张餐巾纸——机器人就可以制定出更完善的餐巾纸回收计划,并总是在人们刚扔掉餐巾纸没多久就把垃圾捡走。这种基于统计学原理的做法当然可以让餐厅的整洁度成倍提高。
D. E. Knuth , T. Knight , G. Sussman 和 R. Stallman 等人对内存垃圾的分类处理做了最早的研究。 1983 年, H. Lieberman 和 C. Hewitt 发表了题为“基于对象寿命的一种实时垃圾收集器( A real-time garbage collector based on the lifetimes of objects )”的论文。这篇著名的论文标志着分代收集算法的正式诞生。此后,在 H. G. Baker , R. L. Hudson , J. E. B. Moss 等人的共同努力下,分代收集算法逐渐成为了垃圾收集领域里的主流技术。
分代收集算法通常将堆中的内存块按寿命分为两类,年老的和年轻的。垃圾收集器使用不同的收集算法或收集策略,分别处理这两类内存块,并特别地把主要工作时间花在处理年轻的内存块上。分代收集算法使垃圾收集器在有限的资源条件下,可以更为有效地工作——这种效率上的提高在今天的 Java 虚拟机中得到了最好的证明。
一个简单的实现
http://www.utdallas.edu/~ramakrishnan/Projects/GC_for_C/index.htm
惠普的一个免费的C/C++内存回收器的实现.
http://www.hpl.hp.com/personal/Hans_Boehm/gc/
动态分配的选择、折衷和实现
http://blog.csdn.net/wishfly/archive/2005/10/16/504854.aspx
Art of C++ 一书的C++ 的内存回收器的实现
http://www.devarticles.com/c/a/Cplusplus/A-Simple-Garbage-Collector-for-C-plus-plus/11/
订阅:
博文 (Atom)