专注业务连续性支持与数据保护
2009-08-18关注学习

常用开源Jabber(XMPP) 服务器(即时通讯)介绍已关闭评论

常用开源Jabber(XMPP) 服务器(即时通讯)介绍

1. Openfire (Wildfire) 3.x
授权: GPL or 商用
操作系统平台:所有(使用Java开发)
XMPP Jabber 协议实现情况:98%
Tim 评价:
安装和使用非常简单,安装后进入Web界面进行2~3分钟的配置所有的东西都设好了。使用Java语言开发,在目前Java开发人员到处普及的情况
下进行维护和扩展的成本非常低。在我的测试中加上 Connection Manager 的情况下单台服务器可支持 30 万并发用户。缺点是目前还不支持
cluster。如果企业内部部署IM使用 Wildfire + Spark 是最佳的组合。
安装方法见:http://www.blog-dragon.com/2007/10/jabber-xmpp-openfire-spark.html
2. ejabberd
授权: GPL
操作系统平台:Linux, Windows, MacOS X 等
XMPP Jabber 协议实现情况:91%
Tim 评价:
Ejabberd目前是可扩展性最好的一种Jabber/XMPP服务器,支持分布多个服务器,并且具有容错处理,单台服务器失效不影响整个cluster运作。
顾虑就是它采用一种大家都没听过的语言Erlang开发,所以很多人可能会象我一样因为这个原因放弃了它。
官方地址:http://www.process-one.net/en/ejabberd/
3. Jabberd 2.x
授权: GPL
操作系统平台:主要是 Linux, (Windows 也支持,但不知道性能怎样)
XMPP Jabber 协议实现情况:76%
Tim 评价:
自从jabber.org改用ejabberd之后,Jabberd一直都在走下坡路。扩展性比不上ejabberd, 易用性比不上 Wildfire,唯一的优势是使用C开发,
如果你坚持要用C开发,那么还是选择jabberd吧。
官网地址:http://jabberd.jabberstudio.org/2/
4. Jabberd 1.x
授权: GPL
操作系统平台:主要是 Linux, (Windows 也支持,但不知道性能怎样)
XMPP Jabber 协议实现情况:45%
Tim 评价:
在几年前 jabberd 就是 Jabber 的代名词,至今很多 Jabber 文档仍然介绍的是 Jabber 1.4,
在我以前写的《Jabber 服务器占有率比较》中仍然排名第一。但是它很多新的规范都不支持,相信大部分用户都将转向新的服务器。
官网地址:http://jabberd.jabberstudio.org/1.4/
5. 后起之秀 DJabberd
授权: open source
操作系统平台:主要是 Linux, (Perl写的,其他平台应该也支持)
XMPP Jabber 协议实现情况:N/A
Tim 评价:
djabberd 使用 epoll 技术,理论上单台服务器可以支持更多用户。Djabberd目前主要应用在LiveJournal上,大部分XMPP协议都支持,稳定性
也不用置疑。但是因为推出时间尚短,很多细节功能可能需要时间慢慢完善

2009-08-18关注学习

Perlbal简介已关闭评论

Perlbal简介

Perlbal 是一个用 Perl 编写的单线程的事件驱动服务器,可充当 Web 服务器 和 HTTP 负载均衡。

Perlbal被使用在 http://www.livejournal.com/

 

特点

  • 快,小,可管理的http web 服务器/代理
  • 可以在内部进行转发
  • 使用Perl开发
  • 单线程,异步,基于事件,使用epoll , kqueue
  • 支持Console管理与http远程管理,支持动态配置加载
  • 多种模式:web服务器,反向代理,插件
  • 支持插件:GIF/PNG互换?

http://www.danga.com/perlbal/

2009-08-18关注学习

mogileFS简介已关闭评论

mogileFS简介

mogileFS是一个分布式文件存储的解决方案,他由Six Apart开发下面列出了他的一些特性(由mogileFS页面http://www.danga.com/mogilefs/ 介绍翻译而来)

* 应用层——不需要特殊的核心组件
* 无单点失败——MogileFS安装的三个组件(存储节点、跟踪器、跟踪用的数据库),均可运行在多个 机器上,因此没有单点失败。(你也可以将跟踪器和存储节点运行在同一台机器上,这样你就没有必要用4台机器)推荐至少两台机器。
* 自动的文件复制——基于不同的文件“分类”,文件可以被自动的复制到多个有足够存储空间的存储节点上,这样可以满足这个“类别”的最少复制要求。比如你有一个图片网站,你可以设置原始的JPEG图片需要复制至少三份,但实际只有1or2份拷贝,如果丢失了数据,那么Mogile可以重新建立遗失的拷贝数。用这种办法,MogileFS(不做RAID)可以节约 磁盘,否则你将存储同样的拷贝多份,完全没有必要。
* “比RAID好多了”——在一个非存储区域网络的RAID(non-SAN RAID)的建立中,磁盘是冗余的,但主机不是,如果你整个机器坏了,那么文件也将不能访问。 MogileFS在不同的机器之间进行文件复制,因此文件始终是可用的。
* 传输中立,无特殊协议——MogileFS客户端可以通过NFS或HTTP来和MogileFS的存储节点来通信,但首先需要告知跟踪器一下。
* 简单的命名空间——文件通过一个给定的key来确定,是一个全局的命名空间。你可以自己生成多个命名空间,只要你愿意,不过这样可能在同一MogileFS中会造成key冲突。
* 不用共享任何东西——MogileFS不需要依靠昂贵的SAN来共享磁盘,每个机器只用维护好自己的磁盘。
* 不需要RAID——在MogileFS中的磁盘可以是做了RAID的也可以是没有,如果是为了安全性着想的话RAID没有必要买了,因为MogileFS已经提供了。
* 不会碰到文件系统本身的不可知情况——在MogileFS中的存储节点的磁盘可以被格式化成多种格式(ext3,reiserFS等等)。MogilesFS会做自己内部目录的哈希,所以它不会碰到文件系统本身的一些限制,比如一个目录中的最大文件数。你可以放心的使用。

Mogilefs 的网站地址(http:// www.danga.com /mogilefs )

php 扩展 的地址(http://www.capoune.net/mogilefs/ )提供了一个php扩展用来在php中使用mogileFS。
这儿也有一个地址,svn的源码库 http://svn.usrportage.de/php-mogilefs/trunk/

mogileFS 安装步骤( http://durrett.net/mogilefs_setup.html
mogileFS 使用perl 编写的,在安装前你应该先安装好perl。同时mogileFS也需要一个数据库用来保存文件数据的跟踪信息(目前好像可以使用MySQL推荐 , SQLite,Oracle,Postsql)。

这儿有一个兄弟的中文安装学习笔记 mogileFS学习

mogileFS 适合于静态存储,就是那种一次保存,多次读取型的资源,比如以html方式静态化处理的动态文件,图片文件,其他只提供下载的文件等。

2009-08-17生活琐记

《MySQL性能调优与架构设计》示例库结构脚本已关闭评论

《MySQL性能调优与架构设计》示例库结构脚本

示例库结构脚本的所有创建语句:

 

–创建数据库
Create DATABASE example;

–创建表
–索引是根据应用中使用的 Query 的情况而决定,所有表开始都仅仅只有主键,没有其他的索引
–各表没有特定存储引擎和字符集,各位读者朋友可根据自己的环境决定

Create TABLE event (
id int(11) NOT NULL AUTO_INCREMENT,
gmt_create datetime NOT NULL,
user_id int(11) NOT NULL,
event_type varchar(8) NOT NULL,
event_msg varchar(255) DEFAULT NULL,
PRIMARY KEY (id)
);

–组内讨论信息summary

Create TABLE group_message (
id int(11) NOT NULL AUTO_INCREMENT,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
group_id int(11) NOT NULL,
user_id int(11) NOT NULL,
author varchar(32) NOT NULL,
subject varchar(128) NOT NULL,
PRIMARY KEY (id)
);

–组内讨论信息内容

Create TABLE group_message_content (
group_msg_id int(11) NOT NULL,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
content text NOT NULL,
PRIMARY KEY (group_msg_id)
);

–组信息

Create TABLE groups (
id int(11) NOT NULL AUTO_INCREMENT,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
name varchar(32) NOT NULL,
status varchar(16) NOT NULL,
description varchar(1024) DEFAULT NULL,
PRIMARY KEY (id)
);

–特殊消息

Create TABLE message (
id int(11) NOT NULL AUTO_INCREMENT,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
subject varchar(64) NOT NULL,
status varchar(16) NOT NULL,
PRIMARY KEY (id)
);

–消息

Create TABLE message_content (
msg_id int(11) NOT NULL,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
content varchar(512) DEFAULT NULL,
PRIMARY KEY (msg_id)
);

–照片表

Create TABLE photo (
id int(11) NOT NULL AUTO_INCREMENT,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
user_id int(11) NOT NULL,
status varchar(16) NOT NULL,
subject varchar(64) NOT NULL,
url varchar(64) NOT NULL,
PRIMARY KEY (id)
);

–相册表

Create TABLE photo_album (
id int(11) NOT NULL AUTO_INCREMENT,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
album_name varchar(64) NOT NULL,
user_id int(11) NOT NULL,
PRIMARY KEY (id)
);

–照片相册关系表

Create TABLE photo_album_relation (
id int(11) NOT NULL auto_increment,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
album_id int(11) NOT NULL,
photo_id int(11) NOT NULL,
PRIMARY KEY (id)
);

–照片回复信息表

Create TABLE photo_comment (
id int(11) NOT NULL AUTO_INCREMENT,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
photo_id int(11) NOT NULL,
comments varchar(512) NOT NULL,
PRIMARY KEY (id)
);

–系统各组广播消息表

Create TABLE top_message (
id int(11) NOT NULL AUTO_INCREMENT,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
user_id int(11) NOT NULL,
author varchar(32) NOT NULL,
subject varchar(128) NOT NULL,
PRIMARY KEY (id)
);

–用户基本信息表

Create TABLE user (
id int(11) NOT NULL AUTO_INCREMENT,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
nick_name varchar(32) NOT NULL,
password char(64) DEFAULT NULL,
email_b varchar(32) DEFAULT NULL,
status varchar(16) DEFAULT NULL,
PRIMARY KEY (id)
);

–用户个人详细信息表

Create TABLE user_profile (
user_id int(11) NOT NULL,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
sexuality char(1) NOT NULL,
msn varchar(32) DEFAULT NULL,
sign varchar(64) DEFAULT NULL,
birthday date DEFAULT NULL,
hobby varchar(64) DEFAULT NULL,
location varchar(64) DEFAULT NULL,
description varchar(1024) DEFAULT NULL,
PRIMARY KEY (user_id)
);

–用户分组表

Create TABLE user_group (
user_id int(11) NOT NULL,
gmt_create datetime NOT NULL,
gmt_modified datetime NOT NULL,
group_id int(11) NOT NULL,
user_type int(11) NOT NULL,
status varchar(16) NOT NULL,
PRIMARY KEY (user_id,group_id)
);

2009-08-17生活琐记

Linux跨网络运行X Window程序已关闭评论

Linux跨网络运行X Window程序

X Window在设计上就是跨网络的,X Client是需要图形显示的应用程序, X Server则负责具体显示和传递用户交互行为。二者之间通信的协议称为 X Protocol,X协议。

基于主机验证的X Window配置

(1) 在X Server端,加入允许发送X Request的机器地址。

$ xhost +192.168.0.1

关于xhost的用法示例:

$ xhost -192.168.0.1 #取消192.168.0.1发送X Request到本机
$ xhost + #允许所有主机发送X Request到本机
$ xhost + #再次执行该命令取消允许所有主机的授权

此外,可在/etc/X*.hosts中永久加入某些授权主机,其中*是本机显示编号,比如X0.hosts。细节可看man xhost的说明。

192.168.0.1
192.168.0.2

(2) 现在,就可以ssh(可能需要配置ssh转发X11数据,我没尝试过)或者telnet到X Client机器,并运行X Window应用程序,而显示和操作在X Server端。

$ xeyes -display 192.168.0.254:0

其中192.168.0.254是(1)中配置的主机,后面的:0表示发送到0号显示屏幕。有些X程序不支持-display参数,此时可考虑导出DISPLAY环境变量。

$ export DISPLAY=192.168.0.254:0

也许你会问,一台机器可以有多个显示屏幕吗?有的,默认启动的屏幕为0,不过你还可以启动多个。对于gdm启动X Window的方式,你可以修改/etc/X11/gdm/gdm.conf:

0=/usr/bin/X11/X -bpp 8 vt7
1=/usr/bin/X11/X -bpp 8 vt9
...

-bpp.参数指定颜色数,此处为8位色深。vt7表示Ctrl+Alt+F7可切换到该屏幕,vt9表示Ctrl+Alt+F9。你可以指定任意数目的显示屏幕。

如果要配置不同屏幕的登录界面,可执行如下操作:

$ cp /etc/X11/gdm/Init/Default /etc/X11/gdm/Init/:0
$ cp /etc/X11/gdm/Init/Default /etc/X11/gdm/Init/:1

然后可修改其中的配置命令。

对于startx启动X Window的方式,可直接在命令行指定,比如 startx — :1。

基于每用户验证的X Window配置

基本步骤是:先在X Server端的用户目录生成用户的cookie,然后把该cookie加入到X Client的用户目录。这样X Client程序运行的时候,会根据当前的DISPLAY搜寻cookie信息,并发送到X Server,从而得到验证。

因此,首先需要在X Server端生成cookie,可用xauth命令。

$ xauth
Using authority file /home/yingyuan/.Xauthority
xauth>list
192.168.0.199/unix:0 MIT-MAGIC-COOKIE-1 8432567fa3ae2341
xauth>add 192.168.0.199:0 MIT-MAGIC-COOKIE-1 8432567fa3ae2341
xauth>list
192.168.0.199/unix:0 MIT-MAGIC-COOKIE-1 8432567fa3ae2341
192.168.0.199:0 MIT-MAGIC-COOKIE-1 8432567fa3ae2341
xauth>exit

系统原来就有了一个cookie,我们用add命令新加了一个。

那么,如何把cookie传递给X Client呢?实现方法有三种,以下分别介绍。

(1) 直接把~/.Xauthority从X Server复制为X Client下的~/.Xauthority。这是最简单的实现办法。

(2) 用xauth的extract和merge命令。

在X Server端,

$ xauth
...
xauth>extract MyCookie 192.168.0.199:0
xauth>exit

然后我们把MyCookie文件传到X Client,并在X Client运行如下命令,

$ xauth
...
xauth>merge MyCookie
xauth>exit

(3) 记下X Server端的cookie值(用xauth的list可查看),

$ xauth
...
xauth>list
192.168.0.199/unix:0 MIT-MAGIC-COOKIE-1 8432567fa3ae2341
192.168.0.199:0 MIT-MAGIC-COOKIE-1 8432567fa3ae2341
xauth>exit

然后在X Client用xauth的add添加到.Xauthority文件。

$ xauth
...
xauth>add 192.168.0.199:0 MIT-MAGIC-COOKIE-1 8432567fa3ae2341
xauth>exit

X Window为我们运行程序提供了很大的灵活性,不是一般的GUI操作系统所能比拟的。Microsoft Windows可以通过运行X OnNet、X-WinPro、Omni-X等程序提供X Server服务,从而可以运行Linux上的X Client程序。

2009-08-17技术合集

通过PXE网络安装OpenBSD 4.2已关闭评论

通过PXE网络安装OpenBSD 4.2

1. 准备PXE服务

我的PXE服务安装在Ubuntu 7.10 Desktop环境,配置过程如下:

1.1 配置tftp

确保安装了xinetd,因为tftp是借助xinetd监听端口的,/etc/xinetd.d/tftp的内容如下:

service tftp
{
        socket_type = dgram
        protocol = udp
        wait = yes
        user = root
        server = /usr/sbin/in.tftpd
        server_args = -s /tftpboot
        disable = no
}

参数 “-s /tftpboot” 指定tftp的根目录为/tftpboot,这个目录的文件结构如下:

yingyuan@yyresearch:~$ ls -Rl /tftpboot/
/tftpboot/:
总用量 5024
-rw-r--r-- 1 root root 5068775 2007-11-27 18:25 bsd.rd
drwxr-xr-x 2 root root    4096 2007-11-28 10:59 etc
-rw-r--r-- 1 root root   52928 2007-11-27 18:25 pxeboot

/tftpboot/etc:
总用量 4
-rw-r--r-- 1 root root 12 2007-11-28 10:59 boot.conf

bsd.rd是OpenBSD的ram disk文件系统,pxeboot是PXE请求时返回的启动加载文件,这两个文件都可以从安装光盘或者从ftp镜像网站提取。boot.conf是由pxeboot读取的启动配置文件,内容只有一行:

boot bsd.rd

启动tftp服务,

yingyuan@yyresearch:~$ sudo /etc/init.d/xinetd restart

1.2 配置DHCP服务

/etc/dhcp3/dhcpd.conf的配置内容如下,

ddns-update-style none;
option domain-name "example.com";
option domain-name-servers 10.0.0.1;
default-lease-time 600;
max-lease-time 7200;

class "openbsd-pxeboot-class" {
        match pick-first-value (option dhcp-client-identifier, hardware);
        filename "pxeboot";
        next-server 10.0.0.1;
}

subclass "openbsd-pxeboot-class" 1:8:0:27:3B:56:0;

subnet 10.0.0.0 netmask 255.255.255.0 {
        pool {
                allow members of "openbsd-pxeboot-class";
                option routers 10.0.0.1;
                range 10.0.0.200 10.0.0.240;
        }
}

需要安装OpenBSD机器的网卡MAC地址是08:00:27:3B:56:00,协议是以太网(协议号是1),我们把它分到openbsd-pxeboot-class这个类里。

启动dhcp服务,

yingyuan@yyresearch:~$ sudo /etc/init.d/dhcp3-server restart

2. 准备HTTP网络安装文件

我只从OpenBSD的镜像FTP站点拷贝了一些必要的文件,放在Apache的OpenBSD/i386目录下,

yingyuan@yyresearch:~$ ls -l /var/www/OpenBSD/i386
总用量 145976
-rw-r--r-- 1 yingyuan yingyuan 42603450 2007-11-27 17:21 base42.tgz
-rw-r--r-- 1 yingyuan yingyuan  6229740 2007-11-27 17:16 bsd
-rw-r--r-- 1 yingyuan yingyuan  5068775 2007-11-27 17:13 bsd.rd
-rw-r--r-- 1 yingyuan yingyuan  5185536 2007-11-27 17:08 cd42.iso
-rw-r--r-- 1 yingyuan yingyuan 78804092 2007-11-27 17:31 comp42.tgz
-rw-r--r-- 1 yingyuan yingyuan  1240720 2007-11-27 17:34 etc42.tgz
-rw-r--r-- 1 yingyuan yingyuan      266 2007-11-28 12:27 index.txt
-rw-r--r-- 1 yingyuan yingyuan   100845 2007-11-27 17:00 INSTALL.i386
-rw-r--r-- 1 yingyuan yingyuan    22354 2007-11-27 17:02 INSTALL.linux
-rw-r--r-- 1 yingyuan yingyuan  7656850 2007-11-27 17:35 man42.tgz
-rw-r--r-- 1 yingyuan yingyuan     1287 2007-11-27 17:14 MD5
-rw-r--r-- 1 yingyuan yingyuan  2292887 2007-11-27 17:38 misc42.tgz
-rw-r--r-- 1 yingyuan yingyuan    52928 2007-11-27 17:14 pxeboot

启动www服务,

yingyuan@yyresearch:~$ sudo /etc/init.d/apache2 restart

3. 安装OpenBSD 4.2

把机器设置为从网络启动,一按电源按照提示操作就OK了。

分区的时候我选择把整块硬盘分为一个OpenBSD分区,标签分配如下,

标签          容量                                  挂载点
----------------------------
a      512M            /
b      512M            swap
c      整个硬盘
d      1G              /var
e      剩下的空间                    /usr

指定大小的时候以磁盘扇区(512 bytes)为单位,所以需要计算一下。每个标签之间默认间隔一个磁道。

2009-08-16技术合集

Memcache的备忘已关闭评论

Memcache的备忘

  • 用memcache保存session的例子,非常简单
     
    CODE:

    1. <?php
    2. $session_save_path = "tcp://$host:$port?persistent=1&weight=2&timeout=2&retry_interval=10, ,tcp://$host:$port ";
    3. ini_set(‘session.save_handler’, ‘memcache’);
    4. ini_set(‘session.save_path’, $session_save_path);
    5. ?>

     

  • memcache每一个item上限是1M,注意不要超出上限
  • memcache本身并不支持namespace,但是可以通过一些手段模拟出namespace的效果来,见Memcache 中模拟 namespace
  • 刚接触memcache的时候,可能会写出这样的代码来
    CODE:

    1. $zhang = $memcache->get(‘key1’);
    2. $li = $memcache->get(‘key2’);
    3. $wang = $memcache->get(‘key3’);

    这种写法实际运行效果是

    • get(key1) – 客户端发出请求 – 服务器端查询 – 客户端获取
    • get(key2) – 客户端 – 服务器端 – 客户端
    • get(key3) – 客户端 – 服务器端 – 客户端

    如此一来,会有三次客户端和服务器端交互的过程。但是如果用批量查询的方法,就只有一次交互的过程。比如:

     
    CODE:

    1. $all = $memcache->get(array(‘key1’, ‘key2’, ‘key3’));

    这样性能会有一些提升。对于其它程序语言来说,也封装了类似get_multi这样的方法。

  • 从数据库从查询获得一个列表,放到memcache里面保存起来是一个不错的主意,但是不要忘记memcache有1m限制。如果列表太大,可以考虑把数据分割开来,然后用key序列来保存这个列表数据,比如event_0_500来保存前500行,用event_0_1000保存500-1000行,在获取的时候可以用前面说的批量get来一次性得到这个列表。
  • 经常观察memcached的大小和命中率,方便调整缓存策略