浏览模式: 标准 | 列表 | 订阅

用python来开发webgame服务端(1)

作者:ciniao 时间:2011-08-26 分类:python 8 Comments

    刺鸟原创文章,转载请注明出处
    在开始之前,先简单描述一下项目的特点:我要实现的是一个mmorpg的webgame,地图上需要看到其他的玩家,战斗系统采用半回合制的模式,所谓的半回合制,即是:采用回合制的画面布局,友方和敌方分列左右,但是战斗的中途,其他的玩家可以及时的随时插入这场战斗。当然,作为一款rpgGame,装备加工,NPC对话,任务逻辑等是必不可少的了。

    在分析了需求以后,我为这款game的程序结构定义如下:客户端,毋庸置疑肯定是flash,服务端分为两块:一是通讯不需要很及时,但是会涉及到很多逻辑处理的模块(如:各UI窗口内的逻辑,NPC对话逻辑,装备加工等),我为此选择了PHP作为服务端,二是需要及时的通讯,但是逻辑处理相对简单的模块(如:地图模块,战斗系统,聊天等),从性能上考虑,要实现这些模块,首选的当然是C、C++等,但若选择这样太底层的语言,再加上当前的人员配置,必将意味着开发周期的增加。经过讨论,在ZengRong的建议下,决定尝试使用python(我选择的版本是2.6,以下代码均基于该版本)。

    首先,要测试的是python的socket处理能力,我选择了Twisted作为网络处理库,在我的开发机(windows 2003)上安装Twisted。安装过程很easy,到pypi上找到Twisted的最新版本:http://pypi.python.org/pypi/Twisted/ 下载Twisted-11.0.0.winxp32-py2.6.msi安装即可。

测试是否安装成功:
from twisted.internet import reactor
在我的电脑上,运行该脚本后提示缺少模块:
ImportError: No module named zope.interface
http://pypi.python.org/pypi/zope.interface 下载并安装最新的zope.interface模块:zope.interface-3.7.0-py2.6-win32.egg。好吧,也许很多新手看到这个“蛋”一样的egg文件,不知如何安装,其实很简单,你需要的有以下几步:

1:先下载并运行一个叫做ez_setup.py的脚本,这个脚本会自动到网上下载相关的安装程序,提示完成后,会在python安装目录的的scripts文件下生成几个exe可执行文件。
2:将zope.interface-3.6.4-py2.6-win32.egg放到{python安装目录}\Scripts下
3:开始->运行->CMD

C:\>cd Python26\Scripts
C:\Python26\Scripts>easy_install.exe zope.interface-3.6.4-py2.6-win32.egg

安装完毕。接下来写一最简单的个socket的服务器:

from twisted.internet.protocol import Factory,Protocol
from twisted.internet import reactor
class gameSocket(Protocol):
    #有新用户连接至服务器
    def connectionMade(self):
        print 'New Client'
    
    #客户端断开连接
    def connectionLost(self,reason):
        print 'Lost Client'
    
    #收到客户端发送数据
    def dataReceived(self, data):
        print 'Get data:' + str(data)
if __name__=='__main__':
    f = Factory()
    f.protocol = gameSocket
    reactor.listenTCP(5200,f)
    print 'server started...'
    reactor.run()

    你没看错,在python的世界里,一切就是这个简单,这样就实现了一个socket服务器,监听5200端口,我们来运行它试试,看能否正常工作,作为现阶段的socket客户端,最简单的当然就是telnet了:
telnet 127.0.0.1 5200
   

   BingGo!一切正常,但是它的处理能力,并发连接等性能如何呢?一切都还需要进一步的测试,不过我们开了个好头,不是吗?

#本文由刺鸟原创,欢迎转载,但请保留出处,也欢迎对本文感兴趣的同学多多交流。#

用python来开发webgame服务端(2)

作者:ciniao 时间:2011-08-30 分类:python 6 Comments

    刺鸟原创文章,转载请注明出处
    就在刚才,我们用基于python下的Twisted库写了一个简单的socket服务器,不知道它的性能和基本的承载到底如何呢?接下来,我们作一个简单的测试。

    说是简单的测试,一点也不假,因为这确实只是最基本的测试,流程是这样的:用python写一个客户端,设定连接数,然后向我们指定的端口发起socket连接,连接成功后,向服务端发送一个字符串并一直保持连接状态,服务端在收到客户端的内容后,向它回复:bingo!i got your msg:{content}。

    好啦,有了需求,开始动手吧!把我们之前的服务端代码略作修改:

from twisted.internet.protocol import Factory,Protocol
from twisted.internet import reactor

class gameSocket(Protocol):
    #有新用户连接至服务器
    def connectionMade(self):
        print 'New Client'
    
    #客户端断开连接
    def connectionLost(self,reason):
        print 'Lost Client'
    
    #收到客户端发送数据
    def dataReceived(self, data):
        print 'Get data:' + str(data)
        #向该客户端发送数据
        self.transport.write('bingo!i got your msg:'+ str(data))

if __name__=='__main__':
    f = Factory()
    f.protocol = gameSocket
    reactor.listenTCP(5200,f)
    print 'server started...'
    reactor.run()

    接下来,是要写一个客户端来连接它,然后用消息炸弹轰炸它!为了让客户端能高并发的测试,我选择了Stackless Python,来吧:

import socket,stackless
sockIndex = 1

def connToServer ():
    global sockIndex
    #创建一个socket连接到127.0.0.1:5200,并发送内容
    conn = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    conn.connect(("127.0.0.1", 5200))
    conn.send("hi,I'm NO."+ str(sockIndex))

    print sockIndex
    sockIndex = sockIndex + 1

    while True:
        #等待服务端返回数据,并输出
        rev = conn.recv(1024)
        print 'get server msg:' + str(rev)
        stackless.schedule()

#先来500个并发试试
for i in range(0,500):
    stackless.tasklet(connToServer)()

stackless.run()

准备就绪!开火!


    毫无压力,瞬间所有的连接全部都处理完成。那我们来加大火力,将客户端代码中的500修改为3000试试看。


    悲剧了,当客户端连接成功512个之后,服务端开始报错,难道python+Twisted如此的不堪一击?非也,经过查阅Twisted的官方文档,我们会发现,twisted默认用的是select()模式,而Windows的对文件描述符(file descriptor)有一定限制,这个限制值是512,在Linux的下这个限制为1024, 如果超过这个限制值,就会出现上面的异常。如果要在windows中有更好的表现,看来得用iocp,而linux下,用epoll则是更合适的方案,而Twisted自身就已经支持了这2种模式,看看如何启用:
windows:
from twisted.internet import iocpreactor
iocpreactor.install()

linux:
from twisted.internet import epollreactor
epollreactor.install()

    我的程序是在windows上开发的,最终部署到linux上,所以得写一个简单的判断来根据系统选择对应的模式,完整的服务端代码调整为:
import os
if os.name!='nt':
    from twisted.internet import epollreactor
    epollreactor.install()    
else:
    from twisted.internet import iocpreactor
    iocpreactor.install()
from twisted.internet.protocol import Factory,Protocol
from twisted.internet import reactor

class gameSocket(Protocol):
    #有新用户连接至服务器
    def connectionMade(self):
        print 'New Client'
    
    #客户端断开连接
    def connectionLost(self,reason):
        print 'Lost Client'
    
    #收到客户端发送数据
    def dataReceived(self, data):
        print 'Get data:' + str(data)
        #向该客户端发送数据
        self.transport.write('bingo!i got your msg:'+ str(data))

if __name__=='__main__':
    f = Factory()
    f.protocol = gameSocket
    reactor.listenTCP(5200,f)
    print 'server started...'
    reactor.run()

    我们再来试试刚才的3000个连接。


    OK,这次顺利的连接上了,在我用如上代码对工作机进行简单测试时,同时上万个连接无压力,而在实际的webgame应用环境中,达到上万个连接的可能性不大,当然,这里只是简单的连接,并未处理游戏逻辑,因此不能作为最终结论。
    不过就算单台服务器处理不过来,只要程序构架合理,我们也还可以将服务端分布到不同的服务器,所以,单从socket并发这点来看,python已经达到了我的需求。我将以以上服务端代码作为原型,来尝试开发一个webgame的服务端。

#本文由刺鸟原创,欢迎转载,但请保留出处,也欢迎对本文感兴趣的同学多多交流。#

用python来开发webgame服务端(3)

作者:ciniao 时间:2011-08-27 分类:python 6 Comments

    刺鸟原创文章,转载请注明出处
    在之前的准备工作中,我们已经建立了一个socket服务器,并且经过了简单的测试,得到的结论是python可以满足我们的需求,那么接下来,我们要解决的是身为webgame服务端必须的几个功能模块:

    一、记录和维护所有客户机的状态
    更新:按照jinmin_lan同学的建议,这里直接用self.transport.sessionno即可,查twisted文档的时候我忽略了这个东西。因此无需按照我下面的方法来手动维护,好吧,我造了一次轮子……    

    为了实现这个功能,我们先回过头来分析下之前的服务端代码:
    1、每个客户端连接会有一个gameSocket对象被创建,然后触发connectionMade事件。
    2、客户端数据到达的时候触发dataReceived事件
    3、连接断开的时候触发connectionLost事件,然后对象被析构

    根据通常的处理思路,我们需要为每个客户端建立一个编号,即传说中的sockid,然后维护一个client和sockid之间的双向字典,以便我们能够简单的互相反查。我决定维护2份数据,以空间换时间,新建一个sockMana类来实现该功能:
# sockmana.py
class SockMana:
    def __init__ (self):
        self.sockNum = 0 #记录当前的在线总数
        self.sockIndex = 1 #累加sockid
        self.client2id = {} #保存client->sockid字典
        self.id2client = {} #保存sockid->client字典

    def addClient(self,client):
        #增加一个客户端
        print '** add client **'
        self.sockNum = self.sockNum + 1
        self.client2id[client] = self.sockIndex
        self.id2client[self.sockIndex] = client
        self.sockIndex = self.sockIndex + 1

        print self.sockNum
        print self.client2id
        print self.id2client
    
    def delClient(self,client):
        #删除一个客户端
        print '** del client **'
        if client in self.client2id:
            self.sockNum = self.sockNum - 1
            _sockid = self.client2id[client]
            del self.client2id[client]
            del self.id2client[_sockid]

            print self.client2id
            print self.id2client
    
    def getSockid(self,client):
        #通过client获取sockid
        if client in self.client2id:
            return self.client2id[client]
        else:
            return None
        
    def getClient(self,sockid):
        #通过sockid获取client
        if sockid in self.id2client:
            return self.id2client[sockid]
        else:
            return None    

#初始化连接管理器
sockMana = SockMana()

    接下来在我们的socket服务端代码中import它,并增加调用事件,然后略修改dataReceived事件,当收到客户端数据的时候,我们向客户端返回它的sockid,完整的服务端代码调整为:

import os
if os.name!='nt':
    from twisted.internet import epollreactor
    epollreactor.install()    
else:
    from twisted.internet import iocpreactor
    iocpreactor.install()
from twisted.internet.protocol import Factory,Protocol
from twisted.internet import reactor
from sockmana import sockMana

class gameSocket(Protocol):
    #有新用户连接至服务器
    def connectionMade(self):
        sockMana.addClient(self)
        print 'New Client'
    
    #客户端断开连接
    def connectionLost(self,reason):
        sockMana.delClient(self)
        print 'Lost Client'
    
    #收到客户端发送数据
    def dataReceived(self, data):
        print 'Get data:' + str(data)
        #向该客户端发送数据
        self.transport.write('your sockid is:'+ str(sockMana.getSockid(self)))
    
if __name__=='__main__':
    f = Factory()
    f.protocol = gameSocket
    reactor.listenTCP(5200,f)
    print 'server started...'
    reactor.run()

    然后我们依然用telnet,来建立2个连接试试。
   

    可以看到,每增加一个客户端,我们的sockMana类中就会分别增加2个 key->val的键值对,通过sockMana.getSockid方法即可获取客户端的sockid,这样我们就为每个客户端建立了一个唯一且可用于传递和储存的数值编号,在以后的逻辑处理中,这将作为客户端的唯一标识。

    好了,我们断开其中一个客户端,看看我们的sockMana工作正常否?
    

    Yes!和预料中的一样,一切工作正常。我们又向前迈进了小小的一步,下面,我们得研究研究服务端如何和客户端之间高效的传输数据了。

#本文由刺鸟原创,欢迎转载,但请保留出处,也欢迎对本文感兴趣的同学多多交流。#

用python来开发webgame服务端(4)

作者:ciniao 时间:2011-08-30 分类:python 3 Comments

    刺鸟原创文章,转载请注明出处
    前面的工作都已准备就绪,现在我们得来看看服务端怎么和客户端之间进行通信了,Python和FLASH之间的通信,我整理为以下3种:

    1、用现成的协议及类库处理,比如:pyamf
    2、自己封包进行二进制数据流通信
    3、用JSON字符串通信

一、JSON和二进制数据流的优缺比较
    pyamf有比较现成的文档,因此,这里我主要研究研究后两种。我们先简单分析下JSON和数据流各自的优缺点:
    JSON:
    优点:数据结构灵活,无需先制定复杂的协议;跨语言之间基本都有完整的解决方案。
    缺点:传送的数据因为要增加json的特征符(',"",:,{等),导致数据量较大;明文传输,无安全性可言。
    二进制数据流:
    优点:数据量小,无协议文档的话,较难破解内容。
    缺点:数据不灵活,需要先制定足够完善的协议文档。

    权衡利弊,在当前项目中,采用二进制数据流是更为合适的方案。

二、拆包和粘包
    我们下面来了解下python对于数据流通信这块的功能。根据TCP/IP通信的特点,不管是采用JSON字符串,还是二进制数据流,都必须面临的一个问题是:数据的拆包和粘包,具体的问题表现如下:
    采用如下代码,向socket服务器发送5000长度的数据,可以看到,在数据大于4000左右的时候被拆包,触发了服务端的2次dataReceived事件。
conn = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
conn.connect(("127.0.0.1", 5200))
conn.send('abcdefghij'*500)

服务端接收情况:


    也即是说,在这里我们得粘包,保证数据完整后,才执行对应的逻辑。还有另外一种情况:客户端两次短暂的间隔时间内向服务端发送数据流时,TCP协议会将这2次数据合并为一次后,发送给服务端,如果遇到这样的情况,就需要我们对数据进行拆包处理。

三、常见的数据格式
    传输的数据中,常见的包括以下类型:字符串(长度可变),字节(1位),长整数(4位),无符号整形(4位),短整形(2位)。以上数据中,字符串是长度未定的,因此我们得使用一个短整型在字符串前,以便程序能知道后面的string占了几位。
    另外,为了计算封包的完整性,我们需要在封包首尾各指定一特殊的标示位。为了快速的读取数据,我们需要在封包头记录其长度。综上,我们制定了如下封包格式:
0x11 + 封包长度 + 协议号 + 数据 + 0x22    当中协议号int型(如:3290),如果数据是string,则保存为 short(str长度) + string(str内容)

四、python的二进制处理库
    有了封包格式,我们再来看下python中如何编码实现封包,这时,我们需要用到struct库,struct库主要有以下3个方法:
struct.pack(fmt,v1,v2,.....)    将v1,v2...等参数的值进行pack处理,pack的格式由fmt指定。被pack参数必须严格符合fmt。最后返回一个包装后的字符串。

struct.unpack(fmt,string)    顾名思义,解包,返回一个由解包数据(string)按照fmt格式解包后的元组(即使仅有一个数据也会被解包成远祖)。

struct.calcsize(fmt)    用来计算fmt格式所描述的结构的大小

    其中,fmt的格式所代表的含义和更多对struct的介绍,请浏览官方文档

五、我们的pack
    接下来,需要写一个方法,来按照我们的封包格式,对数据进行pack处理。

#coding:utf-8
#基于python2.6
'''
按照我的习惯,重写struct的格式化符为:
s=字符串
b=字节
i=长整数
u=无符号整形
n=短整形
'''
datafmt = {
    '1001':'ssbi',
    #指定1001协议的数据格式,如果按如上指定,则表示该封包由
    #字符串 + 字符串 + 字节 + 长整型
    #构成
}
import struct
#对数据进行pack数据 comid(string)=协议号 data(list)=数据内容
def pack(comid,data):
    global datafmt
    if comid not in datafmt:
        print comid,'协议fmt格式读取错误'
    
    fmtStr = datafmt[comid]
    fmtStrRes = []
    idx = 0
    fixString ={}

    for k in fmtStr:
        if k=='n':
            fmtStrRes.append('h')
        elif k=='b':
            fmtStrRes.append('b')
        elif k=='u':
            fmtStrRes.append('I')
        elif k=='i':
            fmtStrRes.append('i')
        elif k=='s':
            _strLength = len(data[idx])
            fixString[idx] = _strLength #记录str的长度
            fmtStrRes.append('h'+ str(_strLength) +'s')
        idx = idx + 1
    
    fmt = '<'+''.join(fmtStrRes)

    #将字符串的长度值插入到data中
    if len(fixString)>0:
        idx = 0
        for k,v in fixString.items():
            data.insert(k+idx,v)
            idx = idx + 1
    
    print 'data=',data
    print 'fmt=',fmt

    res = struct.pack(fmt,*data)
    print 'pack=',res

pack('1001',['abc','中文',3,7654])

运行看看:


至于unpack和拆包粘包,就交给你来自己练手了,应该没有难度了吧!

#本文由刺鸟原创,欢迎转载,但请保留出处,也欢迎对本文感兴趣的同学多多交流。#

用python来开发webgame服务端(5)

作者:ciniao 时间:2011-09-06 分类:python 9 Comments

    刺鸟原创文章,转载请注明出处
    在前面的文章中,我们已经开始了不少逻辑功能的开发,在这期间也有不少可以分享的经验点,这个我们以后慢慢道来。今天,我们主要讨论下如何让服务端能进行分布式部署和工作。

    一:为什么要支持分布式部署和开发
    众所周知,python是单线程的语言,存在GIL锁、无法利用多核CPU等诸多限制,为了能让服务端能承载更多的用户,我们必须让程序能在逻辑上、甚至物理上分开,当用户达到一定数量的时候,我们能新开一个进程来响应请求,或多加一台服务器来处理请求。这样就能达到理论上无限扩展的可能性。

    二:如何让程序能达到上述效果
    我们简单分析下我们的服务端要实现的功能:
    战斗服务器:
    通过之前的文章可以知道,我们的战斗是类似回合制的战斗模式,每场战斗之间的数据是无关联的,仅需要处理战斗中各玩家之间的数据交互即可,这很容易可以让逻辑分开处理。
    地图服务器:
    每个地图之间的玩家,在大部分时间里,也是不需要交互的,因此我们可以按地图来处理逻辑,在切换地图时,若下一张地图的服务进程在其他服务器,则先将当前地图的数据保存到memcache,连接到下一个服务器的时候,在从memcache中将数据取回即可。
    聊天服务器:
    在不同的地图的玩家,会存在聊天的交互(比如:私聊,世界频道,公告频道等),因此所有的玩家都需要连接至一个公共的聊天服务进程,来达到数据交互的目的。

    三:源代码
    下面,我以战斗服务器为例来看看,首先,得有一个主调度进程,客户端在进入战斗前,先连接该进程,该进程在收到请求后,根据各战斗逻辑进程当前玩家的数量,来判定是否需要开启新的进程,并返回当前人数最少的进程的IP:PORT。

    我通过以下方法来开启战斗进程:
FIGHTNUM = {}
MAXNUM = 1000 #每个进程的承载上限 超过该值自动新开启一个服务进程
NOWFIGHTPORT = 7000 #战斗服务进程初始端口

#开启一个新的战斗服务进程
import subprocess
def openFight():
    global NOWFIGHTPORT,FIGHTNUM
    FIGHTNUM[NOWFIGHTPORT] = 0 #该服务器当前战斗数
    subprocess.Popen('python '+os.getcwd()+'/fightserver.py ' + str(NOWFIGHTPORT)+' &',shell=True) #运行脚本
    NOWFIGHTPORT = NOWFIGHTPORT + 1
openFight() #初始化,开启一个服务进程

新建一个调动服务进程,在dataReceived时处理:
def dataReceived(self, data):
    global MAXNUM
    msgArr = data.split('|')
    if msgArr[0] == 'get':
        n = sorted(FIGHTNUM.items(), key=lambda d: d[1]) #按value低->高排序
        #达到预设上限,开启新进程
        if n[0][1]>=MAXNUM:
            openFight()
            p = NOWFIGHTPORT #返回新开启的进程的port
        else:
            p = n[0][0] #返回人数最少的进程的port
        client.transport.write(str(p))
    elif msgArr[0] == 'add':
        FIGHTNUM[msgArr[1]] = FIGHTNUM[msgArr[1]] + 1
    elif msgArr[0] == 'del':
        FIGHTNUM[msgArr[1]] = FIGHTNUM[msgArr[1]] - 1
    client.transport.loseConnection()

    在进入战斗前,连接调度进程的端口,并发送'get',调度程序会返回一个战斗进程的port,客户端连接该port,连接成功后,向调度端口发送'add|7001',战斗结束时,向调度端口发送'del|7001'(其中的7001为战斗服务器监听的端口),这样即可达到在同服务器分布的目的,实现了这一步,那跨服务器的分布也就变得很容易了。
    对于地图服务器也可以采用类似的处理方法,完善以上功能后,我们的服务端就变得更加强壮了,承载人数方面可以也可以多了一个保障。

#本文由刺鸟原创,欢迎转载,但请保留出处,也欢迎对本文感兴趣的同学多多交流。#