操作系统 ： CentOS7.3.1611_x64

python版本：2.7.5

问题描述

Python的GIL会对CPU密集型的程序产生影响，如果完全使用Python来编程，怎么避开GIL的限制呢？

解决方案

在多线程中使用进程池来规避GIL的限制。具体如下：

1、使用multiprocessing模块来创建进程池；

2、将计算任务分配给不同的线程；

3、在任务线程中把任务提交给之前创建的进程池；

 

每当有线程要执行cpu密集型任务时，就把该任务提交到进程池中，然后进程池会将任务交给运行在另一个进程中的Python解释器。

当线程等待结果时会释放GIL，而此时的计算任务是在另一个单独的Python解释器中执行的，不再受到GIL的限制了。

在多核系统中采用这个方案能轻易地利用到所有的CPU核心。

 

假设有这样的worker函数：

def worker(arr):    s = 0    for n in arr :        arrTmp = range(1,n+1)        if len(arrTmp) == 0 : continue        rtmp = 1        for i in arrTmp :            rtmp *= i        s += rtmp    return s

完整代码如下：

普通单进程任务实现：

def main():    s = 0    tStart,tStop = 1,1000    for i in range(1,100):        #t = worker(range(tStart,tStop))        t = worker(range(1,1000))        s += t        tStart = tStop        tStop += 1000    print("len : ",len(str(s)))    print(s%10000)

完整代码如下： 

运行效果如下：

(py27env) [mike@localhost test]$ time python t1_normal.py('len : ', 2567)987real    0m17.919suser    0m17.915ssys     0m0.003s

使用进程池的实现：

def wokerThread(start,stop):    #r = gPool.apply(worker,(range(start,stop),))    r = gPool.apply(worker,(range(1,1000),))    q.put(r)# E-Mail : def main():    s = 0    thrdArr = []    tStart,tStop = 1,1000    for i in range(1,gCount+1):        thrd = threading.Thread(target=wokerThread,args=(tStart,tStop))        thrdArr.append(thrd)        tStart = tStop        tStop += 1000    for t in thrdArr :        t.daemon = True        t.start()    while not q.full(): time.sleep(0.1)    while not q.empty(): s += q.get()    print("len : ",len(str(s)))    print(s%10000)

完整代码如下：

运行效果如下：

(py27env) [mike@localhost test]$ time python t2_mp.pyqueue full('len : ', 2567)987real    0m4.917suser    0m18.356ssys     0m0.146s

可以看出使用上述方法可以规避GIL的限制（测试机器为i5 4核），程序的速度得到明显的提升。

好，就这些了，希望对你有帮助。

本文github地址：

欢迎补充