+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2019-07(1)

2019-08(94)

2019-09(101)

从零开始的Python学习Episode 23——进程

发布于2019-08-08 16:08     阅读(33)     评论(0)     点赞(5)     收藏(0)


---恢复内容开始---

进程

由于GIL的存在,python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing,只需要定义一个函数,Python会完成其他所有事情。借助这个包,可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、Lock等组件。

  multiprocessing包是Python中的多进程管理包。与threading.Thread类似,它可以利用multiprocessing.Process对象来创建一个进程。该进程可以运行在Python程序内部编写的函数。该Process对象与Thread对象的用法相同,也有start(), run(), join()的方法。此外multiprocessing包中也有Lock/Event/Semaphore/Condition类 (这些对象可以像多线程那样,通过参数传递给各个进程),用以同步进程,其用法与threading包中的同名类一致。所以,multiprocessing的很大一部份与threading使用同一套API,只不过换到了多进程的情境。

 

创建进程的两种方法

调用内置的方法

复制代码
from multiprocessing import Process
import time

def fun(name):
    print(name+' is running')
    time.sleep(2)
    print(name+' end')

if __name__ == '__main__':
    pro = Process(target=fun,args=('no1',))
    pro.start()
复制代码

自定义类

复制代码
from multiprocessing import Process
import os

class Myprocess(Process):
    def __init__(self,name):
        Process.__init__(self)
        self.name = name
    def run(self):
        print(os.getpid())
        print(self.name+' is running')
if __name__=='__main__':
    p1 = Myprocess('1')
    p2=Myprocess('2')
    p3=Myprocess('3')

    p1.start()
    p2.start()
    p3.start()
复制代码

注意:在运行的时候要在main里面运行,因为子进程是通过导入模块的方式拿到父进程的代码,如果没有main会一直开启子进程,而子进程的申请是需要开辟内存以及申请pid等的。

 

 

进程间通讯

队列queue()

使用方法跟threading里的queue类似,但是不同进程间内存是不共享的,所以要用下面的方法

复制代码
from multiprocessing import Process, Queue

def f(q,n):
    q.put('hello')

def f1(q):
    print(q.get())
if __name__ == '__main__':
    q = Queue()
    for i in range(2):
        p = Process(target=f, args=(q,i))
        p.start()
    tp1 = Process(target=f1,args=(q,))
    tp2 = Process(target=f1, args=(q,))
    tp3 = Process(target=f1, args=(q,))
    tp1.start()
    tp2.start()
复制代码

要传入一个公共的queue来保证是同一个队列。

 

管道Pipes

Pipe()返回两个值(conn1,conn2),作为通讯的两个端。通过设置duplex参数来设置两个端口的功能,如果duplex参数为True(默认值),那么这个管道是全双工模式,也就是说conn1和conn2均可收发。duplex为False,conn1只负责接受消息,conn2只负责发送消息。

复制代码
from multiprocessing import Process, Pipe


def s(conn):
    conn.send('hello, how do you do')
    conn.close()

def r(conn):
    print(conn.recv())


if __name__ == '__main__':
    conn1, conn2 = Pipe()
    p1 = Process(target=s, args=(conn1,))
    p2 = Process(target=r, args=(conn2,))
    p1.start()
    p2.start()
复制代码

 

Managers实现进程之间的数据共享

manager支持 listdictNamespaceLockRLockSemaphoreBoundedSemaphoreConditionEventBarrierQueueValue,Array等类型的共享

复制代码
from multiprocessing import Process, Manager

def f(d, l,n):
    d[n] = '1'
    d['2'] = 2
    d[0.25] = None
    l.append(n)
    print(l)

if __name__ == '__main__':
    with Manager() as manager:
        d = manager.dict()
        l = manager.list(range(5))
        p_list = []
        for i in range(10):
            p = Process(target=f, args=(d, l,i))
            p.start()
            p_list.append(p)
        for res in p_list:
            res.join()

        print(d)
        print(l)
复制代码

待续



所属网站分类: 技术文章 > python文章

作者:iuie9493

链接: http://www.pythonheidong.com/blog/article/15167/

来源:python黑洞网 www.pythonheidong.com

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

5 0

赞一赞 or 踩一踩

收藏该文
已收藏

评论内容:(最多支持255个字符)

相似文章

  贝叶斯思维:统计建模的Python学习法(Think Bayes) pdf下载

  Beginning Python Games Development(2nd) pdf下载

  FlaskWeb开发:基于Python的Web应用开发实战 pdf下载

  Head First Python(中文版)pdf下载

  Dive Into Python 3 中文版 pdf下载

  The Hitchhiker’s Guide to Python pdf下载

  Python3程序开发指南(第二版) pdf下载

  effective python编写高质量Python代码的59个有效方法 pdf下载

  Python学习手册 : (第3版) pdf下载

  Python Algorithms : Mastering Basic Algorithms in the Python Language pdf下载

优质资源排行榜

 python经典电子书大合集下载 下载次数 8104

 零基础java开发工程师视频教程全套,基础+进阶+项目实战(152G) 下载次数 7543

 零基础前端开发工程师视频教程全套,基础+进阶+项目实战(共120G) 下载次数 7438

 零基础大数据全套视频400G 下载次数 7001

 零基础php开发工程师视频教程全套,基础+进阶+项目实战(80G) 下载次数 6891

 零基础软件测试全套系统教程 下载次数 6501

 全套人工智能视频+pdf 下载次数 6436

 IOS全套视频教程 基础班+就业班 下载次数 4679

 编程小白的第一本python入门书(高清版)PDF下载 下载次数 3076

10  effective python编写高质量Python代码的59个有效方法 pdf下载 下载次数 3047

11  Python深度学习 pdf下载 下载次数 3035

12  使用python+pygame开发的小游戏《嗷大喵快跑》源码下载 下载次数 2998

13  python项目开发视频 下载次数 2996

14  python从入门到精通视频(全60集)python视频教程下载 下载次数 2993

15  黑马2017年java就业班全套视频教程 下载次数 2992

16  python实战项目 平铺图像板系统源码下载,适用于想要保存,标记和共享图像,视频和网页的用户 下载次数 2987

17  利用python实现程序内存监控脚本 下载次数 2986

18  老男孩python自动化视频 下载次数 2979

19  树莓派Python编程指南 pdf下载 下载次数 2976

20  尚硅谷Go学科全套视频 下载次数 2972

21  老王python基础+进阶+项目视频教程 下载次数 2971

22  某硅谷Python项目+AI课程+核心基础视频教程 下载次数 2966

23  Web前端实战精品课程 下载次数 2966

24  Python基础教程 pdf下载 下载次数 2962

25  tron python小游戏 下载次数 2962

26  [小甲鱼]零基础入门学习Python 下载次数 2959

27  老男孩python全栈开发15期 下载次数 2958

28  2017最新web前端开发完整视频教程附源码 下载次数 2948

29  最新全套完整JAVAWEB2018开发视频 下载次数 2926

30  Python算法教程_中文版 pdf下载 下载次数 2910

31  Spring boot实战视频6套下载 下载次数 2909

32  python全套视频十五期(116G) 下载次数 2901

33  Python项目实战 下载次数 2882

34  python全自动抢火车票教程-python视频教程下载 下载次数 2882

35  30个小时搞定Python网络爬虫 含源码 下载次数 2881

36  尚硅谷大数据之Hadoop视频 下载次数 2876

37  简明python教程 (A Byte of Python)pdf下载 下载次数 2870

38  Python A~B~C~ python视频教程下载 下载次数 2864

39  数据结构与算法视频(小甲鱼讲解-全) 下载次数 2863

40  web小程序表白天数倒计时源码下载 下载次数 2862

41  python基础视频教程 下载次数 2862

42  Python高性能编程 pdf下载 下载次数 2858

43  Python Cookbook第三版中文PDF下载高清完整扫描原版 下载次数 2856

44  go语言全套视频 下载次数 2852

45  清华学霸尹成Python爬虫视频-ok 下载次数 2845

46  黑马前端36期最全视频和代码 下载次数 2841

47  2018最新全套web前端视频教程+源码下载 下载次数 2839

48  利用Python进行数据分析 pdf下载 下载次数 2834

49  老男孩Python自动化开发12期 老男孩最强一期python高级运维开发课程 第二部分 70GB 下载次数 2832

50  python视频 神经网络 Tensorflow 下载次数 2827