多线程threading详解

什么是多线程:

默认情况下,一个程序只有一个进程和一个线程,代码是依次线性执行的。而多线程则可以并发执行,一次性多个人做多件事,自然比单线程更快。

如何创建一个基本的多线程:

使用threading模块下的Thread类即可创建一个线程。这个类有一个target参数,需要指定一个函数,那么以后这个线程执行的时候,就会执行这个函数的代码。

示例:

import threading
import time

def writing():
    for i in range(3):
        print(str(i)+'正在写代码……')
        time.sleep(1)

def drawing():
    for i in range(3):
        print(str(i)+'正在画图……')
        time.sleep(1)

def single_thread():  #单线程
    writing()
    drawing()

def mutli_thread():  #多线程
    th1 = threading.Thread(target=writing)
    th2 = threading.Thread(target=drawing)

    th1.start()
    th2.start()

if __name__ == '__main__':
    single_thread()
    mutli_thread()

查看当前线程:

  1. threading.current_thread:在线程中执行这个函数,会返回当前线程的对象。
  2. threading.enumerate:获取整个程序中所有的线程。

继承自threading.Thread类:

  1. 我们自己写的类必须继承自threading.Thread类。
  2. 线程代码需要放在run方法中执行。
  3. 以后创建线程的时候,直接使用我们自己创建的类来创建线程就可以了。
  4. 为什么要使用类的方式创建线程呢?因为类可以更加方便的管理我们的代码,可以让我们使用面向对象的方式进行编程。

示例:

import threading
import time


#写成类的方式创建多线程
class WritingThread(threading.Thread):
    def run(self):
        the_thread = threading.current_thread()
        print(the_thread.name)
        for i in range(3):
            print(str(i)+'正在写代码')
            time.sleep(1)


class DrawThread(threading.Thread):
    def run(self):
        the_thread = threading.current_thread()
        print(the_thread.name)
        for i in range(3):
            print(str(i)+'正在画图')
            time.sleep(1)

def mutli_thread():
    th1 = WritingThread()
    th2 = DrawThread()

    th1.start()
    th2.start()

if __name__ == '__main__':
    mutli_thread()

全局变量共享的问题:

在多线程中,如果需要修改全局变量,那么需要在修改全局变量的地方使用锁锁起来,执行完成后再把锁释放掉。
使用锁的原则:

  1. 把尽量少的和不耗时的代码放到锁中执行。
  2. 代码执行完成后要记得释放锁。
    在Python中,可以使用threading.Lock来创建锁,lock.acquire()是上锁操作,lock.release()是释放锁的操作。

示例:

import threading

value = 0  #全局变量
rlock = threading.Lock()  #定义锁

def add_value():
    global value
    rlock.acquire()  #锁定
    for i in range(1000000):
        value += 1
    rlock.release()  #解锁
    print(value)


def main():
    for x in range(2):
        th = threading.Thread(target=add_value)
        th.start()

if __name__ == '__main__':
    main()

生产者和消费者模式:

生产者和消费者模式是多线程开发中经常见到的一种模式。生产者的线程专门用来生产一些数据,然后存放到一个中间的变量中。消费者再从这个中间的变量中取出数据进行消费。通过生产者和消费者模式,可以让代码达到高内聚低耦合的目标,程序分工更加明确,线程更加方便管理。

Lock版本的生产者和消费者模式:

import threading
import random

gMoney = 0
gLock = threading.Lock()
gTimes = 0


class Producer(threading.Thread):
    def run(self) -> None:
        global gMoney
        global gTimes
        while True:
            gLock.acquire()
            if gTimes >= 10:
                gLock.release()
                break
            money = random.randint(0, 100)
            gMoney += money
            gTimes += 1
            print("%s生产了%d元钱"%(threading.current_thread().name,money))
            gLock.release()


class Consumer(threading.Thread):
    def run(self) -> None:
        global gMoney
        while True:
            gLock.acquire()
            money = random.randint(0,100)
            if gMoney >= money:
                gMoney -= money
                print("%s消费了%d元钱"%(threading.current_thread().name,money))
            else:
                if gTimes >= 10:
                    gLock.release()
                    break
                print("%s想消费%d元钱,但是余额只有%d"%(threading.current_thread().name,money,gMoney))
            gLock.release()

def main():
    for x in range(5):
        th = Producer(name="生产者%d号"%x)
        th.start()

    for x in range(5):
        th = Consumer(name="消费者%d号"%x)
        th.start()

if __name__ == '__main__':
    main()

Condition版本的生产者和消费者模式:

Lock版本的生产者与消费者模式可以正常的运行。但是存在一个不足,在消费者中,总是通过while True死循环并且上锁的方式去判断钱够不够。上锁是一个很耗费CPU资源的行为。因此这种方式不是最好的。还有一种更好的方式便是使用threading.Condition来实现。threading.Condition可以在没有数据的时候处于阻塞等待状态。一旦有合适的数据了,还可以使用notify相关的函数来通知其他处于等待状态的线程。这样就可以不用做一些无用的上锁和解锁的操作。可以提高程序的性能。首先对threading.Condition相关的函数做个介绍,threading.Condition类似threading.Lock,可以在修改全局数据的时候进行上锁,也可以在修改完毕后进行解锁。以下将一些常用的函数做个简单的介绍:

  1. acquire:上锁。
  2. release:解锁。
  3. wait:将当前线程处于等待状态,并且会释放锁。可以被其他线程使用notify和notify_all函数唤醒。被唤醒后会继续等待上锁,上锁后继续执行下面的代码。
  4. notify:通知某个正在等待的线程,默认是第1个等待的线程。
  5. notify_all:通知所有正在等待的线程。notify和notify_all不会释放锁。并且需要在release之前调用。

代码如下:

import threading
import random
import time

gMoney = 0
gCondition = threading.Condition()


class Productor(threading.Thread):
    def run(self):
        global gMoney
        while True:
            gCondition.acquire()
            money = random.randint(0,100)
            gMoney = gMoney + money
            print('%s生产了%d元钱,现在总共有%d元钱'%(threading.current_thread().name,money,gMoney))
            gCondition.notify_all()
            gCondition.release()
            time.sleep(2)


class Consumer(threading.Thread):
    def run(self):
        global gMoney
        while True:
            gCondition.acquire()
            money = random.randint(0,100)
            while gMoney < money:
                print('%s想要花费%d元钱,但现在总共只有%d元钱'%(threading.current_thread().name,money,gMoney))
                gCondition.wait()
            gMoney = gMoney - money
            print('%s消费了%d元钱,现在总共剩余%d元钱'%(threading.current_thread().name,money,gMoney))
            gCondition.release()
            time.sleep(1)


def main():
    for i in range(5):
        th = Productor(name='生产者%d号'%i)
        th.start()


    for i in range(5):
        th = Consumer(name='消费者%d号' % i)
        th.start()\

if __name__ == "__main__":
    main()

线程安全的队列Queue:

在线程中,访问一些全局变量,加锁是一个经常的过程。如果你是想把一些数据存储到某个队列中,那么Python内置了一个线程安全的模块叫做queue模块。Python中的queue模块中提供了同步的、线程安全的队列类,包括FIFO(先进先出)队列Queue,LIFO(后入先出)队列LifoQueue。这些队列都实现了锁原语(可以理解为原子操作,即要么不做,要么都做完),能够在多线程中直接使用。可以使用队列来实现线程间的同步。相关的函数如下:
初始化Queue(maxsize):创建一个先进先出的队列。

  1. qsize():返回队列的大小。
  2. empty():判断队列是否为空。
  3. full():判断队列是否满了。
  4. get():从队列中取最后一个数据。默认情况下是阻塞的,也就是说如果队列已经空了,那么再调用就会一直阻塞,直到有新的数据添加进来。也可以使用block=False,来关掉阻塞。如果关掉了阻塞,在队列为空的情况获取就会抛出异常。
  5. put():将一个数据放到队列中。跟get一样,在队列满了的时候也会一直阻塞,并且也可以通过block=False来关掉阻塞,同样也会抛出异常。

示例:

from queue import Queue
import random,time
import threading



def add_value(q):
    while True:
        q.put(random.randint(0,10))
        time.sleep(1)

def get_value(q):
    while True:
        print("获取到的值:%d"%q.get())

def main():
    q = Queue(0)
    th1 = threading.Thread(target=add_value,args=[q])
    th2 = threading.Thread(target=get_value,args=[q])
    th1.start()
    th2.start()

if __name__ == '__main__':
    main()

GIL:

什么是GIL:

Python自带的解释器是CPython。CPython解释器的多线程实际上是一个假的多线程(在多核CPU中,只能利用一核,不能利用多核)。同一时刻只有一个线程在执行,为了保证同一时刻只有一个线程在执行,在CPython解释器中有一个东西叫做GIL(Global Intepreter Lock),叫做全局解释器锁。这个解释器锁是有必要的。因为CPython解释器的内存管理不是线程安全的。当然除了CPython解释器,还有其他的解释器,有些解释器是没有GIL锁的,见下面:

  1. Jython:用Java实现的Python解释器。不存在GIL锁。更多详情请见:https://zh.wikipedia.org/wiki/Jython
  2. IronPython:用.net实现的Python解释器。不存在GIL锁。更多详情请见:https://zh.wikipedia.org/wiki/IronPython
  3. PyPy:用Python实现的Python解释器。存在GIL锁。更多详情请见:https://zh.wikipedia.org/wiki/PyPy
    GIL虽然是一个假的多线程。但是在处理一些IO操作(比如文件读写和网络请求)还是可以在很大程度上提高效率的。在IO操作上建议使用多线程提高效率。在一些CPU计算操作上不建议使用多线程,而建议使用多进程。

有了GIL,为什么还需要Lock:

GIL只是保证全局同一时刻只有一个线程在执行,但是他并不能保证执行代码的原子性。也就是说一个操作可能会被分成几个部分完成,这样就会导致数据有问题。所以需要使用Lock来保证操作的原子性。


版权声明:本文为weixin_44582214原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。