博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
深入理解Python中的ThreadLocal变量(上)
阅读量:5738 次
发布时间:2019-06-18

本文共 2863 字,大约阅读时间需要 9 分钟。

我们知道多线程环境下,每一个线程均可以使用所属进程的全局变量。如果一个线程对全局变量进行了修改,将会影响到其他所有的线程。为了避免多个线程同时对变量进行修改,引入了线程同步机制,通过互斥锁,条件变量或者读写锁来控制对全局变量的访问。

只用全局变量并不能满足多线程环境的需求,很多时候线程还需要拥有自己的私有数据,这些数据对于其他线程来说不可见。因此线程中也可以使用局部变量,局部变量只有线程自身可以访问,同一个进程下的其他线程不可访问。

有时候使用局部变量不太方便,因此 python 还提供了 ThreadLocal 变量,它本身是一个全局变量,但是每个线程却可以利用它来保存属于自己的私有数据,这些私有数据对其他线程也是不可见的。下图给出了线程中这几种变量的存在情况:

线程变量

全局 VS 局部变量

首先借助一个小程序来看看多线程环境下全局变量的同步问题。

 
  1. import threading 
  2. global_num = 0 
  3. def thread_cal(): 
  4.     global global_num 
  5.     for i in xrange(1000): 
  6.         global_num += 1 
  7. # Get 10 threads, run them and wait them all finished. 
  8. threads = [] 
  9. for i in range(10): 
  10.     threads.append(threading.Thread(target=thread_cal)) 
  11.     threads[i].start() 
  12. for i in range(10): 
  13.     threads[i].join() 
  14. # Value of global variable can be confused. 
  15. print global_num  

这里我们创建了10个线程,每个线程均对全局变量 global_num 进行1000次的加1操作(循环1000次加1是为了延长单个线程执行时间,使线程执行时被中断切换),当10个线程执行完毕时,全局变量的值是多少呢?答案是不确定。简单来说是因为 global_num += 1 并不是一个原子操作,因此执行过程可能被其他线程中断,导致其他线程读到一个脏值。以两个线程执行 +1 为例,其中一个可能的执行序列如下(此情况下最后结果为1):

多线程全局变量同步

多线程中使用全局变量时普遍存在这个问题,解决办法也很简单,可以使用互斥锁、条件变量或者是读写锁。下面考虑用互斥锁来解决上面代码的问题,只需要在进行 +1 运算前加锁,运算完毕释放锁即可,这样就可以保证运算的原子性。

 
  1. l = threading.Lock() 
  2. ... 
  3.     l.acquire() 
  4.     global_num += 1 
  5.     l.release()  

在线程中使用局部变量则不存在这个问题,因为每个线程的局部变量不能被其他线程访问。下面我们用10个线程分别对各自的局部变量进行1000次加1操作,每个线程结束时打印一共执行的操作次数(每个线程均为1000):

 
  1. def show(num): 
  2.     print threading.current_thread().getName(), num 
  3. def thread_cal(): 
  4.     local_num = 0 
  5.     for _ in xrange(1000): 
  6.         local_num += 1 
  7.     show(local_num) 
  8. threads = [] 
  9. for i in range(10): 
  10.     threads.append(threading.Thread(target=thread_cal)) 
  11.     threads[i].start()  

可以看出这里每个线程都有自己的 local_num,各个线程之间互不干涉。

Thread-local 对象

上面程序中我们需要给 show 函数传递 local_num 局部变量,并没有什么不妥。不过考虑在实际生产环境中,我们可能会调用很多函数,每个函数都需要很多局部变量,这时候用传递参数的方法会很不友好。

为了解决这个问题,一个直观的的方法就是建立一个全局字典,保存进程 ID 到该进程局部变量的映射关系,运行中的线程可以根据自己的 ID 来获取本身拥有的数据。这样,就可以避免在函数调用中传递参数,如下示例:

 
  1. global_data = {} 
  2. def show(): 
  3.     cur_thread = threading.current_thread() 
  4.     print cur_thread.getName(), global_data[cur_thread] 
  5. def thread_cal(): 
  6.     cur_thread = threading.current_thread() 
  7.     global_data[cur_thread] = 0 
  8.     for _ in xrange(1000): 
  9.         global_data[cur_thread] += 1 
  10.     show()  # Need no local variable.  Looks good. 
  11. ...  

保存一个全局字典,然后将线程标识符作为key,相应线程的局部数据作为 value,这种做法并不完美。首先,每个函数在需要线程局部数据时,都需要先取得自己的线程ID,略显繁琐。更糟糕的是,这里并没有真正做到线程之间数据的隔离,因为每个线程都可以读取到全局的字典,每个线程都可以对字典内容进行更改。

为了更好解决这个问题,python 线程库实现了 ThreadLocal 变量(很多语言都有类似的实现,比如Java)。ThreadLocal 真正做到了线程之间的数据隔离,并且使用时不需要手动获取自己的线程 ID,如下示例:

 
  1. global_data = threading.local() 
  2. def show(): 
  3.     print threading.current_thread().getName(), global_data.num 
  4. def thread_cal(): 
  5.     global_data.num = 0 
  6.     for _ in xrange(1000): 
  7.         global_data.num += 1 
  8.     show() 
  9. threads = [] 
  10. ... 
  11. print "Main thread: ", global_data.__dict__ # {}  

上面示例中每个线程都可以通过 global_data.num 获得自己独有的数据,并且每个线程读取到的 global_data 都不同,真正做到线程之间的隔离。

Python通过 local 类来实现 ThreadLocal 变量,代码量不多(只有100多行),但是比较难理解,涉及很多 Python 黑魔法,下篇再来详细分析。那么 ThreadLocal 很完美了?不!Python 的 WSGI 工具库 werkzeug 中有一个更好的 ,甚至支持协程之间的私有数据,实现更加复杂,有机会再分析。

作者:selfboot

来源:51CTO

转载地址:http://bnbzx.baihongyu.com/

你可能感兴趣的文章
cocos2dx-3.0(21) 移植android平台 说多了都是泪
查看>>
Hadoop学习笔记(四)Hadoop伪分布式配置
查看>>
有限自动机的构造与识别
查看>>
RedHat Linux 安装oracle11g (转)
查看>>
清除浮动的方法以及各自的优缺点
查看>>
android 模块编译,mm 命令
查看>>
Linux内存初始化(二)identity mapping和kernel image mapping
查看>>
chmod -x chmod的N种解法
查看>>
41、生鲜电商平台-物流动态费率、免运费和固定运费设计与架构
查看>>
autoit获取ie浏览器简单操作网页(GUI小工具)
查看>>
for...in 和 for each...in的一些区分和用法
查看>>
多项式输出
查看>>
转载:性能优化——统计信息——SQLServer自动更新和自动创建统计信息选项
查看>>
Windows下PHP安全环境的搭建
查看>>
pyqt5和qtdesign的使用
查看>>
MVC-Razor引擎布局
查看>>
C/C++ 段错误--关于指针内存泄露
查看>>
BASH 编程之变量高级篇
查看>>
java中的位运算符
查看>>
今夕七夕
查看>>