博客
关于我
Python 多处理 Numpy 随机
阅读量:795 次
发布时间:2023-03-07

本文共 1269 字,大约阅读时间需要 4 分钟。

在Python中处理Numpy的随机数时,多线程或多进程环境可能会导致无法准确复现随机序列的问题。以下是解决方案:

方法一:固定种子

为每个进程设置不同的随机种子,确保每次执行时生成的随机数序列完全一致。

import numpy as npfrom multiprocessing import Pool, current_process
def process_worker(n):    np.random.seed(current_process().name + str(n))    return np.random.randint(0, 100)
if __name__ == "__main__":    with Pool() as p:        print(list(p.map(process_worker, range(10))))

方法二:使用锁

在多线程环境下,利用GIL和互斥锁保护随机数序列的访问,避免并发修改导致的混乱。

import numpy as npfrom threading import Lock, current_threadfrom concurrent.futures import ThreadPoolExecutor
random_seed = 0random_lock = Lock()
def process_worker():    global random_seed    with random_lock:        np.random.seed(current_thread().name + str(random_seed))        random_seed += 1        return np.random.randint(0, 100)
if __name__ == "__main__":    with ThreadPoolExecutor() as executor:        print(list(executor.map(process_worker, range(10))))

方法三:使用Numpy的种子设置函数

直接调用Numpy的np.random.seed()函数设置种子,适用于无需多进程或多线程共享随机数序列的情况。

import numpy as np
def process_worker(n):    np.random.seed(n)    return np.random.randint(0, 100)
if __name__ == "__main__":    print([process_worker(i) for i in range(10)])

以上方法通过不同的方式确保多进程或多线程环境下可以准确复现随机数序列。current_process().name + str(n)current_thread().name + str(random_seed)用于生成唯一的随机种子。

转载地址:http://onofk.baihongyu.com/

你可能感兴趣的文章
Python 使用哈希函数用于加密
查看>>
Python 依赖管理的革新——Poetry 深度解析
查看>>
python 保留精度及增加去除数字的千位分隔符(金额化数字)
查看>>
python 倒计时 9,8,7,。。。。。。0
查看>>
Python 入门开发学习笔记之数据的增删改查
查看>>
Python 入门教程(2)搭建环境 2.4、VSCode配置Node.js运行环境
查看>>
Python 八大排序算法合集
查看>>
python 关于epoll的学习
查看>>
Python 内存管理
查看>>
Python 内嵌函数:它们有什么用处?
查看>>
Python 内置 sum 函数 vs. for 循环性能
查看>>
python 内置slice的用法
查看>>
Python 内置时间模块
查看>>
python 内部如何实现命名元组?
查看>>
Python 写Android App性能:入门到高级
查看>>
python 写入json数据到数据库
查看>>
Python 出现 TypeError: ‘encoding‘ is an invalid keyword argument for this function 解决方法
查看>>
python 出现 TypeError: ‘list‘ object is not callable 的解决方法
查看>>
python 函数1
查看>>
python 函数学习
查看>>