博客
关于我
Python 多处理 Numpy 随机
阅读量:802 次
发布时间:2023-03-07

本文共 1269 字,大约阅读时间需要 4 分钟。

在Python中处理Numpy的随机数时,多线程或多进程环境可能会导致无法准确复现随机序列的问题。以下是解决方案:

方法一:固定种子

为每个进程设置不同的随机种子,确保每次执行时生成的随机数序列完全一致。

import numpy as npfrom multiprocessing import Pool, current_process
def process_worker(n):    np.random.seed(current_process().name + str(n))    return np.random.randint(0, 100)
if __name__ == "__main__":    with Pool() as p:        print(list(p.map(process_worker, range(10))))

方法二:使用锁

在多线程环境下,利用GIL和互斥锁保护随机数序列的访问,避免并发修改导致的混乱。

import numpy as npfrom threading import Lock, current_threadfrom concurrent.futures import ThreadPoolExecutor
random_seed = 0random_lock = Lock()
def process_worker():    global random_seed    with random_lock:        np.random.seed(current_thread().name + str(random_seed))        random_seed += 1        return np.random.randint(0, 100)
if __name__ == "__main__":    with ThreadPoolExecutor() as executor:        print(list(executor.map(process_worker, range(10))))

方法三:使用Numpy的种子设置函数

直接调用Numpy的np.random.seed()函数设置种子,适用于无需多进程或多线程共享随机数序列的情况。

import numpy as np
def process_worker(n):    np.random.seed(n)    return np.random.randint(0, 100)
if __name__ == "__main__":    print([process_worker(i) for i in range(10)])

以上方法通过不同的方式确保多进程或多线程环境下可以准确复现随机数序列。current_process().name + str(n)和current_thread().name + str(random_seed)用于生成唯一的随机种子。

转载地址:http://onofk.baihongyu.com/

你可能感兴趣的文章
Python函数只返回第一个值而不是数据框
查看>>
Python+SQL实战:京东用户行为数据分析案例解析(上)
查看>>
Python+SQL实战:京东用户行为数据分析案例解析(下)
查看>>
PYTHON+Twisted+sqlanydb=ABORT()
查看>>
Python函数之返回值、作用域和局部变量
查看>>
Python+统计学 | 探索常用的数据分析统计分布
查看>>
python, selenium中用于切换帧的函数
查看>>
python函数
查看>>
python---5
查看>>
python---使用celery分布式系统异步发送短信(云通讯)来验证登录
查看>>
python--003--百分号字符串拼接、format
查看>>
Python--10、线程
查看>>
Python--Redis实战:第四章:数据安全与性能保障:第4节:复制
查看>>
python--基本代码规范
查看>>
Python--抽象类接口类
查看>>
PYTHON--欧拉习题二
查看>>
python--高级应用总结
查看>>
python-520表白代码,我看谁说程序员不懂浪漫,送你几套表白代码,一步到位
查看>>
Python-Asyncio TypeError:无法在‘;等待‘;表达式中使用对象DICT
查看>>
Python-AttributeError:‘;dict&39;对象没有属性‘;序列‘;
查看>>