博客
关于我
Python 多处理 Numpy 随机
阅读量:795 次
发布时间:2023-03-07

本文共 1269 字,大约阅读时间需要 4 分钟。

在Python中处理Numpy的随机数时,多线程或多进程环境可能会导致无法准确复现随机序列的问题。以下是解决方案:

方法一:固定种子

为每个进程设置不同的随机种子,确保每次执行时生成的随机数序列完全一致。

import numpy as npfrom multiprocessing import Pool, current_process
def process_worker(n):    np.random.seed(current_process().name + str(n))    return np.random.randint(0, 100)
if __name__ == "__main__":    with Pool() as p:        print(list(p.map(process_worker, range(10))))

方法二:使用锁

在多线程环境下,利用GIL和互斥锁保护随机数序列的访问,避免并发修改导致的混乱。

import numpy as npfrom threading import Lock, current_threadfrom concurrent.futures import ThreadPoolExecutor
random_seed = 0random_lock = Lock()
def process_worker():    global random_seed    with random_lock:        np.random.seed(current_thread().name + str(random_seed))        random_seed += 1        return np.random.randint(0, 100)
if __name__ == "__main__":    with ThreadPoolExecutor() as executor:        print(list(executor.map(process_worker, range(10))))

方法三:使用Numpy的种子设置函数

直接调用Numpy的np.random.seed()函数设置种子,适用于无需多进程或多线程共享随机数序列的情况。

import numpy as np
def process_worker(n):    np.random.seed(n)    return np.random.randint(0, 100)
if __name__ == "__main__":    print([process_worker(i) for i in range(10)])

以上方法通过不同的方式确保多进程或多线程环境下可以准确复现随机数序列。current_process().name + str(n)current_thread().name + str(random_seed)用于生成唯一的随机种子。

转载地址:http://onofk.baihongyu.com/

你可能感兴趣的文章
python谷歌翻译,2021年9月10日亲测可用,一次可以翻译十万,强烈star
查看>>
Python UI自动化测试数据驱动实战
查看>>
Python UI自动化测试集成UnitTest
查看>>
Python UI自动化测试集成UnitTest
查看>>
python unicode-escape
查看>>
Python unittest mock:是否可以在测试时模拟方法默认参数的值?
查看>>
Python unittest单元测试框架 TestSuite测试套件
查看>>
PYTHON调离线语音合成并实时播放
查看>>
python unittest高级特性!
查看>>
Python unittest:如何将标准输出消息临时重定向到缓冲区并测试其内容?
查看>>
Python urllib/Requests下载文件失败,但浏览器下载失败
查看>>
Python urllib2 文件上传问题
查看>>
Python urllib2.open 连接由对等错误重置
查看>>
python urllib2详解及实例
查看>>
Python url请求提示certificate verify failed unable to get local issuer certificate
查看>>
Python UTC 日期时间对象的 ISO 格式不包括 Z(祖鲁语或零偏移)
查看>>
python valueerror object2_python遇到错误记录
查看>>
python vars的作用
查看>>
Python vcrpy库:HTTP请求记录和重放
查看>>
Python virtualenv
查看>>