概述
<h1 style="padding:0px;font-family:'-apple-system','SF UI Text',Arial,'PingFang SC','Hiragino Sans GB','Microsoft YaHei','WenQuanYi Micro Hei',sans-serif,SimHei,SimSun;background-color:rgb(255,255,255);">问题起因<p style="font-family:'-apple-system',255);">最近要将一个文本分割成好几个topic,每个topic设计一个regressor,各regressor是相互独立的,最后汇总所有topic的regressor得到总得预测结果。没错!类似bagging ensemble!只是我没有抽样。文本不大,大概3000行,topic个数为8,于是我写了一个串行的程序,一个topic算完之后再算另一个topic。可是我在每个topic中用了<code style="font-size:14px;line-height:22px;padding:4px 2px 0px;">gridsearchcv来调参,又要选特征又要调整regressor的参数,导致参数组合一共有1782种。我真是低估了调参的时间,程序跑了一天一夜最后因为忘记import一个库导致最终的预测精度没有算出来。后来想到,既然每个topic的预测都是独立的,那是不是可以并行呢?
<span class="hljs-function"><span class="hljs-keyword">def <span class="hljs-title">f<span class="hljs-params">(name):
<span class="hljs-keyword">print <span class="hljs-string">'hello',name
<span class="hljs-keyword">if name == <span class="hljs-string">'main':
p = Process(target=f,args=(<span class="hljs-string">'bob',)) <span class="hljs-comment"># 新建一个子进程p,目标函数是f,args是函数f的参数列表
p.start() <span class="hljs-comment"># 开始执行进程
p.join() <span class="hljs-comment"># 等待子进程结束<ul class="pre-numbering"><li style="color:rgb(153,153,153);">1<li style="color:rgb(153,153);">2<li style="color:rgb(153,153);">3<li style="color:rgb(153,153);">4<li style="color:rgb(153,153);">5<li style="color:rgb(153,153);">6<li style="color:rgb(153,153);">7<li style="color:rgb(153,153);">8<li style="color:rgb(153,153);">9<p style="font-family:'-apple-system',255);">上述代码中<code style="font-size:14px;line-height:22px;padding:4px 2px 0px;">p.join()的意思是等待子进程结束后才执行后续的操作,一般用于进程间通信。例如有一个读进程pw和一个写进程pr,在调用pw之前需要先写<code style="font-size:14px;line-height:22px;padding:4px 2px 0px;">pr.join(),表示等待写进程结束之后才开始执行读进程。
<span class="hljs-function"><span class="hljs-keyword">def <span class="hljs-title">func<span class="hljs-params">(msg):
<span class="hljs-keyword">print multiprocessing.current_process().name + <span class="hljs-string">'-' + msg
<span class="hljs-keyword">if name == <span class="hljs-string">"main":
pool = multiprocessing.Pool(processes=<span class="hljs-number">4) <span class="hljs-comment"># 创建4个进程
<span class="hljs-keyword">for i <span class="hljs-keyword">in xrange(<span class="hljs-number">10):
msg = <span class="hljs-string">"hello %d" %(i)
pool.apply_async(func,(msg,))
pool.close() <span class="hljs-comment"># 关闭进程池,表示不能在往进程池中添加进程
pool.join() <span class="hljs-comment"># 等待进程池中的所有进程执行完毕,必须在close()之后调用
<span class="hljs-keyword">print <span class="hljs-string">"Sub-process(es) done."<ul class="pre-numbering"><li style="color:rgb(153,153);">9<li style="color:rgb(153,153);">10<li style="color:rgb(153,153);">11<li style="color:rgb(153,153);">12<li style="color:rgb(153,153);">13<li style="color:rgb(153,153);">14<p style="font-family:'-apple-system',255);">输出结果如下:
<span class="hljs-function"><span class="hljs-keyword">def <span class="hljs-title">func<span class="hljs-params">(msg):
<span class="hljs-keyword">return multiprocessing.current_process().name + <span class="hljs-string">'-' + msg
<span class="hljs-keyword">if name == <span class="hljs-string">"main":
pool = multiprocessing.Pool(processes=<span class="hljs-number">4) <span class="hljs-comment"># 创建4个进程
results = []
<span class="hljs-keyword">for i <span class="hljs-keyword">in xrange(<span class="hljs-number">10):
msg = <span class="hljs-string">"hello %d" %(i)
results.append(pool.apply_async(func,)))
pool.close() <span class="hljs-comment"># 关闭进程池,表示不能再往进程池中添加进程,需要在join之前调用
pool.join() <span class="hljs-comment"># 等待进程池中的所有进程执行完毕
<span class="hljs-keyword">print (<span class="hljs-string">"Sub-process(es) done.")
<span class="hljs-keyword">for</span> res <span class="hljs-keyword">in</span> results:
<span class="hljs-keyword">print</span> (res.get())</code></pre><ul class="pre-numbering"><li style="color:rgb(153,153);">14</li><li style="color:rgb(153,153);">15</li><li style="color:rgb(153,153);">16</li><li style="color:rgb(153,153);">17</li><li style="color:rgb(153,153);">18</li></ul><p style="font-family:'-apple-sy<a href="https://www.jb51.cc/tag/stem/" target="_blank" class="keywords">stem</a>',255);">上述<a href="https://www.jb51.cc/tag/daima/" target="_blank" class="keywords">代码</a><a href="https://www.jb51.cc/tag/shuchu/" target="_blank" class="keywords">输出</a>结果如下:</p><pre class="prettyprint" style="font-size:14px;line-height:22px;"><code class="language-plain hljs lasso has-numbering">Sub<span class="hljs-attribute">-process</span>(es) done<span class="hljs-built_in">.</span>
PoolWorker<span class="hljs-subst">-<span class="hljs-number">37<span class="hljs-attribute">-hello <span class="hljs-number">0
PoolWorker<span class="hljs-subst">-<span class="hljs-number">38<span class="hljs-attribute">-hello <span class="hljs-number">1
PoolWorker<span class="hljs-subst">-<span class="hljs-number">39<span class="hljs-attribute">-hello <span class="hljs-number">2
PoolWorker<span class="hljs-subst">-<span class="hljs-number">40<span class="hljs-attribute">-hello <span class="hljs-number">3
PoolWorker<span class="hljs-subst">-<span class="hljs-number">37<span class="hljs-attribute">-hello <span class="hljs-number">4
PoolWorker<span class="hljs-subst">-<span class="hljs-number">38<span class="hljs-attribute">-hello <span class="hljs-number">5
PoolWorker<span class="hljs-subst">-<span class="hljs-number">39<span class="hljs-attribute">-hello <span class="hljs-number">6
PoolWorker<span class="hljs-subst">-<span class="hljs-number">37<span class="hljs-attribute">-hello <span class="hljs-number">7
PoolWorker<span class="hljs-subst">-<span class="hljs-number">40<span class="hljs-attribute">-hello <span class="hljs-number">8
PoolWorker<span class="hljs-subst">-<span class="hljs-number">38<span class="hljs-attribute">-hello <span class="hljs-number">9<ul class="pre-numbering"><li style="color:rgb(153,255);">与之前的输出不同,这次的输出是有序的。
转自:https://blog.csdn.net/jinping_shi/article/details/52433867
总结
以上是编程之家为你收集整理的【Python】Python多进程库multiprocessing中进程池Pool的返回值顺序全部内容,希望文章能够帮你解决【Python】Python多进程库multiprocessing中进程池Pool的返回值顺序所遇到的程序开发问题。
如果您也喜欢它,动动您的小指点个赞吧