概述

(width,height) = base.shape
(toolw,toolh) = tool.shape
for i in range(0,width-toolw):
    for j in range(0,height-toolh):
        zdiff[i,j] = (tool - base[i:i+toolw,j:j+toolh]).min()

base是一个~2000×2000阵列,工具是25×25阵列. (背景背景：基础和工具是高度图,我试图找出最接近基础的工具移动方法.)

我试图使用一个跨越式的技巧,从这开始：

base_view = np.lib.stride_tricks.as_strided(base,shape=(2000,2000,25,25),strides=(base.strides * 2))

这将使base_view [10,20]成为25×25的值,从(10,20)左上角的基数开始.

然而,这与“阵列太大”失败了.从价值测试来看,当数组的潜在大小(例如2000 * 2000 * 25 * 25 * 8)超过2 ^ 32-ish并且它触发溢出检查时,它会报告此问题,该溢出检查将所有维度相乘. (我使用的是32位Python安装).

我觉得我错过了一些东西 – 为什么当步幅值明显起作用时,它不会让我创造这种“跨步观点”？有没有办法强迫这个？

更一般地说,有没有办法优化我的循环？

更新：确切错误：

ValueError                                Traceback (most recent call last)
<ipython-input-14-313b3d6c74fa> in <module>()
----> 1 newa = np.lib.stride_tricks.as_strided(base,shape=(1000,1000,strides=(base.strides * 2))

C:\Python27\lib\site-packages\numpy\lib\stride_tricks.pyc in as_strided(x,shape,strides)
     28     if strides is not None:
     29         interface['strides'] = tuple(strides)
---> 30     array = np.asarray(DummyArray(interface,base=x))
     31     # Make sure dtype is correct in case of custom dtype
     32     array.dtype = x.dtype

C:\Python27\lib\site-packages\numpy\core\numeric.pyc in asarray(a,dtype,order)
    458 
    459     """
--> 460     return array(a,copy=False,order=order)
    461 
    462 def asanyarray(a,dtype=None,order=None):

ValueError: array is too big.

请注意,在您的原始代码中,我更改了范围并切换了宽度和高度,因为我认为这是您的意图..

import numpy as np

height,width = 500,500
toolh,toolw = 6,6

base = np.random.rand(height,width)
tool = np.random.rand(toolh,toolw)

m,n = height-toolh+1,width-toolw+1

def height_diff_old(base,tool):
    zdiff = np.empty((m,n))
    for i in range(m):
        for j in range(n):
            zdiff[i,j] = (tool - base[i:i+toolh,j:j+toolw]).min()
    return zdiff

def height_diff_new(base,n))
    zdiff.fill(np.inf)
    for i in range(toolh):
        for j in range(toolw):
            diff_ij = tool[i,j] - base[i:i+m,j:j+n]
            np.minimum(zdiff,diff_ij,out=zdiff)
    return zdiff

当然,你想要计算实际函数中的高度和宽度,但是对于测试来说,将它们作为全局变量更容易.

对于给定的数组大小,原始代码在7.38秒内运行,而新代码在我的系统上仅需206毫秒.我假设新代码对于你的数组大小也更快,但我不确定它的扩展程度如何:)

您可能感兴趣或可能不感兴趣的其他替代方案是使用Numba或Cython,在许多情况下,它应该比您想到的任何“矢量化”numpy代码更快.

总结

以上是编程之家为你收集整理的python – Numpy大步招数抱怨“数组太大”,为什么？全部内容，希望文章能够帮你解决python – Numpy大步招数抱怨“数组太大”,为什么？所遇到的程序开发问题。

如果您也喜欢它,动动您的小指点个赞吧