ปลั๊กอินสำหรับไพธอน:Vectorize การคำนวณการจัดเตรียมไว้ใช้ Iterative เข้าใกล้

ตั้งแต่คุณกำลังรับมือกับสามมิติ n, mแล้ว c (อยู่ในตัวอักษรตัวพิมพ์เล็กจะหลีกเลี่ยง ambiguity),มันสามารถเป็นประโยชน์เพื่อเปลี่ยนรูปร่างของของคุณ tensors ต้อง (n, m, c)ด้วยแหละคำตของค่าของที่หายตัวไปมิติ(e.g. M(m, c) กลายเป็น M(n, m, c)).

อย่างไรก็ตามคุณสามารถข้ามเรื่อง explicit replication และใช้ออกอากาศดังนั้นมันเป็นเพียงพอที่จะ unsqueeze ที่หายไปในมิติ(e.g. M(m, c) กลายเป็น M(1, m, c).

ให้พวก considerations ที่ vectorization ของรหัสของคุณกลายเป็นตาม

cond = y.unsqueeze(2) == torch.arange(M.size(dim=1)).unsqueeze(0)
pos = ds.unsqueeze(2) * M.unsqueeze(1) * cond
neg = ds.unsqueeze(2) * M.unsqueeze(1).sum(dim=0, keepdim=True) * ~cond
grad += (pos - neg).sum(dim=0)

นี่เป็นเรื่องเล็กทดสอบอการตรวจสอบการตรวจสอบของทางออก

import torch

n, m, c = 11, 5, 7

y = torch.randint(c, size=(n, 1))
ds = torch.rand(n, m)
M = torch.randint(2, size=(n, c))
grad = torch.rand(m, c)


def slow_grad(y, ds, M, grad):
    for i in range(M.size(dim=1)):
        for j in range(ds.size(dim=0)):
            if y[j] == i:
                grad[:,i] = grad[:,i] - (ds[j,:].T * sum(M[j,:]))
            else:
                if M[j,i] > 0:
                    grad[:,i] = grad[:,i] + ds[j,:].T
    return grad


def fast_grad(y, ds, M, grad):
    cond = y.unsqueeze(2) == torch.arange(M.size(dim=1)).unsqueeze(0)
    pos = ds.unsqueeze(2) * M.unsqueeze(1) * cond
    neg = ds.unsqueeze(2) * M.unsqueeze(1).sum(dim=0, keepdim=True) * ~cond
    grad += (pos - neg).sum(dim=0)
    return grad
  
# Assert equality of all elements function outputs, throws an exception if false
assert torch.all(slow_grad(y, ds, M, grad) == fast_grad(y, ds, M, grad))

รู้สึกอิสระที่จะทดสอบในคดีอื่นเช่นกัน!