วิธีที่จะสร้าง neural เครือข่ายในโครงสร้างของ？กับต่างเชื่อมต่อกับโหนดต่างๆจะแตกต่างจำนวนของโหนดต่างๆในหน้าเลเยอร์

Question 1

ฉันแค่รู้ว่าต้องใช้สร้างขึ้นในเครือข่ายเหมือน RNN ของ LSTM ใน PyTorch. แต่พวกเขามีแนวโน้มที่จะจัดการกับทุกจุดเชื่อมต่ออยู่ก่อนเลเยอร์ที่จะให้ข้อมูลทั้งโหนดต่างๆในอีกเลเยอร์.

ฉันอยากจะทำบางอย่างแตกต่างกันแต่ไม่รู้ว่าต้องรหัสมันด้วยตัวเอง เหมือนนี้คิดว่าคนโหนด เป็น แผนที่ที่จะห[d, e, f]สามโหนดต่างๆในชั้น 2 ตอนโหนด b แผนที่ที่จะ[e,fและโหนด ซี เดียวที่แผนที่ที่จะ[f]. ผลก็คือโหนด d จะเดียวที่จะบรรจุข้อมูลจาก กาขณะที่ อี จะมีข้อมูลจาก[น, บี]. และ f จะมีข้อมูลจากทั้งโหนดต่างๆในก่อนหน้านี้เลเยอร์. มีใครรู้ว่าเพื่อนรหัสนี้โครงสร้าง? PLS ให้เกิดความเข้าใจฉันจะสำนึกบุญคุณของคุณมา:D

โครงสร้าง

Question 2

ตอนที่คุณมีเลเยอร์นั่นดูเหมือนจะเต็มที่เกี่ยวข้องเลเยอร์แต่งกับกำหนดเอง connectivity จะเป็นการใช้ หน้ากาก ที่เหมาะสมกับโครงสร้างของ.

เอาเป็นว่า x = [a, b, c] เป็นของคุณ 3-ติ่นำเข้าข้อมูลแล้ว W denotes ที่ connectivity ย่าให้เขาไปถึงตัวออฟติมัส

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

แล้ว W[i][j] จุดที่เชื่อมต่อน้ำหนักระหว่าง jพวข้อมูลแล้ว iพวกส่งออกนิวรอนได้ สร้างโครงสร้างคล้ายกับของของเล่นตัวอย่างเช่นเราจะทำให้หน้ากากเหมือนนี้

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

งั้นคุณสามารถเพียงหน้ากากที่ W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

ข้อควรทราบ: @ เป็นเมตริกซ์ว่างคูณและ * คือ pointwise คูณ.

ayandas · Answer 1 · 2021-11-21T18:17:35

ตอนที่คุณมีเลเยอร์นั่นดูเหมือนจะเต็มที่เกี่ยวข้องเลเยอร์แต่งกับกำหนดเอง connectivity จะเป็นการใช้ หน้ากาก ที่เหมาะสมกับโครงสร้างของ.

เอาเป็นว่า x = [a, b, c] เป็นของคุณ 3-ติ่นำเข้าข้อมูลแล้ว W denotes ที่ connectivity ย่าให้เขาไปถึงตัวออฟติมัส

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

แล้ว W[i][j] จุดที่เชื่อมต่อน้ำหนักระหว่าง jพวข้อมูลแล้ว iพวกส่งออกนิวรอนได้ สร้างโครงสร้างคล้ายกับของของเล่นตัวอย่างเช่นเราจะทำให้หน้ากากเหมือนนี้

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

งั้นคุณสามารถเพียงหน้ากากที่ W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

ข้อควรทราบ: @ เป็นเมตริกซ์ว่างคูณและ * คือ pointwise คูณ.

ดังนั้นถ้าผมนำเข้าข้อมูลหรี่เป็น 3,ส่งออกหรี่เป็น 3. ประสาทของผโครงสร้างเครือข่ายจะเป็นเหมือน{นำเข้าข้อมูล 3 รี่,LSTM_layer(3,64),เต็มที่-connected_layer(64,3),*ต่ำลง triangular หน้ากากเมตริกซ์(3,3),แสดงผลหรี่ 3}. มันจะทำงานอย่างที่ฉันกำหนดเอง connectivity เพื่อให้สามคนสุดท้ายโหนดต่างๆได้ differerent ข้อมูล? หรือฉันควรจะเอาหน้ากากเมตริกซ์ว่างระหว่างข้อมูลบเลเยอร์(3,1)และ LSTM เลเยอร์(3,64)
เป็นข้อมูลของคุณต่อเนื่อง(คุณต้อง LSTM อยู่ในระหว่าง)? คุณคิดว่าแค่\ซาร่าโผล่ออกมาเต็มที่เกี่ยวข้องชั้น. ทางออกที่ฉันให้เป็นเพียงสำหรับแกล้งทำค FC เลเยอร์.
ขอโทษฉันทำให้คนคิดว่าเรียบง่าย นำเข้าข้อมูลของฉันคือเวลาต่อเนื่อนค่า(ค่าของ hour_index,week_index)และฉันต้องการเพื่อใช้เป็น LSTM เลเยอร์เพื่อดึงข้อมูลบางอย่างระหว่างข้อมูลเข้า(3 หรี่และผลส่งออก(3 ติ่). ดังนั้นถ้าฉันใช้หน้ากากหลังจาก LSTM เลเยอร์จะทำการส่งออกสามโหนดต่างๆเป็นอย่างที่ดีของโหนดเดียวที่จะบรรจุอาทิตย์ข้อมูลฐานของโหนดมีอาทิตย์และหนึ่งชั่วโมงชื่อโหนดมีค่าของชั่วโมงสัปดาห์ข้อมูล?

คำถาม

คำตอบที่ดีที่สุด

ในภาษาอื่นๆ

หน้านี้อยู่ในภาษาอื่นๆ

ดังอยู่ในนี้หมวดหมู่

ดังคำถามอยู่ในนี้หมวดหมู่