ฉันทำงานกับการจัดแบ่งประเภทมีปัญหากับภาพลักษณ์ที่เป็นวันที่มี 11 องการเรียนการสอน มันมีส่วนทั้งหมดของ 11,000 ภาพกับกันและชั้นเรียนมี 1000 ภาพเก็บไว้โฟลเดอร์-ฉลาด(11 โฟลเดอร์). ในวันที่ขนาดเป็นเรื่อง 40MB. หลังจากที่ฉันอัพโหลดข้อมูลจากของกูเกิ้ลองขับเข้าไปใน collab(ซึ่งที่จริงต้องใช้เวลาและก่อน-ระบวนการมันก่อนที่จะให้อาหารมันเพื่อคนรุ่นของความทรงจำของ collab กลายเป็น 95%เต็มไปด้ว instantaneously. ตอนที่ฉันเริ่มฝึก collab ข้อขัดข้องและ runtime คือปรับค่า. นี่มันไม่เกิดขึ้นตอนที่ฉันใช้ Keras ข้อมูล-ไหลเวียน-จา-ไดเรกทอรีฟังก์ชัน. ฉันไม่สามารถหาทางออกหรอกนะ ภาพหน้าจอที่จับได้
0
นี่มันเกิดขึ้นเพราะโดยเรียกเข้ากับนรถไฟและการตรวจสอบ datasets คุณบังคับให้ colab ที่จะโหลดทั้งภาพที่อยู่บนแพงที่เดียวกับเรื่องนี้คุณต้องการจะเขียนเป็นเครื่องมือสร้างเป็นเรื่องง่ายแก้ปัญหากับส่วนใหญ่ของรหัสอยู่แล้วเขียนคือการใช้ tfrecords,keras จะรับมือกับการพักผ่อน
https://www.tensorflow.org/tutorials/load_data/tfrecord
คุณต้องการจะจัดเก็บภาพที่อยู่บนดิสก์และเอาพวกมันระหว่างการฝึกไม่ใช่ทั้งหมดหรอตอนที่เริ่มต้น
คุณไม่ต้องใช้ tfrecords คุณสามารถใช้เครื่องมือสร้างคุณเหมือนแต่เรื่องแบบนั้นมาตออกจากค้างคาว
BestDogeStackoverflow
งั้นฉันใช้ Keras Tuner อยู่ที่นี่ดังนั้นฉันไม่แน่ใจว่าเครื่องมือสร้างสามารถใช้กับ tuner-ค้นหาหรือไม่
SDS