ฉันเจอปัญหา!
เมื่อเร็วๆนี้ฉันจะได้เจอกับปัญหาของฉัน/โอเหมือนไม่มีปัญหาอยู่เลยสินะ เป้าหมายและนำเข้าข้อมูลจะถูกจัดเก็บไว้กับ h5py งแฟ้ม แต่ละแฟ้มเป้าหมายเป็น 2.6 กิกะไบต์ ในขณะที่แต่ละแฟ้มนำเข้าเป็น 10.2 กิกะไบต์. ฉันมี 5 ข้อมูล datasets และ 5 เป้าหมาย datasets ในทั้งหมด
ฉันสร้างเป็นวันที่กำหนดเองฟังก์ชันสำหรับแต่ละ h5py แฟ้มแล้วก็ใช้ ข้อมูลConcatDataset ชั้นเรียนต้องเชื่อมโยงทั้งหมด datasets. ที่กำหนดวันที่งานคือ:
class MydataSet(Dataset):
def __init__(self, indx=1, root_path='./xxx', tar_size=128, data_aug=True, train=True):
self.train = train
if self.train:
self.in_file = pth.join(root_path, 'train', 'train_noisy_%d.h5' % indx)
self.tar_file = pth.join(root_path, 'train', 'train_clean_%d.h5' % indx)
else:
self.in_file = pth.join(root_path, 'test', 'test_noisy.h5')
self.tar_file = pth.join(root_path, 'test', 'test_clean.h5')
self.h5f_n = h5py.File(self.in_file, 'r', driver='core')
self.h5f_c = h5py.File(self.tar_file, 'r')
self.keys_n = list(self.h5f_n.keys())
self.keys_c = list(self.h5f_c.keys())
# h5f_n.close()
# h5f_c.close()
self.tar_size = tar_size
self.data_aug = data_aug
def __len__(self):
return len(self.keys_n)
def __del__(self):
self.h5f_n.close()
self.h5f_c.close()
def __getitem__(self, index):
keyn = self.keys_n[index]
keyc = self.keys_c[index]
datan = np.array(self.h5f_n[keyn])
datac = np.array(self.h5f_c[keyc])
datan_tensor = torch.from_numpy(datan).unsqueeze(0)
datac_tensor = torch.from_numpy(datac)
if self.data_aug and np.random.randint(2, size=1)[0] == 1: # horizontal flip
datan_tensor = torch.flip(datan_tensor,dims=[2]) # c h w
datac_tensor = torch.flip(datac_tensor,dims=[2])
งั้นฉันใช้ dataset_train = data.ConcatDataset([MydataSet(indx=index, train=True) for index in range(1, 6)]) สำหรับการฝึก ตอนที่เดียวที่ 2-3 h5py แฟ้มชิง i/O ความเร็วเป็นธรรมดาและทุกอย่างไปล่ะ อย่างไรก็ตามเมื่อ 5 แฟ้มยังคงใช้การฝึกความเร็วเป็น gradually decreasing(5 ทำซ้ำ/วินาทีที่ 1 การทำซ้ำ/วินาที). ฉันเปลี่ยน num_worker และปัญหาของยังคงอยู่ก่อนแล้ว
อาจจะมีคนให้ฉันใช่ไหม ฉันควรผนวกรวมหลาย h5py องแฟ้มเข้าไปในที่ยิ่งใหญ่กว่าหนึ่ง? หรืออื่นวิธีการของ? ขอบคุณล่วงหน้า!