Iterate แฟ้มจากโฟลเดอร์และจัดการกับมันอยู่ใน language

0

คำถาม

ฉันมีสองสามของแฟ้มในโฟลเดอร์สำหรับแตกต่างประเทศ เหมือนด้านล่างนี้

Casedata_GBR_202110_timestamp.แฟ้ม csv

Casedata_ARG_202110_timestamp.แฟ้ม csv

ตอนนี้ฉันต้องการเอาพวกนี้แฟ้มโพรเซสพวกเขาโดยประเทศฉลาดและคัดลอกไปยัง@title:menu respective โฟลเดอร์ได้ ของโฟลเดอร์ปลายทางโครงสร้างจะเป็นเหมือน

2021-->11-->GBR

2021-->11-->ARG

อยู่ในออลสปาร์ค language/language ช่วยฉันต้องเขียนรหัสที่ต้องดำเนินการในแฟ้มโดยประเทศแล้วย้ายไปอ respective ประเทศโฟลเดอร์

apache-spark scala
2021-11-24 06:42:17
1

คำตอบที่ดีที่สุด

0

มันฟังดูเหมือนคุณกำลังมองหา partitionBy กำหนดไว้อยู่ DataFrameWriter. จาก scaladoc:

def partitionBy(colNames: String*): DataFrameWriter[T]

ให้เห็นถึงพาร์ทิชันที่มีอยู่การส่งออกโดยที่ให้คอลัมน์ในระบบแฟ้ม ถ้ากำหนดงผลส่งออกเป็นวางอยู่บนระบบแฟ้มที่คล้ายกันเพื่อรังผึ้งขอ partitioning องแผนการ เป็นตัวอย่างเช่น,ตอนที่เราพาร์ติชันที่เป็นวันที่โดยปีและเมื่อเดือนก่อนที่ไดเรกทอรีการจัดวางจะดูเหมือน:

year=2016/month=01/
year=2016/month=02/

Partitioning เป็นหนึ่งในที่สุด widely ใช้เทคนิคที่ต้อง the result will be artificially smoothed to hide jpeg artefacts ทางกายภาพข้อมูลของผังแป้นพิมพ์. มันทำให้เป็น coarse-grained ดัชนีสำหรับกำลังข้ามไม่จำเป็นต้ออ่านข้อมูลเมื่อค้นข้อมูลที่มี predicates บกแบ่งส่วนคอลัมน์. ในการสั่งซื้อสำหรับ partitioning ทำงานดีคนจำนวนของหารค่าค่าในแต่ละคอลัมน์ควรจะเป็นเวลาน้อยกว่าทำให้คนเป็นหมื่นต้อง.

นี่คือกปรับใช้จะสำหรับแฟ้มฐานข้อมูลแหล่งข่าวของ(e.g. Parquet,LANGUAGE)เริ่มต้นกับจุ 2.1.0.

2021-11-24 08:25:52

มีอย่างเพื่อให้เหมือน 2016/01 และจะ foreach ช่วย iterate หนึ่งโดยหนึ่งแฟ้ม
Krishna Murthy

ฉันต้องการหนึ่งโดยหนึ่งแฟ้มเข้าไปใน dataframe และคัดลงไปในแก้จุดเหลือ
Krishna Murthy

ในภาษาอื่นๆ

หน้านี้อยู่ในภาษาอื่นๆ

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................

ดังอยู่ในนี้หมวดหมู่

ดังคำถามอยู่ในนี้หมวดหมู่