วิธีใช้ strsplit บ SparkDataFrame

0

คำถาม

ฉันจะพาแรกของฉันขั้นตอนใน Azure Databricks โลกและดังนั้นฉันต้องเรียนรู้วิธีใช้ SparkR.

[ฉันมาจาก data.table]

ถึงแม้ว่าฉันต้องอ่านหนังสือเยอะของเอกสารคู่มือ,ฉันคิดว่ามีบางอย่างหลบหนีออกไปฉัน SparkDataFrame.

เพื่อสร้างคอลัมน์แสดงผล view->ฉันเรียนรู้ว่าเราสามารถทำอะไรแบบ:

sdf$new <- sdf$old * 0.5

แต่ถ้าฉันต้องการเพื่อใช้เป็นพื้นฐานฟังก์ชัน,ฉันมีข้อผิดพลาดเกิดขึ้นระหว่างและฉันยังคิดไม่ออกเลยว่าทำไม:

sdf <- sql("select * from database.table")
sdf$new <- strsplit(sdf$old, "-")[1]

Error in strsplit((sdf$old), "-") : 
  non-character argument
Some(<code style = 'font-size:10p'> Error in strsplit((sdf$old), &quot;-&quot;): non-character argument </code>)

ฉันพลาดอะไรไป

ขอบคุณ

azure-databricks r sparkr strsplit
2021-11-22 15:51:59
1

คำตอบที่ดีที่สุด

1

แทนที่จะเป็น strsplit คุณต้องใช้ไฟเจาะจงฟังก์ชันที่คุณสามารถค้นหาอยู่ใน ออลสปาร์คสเปนเซอร์รี้ดครับ R รูปแบบ api เอกสาร. โดยเฉพาะคุณต้องการที่จะใช้ split_string ฟังก์ชันเมื่อรวมกับ getItem ฟังก์ชัน(โปรดจำไว้ว่าคุณต้องการสำหรับกำหนด L บังคับจำนวนเป็นจำนวนเต็ม):

new_df <- withColumn(sdf, "new_id", getItem(split_string(sdf$old, ","), 0L))
2021-11-27 11:16:07

กล่องแสดงรายละเอียดของคุณได้คำอธิบายช่วยฉันเห็นชัดมากขึ้น. ฉันเริ่มที่จะค้นหาจุดเจาะจงฟังก์ชันแต่ฉันเชื่อว่าฉันจะไม่มีวันเจอ getItem. SparkR ดูเหมือนใหม่ภาษาของฉัน!
Discus23

สำหรับการแนะนำตัวเข้าไปในออลสปาร์คนะขอแนะนำให้อิสระหนังสือ-เรียออลสปาร์ค,2ed-คุณสามารถเอามันออกมาจาก Databricks เว็บไซต์
Alex Ott

ในภาษาอื่นๆ

หน้านี้อยู่ในภาษาอื่นๆ

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................

ดังอยู่ในนี้หมวดหมู่

ดังคำถามอยู่ในนี้หมวดหมู่