ฉันต้องด้านล่างรหัสภาษาไพธอนแต่ฉันต้องการจะแปลงนี้จะ pyspark,
qm1['c1'] = [x[0] in x[1] for x in zip(qm1['id'], qm1['question'])]
qm1['c1'] = qm1['c1'].astype(str)
qm1a = qm1[(qm1.c1 == 'True')]
การส่งออกของไพธอนรหัสก็คือ
| คำถาม | กุญแจ | หมายเลข | c1 |
|---|---|---|---|
| ผู้หญิง | 0 | omen | เรื่องจริง |
| เครื่อง | 0 | แมค | เรื่องจริง |
เป็นไปได้มั้ยที่ใครบางคนจะได้โปรดช่วยฉันออกไปในแบบเดียวกับที่ฉันเป็นเชิดแพลตตินั่มทั้งหมดไปใช่ภาษาไพธอน?
นี่คือของฉันทดสอบทดสอบ(เป็นคำถามของคุณไม่มีส่วนใด)
df.show()
+--------+---+----+
|question|key| id|
+--------+---+----+
| Women| 0|omen|
| machine| 2| mac|
| foo| 1| bar|
+--------+---+----+
และรหัสเพื่อสร้างที่คาดหวังตัวเลือกการไล่ระดับสี
from pyspark.sql import functions as F
df = df.withColumn("c1", F.col("question").contains(F.col("id")))
df.show()
+--------+---+----+-----+
|question|key| id| c1|
+--------+---+----+-----+
| Women| 0|omen| true|
| machine| 2| mac| true|
| foo| 1| bar|false|
+--------+---+----+-----+
งั้นคุณสามารถเพีย filter บ c1:
df.where("c1").show()
+--------+---+----+----+
|question|key| id| c1|
+--------+---+----+----+
| Women| 0|omen|true|
| machine| 2| mac|true|
+--------+---+----+----+