ยังไงเพื่อให้รายการของเหมือนกันเพื่อนกันระหว่างมีคู่ของเพื่อนอยู่ในเครือข่ายโดยใช้ pyspark

Question 1

ฉันมีสามประวัติเหมือนนี้ [('a1', ['b1', 'c1', 'd1', 'e1']), ('a2', ['b1', 'c2', 'd2', 'e1']),('a3', ['b1', 'c2', 'd1', 'e2'])] ที่บรรจุชื่อสำหรับกุญแจมือนรายการของค่าสำหรับแต่ละกุญแจ

ฉันอยากจะไปเอาหมายเลขรวมของค่าของในช่องรายการสำหรับกันและกุญแจอยู่ใน pyspark.
ยังไงฉันจะได้รายชื่อของเหมือนกันเพื่อนกันระหว่างมีคู่ fiends ใน pyspark.

Question 2

1 แค่ใช้ size ฟังก์ชัน.

df = df.withColumn('num_friends', F.expr('size(friends)'))

2 ใช้ array_intersect ฟังก์ชันจะต้องไปที่ทางแยกของ arrays.

cp_df = df.toDF('key_pair', 'friends_pair')
cross_df = df.crossJoin(cp_df).filter('key!=key_pair')
cross_df = cross_df.select(F.create_map('key', 'key_pair').alias('key_pair'),
                           F.array_intersect('friends', 'friends_pair').alias('common_friends'))
cross_df.show(truncate=False)

过过招 · Answer 1 · 2021-11-24T02:39:00

1 แค่ใช้ size ฟังก์ชัน.

df = df.withColumn('num_friends', F.expr('size(friends)'))

2 ใช้ array_intersect ฟังก์ชันจะต้องไปที่ทางแยกของ arrays.

cp_df = df.toDF('key_pair', 'friends_pair')
cross_df = df.crossJoin(cp_df).filter('key!=key_pair')
cross_df = cross_df.select(F.create_map('key', 'key_pair').alias('key_pair'),
                           F.array_intersect('friends', 'friends_pair').alias('common_friends'))
cross_df.show(truncate=False)

ยังไงเพื่อให้รายการของเหมือนกันเพื่อนกันระหว่างมีคู่ของเพื่อนอยู่ในเครือข่ายโดยใช้ pyspark

คำถาม

คำตอบที่ดีที่สุด

ในภาษาอื่นๆ

หน้านี้อยู่ในภาษาอื่นๆ

ดังอยู่ในนี้หมวดหมู่

ดังคำถามอยู่ในนี้หมวดหมู่