ฉันอยากจะสร้างด้านล่างรหัสโดยใช้ pyspark DataFrame ฟังก์ชันแทนที่จะร้องขอแบบ sql.
spark.sql("select date from walmart_stock order by high desc limit 1").show()
0
นี่คือรหัสถ้าคุณเริ่มจากเชื่อมโยงแฟ้ม csv แฟ้ม เธอควรจำในภาษา sql ฟังก์ชัน. โน้ตที่เราใช้ inferSchema ตัวเลือกในการโดยตรงการวิเคราะห์ตัวเลขในสองเท่าและนำที่ถูกต้องขอสั่งให้(มันจะไม่ได้ทำงานอย่างที่คาดหวังกับค่าปริยายข้อความประเภท). มีทางอื่นที่จะแสดงคอลัมน์หลังจากการอ่านแฟ้ม csv.
spark.read
.option("header", "true")
.option("inferSchema", "true")
.csv("walmart_stock.csv")
.orderBy(f.col("High"), desc=True)
.limit(1)
.select("Date")
.show()
ซึ่งมีค่า
+----------+
| Date|
+----------+
|2015-11-13|
+----------+
ฉันสร้างโต๊ะที่ชื่อ walmart_stock และทำงานกับมัน ใช่จากรหัสของคุณฉันมีคำตอบของฉันแล้ว ขอบคุณ
BEing MECHon