ยังไงต้องผ่านข้อตกลงจะเป็นจุดส่งงานใน airflow

ฉันต้องกระตุ้นเป็น pyspark ศูนย์ควบคุม kde ในโมดูลจาก airflow ใช้ sparksubmit โอเปอเรเตอร์ค่ะ เว้นแต่ pyspark ศูนย์ควบคุม kde ในโมดูลต้องไปที่ออลสปาร์ควาระงานตัวแปรเป็นข้อโต้แย้ง ฉันต้องใช้ application_args ต้องส่งต่อพารามิเตอร์ที่ pyspark โมดูล แต่ตอนที่ผมไปที่ dag จุดส่งโอเปอเรเตอร์กำลังล้มเหลวและพารามิเตอร์ฉันหมดสติอยู่ในเลือย่างที่ไม่ใช่เรื่องประเภทตัวแปร ต้องรู้วิธีที่จะส่งเป็นข้อโต้แย้งเพื่อเป็น pyspark ศูนย์ควบคุม kde ในโมดูลกระตุ้นผ่าน spark_submit_operator.

ที่ DAG รหัสคือด้านล่างนี้:

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("PRJT").enableHiveSupport().getOrCreate()

spark_config = {
    'conn_id': 'spark_default',
    'driver_memory': '1g',
    'executor_cores': 1,
    'num_executors': 1,
    'executor_memory': '1g'
}

dag = DAG(
    dag_id="spark_session_prgm",
    default_args=default_args,
    schedule_interval='@daily',
    catchup=False)

spark_submit_task1 = SparkSubmitOperator(
    task_id='spark_submit_task1',
    application='/home/airflow_home/dags/tmp_spark_1.py',
    application_args=['spark'],
    **spark_config, dag=dag)

ตัวอย่างรหัสอยู่ tmp_spark_1.py โปรแกรม: