Airflow:สร้าง DAG จากแฟ้มแยก

0

คำถาม

ใน airflow ฉันกำลังพยายามทำเป็นฟังก์ชันนั่นคืออุทิศตนเพื่อสร้าง DAGs อยู่ในแฟ้ม:

dynamic_dags.py:

def generate_dag(name):
    with DAG(
        dag_id=f'dag_{name}',
        default_args=args,
        start_date=days_ago(2),
        schedule_interval='5 5 * * *',
        tags=['Test'],
        catchup=False
    ) as dag:
        dummy_task=DummyOperator(
            task_id="dynamic_dummy_task",
            dag=dag
        )
    return dag

แล้วในอีกแฟ้มฉันพยายามที่จะใช้นำเข้าที่ dags จากแยกเป็นแฟ้ม:

load_dags.py:

from dynamic_dag import generate_dag
globals()["Dynamic_DAG_A"] = generate_dag('A')

อย่างไรก็ตามที่ dags ไม่ได้แสดงบนเว็บส่วนติดต่อผู้ใช้ขอ. แต่ถ้าฉันทำพวกเขาด้วยการโดดครั้งเดียวแฟ้มที่ด้านล่างรหัสมันจะทำงาน:

def generate_dag(name):
    with DAG(
        dag_id=f'dag_{name}',
        default_args=args,
        start_date=days_ago(2),
        schedule_interval='5 5 * * *',
        tags=['Test'],
        catchup=False
    ) as dag:
        dummy_task=DummyOperator(
            task_id="dynamic_dummy_task",
            dag=dag
        )
    return dag

globals()["Dynamic_DAG_A"] = generate_dag('A')

ฉันสงสัยว่าทำไมถึงทำมันในสองคนแยกออกแฟ้มที่ไม่ได้ทำงาน

airflow airflow-scheduler
2021-11-21 00:44:01
1

คำตอบที่ดีที่สุด

1

ฉันคิดว่าถ้าคุณใช้ Airflow 1.10 แล้วที่ DAG แฟ้มควรจะมี DAG และ airlfow:

https://airflow.apache.org/docs/apache-airflow/1.10.15/concepts.html?highlight=airflowignore#dags

ตอนที่ค้นหา DAGs,Airflow เพียงใดๆเป็นภาษาไพธอนแฟ้มที่มีเชือก"airflow"และ"DAG"โดยค่าปริยาย พิจารณาถึงเรื่องทั้งแฟ้มไพธอนแทนที่ปิดการทำงานของ DAG_DISCOVERY_SAFE_MODE การปรับแต่งธง

ใน Airflow 2 มันถูกเปลี่ยนแปล(เล็กน้อย-dag คือคดี-ด้า):

https://airflow.apache.org/docs/apache-airflow/2.2.2/concepts/dags.html

ตอนที่ค้นหา DAGs ใน DAG_FOLDER,Airflow เพียงใดๆเป็นภาษาไพธอนแฟ้มที่มีเชือก airflow และ dag(คดี-insensitively)เป็นข้อ optimization. พิจารณาถึงเรื่องทั้งแฟ้มไพธอนแทนที่ปิดการทำงานของ DAG_DISCOVERY_SAFE_MODE การปรับแต่งธง

ฉันคิดว่าเธอแค่คิดถึง'airflow ในของคุณ load_dags.py. คุณสามารถเพิ่มองปาก,ลูกตาและช่องทวา-รวมถึงความเห็น

2021-11-21 19:02:47

ในภาษาอื่นๆ

หน้านี้อยู่ในภาษาอื่นๆ

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................

ดังอยู่ในนี้หมวดหมู่

ดังคำถามอยู่ในนี้หมวดหมู่