Scla/จาวาสมุดไม่ได้กำลังติดตั้งอยู่บการประมวลผลของ Databricks สมุดโน้ต

0

คำถาม

ที่ทำงานฉันต้องเป็น Language Databricks สมุดเล่มที่ใช้หลายบรรณารักษ์นำเข้าเอกสารหรือทั้งสองจาก Maven และจากบางอย่าโหลงแฟ้ม ปัญหาของฉันก็คือตอนที่ฉันวางแผนงานนี้สมุดบันทึกมันบางครั้งก็ล้มเหลว(เลโดยบังเอิญแต่ส่วนใหญ่เป็นเวลา 1 ใน 10 วิ่ง)เพราะมัน executes ห้องขังก่อนที่ทั้งไลบรารีเป็นการติดตั้งเอาไว้แล้ว ดังนั้นงานล้มเหลวและฉันต้องไปเรียกมันด้วยตัวคุณเอง ช่าง comportment จากนี้ Databricks'ผลิตภัณฑ์คือห่างไกลจากการเป็นมืออาชีพที่ฉันไม่สามารถใช้มันในการผลิตเพราะบางครั้งมันจะล้มเหลว

ฉันพยายามที่จะใส่ Thread.Sleep() ขอ 1 นาทีหรือดังนั้นก่อนที่ทั้งหมดของฉันำเข้าเอกสารหรือแต่มันไม่เปลี่ยนแปลงอะไรเลย สำหรับไพธอนนั้น dbutils.library.installPyPI("library-name") แต่มันไม่มีบางสิ่งสำหรับ Language ใน Dbutils เอกสารอ้างอิง

แล้วมีใครเคยมีคนเดียวกับปัญหาแล้วถ้าอย่างนั้นได้ยังไงคุณพอจะหาคำตอบได้มั้ย?

ขอบคุณ!

azure-databricks databricks import jobs
2021-11-23 08:17:20
1

คำตอบที่ดีที่สุด

1

ผมกำลังมีความสำหรับ prod กำหนดใช้งาน New Job Cluster และหลีกเลี่ยง All Purpose Cluster.

New Job Clusters เป็นกลุ่มก้อนอุทิศตนสร้างขึ้นและเริ่มตอนที่คุณวิ่งหนีงานออกและยุติการรอรับการเชื่อมต่อในทันทีหลังจากงาน completes. ในการผลิต Databricks recommends ลังใช้กลุ่มก้อนใหม่ดังนั้นแต่ละงานทำงานในเต็มที่แยกออกจากสภาพแวดล้อม.

ในส่วนติดต่อผู้ใช้ขอตอนที่การตั้งค่าของคุณสมุดเล่นงานที่เลือก New Job Cluster และหลังจากนั้นเพิ่มทั้งหมดราต้องพึ่งไลบรารีที่ทำงาน

ที่ pricing มันต่างออกสำหรับ New Job Cluster. ฉันจะบอกว่ามันต้องถูกกว่า

ข้อควรจำ: ใช้ Databricks อสระว่ายน้ำ เพื่อลดเป็นกลุ่มเริ่มแล้วโดยอัตโนมัติปรับขนาดครั้ง(หากมันเป็นเรื่องสำคัญที่สุดที่จะเริ่มต้นด้).

2021-11-24 15:19:31

ในภาษาอื่นๆ

หน้านี้อยู่ในภาษาอื่นๆ

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................

ดังอยู่ในนี้หมวดหมู่

ดังคำถามอยู่ในนี้หมวดหมู่