ฉันมีไปป์ไลน์ที่สร้างด้วยลุยจิ ฉันมีงาน luigi หนึ่งงานซึ่งดาวน์โหลดข้อมูลจากบริการภายนอกตามไฟล์ txt ที่มีข้อมูลที่จะดึงข้อมูล เนื่องจากมีคำขอบริการภายนอกมากกว่า 3000 รายการ ไปป์ไลน์จึงมักล้มเหลว เนื่องจากต้องใช้เวลามากในการทำงานให้เสร็จ สิ่งที่สามารถทำได้เพื่อปรับปรุงความสามารถในการปรับขนาดของไปป์ไลน์และเพื่อให้แน่ใจว่าไปป์ไลน์จะไม่ล้มเหลว -เธรด มัลติโพรเซสซิง? วิธีแก้ปัญหาใดที่เหมาะสมที่สุดเพื่อให้แน่ใจว่าไปป์ไลน์ไม่ล้มเหลวในการจัดการงานใหญ่ ซึ่งใช้เวลานาน

ฉันไม่ได้ให้ตัวอย่างโค้ดใดๆ เนื่องจากฉันต้องการวิธีการทั่วไป ไม่ใช่ตัวอย่างตาม

ไม่พบคำตอบ