ถามตอบปัญหาและข้อมูลเกี่ยวกับ tensorrt-python

tensorRT ที่มีข้อผิดพลาดหลายเธรด grpc จะแก้ไขได้อย่างไร

ลักษณะ สภาพแวดล้อม TensorRT เวอร์ชัน: 8.2.3.0 NVIDIA GPU: gtx 1080ti เวอร์ชันไดรเวอร์ NVIDIA: 470.103.01 CUDA เวอร์ชัน: 11.4 CUDNN เวอร์ชัน: 8.2 ระบบปฏิบัติการ: Linux 18.06 เวอร์ชัน Python (หาก ...

• multithreading • grpc • grpc-python • tensorrt • tensorrt-python

ติดตั้ง tensorrt ด้วยปลั๊กอินที่กำหนดเอง

ฉันสามารถติดตั้ง TensorRT รุ่นที่ต้องการได้จากคู่มือ nvidia อย่างเป็นทางการ ( https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#maclearn-net-repo-install ) sudo apt-get อัปเดต &...

วิธีการตั้งค่าเอาต์พุตของโมเดล onnx ขณะแปลงจาก tensorflow เป็น onnx

ฉันกำลังพยายามแปลงโมเดลที่บันทึกไว้ (ไฟล์ .pb tensorflow) ของ yolov4 เป็น onnx สำหรับการอนุมานเทนเซอร์ ฉันสามารถตั้งค่ารูปร่างอินพุตก่อนที่จะแปลงเป็น onnx (ดังแสดงในเอกสารประกอบ ...

TensorRT เวอร์ชันนี้รองรับเฉพาะการเติมบนสองมิติภายนอกเท่านั้น

ฉันกำลังพยายามแปลงไฟล์โมเดล onnx AI เป็นไฟล์ nvidia tensorrt ฮาร์ดแวร์: NVIDIA xavier AGX เวอร์ชัน tensorrt และข้อมูลฮาร์ดแวร์: NVIDIA Jetson AGX Xavier [16GB] Jetpack 4.5.1 [L4T 32.5.1] NV ...

คำถามเกี่ยวกับโอเวอร์เฮดมัลติเธรด python

ฉันกำลังทำโปรเจ็กต์กับ tensorrt และ python ไม่ต้องกังวลคำถามนี้อาจไม่เกี่ยวข้องกับการคำนวณ GPU ใดๆ ฉันรู้สึกว่าในกรณีนี้เราสามารถเห็น tensorrt เป็นก้อนได้เนื่องจากทั้งสองแพ็คเกจลดลง GIL ...

Aoborted (แกนถูกทิ้ง) เมื่อทำการอนุมานเอ็นจิ้น tensorrt?

ฉันแปลงโมเดล pytorch เป็นเอ็นจิ้น tensorrt สำเร็จแล้ว แต่พบข้อผิดพลาดต่อไปนี้เมื่อ do_inference: [TensorRT] VERBOSE: หน่วยความจำอุปกรณ์ถาวรที่จัดสรรขนาด 9451520 [TensorRT]...

keras model:ความแม่นยำลดลงมากเมื่อหลังจากสร้าง TensorRTengine

ฉันกำลังพยายามแปลงโมเดลของ keras เป็น TensorRTengine โมเดลของฉันมีเลเยอร์ CNN และเลเยอร์ GRU และฉันใช้ tensorrt python API เพื่อทำสิ่งนี้ ในขณะเดียวกัน ฉันสร้างเอ็นจิ้นได้สำเร็จ แต่ ...

สร้างวงล้อสำหรับ pycuda . ล้มเหลว

ฉันพยายามติดตั้ง pycuda ด้วยคำสั่ง: pip install pycuda == 2021.1 ฉันได้รับข้อผิดพลาด ล้มเหลวในการสร้างวงล้อสำหรับ pycuda สภาพแวดล้อมของฉันคือ: Ubuntu: 20.04; GPU: GeForce GTX 1070 Ti; ไดรเวอร์ NVIDIA: 460.80; ...

ฉันจะเร่งความเร็วการอนุมาน YOLO v3-v4 ได้อย่างไร

ฉันรัน YOLO V3 หรือ YOLO v4 บน Jeston Xavier เวอร์ชัน DNN OpenCV มันช้ามากแทบจะไม่ถึง ~ 7-9 FPS โดยใช้ DNN ในคอนเทนเนอร์นักเทียบท่า ฉันสงสัยว่าคุณช่วยบอกฉันทีว่ามันคืออะไร ...

Tensorrt python API ตั้งค่าขนาดแบทช์

ฉันต้องการกำหนดขนาดแบทช์เมื่อสร้างเอ็นจิ้น TensorRT ฉันใช้ TensorRT 7 และ python API ฉันกำลังแปลงโมเดล ResNet50 ในรูปแบบ onnx

ทดสอบไฟล์ .trt โดยใช้ tensorflow

ด้านล่าง output_saved_model_dir ในไดเร็กทอรีนี้ ฉันมีไฟล์ trt ชื่อ final_model_gender_classification_gpu0_int8.trt output_saved_model_dir='/home/cocoslabs/Downloads/age_gender_trt' ...

เอ็นจิ้นการสร้าง Tensorrt ให้ข้อผิดพลาดกับมิติอินพุตแบบคงที่

ฉันกำลังพยายามสร้างเอ็นจิ้น cuda โดยใช้มิติข้อมูลคงที่และอ้างอิงเอกสารนี้: https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html อย่างไรก็ตาม ฉันยังคงเห็นสิ่งต่อไปนี้ ...