ถามตอบปัญหาและข้อมูลเกี่ยวกับ tensorrt

YoloV4 keras เป็น TensorRT

ฉันกำลังฝึก YoloV4 แบบกำหนดเองตาม keras จาก repo นี้: https://github.com/taipingeric/yolo-v4-tf.keras model = Yolov4(weight_path=weights, class_name_path=class_name_path) model....

• keras • deep-learning • computer-vision • transfer-learning • tensorrt

กำลังบันทึกคลาส Keras แบบกำหนดเองไปที่ TensorRT

ฉันกำลังฝึก yolov4 แบบกำหนดเองตาม keras จาก repo นี้: https://github.com/taipingeric/yolo-v4-tf.keras สำหรับชุดข้อมูลของฉัน มีวิธีการส่งออกสิ่งนี้ไปยัง tensort แล้วอนุมานหรือไม่ ฉันเหนื่อย ...

tensorRT ที่มีข้อผิดพลาดหลายเธรด grpc จะแก้ไขได้อย่างไร

ลักษณะ สภาพแวดล้อม TensorRT เวอร์ชัน: 8.2.3.0 NVIDIA GPU: gtx 1080ti เวอร์ชันไดรเวอร์ NVIDIA: 470.103.01 CUDA เวอร์ชัน: 11.4 CUDNN เวอร์ชัน: 8.2 ระบบปฏิบัติการ: Linux 18.06 เวอร์ชัน Python (หาก ...

กำหนดรูปร่างอินพุตและเอาต์พุต

ฉันสร้างเครือข่ายของรูปร่างอินพุต 3 และรูปร่างเอาต์พุต 1 มันถูกแปลงเป็นไฟล์ onnx ฉันกำลังพยายามใช้ไฟล์ตัวอย่าง SampleONNXMNIST เพื่อทำการอนุมานด้วยข้อมูลของฉันเอง ทั้งขาเข้าและ...

TensorFlow Serving รองรับการอนุมานในรันไทม์ที่คอมไพล์หรือไม่

เป็นไปได้ไหมที่จะให้บริการโมเดลที่ปรับให้เหมาะสมโดยคอมไพเลอร์การอนุมาน (เฉพาะ ONNXRuntime, TVM หรือ TensorRT) ใน TF Serving หรือ TF Serving ให้บริการได้เฉพาะ SavedModels ที่สร้างโดย TensorFlow ใน ...

รับการถ่ายโอนข้อมูล PTX เมื่อเรียกใช้ TensorRT

ฉันกำลังใช้งานโมเดล ONNX ผ่าน TensorRT ฉันสามารถยืนยันได้ว่าการอนุมานกำลังทำงานบน GPU ผ่านผลลัพธ์และบันทึกโปรไฟล์ nvsys อย่างไรก็ตามฉันต้องการเห็นไบนารี PTX ที่เกี่ยวข้อง ...

การทำนายจากตัวเข้ารหัสและตัวถอดรหัสของโมเดล T5 โดยไม่ต้องใช้วิธีสร้าง

ฉันกำลังปรับปรุงประสิทธิภาพของโมเดล T5 ฉันแยกโมเดลเป็นตัวเข้ารหัสและตัวถอดรหัส แล้วแปลงเป็น ONNX โดยใช้ Nvidia TensorRT repo https://github.com/NVIDIA/TensorRT/tree/main/...

ไม่พบ mnist.onnx ในไดเร็กทอรีข้อมูล:

ฉันพยายามรวบรวม sampleOnnxMNIST จากรหัสนี้ https://github.com/NVIDIA/TensorRT/blob/main/samples/sampleOnnxMNIST/sampleOnnxMNIST.cpp แต่ได้รับข้อผิดพลาดนี้ ไม่พบ mnist.onnx ใน data ...

อินพุตหลายตัว, เอาต์พุตเดี่ยวพร้อม tensorrt c++ api

ฉันมีแบบจำลองซึ่งทำจาก 3 อินพุตและ 1 เอาต์พุต ฉันสร้างเอ็นจิ้น TRT จากรุ่น onnx ของฉันดังที่แสดงด้านล่าง int main() { int maxBatchSize = 32; nvinfer1::ตัวสร้าง IBuilder* = nvinfer1:...

ค่าความเชื่อมั่น (คะแนน) น้อยมาก

คุณช่วยอธิบายหน่อยได้ไหมว่าคำสั่ง if score[i]>0.1 และ scores[i]<=1.0 จะทำงานอย่างไร เนื่องจากค่าคะแนนใน output_data ของคุณมีขนาดเล็กมาก (จากลำดับ 10^-3) ดังนั้นเงื่อนไข if จะ ...

เป็นไปได้ไหมที่จะสร้างโมเดล ONNX จาก darknet โดยไม่ใช้ Cuda?

ฉันกำลังสร้างเครือข่ายขนาดเล็ก yolov3 ที่ได้รับการฝึกฝนด้วยข้อมูลที่กำหนดเองซึ่งฉันต้องการส่งออกไปยังรูปแบบ ONNX ที่เข้ากันได้กับ barracuda ที่เป็นเอกภาพ ฉันเป็นมือใหม่ใน ML และในขณะที่ฉันสามารถฝึก Custom ...

วิธีอนุมาน tensorrt บน GPU หลายตัวใน python

ฉันแปลงโมเดล resnet50 TensorFlow เป็น tensorRT เมื่อฉันอนุมาน Engin มันใช้หนึ่งใน GPU ของฉันเท่านั้น ฉันมี 3090 GPU สองตัว ฉันจะแก้ไขได้อย่างไรและการอนุมานทำงานบน GPU มากกว่าหนึ่งตัว

การใช้งานของคลาส IBuilder และคลาส INetworkDefinition ใน TensorRT อยู่ที่ไหน

API ได้รับในไฟล์ส่วนหัว Nvinfer.h อย่างไรก็ตาม ฉันไม่พบการใช้งานจริงของคลาสเหล่านี้ ความคิดใด?

การเข้าถึงหน่วยความจำ Cuda ไม่ถูกต้องเมื่อทำการอนุมานบน *.engine

หลังจากส่งออกโมเดล YoloV5 ไปยัง .engine ฉันได้รับข้อผิดพลาดเมื่อพยายามทำการอนุมาน กำลังโหลด model.engine สำหรับการอนุมาน TensorRT... [01/16/2022-04:18:26] [TRT] [I] [MemUsageChange] ...

วิธีแปลงการตรวจจับวัตถุ tf hub model v1 เป็น tensorRT

ฉันต้องการความช่วยเหลือในการแปลง - https://tfhub.dev/google/faster_rcnn/openimages_v4/inception_resnet_v2/1 เป็น tensorRT เพื่อให้การอนุมานเร็วขึ้น ฉันเจอตัวอย่าง/บทช่วยสอนสำหรับฮับเทนเซอร์โฟลว์แล้ว ...