Texas Instruments AM6x Ngembangkeun Pituduh Pamaké Sababaraha kaméra

Kaméra anu dipasang maénkeun peran anu penting dina sistem visi modern.
Ngamangpaatkeun sababaraha kaméra dina hiji sistem ngaronjatkeun kamampuhan tur nyandak tugas nu teu kahontal ku kaméra tunggal.

Aplikasi Nganggo Sababaraha Kaméra:

Panjagaan Kaamanan: Ningkatkeun cakupan panjagaan, tracking objék, sareng akurasi pangenalan.
Sakuriling View: Aktipkeun visi stereo pikeun tugas sapertos deteksi halangan sareng manipulasi obyék.

Perekam kabin sareng Sistem Eunteung Kaméra: Nyadiakeun cakupan nambahan sarta ngaleungitkeun bintik buta.
Pencitraan médis: Nawarkeun precision ditingkatkeun dina navigasi bedah jeung endoscopy.

Drones sareng Pencitraan Udara: Nangkep gambar resolusi luhur tina sudut anu béda pikeun sababaraha aplikasi.

Nyambungkeun Sababaraha Kaméra CSI-2 ka SoC:
Pikeun nyambungkeun sababaraha kaméra CSI-2 ka SoC, turutan tungtunan anu disadiakeun dina manual pamaké. Pastikeun alignment sareng sambungan anu leres unggal kaméra ka palabuhan anu ditunjuk dina SoC.

Catetan Aplikasi
Ngembangkeun Aplikasi Multiple-Kaméra dina AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRAK
Laporan ieu ngajelaskeun pamekaran aplikasi nganggo sababaraha kaméra CSI-2 dina kulawarga alat AM6x. Desain rujukan deteksi obyék kalayan diajar jero dina 4 kaméra dina AM62A SoC dibere analisis kinerja. Prinsip umum desain dilarapkeun ka SoC anu sanés nganggo antarmuka CSI-2, sapertos AM62x sareng AM62P.

Bubuka

Kaméra anu dipasang maénkeun peran anu penting dina sistem visi modern. Nganggo sababaraha kaméra dina hiji sistem ngalegaan kamampuan sistem ieu sareng ngaktifkeun kamampuan anu teu mungkin ku hiji kaméra. Di handap ieu sababaraha exampsababaraha aplikasi anu ngagunakeun sababaraha kaméra anu dipasang:

Panjagaan Kaamanan: Sababaraha kaméra anu ditempatkeun sacara strategis nyayogikeun liputan panjagaan anu komprehensif. Aranjeunna ngaktifkeun panorama views, ngurangan titik buta, sarta ningkatkeun akurasi tracking objék jeung pangakuan, ngaronjatkeun ukuran kaamanan sakabéh.
Sakuriling View: Sababaraha kaméra dipaké pikeun nyieun setelan visi stereo, sangkan informasi tilu diménsi jeung estimasi jero. Ieu penting pisan pikeun tugas sapertos deteksi halangan dina kendaraan otonom, manipulasi obyék anu tepat dina robotika, sareng realisme anu ditingkatkeun tina pangalaman kanyataanana nambahan.

Perekam kabin sareng Sistem Eunteung Kaméra: Perékam kabin mobil sareng sababaraha kaméra tiasa nyayogikeun langkung seueur sinyalna nganggo prosesor tunggal. Nya kitu, sistem eunteung kaméra jeung dua atawa leuwih kaméra bisa dilegakeun widang supir urang view sareng ngaleungitkeun bintik buta tina sadaya sisi mobil.
Médis Imaging: Sababaraha kaméra bisa dipaké dina Imaging médis pikeun tugas kawas navigasi bedah, nyadiakeun surgeons kalawan sababaraha perspéktif pikeun precision ditingkatkeun. Dina endoskopi, sababaraha kaméra ngaktifkeun pamariksaan lengkep organ internal.

Drones sareng Aerial Imaging: Drones sering dilengkepan ku sababaraha kaméra pikeun moto gambar atanapi pidéo resolusi luhur tina sudut anu béda. Ieu mangpaat dina aplikasi sapertos fotografi hawa, ngawaskeun tatanén, sareng survey lahan.
Kalayan kamajuan mikroprosesor, sababaraha kaméra tiasa diintegrasikeun kana hiji System-on-Chip.
(SoC) pikeun nyayogikeun solusi anu kompak sareng efisien. AM62Ax SoC, kalayan pamrosésan pidéo / visi berprestasi tinggi sareng akselerasi diajar jero, mangrupikeun alat anu cocog pikeun kasus pamakean anu disebatkeun di luhur. Alat AM6x anu sanés, AM62P, diwangun pikeun aplikasi tampilan 3D anu dipasang dina kinerja tinggi. Dilengkepan akselerasi grafik 3D, AM62P tiasa gampang ngahijikeun gambar tina sababaraha kaméra sareng ngahasilkeun panorama resolusi luhur. view. Fitur inovatif AM62A/AM62P SoC geus dibere dina sagala rupa publikasi, kayaning [4], [5], [6], jsb. Catetan aplikasi ieu moal malikan eta déskripsi fitur tapi fokus kana integrasi sababaraha kaméra CSI-2 kana aplikasi visi embedded on AM62A / AM62P.

meja 1-1 nembongkeun béda utama antara AM62A na AM62P sajauh processing gambar.

Tabél 1-1. Bedana Antara AM62A na AM62P dina Processing Gambar

SoC	AM62A	AM62P
Dirojong Tipe kaméra	Kalayan atanapi henteu nganggo ISP anu diwangun	Kalayan ISP Diwangun-di
Data Kaluaran kaméra	Atah/YUV/RGB	YUV / RGB
ISP HWA	Sumuhun	No
Deep Learning HWA	Sumuhun	No
3-D Grafika HWA	No	Sumuhun

Nyambungkeun Sababaraha Kaméra CSI-2 ka SoC
Subsistem Kaméra dina AM6x SoC ngandung komponén-komponén ieu, sapertos anu dipidangkeun dina Gambar 2-1:

Panarima MIPI D-PHY: nampi aliran pidéo tina kaméra éksternal, ngadukung dugi ka 1.5 Gbps per jalur data pikeun 4 jalur.

CSI-2 panarima (RX): narima aliran video ti panarima D-PHY na boh langsung ngirimkeun aliran ka ISP atawa dumps data ka memori DDR. modul ieu ngarojong nepi ka 16 saluran virtual.
SHIM: bungkus DMA anu ngamungkinkeun ngirim aliran anu dicandak kana mémori tina DMA. Sababaraha konteks DMA bisa dijieun ku wrapper ieu, kalawan unggal konteks pakait jeung saluran virtual tina CSI-2 panarima.

Sababaraha kaméra bisa dirojong dina AM6x ngaliwatan pamakéan saluran virtual tina CSI-2 RX, sanajan aya ngan hiji panganteur CSI-2 RX on SoC. Komponén agrégat CSI-2 éksternal diperyogikeun pikeun ngagabungkeun sababaraha aliran kaméra sareng ngirimkeunana ka hiji SoC. Dua jinis solusi agrégat CSI-2 tiasa dianggo, dijelaskeun dina bagian ieu.

CSI-2 Agrégator Ngagunakeun SerDes
Salah sahiji cara pikeun ngagabungkeun sababaraha aliran kaméra nyaéta ngagunakeun solusi serializing sareng deserializing (SerDes). Data CSI-2 ti unggal kaméra dirobah ku serializer sarta ditransfer ngaliwatan kabel. Deserializer nampi sadaya data serialisasi anu ditransfer tina kabel (hiji kabel per kaméra), ngarobih aliran deui kana data CSI-2, teras ngirimkeun aliran CSI-2 anu diselingi ka antarmuka CSI-2 RX tunggal dina SoC. Unggal aliran kaméra dicirikeun ku saluran virtual unik. Solusi agrégat ieu nawiskeun kauntungan tambahan pikeun ngamungkinkeun sambungan jarak jauh dugi ka 15m tina kaméra ka SoC.

FPD-Link atanapi V3-Link serializers and deserializers (SerDes), dirojong dina AM6x Linux SDK, mangrupikeun téknologi anu paling populér pikeun jinis solusi agrégat CSI-2 ieu. Duanana FPD-Link sareng V3-Link deserializers gaduh saluran deui anu tiasa dianggo pikeun ngirim sinyal singkronisasi pigura pikeun nyingkronkeun sadaya kaméra, sakumaha anu dijelaskeun dina [7].
angka 2-2 nembongkeun example tina ngagunakeun SerDes pikeun nyambungkeun sababaraha kaméra ka AM6x SoC tunggal.

Tilasample sahiji solusi aggregating ieu bisa kapanggih dina Arducam V3Link kaméra Solusi Kit. Kit ieu gaduh hub deserializer anu ngahijikeun 4 aliran kaméra CSI-2, ogé 4 pasang serializer V3link sareng kaméra IMX219, kalebet kabel coaxial FAKRA sareng kabel FPC 22-pin. Desain rujukan dibahas engké diwangun dina kit ieu.

CSI-2 Agrégator tanpa Ngagunakeun SerDes
Jenis agrégator ieu tiasa langsung ngahubungkeun sareng sababaraha kaméra MIPI CSI-2 sareng ngumpulkeun data tina sadaya kaméra kana aliran kaluaran CSI-2 tunggal.

angka 2-3 nembongkeun example tina sistem saperti. Jenis solusi aggregating ieu henteu nganggo serializer / deserializer tapi diwatesan ku jarak maksimum transfer data CSI-2, anu dugi ka 30cm. AM6x Linux SDK henteu ngadukung jinis agrégator CSI-2 ieu

Aktipkeun Sababaraha Kaméra dina Parangkat Lunak

Kaméra Subsistem Software Arsitéktur
angka 3-1 nembongkeun diagram blok-tingkat tinggi tina software sistem newak kaméra di AM62A / AM62P Linux SDK, pakait jeung sistem HW dina Gambar 2-2.

Arsitéktur parangkat lunak ieu ngamungkinkeun SoC nampi sababaraha aliran kaméra nganggo SerDes, sapertos anu dipidangkeun dina Gambar 2-2. FPD-Link / V3-Link SerDes masihan alamat I2C unik sareng saluran virtual pikeun unggal kaméra. A overlay tangkal alat unik kudu dijieun kalawan alamat I2C unik keur unggal kaméra. Supir CSI-2 RX ngakuan unggal kaméra nganggo nomer saluran virtual anu unik sareng nyiptakeun kontéks DMA per aliran kaméra. Hiji titik video dijieun pikeun unggal konteks DMA. Data ti unggal kaméra lajeng ditampi tur disimpen maké DMA kana mémori sasuai. Aplikasi spasi pamaké ngagunakeun titik video nu pakait jeung unggal kaméra pikeun ngakses data kaméra. Misalamples ngagunakeun arsitéktur software ieu dirumuskeun dina Bab 4 - Desain Rujukan.

Sakur supir sensor khusus anu saluyu sareng kerangka V4L2 tiasa nyolok sareng maén dina arsitektur ieu. Tingal [8] ngeunaan cara ngahijikeun supir sénsor anyar kana Linux SDK.

Gambar Pipeline Software Arsitéktur

AM6x Linux SDK nyayogikeun kerangka GStreamer (GST), anu tiasa dianggo dina rohangan ser pikeun ngahijikeun komponén pangolahan gambar pikeun sababaraha aplikasi. Hardware Accelerators (HWA) dina SoC, sapertos Vision Pre-processing Accelerator (VPAC) atanapi ISP, video encoder/decoder, sareng deep learning compute engine, diaksés ngaliwatan GST. plugins. VPAC (ISP) sorangan gaduh sababaraha blok, kalebet Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC), sareng Multiscalar (MSC), masing-masing pakait sareng plugin GST.
angka 3-2 nembongkeun diagram blok tina pipa gambar has ti kaméra pikeun encoding atawa jero
aplikasi diajar dina AM62A. Pikeun leuwih rinci ngeunaan aliran data tungtung-ka-tungtung, tingal dokuméntasi EdgeAI SDK.

Pikeun AM62P, pipa gambar langkung saderhana sabab teu aya ISP dina AM62P.

Kalayan titik video anu diciptakeun pikeun tiap kaméra, pipa gambar dumasar GStreamer ngamungkinkeun ngolah sababaraha input kaméra (dihubungkeun ngaliwatan antarmuka CSI-2 RX anu sami) sakaligus. Desain rujukan maké GStreamer pikeun aplikasi multi-kaméra dirumuskeun dina bab salajengna.

Desain Rujukan

Bab ieu nampilkeun desain rujukan pikeun ngajalankeun aplikasi sababaraha kaméra dina AM62A EVM, ngagunakeun Arducam V3Link Camera Solution Kit pikeun nyambungkeun 4 kaméra CSI-2 ka AM62A sareng ngajalankeun deteksi objék pikeun sadaya 4 kaméra.

Kaméra anu dirojong
Kit Arducam V3Link tiasa dianggo sareng kaméra basis FPD-Link / V3-Link sareng kaméra CSI-2 anu cocog sareng Raspberry Pi. Kaméra di handap ieu parantos diuji:

D3 Téknik D3RCM-IMX390-953
Macan tutul Imaging LI-OV2312-FPDLINKIII-110H
Kaméra IMX219 dina Arducam V3Link Camera Solution Kit

Nyetél Opat Kaméra IMX219
Turutan parentah nu disadiakeun dina AM62A Starter Kit EVM Gancang Mimitian Guide pikeun nyetél SK-AM62A-LP EVM (AM62A SK) jeung ArduCam V3Link Kaméra Solusi Gancang Mimitian Guide pikeun nyambungkeun kaméra ka AM62A SK ngaliwatan V3Link kit. Pastikeun pin dina kabel flex, kaméra, dewan V3Link, sarta AM62A SK sadayana dijajarkeun leres.

Gambar 4-1 nembongkeun setelan anu digunakeun pikeun desain rujukan dina laporan ieu. Komponén utama dina setélan kalebet:

1X SK-AM62A-LP EVM dewan
1X Arducam V3Link d-ch dewan adaptor
Kabel FPC nyambungkeun Arducam V3Link ka SK-AM62A
Adaptor kaméra 4X V3Link (serialiser)
4X kabel coaxial RF pikeun nyambungkeun serializers V3Link ka V3Link d-ch kit
Kaméra 4X IMX219
4X CSI-2 22-kabel pin pikeun nyambungkeun kaméra pikeun serializers
Kabel: Kabel HDMI, USB-C pikeun kakuatan SK-AM62A-LP sareng sumber daya 12V pikeun V3Link d-ch kit)
Komponén séjén anu henteu dipidangkeun dina Gambar 4-1: kartu micro-SD, kabel micro-USB pikeun ngakses SK-AM62A-LP, sareng Ethernet pikeun streaming

Ngonpigurasikeun kaméra jeung CSI-2 RX Interface
Nyetél software nu nurutkeun parentah disadiakeun dina Arducam V3Link Gancang Mimitian Guide. Saatos ngajalankeun skrip setelan kaméra, setup-imx219.sh, format kaméra, format antarmuka CSI-2 RX, sareng rute ti unggal kaméra ka titik video anu cocog bakal dikonpigurasi leres. Opat titik video dijieun pikeun opat kaméra IMX219. Paréntah "v4l2-ctl -list-devices" nampilkeun sadaya alat pidéo V4L2, sapertos anu dipidangkeun di handap ieu:

Aya 6 titik video sareng 1 titik média dina handapeun tiscsi2rx. Unggal titik video pakait jeung konteks DMA disadiakeun ku supir CSI2 RX. Tina 6 titik vidéo, 4 dianggo pikeun 4 kaméra IMX219, sapertos anu dipidangkeun dina topologi pipa média di handap ieu:

Ditémbongkeun saperti di luhur, éntitas média 30102000.ticsi2rx 6 hampang sumber, tapi ngan kahiji 4 dipaké, unggal hiji IMX219. Topologi pipa média ogé tiasa digambar sacara grafis. Jalankeun paréntah di handap ieu pikeun ngahasilkeun titik file:

Teras jalankeun paréntah di handap ieu dina PC host Linux pikeun ngahasilkeun PNG file:

Gambar 4-2 mangrupikeun gambar anu didamel nganggo paréntah di luhur. Komponén dina arsitektur software Gambar 3-1 bisa kapanggih dina grafik ieu.

Streaming ti Opat Kaméra
Kalayan hardware sareng parangkat lunak dipasang leres, aplikasi sababaraha kaméra tiasa dijalankeun tina rohangan pangguna. Pikeun AM62A, ISP kudu disetel pikeun ngahasilkeun kualitas gambar alus. Tingal Panungtun Tuning ISP AM6xA pikeun kumaha cara ngalakukeun tuning ISP. Bagian di handap ieu hadir examples ngalirkeun data kaméra ka tampilan a, ngalirkeun data kaméra ka jaringan, sarta nyimpen data kaméra ka files.

Streaming Data Kamera pikeun Ditampilkeun
Aplikasi dasar tina sistem multi-kaméra ieu nyaéta ngalirkeun pidéo tina sadaya kaméra ka tampilan anu nyambung ka SoC anu sami. Di handap ieu mangrupakeun ex pipeline GStreamerample tina ngalirkeun opat IMX219 ka tampilan a (nu nomer titik video jeung nomer v4l-subdev dina pipa dipikaresep bakal robah tina reboot mun reboot).

Streaming Data Kaméra ngaliwatan Ethernet
Gantina ngalirkeun data ka tampilan disambungkeun ka SoC sarua, data kaméra ogé bisa ngalirkeun data ngaliwatan Ethernet. Sisi panarima tiasa boh prosesor AM62A / AM62P atanapi PC host. Di handap ieu mangrupa exampLe tina ngalirkeun data kaméra ngaliwatan Ethernet (ngagunakeun dua kaméra pikeun kesederhanaan) (catetan plugin encoder dipaké dina pipa nu):

Di handap ieu mangrupa example tina narima data kaméra jeung ngalirkeun data kana tampilan dina processor AM62A/AM62P sejen:

Nyimpen Data Kaméra ka Files
Gantina ngalirkeun data ka tampilan atawa ngaliwatan jaringan, data kaméra bisa disimpen dina lokal files. Pipa di handap nyimpen data unggal kaméra pikeun a file (ngagunakeun dua kaméra salaku example pikeun kesederhanaan).

Multikamera Deep Learning inferensi

AM62A dilengkepan akselerator pembelajaran jero (C7x-MMA) nepi ka dua TOPS, anu mampuh ngajalankeun rupa-rupa model pembelajaran jero pikeun klasifikasi, deteksi objek, segmentasi semantik, sareng seueur deui. Bagian ieu nunjukkeun kumaha AM62A sakaligus tiasa ngajalankeun opat modél pangajaran jero dina opat feed kaméra anu béda.

Pamilihan Modél
TI's EdgeAI-ModelZoo nyadiakeun ratusan model state-of-the-art, anu dirobih / diékspor tina kerangka latihan aslina kana format anu ramah-embedded supados aranjeunna tiasa diunduh kana akselerator diajar jero C7x-MMA. Edge AI Studio Model Analyzer berbasis awan nyayogikeun alat "Pamilihan Model" anu gampang dianggo. Éta diropéa sacara dinamis pikeun kalebet sadaya modél anu dirojong dina TI EdgeAI-ModelZoo. Alatna henteu meryogikeun pangalaman sateuacana sareng nyayogikeun antarbeungeut anu gampang dianggo pikeun ngasupkeun fitur anu diperyogikeun dina modél anu dipikahoyong.

TFL-OD-2000-ssd-mobV1-coco-mlperf dipilih pikeun percobaan diajar jero multi-kaméra ieu. Modél deteksi multi-obyek ieu dikembangkeun dina kerangka TensorFlow kalayan resolusi input 300 × 300. Tabel 4-1 nembongkeun fitur penting model ieu nalika dilatih dina dataset cCOCO kalawan ngeunaan 80 kelas béda.

Tabél 4-1. Sorot Fitur Modél TFL-OD-2000-ssd-mobV1-coco-mlperf.

Modél	tugas	Resolusi	FPS	peta 50% Akurasi Dina COCO	Latén/Rangka (ms)	DDR BW Pamakéan (MB/ Frame)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Multi Objék Deteksi	300×300	~152	15.9	6.5	18.839

Setup Pipa
Gambar 4-3 nunjukkeun saluran pipa GStreamer diajar jero 4-kaméra. TI nyadiakeun suite of GStreamer plugins nu ngidinan offloading sababaraha ngolah média jeung inferensi learning jero kana akselerator hardware. Sababaraha examples ieu plugins ngawengku tiovxisp, tiovxmultiscaler, tiovxmosaic, sarta tidlinferer. The pipeline dina Gambar 4-3 ngawengku sakabéh diperlukeun plugins pikeun pipa GStreamer multipath pikeun input 4-kaméra, masing-masing mibanda preprocess média, inferensi pembelajaran jero, sareng postprocess. Nu diduplikasi plugins pikeun tiap jalur kaméra tumpuk dina grafik pikeun demonstrasi gampang.
Sumber daya hardware anu sayogi disebarkeun merata diantara opat jalur kaméra. Contona, AM62A ngandung dua multiscalers gambar: MSC0 jeung MSC1. Pipa éta sacara eksplisit ngahaturanan MSC0 pikeun ngolah jalur kaméra 1 sareng kaméra 2, sedengkeun MSC1 dikhususkeun pikeun kaméra 3 sareng kaméra 4.

Kaluaran tina opat pipelines kaméra ieu diskalakeun handap sarta concatenated babarengan ngagunakeun plugin tiovxmosaic. Kaluaran dipintonkeun dina hiji layar. Gambar 4-4 nembongkeun kaluaran tina opat kaméra kalawan model learning jero ngajalankeun deteksi objék. Unggal pipa (kaméra) ngajalankeun dina 30 FPS sareng total 120 FPS.

Salajengna nyaéta skrip pipa lengkep pikeun kasus panggunaan diajar jero multicamera anu dipidangkeun dina Gambar 4-3.

Analisis kinerja

Setélan sareng opat kaméra nganggo papan V3Link sareng AM62A SK diuji dina sababaraha skénario aplikasi, kalebet langsung nampilkeun dina layar, ngalirkeun ngaliwatan Ethernet (opat saluran UDP), ngarékam ka 4 misah. files, sarta kalawan inferensi learning jero. Dina unggal ékspérimén, urang ngawas laju pigura sareng panggunaan inti CPU pikeun ngajalajah kamampuan sistem.

Salaku saméméhna ditémbongkeun dina Gambar 4-4, pipa learning jero ngagunakeun tiperfoverlay GStreamer plugin pikeun mintonkeun beban inti CPU salaku grafik bar di bagean handap layar. Sacara standar, grafik diropéa unggal dua detik pikeun nembongkeun beban salaku persen utilizationtage. Salian ti plugin tiperfoverlay GStreamer, alat perf_stats mangrupikeun pilihan kadua pikeun nunjukkeun kinerja inti langsung dina terminal kalayan pilihan pikeun nyimpen kana a file. alat ieu leuwih akurat dibandingkeun tTiperfoverlayas dimungkinkeun dina nambahkeun beban tambahan dina cores ARMm jeung DDR ngagambar grafik na overlay eta dina layar. Alat perf_stats utamana dipaké pikeun ngumpulkeun hasil utilization hardware dina sakabéh kasus uji ditémbongkeun dina dokumén ieu. Sababaraha inti ngolah penting sareng akselerator anu diulik dina tés ieu kalebet prosesor utama (opat inti A53 Arm @ 1.25GHz), akselerator pembelajaran jero (C7x-MMA @ 850MHz), VPAC (ISP) sareng VISS sareng multiscaler (MSC0 sareng MSC1), sareng operasi DDR.

Méja 5-1 nunjukkeun kinerja sareng pamanfaatan sumberdaya nalika nganggo AM62A sareng opat kaméra pikeun tilu kasus pamakean, kalebet ngalirkeun opat kaméra ka tampilan, ngalirkeun data liwat Ethernet, sareng ngarékam ka opat anu misah. files. Dua tés dilaksanakeun dina unggal pamakean: nganggo kaméra wungkul sareng inferensi diajar anu jero. Sajaba ti éta, baris kahiji dina Table 5-1 nembongkeun utilizations hardware lamun ngan sistem operasi ieu ngajalankeun on AM62A tanpa aplikasi pamaké. Ieu dianggo salaku garis dasar pikeun ngabandingkeun nalika ngevaluasi panggunaan hardware tina kasus uji anu sanés. Sapertos dina tabél, opat kaméra kalayan diajar jero sareng tampilan layar dioperasikeun dina 30 FPS masing-masing, kalayan jumlahna aya 120 FPS pikeun opat kaméra. Laju pigura anu luhur ieu dihontal kalayan ngan ukur 86% tina akselerator diajar jero (C7x-MMA) kapasitas pinuh. Salaku tambahan, hal anu penting pikeun dicatet yén akselerator learning jero ieu clocked di 850MHz tinimbang 1000MHz dina percobaan ieu, nu ngeunaan ngan 85% kinerja maksimum na.

tabél 5-1. Kinerja (FPS) sareng Pamakéan Sumberdaya AM62A nalika dianggo sareng 4 Kaméra IMX219 pikeun Layar Layar, Aliran Ethernet, Rékam ka Files, sarta Ngalaksanakeun Deep Learning inferencing

Aplikasi n	Pipa (operasi )	Kaluaran	FPS rata-rata pipa s	FPS total	MPUs A53s @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Total [MB/s]
Taya App	Baseline No operasi	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Kaméra ngan	Aliran ka Layar	layar	30	120	12	12	0	70	61	60	1015	757	1782
	Stream ngaliwatan Ethernet	UDP: 4 palabuhan 1920 × 1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Rékam ka files	4 files 1920 × 1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam kalawan Deep learning	Pangajaran jero: Deteksi objék MobV1- coco	layar	30	120	38	25	86	71	85	82	2926	1676	4602
	diajar jero: Objék deteksi MobV1- coco jeung Stream leuwih Ethernet	UDP: 4 palabuhan 1920 × 1080	28	112	84	20	99	66	65	72	4157	2563	6720
	diajar jero: Objék deteksi MobV1- coco jeung catetan ka files	4 files 1920 × 1080	28	112	87	22	98	75	82	61	2024	2458	6482

Ringkesan
Laporan aplikasi ieu ngajelaskeun kumaha carana nerapkeun aplikasi multi-kaméra dina kulawarga AM6x alat. Desain rujukan dumasar kana Kit Solusi Kaméra V3Link Arducam sareng AM62A SK EVM disayogikeun dina laporan, sareng sababaraha aplikasi kaméra nganggo opat kaméra IMX219, sapertos streaming sareng deteksi obyék. Pamaké didorong nyandak V3Link Camera Solution Kit ti Arducam sareng ngayakeun réplikasi ex ieuamples. Laporan éta ogé nyayogikeun analisa lengkep ngeunaan kinerja AM62A nalika nganggo opat kaméra dina sababaraha konfigurasi, kalebet ningalikeun kana layar, ngalirkeun data liwat Ethernet, sareng ngarékam ka files. Éta ogé nunjukkeun kamampuan AM62A pikeun ngalaksanakeun inferensi diajar jero dina opat aliran kaméra anu kapisah sacara paralel. Upami aya patarosan ngeunaan ngajalankeun ex ieuamples, ngalebetkeun hiji panalungtikan dina forum TI E2E.

Rujukan

AM62A Starter Kit EVM Gancang Mimitian Guide
ArduCam V3Link Kaméra Solusi Gancang Mimitian Guide
Tepi AI SDK dokuméntasi pikeun AM62A
Kaméra Smart Edge AI Nganggo Prosesor AM62A Énergi Éfisién
Sistim Eunteung kaméra on AM62A
Supir sareng Sistem Pangimeutan Occupancy on AM62A
Aplikasi Kaméra Quad Channel pikeun Sakuliling View sarta Sistem Kaméra CMS
AM62Ax Linux Academy on Aktipkeun CIS-2 Sensor
Edge AI ModelZoo
Tepi AI Studio
alat Perf_stats

Bagian TI Dirujuk dina Catetan Aplikasi Ieu:

BEWARA PENTING JEUNG DISCLAIMER

TI MEMBERI DATA Téknis sareng reliabilitas (kaasup lembar data), sumber daya desain (kaasup desain rujukan), aplikasi atawa saran desain lianna, WEB ALAT, INFORMASI KASALAMATAN, JEUNG SUMBER-SUMBER LAIN "SA ADANYA" SARENG SARENG KASALAHAN, JEUNG NANGTANGKEUN SADAYANA HARANSI, NYATA JEUNG TERSIRAT, KAAsup TANPA WATASAN JAMINAN TERSIRAT TENTANG MERCHANTABILITY, KESESUAIAN PIKEUN KEUNGGULAN TUJUAN PADA TUNGGU. .

Sumberdaya ieu dimaksudkeun pikeun pamekar terampil ngarancang sareng produk TI. Anjeun solely jawab

milih produk TI anu cocog pikeun aplikasi anjeun,
ngarancang, validasi, sareng nguji aplikasi anjeun, sareng
mastikeun aplikasi anjeun nyumponan standar anu berlaku, sareng kasalametan, kaamanan, pangaturan, atanapi sarat anu sanés.

Sumberdaya ieu tiasa robih tanpa aya bewara. TI ngidinan Anjeun pikeun ngagunakeun sumberdaya ieu ngan pikeun ngembangkeun hiji aplikasi anu ngagunakeun produk TI dijelaskeun dina sumberdaya. Baranahan sejen tur tampilan sumberdaya ieu dilarang. Henteu aya lisénsi anu dipasihkeun ka hak cipta intelektual TI anu sanés atanapi hak cipta intelektual pihak katilu. TI nolak tanggung jawab, sareng anjeun bakal pinuh indemnify TI sareng wawakilna ngalawan, klaim, karusakan, biaya, karugian, sareng kawajiban anu timbul tina panggunaan sumber daya ieu.

Produk TI anu disayogikeun tunduk kana Sarat Penjualan TI atanapi istilah-istilah anu sanés anu aya dina ti.com atanapi disayogikeun sareng produk TI sapertos kitu. Penyediaan TI sumber daya ieu henteu ngalegaan atanapi upami henteu ngarobih jaminan anu lumaku atanapi bantahan garansi pikeun produk TI.

TI obyék sareng nolak istilah tambahan atanapi béda anu anjeun usulkeun.

BEWARA PENTING

Alamat Surat: Texas Instruments, Kotak Kantor Pos 655303, Dallas, Texas 75265

Patarosan anu sering ditaroskeun

Q: Naha kuring tiasa nganggo jinis kaméra naon waé sareng kulawarga alat AM6x?

Kulawarga AM6x ngadukung jinis kaméra anu béda, kalebet anu nganggo atanapi henteu nganggo ISP anu diwangun. Tingal spésifikasi pikeun detil nu langkung lengkep ihwal jinis kaméra nu dirojong.

: Naon béda utama antara AM62A na AM62P dina ngolah gambar?

Variasi konci kalebet jinis kaméra anu didukung, data kaluaran kaméra, ayana ISP HWA, Deep Learning HWA, sareng 3-D Graphics HWA. Tingal bagian spésifikasi pikeun ngabandingkeun lengkep.

Dokumén / Sumberdaya

Texas Instrumen AM6x Ngembangkeun sababaraha kaméra [pdf] Pituduh pamaké
AM62A, AM62P, AM6x Ngembangkeun sababaraha kaméra, AM6x, Ngembangkeun sababaraha kaméra, sababaraha kaméra, kaméra

Rujukan

Manual pamaké

Texas Instruments AM6x Ngembangkeun Sababaraha Kaméra

spésifikasi