Hogyan működik a Raspberry pi ai kit?
A Raspberry Pi AI Kit úgy működik, hogy egy dedikált neurális feldolgozóegységet csatlakoztat egy M.2 HAT+ adapteren keresztül a Raspberry Pi 5 PCIe interfészéhez. A készlet másodpercenként 13 tera-műveletnyi mesterséges intelligencia feldolgozási teljesítményt biztosít mindössze 70 dollárért, lehetővé téve a valós idejű objektum-észlelést, a pózbecslést és a képszegmentálást anélkül, hogy túlterhelné a fő CPU-t. Ez az önálló gyorsítómodul helyileg kezeli az AI-következtetést, így a Pi 5 képes olyan kifinomult számítógépes látásmodellek futtatására, amelyek korábban felhőalapú számítástechnikát vagy drága hardvert igényeltek.
A piaci időzítés jelentős. A Raspberry Pi 259,5 millió dolláros bevételről számolt be a 2024-es pénzügyi évre, 22 termékbevezetéssel, amelyek a mesterséges intelligenciára és az IoT-hardverre összpontosítottak, jelezve stratégiai tétjét az élvonalbeli számítástechnikára. Ahogy a vállalkozások a mesterséges intelligencia terhelését a felhőről a szélső eszközökre helyezik át, ennek a megfizethető készletnek a működése kulcsfontosságúvá válik az intelligens kamerákon, robotikán és ipari automatizálási projekteken dolgozó fejlesztők számára.
A hardver belsejében: Fizikai építészet
Az AI Kit három integrált összetevőből áll, amelyek együtt működnek. A Hailo-8L-es neurális processzor áll a középpontban – itt történik a tényleges AI-számítás. A modul M.2 2242 alaktényezőt használ, és egy M kulcsszéli csatlakozón keresztül csatlakozik, követve a szabványos PC-összetevők konvencióit.
Az M.2 HAT+ hídként szolgál a Hailo chip és a Raspberry Pi PCIe Gen 3 interfésze között. Gondoljon rá úgy, mint egy fordítóra, amely két különböző hardvernyelv közötti jeleket alakít át. A modul és a HAT+ közé előre -hőpárna van beszerelve, hogy megakadályozza a túlmelegedést az intenzív mesterségesintelligencia-műveletek során,-ez a részlet azért fontos, mert a neurális feldolgozás jelentős hőt termel.
A csatlakozási sorrend a következőképpen zajlik: Raspberry Pi 5 → PCIe FPC kábel → M.2 HAT+ → Hailo-8L chip. Az újabb AI HAT+-tól eltérően, amely mindent egyetlen kártyába integrál, az AI Kit ezt a moduláris M.2-es megközelítést használja, így szükség esetén rugalmasságot biztosít az NVMe tárhely cseréjéhez.
Teljesítménymérők, amelyek valóban számítanak
A nyers TOPS számok nem mondják el a teljes történetet. A Hailo-8L 3-4 TOPS/watt hatékonyságot ér el, ami megmagyarázza, hogy miért teljesít az ötször drágább rendszerekhez képest. A valós tesztelés több gyakorlati betekintést tár fel.
A YOLOv8s objektumészlelést 640 x 640 pixeles videofeeden futtatva a Hailo-8L-lel rendelkező Pi 5 80 FPS-t ér el PCIe Gen 3 engedélyezésével – megduplázza a Gen 2 mód teljesítményét. Az energiafogyasztás rendkívül alacsony marad. A teljes Pi 5 8GB rendszer Hailo-gyorsítással körülbelül 10 W-ot fogyaszt az aktív AI-következtetés során, ami egy tipikus telefontöltőhöz hasonlítható.
A hőmérséklet szabályozás hatékonynak bizonyul a gyakorlatban. A Seeed Studio benchmark tesztje stabil teljesítményt mutatott a hosszabb munkamenetek során, fojtás nélkül, köszönhetően az előre-telepített hőkezelési megoldásnak. Ez ellentétben áll a GPU{3}}alapú következtetésekkel, ahol gyakran a termikus korlátok jelentik a szűk keresztmetszetet.
Adatfolyam: a kamerától a következtetési eredményekig
Íme, mi történik valójában, amikor a Pi 5 élő videót dolgoz fel az AI Kit segítségével. A kameramodul képkockákat rögzít és nyers képadatokat küld a Raspberry Pi CPU-jára a CSI interfészen keresztül. A CPU minimális előfeldolgozást végez, -általában csak a formátum átalakítása és a felbontás módosítása-, mielőtt átadja az adatokat a Hailo gyorsítónak.

A PCIe Gen 3 busz ezeket az előre feldolgozott adatokat akár 8 GT/s sebességgel továbbítja a Hailo-8L-re. A neurális processzor ezután lefuttatja a tényleges következtetést speciális architektúrája segítségével. A Hailo-8 architektúra önálló RAM-ot tartalmaz külső DRAM nélkül, ami drámaian csökkenti a késleltetést a hagyományos AI-gyorsítókhoz képest, amelyek folyamatosan adatokat kérnek le a rendszermemóriából.
Az eredmények ugyanazon a PCIe kapcsolaton keresztül áramlanak vissza. A CPU strukturált adatokat, -objektum koordinátákat, besorolási megbízhatósági pontszámokat, észlelt pózokat,{2}}nem pedig nyers képpontokat kap. A Python-szkript ezután értelmezi ezeket az eredményeket, és műveleteket indít el: riasztást küld, felvételt készít, motorokat aktivál vagy adatbázist frissít.
Az rpicam{0}}apps szoftvercsomag biztosítja az integrációs réteget. Jelenleg az rpicam{2}}apps az elsődleges szoftver, amely mélyreható Hailo-integrációval rendelkezik, bár a Picamera2 támogatással bővült. Ez azt jelenti, hogy olyan szkripteket írhat, amelyek zökkenőmentesen továbbítják a kamera bemenetét neurális hálózatokon keresztül, mindössze néhány sornyi kóddal.
Valós-megvalósítás: Intelligens biztonsági kameratok
Hadd járjak végig egy konkrét példán, amely bemutatja a készlet képességeit. A VEEB Projects megépítette a „Peeper Pam”-et, egy mesterséges intelligencia{1}}alapú érzékelőrendszert, amely figyelmezteti a felhasználókat, ha valaki hátulról közeledik a videohívások során, tárgyészlelés segítségével azonosítja az embereket, miközben figyelmen kívül hagyja a bútorokat és a növényeket.
Megvalósításukhoz alapvető összetevőkre volt szükség: egy Raspberry Pi 5-re AI Kittel, a 3-as kameramodulra, egy Raspberry Pi Pico W-re és egy analóg voltmérőre. A rendszer kifejlesztése mindössze három napot vett igénybe, a legnagyobb technikai kihívást a Pi 5 és a Pico W közötti hatékony kommunikációt biztosító web-aljzatok megvalósítása jelentette.
Az architektúra az intelligens élszámítást mutatja be. A Pi 5 helyileg kezeli az összes mesterséges intelligencia-feldolgozást,{2}}elemzi az egyes kereteket az emberi jelenlét szempontjából, kiszámítja a megbízhatósági pontszámokat, és riasztásokat indít el. A könnyű Pico W egyszerűen csak figyel a jelekre, nem pedig folyamatosan lekérdez, energiát takarít meg és csökkenti a hálózati terhelést. Az analóg mérő azonnali vizuális visszajelzést ad, 0-ról (nincs személy észlelve) 1-re (bizonyos észlelés) vált, fokozatos fokozatokkal a bizonytalanság érdekében.
Ez a projekt körülbelül 12-15 W-ot fogyasztott a kamerával együtt, ami jóval kevesebb, mint a hasonló felhőalapú megoldások, amelyek folyamatos videostreamelést igényelnének. A helyi feldolgozás az adatvédelmi aggályokat is megszüntette, mivel egyetlen felvétel sem hagyja el az eszközt.
Lépésenkénti--beállítási folyamat
Az AI Kit üzembe helyezése öt különböző fázisból áll. Minden fázisnak sajátos követelményei és közös buktatói vannak, amelyeket el kell kerülni.
1. fázis: Hardver összeszerelés
Kezdje egy Raspberry Pi 5-tel, amely a legújabb 64 bites Raspberry Pi OS-t futtatja. Csatlakoztassa az M.2 HAT+-t a GPIO fejléchez, biztosítva a megfelelő igazítást. Csatlakoztassa a PCIe FPC-kábelt a Pi-hez és a HAT-hoz is,{6}}a kábel meghatározott tájolású, és a helytelen erőltetés károsíthatja a csatlakozót. Rögzítse a Hailo-8L modult az M.2 nyílásba a mellékelt támasztékkal.
2. fázis: A PCIe Gen 3 engedélyezése
A Pi 5 alapértelmezés szerint PCIe Gen 2 a stabilitás érdekében. Szerkessze a /boot/firmware/config.txt fájlt, és adja hozzá a dtparam=pciex1_gen=3. fájlt. Ez az egyetlen változtatás megduplázza a következtetési teljesítményt. Indítsa újra és ellenőrizze az lspci -vv|segítségével grep "LnkSta:" a Gen 3 aktív megerősítéséhez.
3. fázis: Szoftvertelepítés
Telepítse a Hailo szoftververmet: sudo apt update és sudo apt install hailo{0}}all. Ez a csomag tartalmazza a HailoRT futtatókörnyezetet, a Hailo-támogatással rendelkező rpicam{2}}alkalmazásokat és a példa neurális hálózati modelleket. A telepítés körülbelül 2 GB lemezterületet és 10-15 percet igényel egy tipikus szélessávú kapcsolaton.
4. fázis: Ellenőrző tesztelés
Futtassa a mellékelt objektumészlelési bemutatót: rpicam-hello -t 0 --post-process-file /usr/share/rpi-camera-assets/hailo_yolov6_inference.json. Valós idejű objektumészlelést kell látnia az észlelt elemek köré húzott határolókeretekkel. A 60 FPS feletti képkockasebesség a Gen 3 megfelelő működését jelzi.
5. fázis: Egyedi modell bevezetése
Saját betanított modelljeihez használja a Hailo Dataflow Compilert a TensorFlow vagy PyTorch modellek Hailo HEF formátumba való konvertálásához. A fordító automatikusan kezeli a kvantálást és az optimalizálást, bár a kalibrációhoz reprezentatív adatkészlet-mintákra lesz szüksége. Telepítse az eredményül kapott .hef fájlt, és integrálja az rpicam-apps-folyamatba.
Piaci kontextus: Miért számít most az Edge AI-gyorsítás?
A szélső AI chipek piacán robbanásszerű növekedés tapasztalható. A mesterséges intelligencia chipek globális piaca 2024-ben elérte a 123,16 milliárd dollárt, és a tervek szerint 2029-re eléri a 311,58 milliárd dollárt, ami 24,4%-os CAGR-növekedést jelent. Ez nem csak a nagyobb számokról szól,{7}}az AI-feldolgozás alapvető változását jelenti.
A Hailo, a gyorsítóchip mögött álló cég jelentős ellenőrzést szerzett. A startup 2024 áprilisában 120 millió dollárt gyűjtött össze, és mára több mint 300 ügyfelet szolgál ki az autóipari, biztonsági, kiskereskedelmi és ipari automatizálási szektorban. Túlélésük egy olyan piacon, ahol sok mesterséges intelligenciachip csődöt mondott, az élre{5}}központú megoldások életképességéről beszél.

A versenyhelyzet érdekes kompromisszumokat emel ki. A Hailo-10H 40 TOPS INT4 teljesítményt nyújt, ami 20 TOPS INT8-nak felel meg, szemben az Intel Core Ultra Meteor Lake NPU-jával 11 TOPS-sal és az AMD Ryzen 8040-ével 16 TOPS-sal. Az amerikai chipcégek azonban mindössze 881 millió dollárt gyűjtöttek be 2023 januárja és szeptembere között, szemben a 2022-es 1,79 milliárd dollárral, ami jól mutatja a kihívásokkal teli finanszírozási környezetet, amely figyelemre méltóvá teszi a Hailo sikerét.
Kifejezetten a Raspberry Pi ökoszisztéma esetében a mesterséges intelligencia és az IoT az előrejelzések szerint 2026-ig 15-20%-os éves-növekedést eredményez a tartozékok értékesítésében. Az AI Kit a Raspberry Pi belépését jelenti egy olyan piacra, ahol kiaknázhatják hatalmas felhasználói bázisukat és elosztóhálózatukat a speciális versenytársakkal szemben.
Gyakori tévhitek az AI Kittel kapcsolatban
Tévhit: "13 TOPS azt jelenti, hogy bármilyen AI modellt futtat"
A valóság jelentős árnyalatokat rejt magában. A Hailo-8L kiváló a konvolúciós neurális hálózatokban a számítógépes látás-objektum észleléséhez, szegmentálásához és pózbecsléshez. Nagy nyelvi modellekkel küszködik, mivel a chipnek nincs elegendő VRAM-ja az LLM-következtetéshez. A 13 TOPS érték az INT8 műveletekre vonatkozik, míg sok transzformátormodell FP16 vagy FP32 pontosságot vár el.
Tévhit: "Ez csak egy gyorsabb GPU"
A neurális gyorsítók alapvetően eltérő architektúrákat használnak. A GPU-k általános-célú párhuzamos feldolgozási elrendezést követnek, így rugalmasak, de kevésbé hatékonyak. A Hailo{6}}8 adatfolyam-architektúrája kifejezetten a neurális hálózat tulajdonságait használja ki, kiküszöbölve a külső DRAM-függőséget. Ez a specializáció 20-szor jobb energiahatékonyságot tesz lehetővé, mint a GPU-megoldások bizonyos feladatokhoz, de kisebb rugalmasságot is jelent a nem mesterséges intelligencia munkaterheléseihez.
Tévhit: "Csatlakoztasd{0}}és játssz{1}}bármilyen kamerával"
Míg a készlet több kamerát is támogat, az integrációhoz speciális szoftvertámogatás szükséges. Kezdetben csak az rpicam{1}}alkalmazások kínáltak mélyreható Hailo-integrációt, bár később megérkezett a Picamera2 támogatása. Az USB webkamerák működnek, de eltérő kódútvonalakat igényelnek. A MIPI CSI kamerák biztosítják a legszorosabb integrációt, de ellenőriznie kell a kompatibilitást az adott kameramodellel.
Tévhit: "A nagyobb tételméret mindig jobb teljesítményt jelent"
A tesztelés érdekes korlátot tár fel. A teljesítmény a 2-es kötegméretről (80 FPS) a 8-as kötegméretre (120 FPS) javul, de 16-os kötegméretnél 100 FPS-re csökken a PCIe sávszélesség-korlátozása miatt. Ez azt sugallja, hogy a Pi 5 PCIe Gen 3 x1 interfésze lesz a szűk keresztmetszet a nagyobb tételeknél, nem pedig maga a neurális processzor.
Gyakran Ismételt Kérdések
Az AI Kit futtathatja a ChatGPT-t vagy hasonló LLM-eket?
Jelenlegi formájában nem hatékony. A Hailo-8L-ből hiányzik a memóriakapacitás a nagy nyelvű modellekhez, amelyek általában 4-16 GB dedikált RAM-ot igényelnek csak a modellek súlyához. Az 1B paraméterek alatti, kisebb kvantált modellek azonban jelentős teljesítménykorlátozásokkal futhatnak. Az elosztott Llama projekt bemutatja, hogy a LLaMA 3 8B négy Pi 4 egységen fut 1,6 token/másodperc sebességgel, bár ez nem használja ki az AI Kit gyorsulását.
Mi a különbség az AI Kit és az AI HAT+ között?
Az AI Kit egy M.2 modult használ, amely egy M.2 HAT+ adapterkártyához csatlakozik. Az AI HAT+ a Hailo chipet közvetlenül egy teljes HAT kártyára integrálja, és 13 TOPS (70 USD) és 26 TOPS (110 USD) változatban érkezik. A 26 TOPS verzió Hailo-8-at használ a Hailo-8L helyett. Mindkettő azonos szoftvert és könyvtárat használ, így a választás attól függ, hogy más célokra van-e szüksége az M.2 bővítőhelyre.
Hogyan viszonyul az energiafogyasztás a felhőből származó következtetéshez?
Drámaian alacsonyabb. A teljes Pi 5 rendszer aktív AI-következtetéssel körülbelül 10 W-ot vesz fel, azaz körülbelül 240 Wh-t naponta, ha folyamatosan működik. A felhőalapú következtetéshez folyamatos videó streamelésre lenne szükség (2-4 Mbps feltöltési sebesség), valamint az API-hívások feldolgozásra, ami általában több sávszélesség-költséget és energiát fogyaszt az adatközpontban. A 24 órás biztonsági kameraalkalmazások esetében a helyi feldolgozás havi 20-40 dollárt takaríthat meg a sávszélesség és a felhőalapú API-díjak terén.
Használhatok több AI készletet egy Raspberry Pi 5-ön?
Nem közvetlenül egyetlen Pi 5-ön, amely csak egy PCIe interfésszel rendelkezik. Jeff Geerling azonban bemutatta, hogy több gyorsítót csatlakoztatott PCIe kapcsolókkal és bővítőkártyákkal, összesen 51 TOPS-t ért el a különböző Hailo és Coral chipeken, bár ez a konfiguráció hivatalosan nem támogatott, és külső tápegységeket igényel.
Milyen képkockasebességre számítsak a valós idejű{0}}alkalmazásoknál?
Ez a modell összetettségétől és a bemeneti felbontástól függ. A 640x640-es felbontású YOLOv8s 80{12}}120 FPS-t ér el a köteg méretétől függően. Az olyan egyszerű modellek, mint a MobileNet, 200+ FPS-t érhetnek el. A nehezebb modellek, mint a YOLOv8x, 30-40 FPS-re csökkenhetnek. Összehasonlításképpen, az emberi látás zökkenőmentesen érzékeli a mozgást 24-30 FPS-sel, így a legtöbb valós idejű alkalmazás kényelmes teljesítményt nyújt.
Mennyire nehéz egyedi modelleket betanítani?
A betanítási fázis az asztali számítógépen vagy a felhőpéldányon történik szabványos TensorFlow vagy PyTorch munkafolyamatok használatával{0}}a Hailo chip nem vesz részt a képzésben. Az átalakítási folyamat megköveteli a Hailo Dataflow Compiler megtanulását, amelynek van tanulási görbéje, de átfogó dokumentációt is tartalmaz. Ha már ismeri a neurális hálózatok képzését, 2-3 napra kell számítania az első egyedi modell futtatására. A fordító automatikusan kezeli a kvantálást, bár szüksége lesz egy reprezentatív kalibrációs adatkészletre.
Működik más önálló{0}}fedélzeti számítógépekkel?
Az AI Kit kifejezetten a Raspberry Pi 5 PCIe interfészét és alaktényezőjét célozza meg. A mögöttes Hailo-8L M.2 modul azonban szabványos alkatrész. Az olyan eszközök, mint a Seeed Studio M.2-es bővítőhelyekkel rendelkező reComputer R1000-je, képesek befogadni a Hailo modult, bár portolni kell a szoftververmet. Más M.2 bővítőhelyekkel rendelkező SBC-k (Rock 5B, Orange Pi 5) elméletileg működhetnek, de jelentős szoftverintegrációs erőfeszítést igényelnek.
Milyen projekteket építenek valójában az emberek?
A közösség sokféle alkalmazást hozott létre. A projektek között szerepelnek tárgyfelismerést használó intelligens tabletta-adagolók, fajazonosítóval rendelkező vadkamerák, valamint a tárgyakat számláló zsúfolt asztali riasztások. A pózbecslés lehetővé teszi a fitneszkövető alkalmazásokat, amelyek figyelik az edzésformát és számolják az ismétléseket. Az ipari felhasználók a készletet minőség-ellenőrzési ellenőrzésre, a termékek szállítószalagokon történő számlálására, valamint a biztonsági megsértések valós idejű -videofeedekben való észlelésére használják.
Döntés: Amikor az AI Kitnek van értelme
A Raspberry Pi AI Kit bizonyos helyzetekben ragyog. Ideális, ha valós idejű-számítógépes látásra van szüksége akkumulátorról, vagy olyan beágyazott környezetben, ahol a felhőkapcsolat nem megbízható. Az intelligens ajtócsengők, a vadkamerák, az ipari ellenőrző rendszerek és a robotikai alkalmazások jelentik a folyamatos mesterséges intelligencia-feldolgozást igénylő, szigorú késleltetési követelményeket és energiatakarékosságot igénylő feladatokat.
Fontolja meg az alternatívákat, ha az Ön igényei eltérnek. Ha elsősorban az LLM-ek vagy a természetes nyelvi feldolgozás érdekli, akkor más hardverre,{1}}esetleg asztali GPU-ra vagy felhő API-hozzáférésre lesz szüksége. Alkalmankénti mesterséges intelligencia-feladatoknál, ahol a várakozási idő nem kritikus, a felhőszolgáltatások költséghatékonyabbnak- bizonyulhatnak a magasabb következtetési költségek ellenére.
A 70 dolláros ár a készletet kísérleti platformként pozicionálja, amely elég megfizethető a tanuláshoz, ugyanakkor elég erős a gyártási prototípusokhoz. Mivel a Raspberry Pi stratégiai hangsúlyt fektet az AI-képességekre és 22 termékbevezetésre 2024-ben, a szoftver-ökoszisztéma tovább fejlődik, így a befektetés idővel értékesebbé válik.
További 100-150 dollárt költsön el a támogató alkatrészekért: minőségi tápegység, kameramodul, tok hűtéssel és megfelelő sebességosztályú microSD-kártya. A 200-250 dolláros teljes rendszerköltség még mindig 50-70%-kal alacsonyabb a kereskedelmi AI kamerarendszereknél, miközben teljes testreszabási szabadságot kínál.
A szélsőséges AI-piac pályája azt sugallja, hogy most stratégiai idő van a készségek fejlesztésére ezekkel az eszközökkel. Legyen szó karrierlehetőségeket felfedező diákról, prototípus-gyártó termékekről vagy mérnökökről, akik az ipari bevezetéshez szükséges technológiákat értékelik, a Raspberry Pi AI Kit működésének megismerése gyakorlati tapasztalatot nyújt az olyan számítástechnikai architektúrákkal kapcsolatban, amelyek az intelligens eszközök következő évtizedének hajtóerejét jelentik majd.




