智能視覺(jué)助力 AI 大模型新拐點(diǎn) Arm 創(chuàng)新生態(tài)服務(wù)本土市場(chǎng)
2023-07-14
縱觀整個(gè)數(shù)字經(jīng)濟(jì)創(chuàng)新發(fā)展史，每一次顛覆式創(chuàng)新往往伴隨著新范式的產(chǎn)生。古有“讀萬(wàn)卷書(shū)，不如行萬(wàn)里路”的說(shuō)法，精準(zhǔn)詮釋了親身體驗(yàn)和實(shí)踐的重要性：人類通過(guò)視覺(jué)、聽(tīng)覺(jué)等主要感知方式接受外界信息，并加以思考進(jìn)而付諸行動(dòng)，由此對(duì)世界進(jìn)行理解、改變和創(chuàng)造。回到現(xiàn)在，隨著算力不斷的提升，AI 的發(fā)展也由于大模型的突破迎來(lái)了加速時(shí)代，今有機(jī)器人、自動(dòng)駕駛等技術(shù)為代表的新范式，將重新定義人機(jī)交互的模式。我們也將見(jiàn)證專屬于人類的感知，思考和行動(dòng)能力逐漸實(shí)現(xiàn)向機(jī)器的轉(zhuǎn)移。在模型和行動(dòng)無(wú)處不在的新時(shí)代，智能視覺(jué)將變得必不可少人類獲取的信息 70% 來(lái)自于視覺(jué)，目前，智能視覺(jué)已深入到智慧家居、智慧城市、智慧零售和智能制造之中，而在模型和行動(dòng)無(wú)處不在的新時(shí)代，智能視覺(jué)也將變得必不可少。無(wú)論是聊天機(jī)器人還是自動(dòng)駕駛技術(shù)，都需要借助智能視覺(jué)等感知技術(shù)從現(xiàn)實(shí)生活中采集真實(shí)數(shù)據(jù)，形成更準(zhǔn)確的模型，以提供關(guān)鍵的安全和避障能力，或更好地適應(yīng)多樣化的需求和行為。智能視覺(jué)系統(tǒng)的五大技術(shù)趨勢(shì)隨著智能視覺(jué)應(yīng)用的普及，其系統(tǒng)也朝著五大技術(shù)趨勢(shì)發(fā)展：云邊端協(xié)同：高清圖像和視頻數(shù)據(jù)、巨大的數(shù)據(jù)量、以及諸如自動(dòng)駕駛等應(yīng)用的實(shí)時(shí)性要求、決定了智能視覺(jué)系統(tǒng)需要能夠?qū)⒂?jì)算和決策任務(wù)分布在云、邊和終端設(shè)備上，并實(shí)現(xiàn)負(fù)載調(diào)動(dòng)與協(xié)同。云端可以承擔(dān)訓(xùn)練深度學(xué)習(xí)模型、處理大規(guī)模圖像和視頻數(shù)據(jù)集、等計(jì)算密集型任務(wù)。邊緣設(shè)備可以進(jìn)行實(shí)時(shí)圖像處理、簡(jiǎn)單的特征提取和初步的決策；終端設(shè)備可以接收來(lái)自云端或邊緣端的智能決策結(jié)果，并進(jìn)行展示、用戶交互等，或在超低延時(shí)和離線需求下進(jìn)行端側(cè)視覺(jué)數(shù)據(jù)處理和決策。AI 加持：深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用已經(jīng)取得了巨大的成功。未來(lái)的智能視覺(jué)系統(tǒng)將繼續(xù)依賴深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)，通過(guò)大規(guī)模數(shù)據(jù)集的訓(xùn)練、來(lái)提高圖像和視頻數(shù)據(jù)的分析和識(shí)別能力，并利用強(qiáng)化學(xué)習(xí)和自主、自適應(yīng)學(xué)習(xí)，使系統(tǒng)能夠從環(huán)境中不斷學(xué)習(xí)和改進(jìn)，并適應(yīng)新的場(chǎng)景和任務(wù)。圖像處理：智能視覺(jué)系統(tǒng)需要準(zhǔn)確和高質(zhì)量的圖像處理，以支持更高效的特征提取，目標(biāo)檢測(cè)和跟蹤, 圖像分析和理解，以及圖像生成和合成。算力支撐：由于復(fù)雜的模型和算法、大規(guī)模圖像數(shù)據(jù)處理、實(shí)時(shí)性、高精度、高并發(fā)等要求，智能視覺(jué)系統(tǒng)需要強(qiáng)大的計(jì)算資源和算力支持。隱私和安全性：智能視覺(jué)系統(tǒng)大量的數(shù)據(jù)采集，以及廣泛的應(yīng)用也引發(fā)了對(duì)隱私和安全性的關(guān)注。未來(lái)的趨勢(shì)是設(shè)計(jì)更加隱私保護(hù)和安全可靠的智能視覺(jué)系統(tǒng)，采用加密、匿名化等技術(shù)手段保護(hù)用戶的隱私，同時(shí)加強(qiáng)系統(tǒng)的安全性，防止被惡意攻擊和濫用。智能視覺(jué)應(yīng)用催生智能視覺(jué)芯片架構(gòu)的演進(jìn)而在芯片層面，為了滿足對(duì) AI 支持、計(jì)算能力、能效和實(shí)時(shí)性的不斷增長(zhǎng)的需求，智能視覺(jué)芯片架構(gòu)也經(jīng)歷了一系列的演進(jìn)——從功能固定難以編程的 DSP 和 ASIC，到通用性強(qiáng)、易編程的 CPU 架構(gòu)，直至今日集成 CPU、ISP、NPU AI 加速器、VPU、GPU 的先進(jìn)異構(gòu) SoC。智能視覺(jué)芯片已經(jīng)逐步實(shí)現(xiàn)低功耗、高性能和高度集成的特點(diǎn)。適用于資源受限的邊緣設(shè)備，如智能手機(jī)、攝像頭和物聯(lián)網(wǎng)設(shè)備等，為智能視覺(jué)成為一種普適的能力奠定基礎(chǔ)。支持高效、敏捷地視覺(jué)產(chǎn)品和解決方案的開(kāi)發(fā)，是產(chǎn)業(yè)的現(xiàn)實(shí)需求。Arm 豐富的產(chǎn)品組合，包括 Arm Cortex-A CPU、Mali GPU、Mali-C55 ISP、Ethos ML 加速器、Corstone 子系統(tǒng)等，能夠帶來(lái)高質(zhì)量、高可靠、高性能和高能效的不同組合，滿足智能視覺(jué)的各個(gè)細(xì)分市場(chǎng)需求，助力加速智能視覺(jué)的創(chuàng)新。首度集成第三方 IP 的 Arm 全新智能視覺(jué)參考設(shè)計(jì)為企業(yè)快速打造產(chǎn)品差異化為了助力智能物聯(lián)和視覺(jué)領(lǐng)域的創(chuàng)新企業(yè)降本增效，使更多的新商機(jī)和新想法可以更快地轉(zhuǎn)化成量產(chǎn)的產(chǎn)品。Arm 處理器和系統(tǒng) IP 也在向預(yù)先集成驗(yàn)證的子系統(tǒng)的方式轉(zhuǎn)變。這種新的設(shè)計(jì)方式和產(chǎn)品形態(tài)，通過(guò)選用 Arm 廣泛應(yīng)用于智能視覺(jué)領(lǐng)域的處理器和系統(tǒng) IP，并根據(jù)客戶的特定應(yīng)用引入第三方 IP，構(gòu)建出相對(duì)標(biāo)準(zhǔn)化的 IP 組合，集成后 IP 組合必須經(jīng)過(guò)預(yù)先驗(yàn)證。此外，該 IP 組合還將搭配對(duì)應(yīng)的 Arm 虛擬硬件（Arm Virtual Hardware）與參考軟件棧，形成堅(jiān)實(shí)的基礎(chǔ)技術(shù)平臺(tái)。如此一來(lái)，不僅給予客戶足夠的靈活性和選擇，使企業(yè)可以專注于產(chǎn)品的差異化，加快產(chǎn)品上市時(shí)間，并且?guī)椭蛻麸@著降低芯片開(kāi)發(fā)成本和風(fēng)險(xiǎn)，大幅縮短研發(fā)周期。作為這樣產(chǎn)品形態(tài)的第一個(gè)范例便是 Arm 全新發(fā)布的智能視覺(jué)參考設(shè)計(jì)，首次將 Arm IP 與安謀科技的 IP 結(jié)合在一起，并由安謀科技預(yù)先集成和預(yù)先驗(yàn)證。該方案的硬件參考設(shè)計(jì)包括 CPU、ISP、NPU 和 VPU 處理器選項(xiàng)，以及將子系統(tǒng)粘合在一起的互連和系統(tǒng) IP。?該視覺(jué)參考設(shè)計(jì)通過(guò) Arm SystemReady 認(rèn)證和 PSA 安全認(rèn)證，保證對(duì)主流操作系統(tǒng)的支持和平臺(tái)安全性。而其 Arm 虛擬硬件可為生態(tài)伙伴提供虛擬模型，實(shí)現(xiàn)軟硬件協(xié)同設(shè)計(jì)，進(jìn)一步縮短系統(tǒng)設(shè)計(jì)周期。Arm 發(fā)布“全新智能視覺(jué)參考設(shè)計(jì)”滿足中國(guó)市場(chǎng)視覺(jué)應(yīng)用設(shè)備的強(qiáng)勁增長(zhǎng)需求“全新的智能視覺(jué)參考設(shè)計(jì)也確實(shí)收獲了客戶正面的反饋。昱感微電子作為一家專注于智能感知 (包含機(jī)器視覺(jué)) 的芯片解決方案新創(chuàng)公司，該公司為了展現(xiàn)競(jìng)爭(zhēng)力，需要聚焦資源在產(chǎn)品的差異化上，并快速推動(dòng)產(chǎn)品上市進(jìn)程。根據(jù)昱感微電子 CEO 蔣宏的反饋：Arm 智能視覺(jué)參考設(shè)計(jì)可以很好地奠定該公司的底層技術(shù)根基，為他們大幅減低花費(fèi)在基層技術(shù)架構(gòu)的心力，并將更多的時(shí)間與資源投入在其技術(shù)優(yōu)勢(shì)的開(kāi)發(fā)，創(chuàng)造創(chuàng)新與差異，從而掌握市場(chǎng)機(jī)遇?！贝蛟靹?chuàng)新生態(tài) 共赴視覺(jué)未來(lái)隨著智能視覺(jué)來(lái)到新的節(jié)點(diǎn)，它將更普及地被應(yīng)用在各行各業(yè)，創(chuàng)建出更多的市場(chǎng)機(jī)遇，而行業(yè)中的軟硬件提供商，以及系統(tǒng)集成商都需要一個(gè)資源匯聚的平臺(tái)，快速實(shí)現(xiàn)創(chuàng)意，掌握商機(jī)?！癆rm 智能視覺(jué)合作伙伴計(jì)劃”應(yīng)運(yùn)而生，將 AI、視覺(jué)、芯片設(shè)計(jì)、軟件、算法、系統(tǒng)集成等生態(tài)合作伙伴匯聚一處，共同協(xié)作。通過(guò)這項(xiàng)計(jì)劃，芯片設(shè)計(jì)服務(wù)商將能訪問(wèn)且熟悉 Arm 的參考設(shè)計(jì)，并在參考設(shè)計(jì)的基礎(chǔ)上快速流片，助力客戶推出滿足 SystemReady 和 PSA 安全標(biāo)準(zhǔn)的芯片；另一方面，對(duì)于軟件提供商而言，Arm 智能視覺(jué)參考設(shè)計(jì)包含了云原生的開(kāi)源視覺(jué)軟件堆棧，可為其客戶適配不同的應(yīng)用場(chǎng)景，為不同的設(shè)備制造商定制軟件，并進(jìn)行整合，測(cè)試與調(diào)優(yōu)，達(dá)到量產(chǎn)水平；此外，系統(tǒng)集成商通常具有芯片設(shè)計(jì)、固件軟件開(kāi)發(fā)、創(chuàng)建 FPGA 甚至開(kāi)發(fā)板的綜合能力，來(lái)提供一站式服務(wù)，他們能在這個(gè)計(jì)劃中優(yōu)化產(chǎn)品，并提升開(kāi)發(fā)者體驗(yàn)?！袄^成為 Arm 首家在華圖像信號(hào)處理器的認(rèn)證調(diào)式夥伴后，誠(chéng)邁科技也成為首批加入 Arm 智能視覺(jué)伙伴項(xiàng)目的成員。誠(chéng)邁科技計(jì)算機(jī)視覺(jué)事業(yè)部總經(jīng)理韓薇明確表達(dá)：通過(guò) Arm 先進(jìn)的處理器與 Arm 智能視覺(jué)參考設(shè)計(jì)，結(jié)合誠(chéng)邁科技在軟件方面的專業(yè)積累與機(jī)器視覺(jué)的全套解決方案，加入這項(xiàng)計(jì)劃將能助力誠(chéng)邁科技加速智能視覺(jué)在各領(lǐng)域的落地應(yīng)用，為客戶帶來(lái)更高效率、性能與創(chuàng)新優(yōu)勢(shì)?！盇rm 智能視覺(jué)合作伙伴計(jì)劃一經(jīng)推出便獲得業(yè)界的巨大支持，目前已有十多家生態(tài)伙伴已加入隨著 AI 和大模型的發(fā)展，智能視覺(jué)技術(shù)將無(wú)處不在。在視覺(jué)成為普適能力的趨勢(shì)下，預(yù)先集成、預(yù)先驗(yàn)證的標(biāo)準(zhǔn)化子系統(tǒng)會(huì)為加速視覺(jué)產(chǎn)品設(shè)計(jì)和創(chuàng)新提供堅(jiān)實(shí)的基礎(chǔ)。而實(shí)現(xiàn)視覺(jué)領(lǐng)域內(nèi)不斷創(chuàng)新的愿景更需要整個(gè)生態(tài)系統(tǒng)的協(xié)同合作，相信 Arm 及生態(tài)伙伴將共同創(chuàng)建智能視覺(jué)的未來(lái)！本文作者：Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁 馬健（文章來(lái)源公眾號(hào)：Arm社區(qū)）+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++關(guān)于億道電子上海億道電子技術(shù)有限公司是國(guó)內(nèi)資深的研發(fā)工具軟件提供商，公司成立于2009年，面向中國(guó)廣大的制造業(yè)客戶提供研發(fā)、設(shè)計(jì)、管理過(guò)程中使用的各種軟件開(kāi)發(fā)工具，致力于幫助客戶提高研發(fā)管理效率、縮短產(chǎn)品設(shè)計(jì)周期，提升產(chǎn)品可靠性。十多年來(lái)，先后與ARM、Altium、Ansys、QT、Green Hills、Minitab、EPLAN、QA Systems、OpenText、Visu-IT、HighTec、PLS、Ashling、MSC Software、Autodesk、Source Insight、IncrediBuild、Lauterbach、Adobe、Testplant、TeamEDA等多家全球知名公司建立戰(zhàn)略合作伙伴關(guān)系，并作為他們?cè)谥袊?guó)區(qū)的主要分銷合作伙伴服務(wù)了數(shù)千家中國(guó)本土客戶，為客戶提供從芯片級(jí)開(kāi)發(fā)工具、EDA設(shè)計(jì)工具、軟件編譯以及測(cè)試工具、結(jié)構(gòu)設(shè)計(jì)工具、仿真工具、電氣設(shè)計(jì)工具、以及嵌入式GUI工具等等。億道電子憑借多年的經(jīng)驗(yàn)積累，真正的幫助客戶實(shí)現(xiàn)了讓研發(fā)更簡(jiǎn)單、更可靠、更高效的目標(biāo)。歡迎關(guān)注“億道電子”公眾號(hào)了解更多研發(fā)工具軟件知識(shí)
查看更多→
首頁(yè) > 新聞資訊 > 
滬公網(wǎng)安備
44030602004326號(hào)