電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）近日消息，劍橋初創(chuàng)公司InferSens表示，將其低功耗傳感器與復(fù)雜深度學(xué)習(xí)技術(shù)相結(jié)合，研究了用于智能建筑的低功耗邊緣AI傳感器。
InferSens使用具有本地AI模型和創(chuàng)新機(jī)械和系統(tǒng)工程的第三方處理器來(lái)為建筑環(huán)境創(chuàng)建智能傳感器。該公司傳感器技術(shù)的第一個(gè)版本計(jì)劃于2023年第一季度推出。這是一種低成本、電池供電的水流量和溫度傳感器，用于監(jiān)測(cè)和檢測(cè)水系統(tǒng)中的軍團(tuán)菌風(fēng)險(xiǎn)。
意法半導(dǎo)體、索尼等傳統(tǒng)芯片廠商都推出AI傳感器
不久前，意法半導(dǎo)體也推出了內(nèi)置智能傳感器處理單元 (ISPU) 的慣性傳感器ISM330ISN。ISM330ISN內(nèi)置的智能技術(shù)賦能智能設(shè)備在傳感器中執(zhí)行高級(jí)運(yùn)動(dòng)檢測(cè)功能，而無(wú)需與外部微控制器 (MCU)交互，從而降低了系統(tǒng)級(jí)功耗。
意法半導(dǎo)體的方法是直接在傳感器芯片上集成為機(jī)器學(xué)習(xí)應(yīng)用優(yōu)化的專用處理器 ISPU。意法半導(dǎo)體的 ISPU基于數(shù)字信號(hào)處理 (DSP) 架構(gòu)，極其緊湊和節(jié)能，具有 40KB 的 RAM內(nèi)存。ISPU 執(zhí)行單精度浮點(diǎn)運(yùn)算，是設(shè)計(jì)機(jī)器學(xué)習(xí)應(yīng)用和二元神經(jīng)網(wǎng)絡(luò)的理想選擇。
這個(gè)智能內(nèi)核占用的芯片面積非常小，因此，ISM330ISN模塊的封裝面積比典型的在封裝內(nèi)整合MCU的傳感器解決方案小50%，功耗低 50%。
意法半導(dǎo)體模擬 MEMS 和傳感器產(chǎn)品部營(yíng)銷總經(jīng)理 Simone Ferri 表示，智能從前是部署在網(wǎng)絡(luò)邊緣的應(yīng)用處理器上，而現(xiàn)在正在轉(zhuǎn)向深度邊緣的傳感器內(nèi)部。ISM330ISN IMU 預(yù)示著新一類智能傳感器的來(lái)臨，即開始利用嵌入式 AI 處理復(fù)雜任務(wù)，比如模式識(shí)別和異常檢測(cè)，可以大大提高系統(tǒng)能效和性能。
其實(shí)早在2020年，索尼就宣布推出了兩款A(yù)I圖像傳感器——IMX500和IMX501。AI圖像傳感器兼具運(yùn)算能力和內(nèi)存，能夠在沒有額外硬件輔助的情況下執(zhí)行機(jī)器學(xué)習(xí)驅(qū)動(dòng)的計(jì)算機(jī)視覺任務(wù)，可以使很多依賴機(jī)器學(xué)習(xí)算法的圖像處理技術(shù)能夠在本地運(yùn)行，更簡(jiǎn)單、高效、安全。
索尼推出的AI圖像傳感器，首批目標(biāo)是零售商和工業(yè)客戶。索尼業(yè)務(wù)與創(chuàng)新副總裁馬克·漢森認(rèn)為，相比將數(shù)據(jù)發(fā)送到云端的解決方案，AI圖像傳感器的應(yīng)用潛力巨大，成本效益更高，尤其是在邊緣計(jì)算領(lǐng)域。
商湯、曠視等新興AI技術(shù)公司也在探索AI傳感器
除了傳統(tǒng)的傳感器廠商之外，商湯、曠視等AI公司也在探索AI傳感器。今年7月，商湯智能產(chǎn)業(yè)研究院發(fā)布《AI傳感器：智能手機(jī)影像新核心》白皮書。該白皮書提到，在智能手機(jī)市場(chǎng)緩慢步入瓶頸期的趨勢(shì)下，影像功能成為產(chǎn)業(yè)破局焦點(diǎn)，而AI軟件與CMOS圖像傳感器硬件的融合，將是智能手機(jī)影像能力持續(xù)提升的破題之道。
過去幾年，AI算法讓手機(jī)的影像能力得到了不小的提升。但在這種方案中，圖像傳感和AI算法的運(yùn)行，在不同的硬件上完成，圖像傳感器提供圖像信號(hào)，處理器或者AI加速芯片執(zhí)行AI算法。這會(huì)造成能耗資源的浪費(fèi)，并且難以處理一些需要及時(shí)響應(yīng)的場(chǎng)景。
白皮書指出，融入了AI技術(shù)的CMOS圖像傳感器，可以最大化地發(fā)揮原始光信號(hào)的價(jià)值。
在設(shè)備獲取視覺信號(hào)的伊始，AI傳感器就可以進(jìn)行優(yōu)化和處理，增強(qiáng)真實(shí)世界感知、提高圖像和視頻的質(zhì)量、豐富內(nèi)容細(xì)節(jié)，同時(shí)最大限度地降低了設(shè)備功耗，并增強(qiáng)了數(shù)據(jù)安全性。
據(jù)介紹，早在2019年，商湯就與全球領(lǐng)先的圖像傳感器廠商開展緊密合作，將AI算法和傳感器硬件直接融合。目前，商湯AI傳感器已完成多款產(chǎn)品，并成功落地多款高端旗艦手機(jī)。
商湯認(rèn)為，面向未來(lái)，AI傳感器的價(jià)值不僅在于提升智能手機(jī)的影像能力，它更將成為機(jī)器認(rèn)知世界的基礎(chǔ)設(shè)施，為更多物聯(lián)網(wǎng)終端賦予智能感知與內(nèi)容增強(qiáng)的能力。比如，在智能汽車領(lǐng)域，AI傳感器將成為車輛感知世界的核心部件；在智慧城市領(lǐng)域，AI傳感器更將為挖掘視頻信息的價(jià)值發(fā)揮重要作用。
曠視研究員范浩強(qiáng)今年7月也在某個(gè)論壇上談到，隨著AI、視覺算法等領(lǐng)域的發(fā)展，傳感器將不再單獨(dú)的、直接地提供應(yīng)用價(jià)值，傳感器和應(yīng)用之間需要算法來(lái)作為承上啟下的橋梁。從技術(shù)角度講，這兩者最顯著的結(jié)合點(diǎn)就是計(jì)算攝影。
曠視也已經(jīng)深度參與手機(jī)影像的能力提升中，目前曠視的4K級(jí)別的硬件方案已經(jīng)實(shí)現(xiàn)了量產(chǎn)，并積極推動(dòng)8K AI畫質(zhì)硬件方案的研發(fā)與產(chǎn)品化。
小結(jié)
從傳統(tǒng)芯片廠商及AI公司的表現(xiàn)來(lái)看，AI傳感器似乎成為一種新的趨勢(shì)。在傳感器內(nèi)部增加智能的部分，有諸多好處，之前傳感器和AI算法的運(yùn)行實(shí)在不同的硬件上完成，耗費(fèi)資源，而增加了智能的AI傳感器，可以使得整個(gè)系統(tǒng)更簡(jiǎn)單、更高效、更安全。
