ÒÔÖÕΪʼ+ϵͳÈÚͨ——°®Ð¾ÔªÖdzµÔØÁìÓòµÄ¼¼Êõ·¢Õ¹Â·¾¶
2023Äê10ÔÂ25ÈÕ£¬ÒÔ“¿Æ¼¼ÒýÁìÆû³µ²úÒµ¸ßÖÊÁ¿·¢Õ¹”ΪÖ÷Ì⣬µÚ30½ìÖйúÆû³µ¹¤³Ìѧ»áÄê»áôßÕ¹ÀÀ»á£¨SAECCE 2023£©ÔÚ±±¾©±±ÈËÒà´´¹ú¼Ê»áÕ¹ÖÐÐÄÊ¢´ó¿ªÄ»¡£
ƾ½èÔÚÖÇÄܼÝÊ»ÈüµÀÉÏÇ¿´óµÄоƬ×ÔÑÐÄÜÁ¦ºÍÂ䵨³É¹û£¬°®Ð¾ÔªÖÇÊÜÑû·¢±í¡¶ÈçºÎ´òÔì¸ßÐÔÄܵÄ×Ô¶¯¼ÝʻоƬ——ÒÔÖÕΪʼ+ϵͳÈÚͨ¡·Ö÷ÌâÑݽ²£¬·ÖÏíÕë¶ÔÐÐҵʹµãÎÊÌ⣬°®Ð¾ÔªÖǶÔ̽Ë÷³µÔØÐ¾Æ¬×îÓÅ»¯½â¾ö·½°¸µÀ·ÉϵÄÌå»á¡£Í¬Ê±£¬ÏÖ³¡Ò²Õ¹³öÁËÓ¦ÓÃÓÚ³µÔØÁìÓòµÄϵÁÐоƬ¡¢¿ª·¢Ì×¼þ/Demo¼°ÒÑÁ¿²úÂ䵨µÄºÏ×÷»ï°éÑù¼þ£¬»ñµÃÒ»ÖÂºÃÆÀ¡£
°®Ð¾ÔªÖdzµÔØÊÂÒµ²¿ÖÇÄÜËã·¨¸ß¼¶×ܼàÀîè¡
×î½ü20ÄêÀ´£¬ÎÒ¹úÆû³µ²úÒµÔÚʵ¼ùÖÐ̽Ë÷³öÁËÒ»ÌõÒԿƼ¼´´ÐÂΪǣÒýµÄתÐÍ·¢Õ¹Ö®Â·£¬²úÒµ¼¼Êõ´´Ð³ÖÐøÉîÈ룬¹Ø¼üºËÐļ¼Êõ²»¶ÏÍ»ÆÆ£¬ÖØ´ó´´Ð³ɹû½ÓÐøÓ¿ÏÖ£¬Ö§³Å²úÒµ¹æÄ£²»¶Ï׳´ó£¬·¢Õ¹ÖÊÁ¿Ð§ÒæÎȲ½ÌáÉý¡£
Ëæ×ÅÆû³µµç¶¯»¯¡¢ÍøÁª»¯ºÍÖÇÄÜ»¯µÄÌáËÙ£¬Æû³µÐ¾Æ¬¶Ô³µÁ¾¿É¿¿ÐÔ¡¢°²È«¼°ÐÔÄܵÄÖØÒªÐÔ²»ÑÔ¶øÓ÷£¬Æû³µÐÐҵؽÐèÎ§ÈÆÆû³µÐ¾Æ¬¿ªÕ¹Ó¦Óü°´´Ð¹¥¹Ø£¬ÒÔÂú×㵱ǰ²úÒµ±ä¸ïϵÄÐÂÐèÇó¡£
°®Ð¾ÔªÖÇÈÏΪ£¬×Ô¶¯¼ÝÊ»Öп´²»Çå¡¢¿´²»¶®¡¢²â²»×¼¡¢¼ì²»È«¡¢²¿Êðµôµã¶à¡¢²¿ÊðЧÂʵÍÊÇÐÐÒµµÄ6´óÍ´µãÎÊÌâ¡£ÒÀÍÐÓÚÁ½´ó×ÔÑкËÐļ¼Êõ——°®Ð¾ÖÇíøAI-ISPºÍ°®Ð¾Í¨Ôª»ìºÏ¾«¶ÈNPU£¬ÒÔ¼°´ó¹æÄ£Á¿²ú¾Ñ飬°®Ð¾ÔªÖÇ¿ÉÖúÁ¦ÐÐÒµ»ï°éÂ䵨¸ßÐÔÄÜ¡¢µÍ¹¦ºÄ¡¢°²È«¿É¿¿µÄÖÇÄܼÝÊ»½â¾ö·½°¸¡£È«ÃæµÄ²úÆ·Ïߣ¬Õë¶ÔÐÔ½â¾öÐÐÒµ6´óÍ´µãÎÊÌ⣬Âú×ã¿Í»§µÄ¶àÑù»¯ÐèÇó¡£
ÎÊÌâ1 ¿´²»Çå
ÔÚ½ø³öËíµÀµÄ´ó¹â±È³¡¾°¡¢Ò¹Â·ºÚ³µµÄµÍ¹â³¡¾°¡¢ÓêÎíÑ©µÈ¶ñÁÓÌìÆø³¡¾°£¬ÒÔ¼°¸ßËÙÐÐʻʱµÄÔËÐÐÍÏÓ°µÈ³¡¾°ÖУ¬¶Ô¶¯Ì¬·¶Î§ÐèÇó¸ß£¬Ôڵ͹ⳡ¾°¸ÐÖªÐÔÄÜÊÜÏÞ¡£°®Ð¾ÔªÖÇ»ùÓÚ×ÔÑкËÐļ¼Êõ——°®Ð¾ÖÇíøAI-ISP£¬Ìá³öÁ˳µÔØHDRϵͳ½â¾ö·½°¸ºÍ³µÔص͹âϵͳ½â¾ö·½°¸¡£½«HDRÒÔ¼°½µÔëµÄ´¦ÀíЧ¹ûÌáÉý£¬´ó·ù¸ÄÉÆÒÔÉϳ¡¾°ÖеÄÓ°ÏñÐÔÄÜÌåÑé¡£
ÎÊÌâ2 ¿´²»¶®
¿´²»¶®£¬ÊÇÖ¸»úÆ÷ÊÓ¾õ×ö¸Ð֪ʱ£¬¼ì²â²»³öÀ´¡£°®Ð¾ÔªÖÇͨ¹ý´øÈëºó¶ËCV/ÓïÒåÓ¦Óã¬ÐγÉͼÏñÖÊÁ¿¸ÐÖª±Õ»·ÆÀ¼ÛÌåϵ£¬½â¾ö¿´ÉÏÈ¥»¹ºÃµ«Êµ¼ÊЧ¹û²»¼ÑµÄÎÊÌ⣬ʹ³µÔØÖÇÄÜÓ°Ïñ´ïµ½ÖÇÄÜ»Öʱջ·¡¢ÖÇÄܳ¡¾°¿ØÖÆ¡£
¼òµ¥À´Ëµ£¬»ùÓÚ°®Ð¾ÖÇíøAI-ISP¼¼Êõ£¬°®Ð¾ÔªÖÇÒ»·½Ãæ¶Ô´«¸ÐÆ÷ÌØÐÔ×ö¾«Ï¸»¯½¨Ä££¬¶ÔÓ°Ïñ´¦Àí²ßÂÔ½øÐм«ÖÂÓÅ»¯Éè¼Æ£¬È罫2D½µÔëÉý¼¶Îª3D½µÔ룻ÁíÒ»·½Ã棬³ä·ÖÀûÓÃAIËã·¨µÄÊý¾ÝÇý¶¯ÌØÐÔ£¬»ñÈ¡¸ü¸ßά¶ÈµÄЧ¹û“ÖúÍÆ”£¬È«ÃæÌáÉýÖÇÄܼÝÊ»ÒÉÄѳ¡¾°ÏµıíÏÖÁ¦£¬°ïÖúʵÏÖ³öÉ«µÄ¸ÐÖªÐÔÄÜ£¬È·±£Ðгµ°²È«¡£
ÎÊÌâ3 ²â²»×¼
²â²»×¼ÊÇÖ¸£¬¸Ð֪ģ¿é±¾Éí¶ÔÓÚ¿Õ¼äÐÅÏ¢²â²»×¼£¬ÈçÒ»°ãÕϰÎĿ±ê¸ú×Ù¡¢Àï³Ì¼Æ¡¢¶¯Ì¬±ê¶¨¡¢µØÍ¼¹¹½¨¡¢²â¾à²âËٵȳ¡¾°µÄ¼ì²â¡£°®Ð¾ÔªÖÇͨ¹ý¶ÔÉî¶È¡¢¹âÁ÷µÄÓ²»¯¼ÓËÙ£¬ÓÐЧÌáÉý¸ÐÖª·½°¸µÄ׼ȷÐԺͿɿ¿ÐÔ¡£Éî¶È/¹âÁ÷Ëã·¨ÔòÊÇCVÀàËã·¨ÖмÆË㸴ÔÓ¶È×î¸ßµÄ²¿·Ö¡£CVÉî¶ÈÒýÇæÓµÓÐ1080p30µÄÐÔÄÜ£¬Ë«Ä¿Ö§³Ö224µã·¶Î§µÄÊÓ²îËÑË÷£¬Ö§³Ö¶Ô³ÆÈ«Ïò¾ÛºÏ£»CV¹âÁ÷ÒýÇæÔò¿ÉÒÔÂú×ã¶à³ß¶È·¶Î§ÍØÕ¹¡¢Ö§³Ö»ùÓÚ¶àROIµÄ¸ú×ÙµãÃܶȿØÖÆ£¬Ö§³Öµü´ú¾«¶ÈÓÅ»¯¡£
¶Ô¶àÔ´Èں϶¨Î»¡¢µØÍ¼ÍØÆË¹¹½¨¡¢CV¼¸ºÎ¸ÐÖªµÈ·½Ã棬°®Ð¾ÔªÖǼ¯Ç¿´óËãÁ¦Ó볬µÍ¹¦ºÄÓÚÒ»Ì壬×ÔÑÐÁ½´óºËÐļ¼Êõ——°®Ð¾ÖÇíøAI-ISPºÍ°®Ð¾Í¨Ôª»ìºÏ¾«¶ÈNPU£¬´ÓSoC²ãÃæµ½SDK²ãÃæ£¬Ö§³Å´î½¨²»Í¬SlamËã·¨µÄÁé»î¿ò¼Ü¡£Õë¶Ô²»Í¬µÄÐв´Ó¦Óá¢ÊÓ¾õ»òLidarÊäÈë·½°¸¡¢¾Ö²¿¶¨Î»/µØÍ¼¶¨Î»/ÔÚÏß½¨Í¼µÈ²»Í¬¹¦ÄÜ£¬Slam¿ÉÒÔ×éºÏ³ö¶àÖÖ²»Í¬µÄ±äÖÖ·½°¸£¬ÌṩһϵÁмÆËãÃܼ¯ÐÍËã×ÓµÄÓÅ»¯º¯Êý¿â£¬ÒÔÖúÁ¦SlamÓ¦ÓøßЧ¿ìËÙÂ䵨¡£
ÎÊÌâ4 ¼ì²»È«
Õë¶ÔÒ»°ãÕϰÎï¼ì²»È«µÄÏÞÖÆ¡£°®Ð¾ÔªÖÇÉè¼ÆÁËÒ»Ì×¶à·²¢·¢´¦Àí¡¢ÔÚÏßͼÏñ¸ñʽת»»¡¢²ÃÇС¢Ëõ·Å£¬Ò»ÆøºÇ³ÉµÄÓ²¼þ¼ÓËÙÆ÷£¬»ùÓÚ¼¸ºÎÎïÀí½¨Ä£µÄCVËã·¨£¬·¢»Ó³ß×ӵIJâÁ¿×÷Óã¬ÔÚÒ»°ãÕϰÎï¸ÐÖª¡¢²â¾à²âËÙ¡¢Ä¿±ê¸ú×ٵȶà¸ö·½Ã棬¿ÉÒÔ¶Ô»ùÓÚAIµÄÓïÒå¸ÐÖª½øÐÐÓÐЧ²¹³ä¡£¸ßЧ֧³Ö¶à³ß¶È¡¢¶àROI¸ÐÖª£¬´ó·ùÓÅ»¯ÁË´¦ÀíÑÓ³Ù¡¢´ø¿í×ÊÔ´ÏûºÄ£¬ÓÐЧ±ÜÃâ¸ß±¶ÂÊϲÉÑùʱµÄ»ìµþЧӦ¡£
°®Ð¾ÔªÖÇÔ¤´¦Àíϵͳ֧³ÖTask-Aware Filter£¬¸ù¾Ý²»Í¬ÈÎÎñÈç¹âÁ÷¡¢ÌØÕ÷Æ¥Åä¡¢NPU¸ÐÖªµÈ£¬Áé»îÅäÖÃϲÉÑùÂ˲¨ÏµÊý£¬Ê¹µÃºó¶ËÈÎÎñ¸÷×Ô·¢»ÓÆä×î¼ÑЧ¹û¡£²»Í¬Ó²¼þÖ®¼ä»¹¿É¸ù¾ÝÒµÎñÐèÇó×öÁé»îÊý¾ÝÁ÷ÅäÖã¬ÒÔ¼°ÀëÏß¡¢ÔÚÏßģʽÇл»£¬¼æ¹Ë×ÔÓɶȵÄͬʱ£¬×îÓÅ»¯ÑÓ³Ù¡¢´ø¿íµÈϵͳÐÔÄÜ¡£
ÎÊÌâ5 ²¿Êðµôµã¶à
¸Ð֪ģÐ͵IJ¿Êð³£³£»áÅöµ½ÉϰåÐÔÄܲ»×㣬µôµã¶àµÄÇé¿ö¡£°®Ð¾ÔªÖÇÒÀÍÐÓÚ×ÔÑа®Ð¾Í¨Ôª»ìºÏ¾«¶ÈNPUµÄÌØÓÐÉè¼Æ£¬ÊµÑéÂÛÖ¤TransformerÄ£ÐÍÄܹ»Í¨¹ý»ìºÏ¾«¶ÈÓÅ»¯µÄ·½Ê½£¬¿ìËÙʵÏÖPTQ²¿Êð£¬ÇÒÄܹ»ÓÐЧ±£³ÖÄ£Ð;«¶È¡£ÁíÒ»·½Ã棬ͨ¹ýÕë¶ÔTransformerÌØÐÔÓÅ»¯ÏòÁ¿ºËÓëÊý¾ÝIOµÄÉè¼Æ£¬ÊµÏÖÁ˸÷ÀàTransformerÄ£Ð͵ĸßЧ²¿ÊðÂÛÖ¤£¬¶ÔÓÚTransformerÄ£Ð;ßÓзdz£ºÃµÄÐÔÄܱíÏÖ¡£°®Ð¾ÔªÖÇ´ÓSoCϵͳ½Ç¶È³ö·¢£¬Éæ¼°NPU¡¢CPU¡¢DSP¡¢GPUÒÔ¼°¸÷ASICµ¥ÔªµÄϵͳ¼¶Òì¹¹µ÷¶ÈÓÅ»¯µÈ·½Ãæ¡£
ÎÊÌâ6 ²¿ÊðЧÂʵÍ
¶ÔÓÚ²¿Êð¹ý³Ì·±ËöÈß³¤µÈʵ¼Ê¹¤³ÌÎÊÌ⣬°®Ð¾ÔªÖÇÓµÓгÉÊ칤¾ßÁ´£¬²¿Êð½¨ÒéÊֲᣬ»õ¼Ü»¯²Î¿¼Éè¼Æ¡£NPUÊǸÐÖªµÄ´óÄÔ£¬°®Ð¾Í¨Ôª»ìºÏ¾«¶ÈNPU²ÉÓøßЧÒì¹¹¶àºË¼Ü¹¹£¬ÕÅÁ¿ÏòÁ¿ºÍIOÒýÇæ£¬ÅäºÏ·á¸»µÄרÓÃËã×Ó¼ÓËÙÆ÷£¬Í¨¹ýÁé»îµ÷¶ÈÄܹ»ÊµÏÖ¸÷Àà³µÔØAIÄ£Ð͵ĸßÐ§ÍÆÀí¡£»ìºÏ¾«¶ÈÉè¼ÆÖ§³ÖµÍ±ÈÌØÄ£ÐͼÓËÙ£¬»ò¸ß±ÈÌØ/¸¡µã¾«¶ÈÌáÉý¡£Ó¦ÓÃËã·¨ÐͬÉè¼Æ¿ÉÒÔÈÃÖ§³ÖµÄÄ£ÐÍ¿âËæ×ÅÐÐÒµµü´ú²»¶Ï¸üУ¬±£Ö¤NPU¶ÔËùÔËÐÐÈÎÎñµÄ¸ßÀûÓÃÂʺ͵͹¦ºÄ¡£
¾¹ý¶àÄêÁ¿²úµü´ú£¬°®Ð¾ÔªÖǹ¤¾ßÁ´»ýÀÛ³öºÜ¶àÓÅÐãµÄÌØÐÔ¡£Èç¸ßЧµÄPTQ²¿Êð¡¢Éî¶ÈµÄQATÁ¿»¯¡¢Ö§³Ö¾«È·Ä£ÐÍ·ÂÕæµÈµÈ¡£¼òµ¥Ò×ÓõÄÌØÐÔ£¬Ò²ÊÕ»ñÁË´ÓÎÞµ½ÓУ¬1СʱÉÏÊֵĿͻ§ÆÀ¼Û¡£
¶ÔÓÚ³µÔس¡¾°³£ÓõÄÄ£ÐÍ£¨±ÈÈçBEV£©£¬»ùÓÚ¶Ô×ÔÉíÆ½Ì¨µÄÉî¿ÌÈÏʶÓëÉî¶ÈÓÅ»¯£¬°®Ð¾ÔªÖÇÌṩ´ÓÖ÷¸ÉÍøÂ硢ʱ¿ÕÈںϡ¢µ½¸÷Àà¼ì²âÍ·µÄAPI£¬½«ÊÊÅ䰮оƽ̨µÄ¸÷¸ö×î¼ÑÉè¼ÆÄ£¿é»¯¡¢»õ¼Ü»¯£¬¸øµ½¿Í»§×öÁé»î¼¯³É¡£Í¬Ê±£¬»¹Ìṩ³µÔØÄ£ÐÍÉè¼Æ½¨ÒéÊֲᡢÒÔ¼°¸üΪÍêÕûµÄ¸Ð֪ģÐͲο¼Éè¼Æ£¬½øÒ»²½ÖúÁ¦¿Í»§¸ßЧ²¿ÊðÂ䵨¡£
ÔÚ³µÔØÁìÓòÖУ¬°®Ð¾ÔªÖÇÃ÷È·¶¨Î»Tier2£¬¼á³Ö“ÒÔÖÕΪʼ£¬ÏµÍ³ÈÚͨ”£¬´ÓÒµÎñʵ¼ÊÐèÇó³ö·¢£¬½áºÏ³¡¾°Ìصã·ÖÎö£¬Ö¸µ¼SoCÉè¼ÆºÏÀíÈ¡É᣻´ÓSoCÕûÌåϵͳ²ãÃæ£¬Àͨ¸÷¹¦ÄÜ×ÓÄ£¿é¼äµÄ½»»¥£¬Ê¹µÃSoCÐ¾Æ¬ÕæÕý³ÉΪһ¸öÓлúµÄƬÉÏÕûÌåϵͳ£¬Ð¯ÊÖºÏ×÷»ï°éÖúÁ¦¿Í»§¿ìËÙÁ¿²úÂ䵨£¬³ä·Ö·¢»Ó³ö×ÔÉíÆ½Ì¨µÄ¼ÛÖµ£¬ÊµÏÖÉú̬¹²Ó®¡£
¸ù¾Ý¸ß¹¤ÖÇÄÜÆû³µÑо¿Ôº·¢²¼µÄ¡¶2023Äê1-8Ô·ÝÖйúÊг¡³ËÓóµ±êÅäÐгµADAS¹¦Äܹú²úSoC·½°¸Êг¡·Ý¶î¡·°ñµ¥£¬°®Ð¾ÔªÖÇÅÅÃûµÚ¶þ¡£