Не так издавна представители компании Sony показали всему миру то, что можно охарактеризовать, как «1-ые в мире светочувствительные матрицы для камер, снаряженные функциями обработки данных на базе технологий искусственного ума». Такое совмещение 2-ух технологий дозволит проводить подготовительную обработку поступающего потока видеоинформации в режиме настоящего времени и передавать лишь нужные данные в пасмурный сервис для их следующей и наиболее глубочайшей обработки.
Искусственный ум уже издавна является хорошей «парой» для технологий цифровой фото- и видеосъемки. Нейронные сети «шутя» управляются с обработкой большущих потоков инфы, например, инфы с сети камер видеонаблюдения, и выделяют из данной для нас инфы только то, что может заинтриговать наблюдателей.
Например, в крайнее время в мире начали получать распространение магазины, в каких нет, либо сведено к минимуму количество продавцов, кассиров и остального обслуживающего персонала. В этом случае употребляется сеть из сотен качественных камер наблюдения, которые смотрят за тем, какие продукты берут покупатели и что они делают с ними далее. В истинное время видеоданные с сети камер наблюдения поступают на комп, на котором развернута система искусственного ума. Этот комп может находиться на физическом уровне в этом же здании, а может и находиться в одном из бессчетных пасмурных сервисов.
Но компания Sony собралась сделать собственного рода «распределенный комп» оснастив вычислительной мощностью сам датчик камеры. Эти новейшие датчики, IMX500 и IMX501, имеют разрешающую способность в 12.3 мегапикселя и обеспечивают скорость съемки в 60 кадров за секунду при разрешении 4К. Но самым основным будет то, что прямо на оборотной стороне кристалла светочувствительной матрицы и на доп кристалле размещается массив памяти достаточного размера и логическая печатная плата, в которую заложены методы и механизмы работы искусственного ума. При всем этом, во встроенную память можно загрузить всякую из обычных моделей ИИ-обработки, выполняющих одну либо несколько специализированных функций.
Интегрированный в матрицу ИИ-процессор способен провести анализ видеоинформации за 3.1 миллисекунду времени, меньше, чем длительность 1-го видеокадра. В итоге анализа из общего потока выделяются лишь принципиальные элементы, которые передаются наружу для предстоящей обработки. Если в упомянутом выше «магазине без персонала», например, клиент «Х» брал продукт «Y» и положил его в корзину, то на верхний уровень будет передана купированная картина корзины с лежащим в ней продуктом.
Кроме таковой «обрезки», позволяющей значительно уменьшить размер передаваемой инфы, пакеты данных могут сопровождаться доборной информацией, упрощающей их последующую обработку. И в итоге всего этого, при условии использования специального программного обеспечения на верхнем уровне, постоянно на выходе выходит настоящий 4K/60-fps видеопоток.
Таковым образом, системы слежения и обеспечения сохранности сумеют получать нужную им информацию еще резвее, а для ее обработки потребуются наименьшие вычислительные мощности и наименьшее количество энергии, ведь она, эта информация, уже прошла подготовительную обработку в камере конкретно.
И в заключение необходимо подчеркнуть, что умственные датчики компании Sony и остальные подобные, которые обязательно покажутся в не далеком будущем, навряд ли будут употребляться в камерах мобильников, бытовых цифровых фото- и видеокамер. Эти датчики нацелены на несколько иную область внедрения — там, где, например, нужно подсчитывать человеко-часы, определяя присутствие либо отсутствие определенных людей на рабочем месте, смотреть за действиями покупателей, надзирать ношение защитных масок в критериях пандемии и почти все, почти все другое.
Источник: