Выпуск акций

Любой, кто изучает движение глаз в Китае, знает, что компания Pupil Lab, особенно последняя модель Neon, объединяет три камеры очень маленького размера.

Первое, что следует отметить, это то, что в настоящее время не существует соответствующей схемы раскрытия информации об оборудовании.

Это схема, созданная промышленным образцом в начале проектирования.

вторая копия

Это некоторые из наиболее стабильных конструкций.

На самом деле отсюда я чувствую, что это на самом деле решение MCU, но это не так, я объясню это позже.

Вот камера с высоким кадром, которая у меня под рукой, с использованием чрезвычайно распространенной GC0308.

Вы можете увидеть измеренную информацию UVC, 120 кадров в секунду.

Выбор камеры слежения за движениями глаз

Ранний прототип теперь доработан до такой степени, что три камеры и IMU могут быть установлены вместе.

Девятиосевой датчик TDK, IIC

Это так мало

Камера кругового обзора должна быть не MIPI-кабелем, а последовательным кабелем

передний

оболочка

Эта камера слежения за взглядом должна быть OVM6211.

Это правильно, и это официально одобренный модуль.

MIPI

Видео монтируется при отправке на нижний уровень.

На дужках есть светодиоды

Расчет взгляда: оптическая ось от центра глазного яблока.

Положение каждого глаза – рассчитывается по центру глазного яблока.

Рассчитать размер зрачка в миллиметрах

Этот формат 1600х1200 тоже довольно странный. Я нашел такой, который должен быть похожим.

Интерфейс сопоставим.

Как красивый парень, который и внутренний, и внешний, хотел бы здесь задать вопрос, как ты это делаешь?

Видно, что такие тяжелые задачи с данными действительно требуют FPGA, то есть FPGA действительно используется.

Вот реклама моего брата:

Ха-ха-ха, макетная плата ниже была сделана им.

Ну, это у меня в желудке

Выпущенный им TI60 действительно подходит для моего приложения. Теоретически он может поддерживать три набора камер MIPI. Часть дисплея сзади можно переключить на RX, поэтому их три.

Титановые FPGA поставляются в миниатюрных корпусах, которые позволяют легко увеличить вычислительную мощность периферийных систем. Корпус CSP размером 3,5 x 3,4 мм с 64 шариками на уровне пластины достаточно мал, чтобы его можно было разместить в непосредственной близости от датчика или камеры. У него маленькие интерфейсы и много интерфейсов, поэтому можно сказать, что это просто подушка для тех, кто просто дремлет.

Я думаю, что это официальное фото очень милое

Этот также расширяет некоторые функции, то есть дает ядро ​​RISC-V, которое может взять на себя некоторые функции управления.

Интерфейс SPI выше тоже открыт, то есть подключен последовательно?

Судя по техническому описанию, резервного интерфейса CS нет.

Следует отметить, что DSP по-прежнему много. Означает ли это перевод и ускорение AI? Q является квантовым?

С точки зрения DSP, это цифровое умножение.

логическая блок-схема

Я знаю, что такое оперативная память, но что такое Hyper?

Логические элементы 60K с ядром MIPI

Эти поддерживающие ядра

У Дженги три фишки. Разъём у Гуан Лай действительно тугой.

Основная плата состоит из 6 слоев. Вы можете увидеть всего несколько микросхем.

Это номер модели оперативной памяти выше

Вышеупомянутая часть логического управления

Технология HyperBus™ была впервые анонсирована компанией Cypress в 2014 году, и компания заявила: «Интерфейс HyperBus™ использует традиционные возможности памяти параллельного и последовательного интерфейса, одновременно улучшая производительность системы, упрощая конструкцию и снижая стоимость системы.

Подведите итог:

HYPERBUS — это интерфейс между последовательным и параллельным интерфейсом, предназначенный для достижения высокой пропускной способности данных, сравнимой с параллельными интерфейсами с небольшим количеством нескольких контактов.

Оказывается, Winbond родом из Японии, он экономит место и имеет низкое энергопотребление.

Это сравнение с традиционной оперативной памятью. Преимущества указаны слева, как на картинке выше.

Здесь показано низкое энергопотребление

Эта квадрантная диаграмма иллюстрирует преимущества

Вот несколько подходящих пакетов

Это показывает соединительные провода, хорошую разводку печатной платы и простоту управления.

https://www.infineon.com/dgdl/Infineon-HyperRAM_as_a_low_pin-count_expansion_memory_for_embedded_systems-Whitepaper-v01_00-EN.pdf?fileId=8ac78c8c7d0d8da4017d0fb28970272c&da=t

Эта схема подключения

Вы можете видеть, что эта память имеет компромисс между скоростью и контактами.

Можно использовать микроконтроллеры с меньшим количеством контактов.

Другая модель использования HYPERRAMT — расширенная память для систем машинного зрения на базе FPGA. Как правило, ресурсы оперативной памяти FPGA ограничены. Эти ресурсы лучше использовать для выполнения критической обработки, необходимой алгоритмам визуализации. Конфигурация и код FPGA загружаются в HYPERRAMT из встроенной флэш-памяти или SD-карты для максимальной производительности.

Hyper также часто используется в FPGA, то есть здесь он используется.

Интерфейсы в IP-ядре

Я не очень хорошо знаком с FPGA, поэтому напишу об этом хранилище здесь.

Где находится программа FPGA? Для типа SRAM программа записывается во флэш-память FPGA или внешнее хранилище, например EEPROM.

При включении FPGA на базе SRAM файлы программы загружаются из внешнего хранилища. Загруженный здесь программный файл называется «Данные битового потока». Эта информация загружается в конфигурационную память, которая состоит из ячеек памяти типа SRAM в FPGA. Каждый бит загруженных данных битового потока становится источником информации для реализации цикла, требуемого пользователем на FPGA. Он настраивает ресурсы устройства FPGA для реализации требуемого цикла. Это очень похоже на процесс запуска ЦП, например ПК. Он не зависит от аппаратного обеспечения, а реализуется через конфигурационные данные, подключенные к внешнему хранилищу, и обладает высокой универсальностью и гибкостью.

Это обзорная диаграмма MIPI.

Структура La FPGA

Гао Юн

SCI-2, последовательный интерфейс камеры

Протокол такой, а это версия 1.3. На самом деле большинство сейчас 1.1, 1.2.

Это поддерживаемый формат пикселей, который является очень полным.

IP доступен во всех сериях

Это универсальный интерфейс RX

Я не вижу этот двунаправленный AXI4-Lite. Он появляется часто. Позвольте мне посмотреть, что это такое?

Advanced Extensible Interface 4 (AXI4) — это семейство шин, определенное как часть четвертого поколения стандарта ARM Advanced Microcontroller Bus Architecture (AMBA). AXI был впервые представлен в 1996 году с третьим поколением AMBA, известным как AXI3. (AMBA 4.0) делится на 3 типа:

• AXI4 (AXI4-Full): используйте В для удовлетворения потребностей в высокопроизводительном отображении памяти. (Отображение памяти: когда хост выполняет операции чтения и записи на подчиненном устройстве.,Укажите адрес назначения,Этот адрес соответствует адресу места хранения системы.,Указывает операции чтения и записи в этом пространстве. Обычно используется для передачи больших объемов данных. )
• AXI4-Lite: для простой связи с отображением в памяти с низкой пропускной способностью (например, к регистрам состояния и обратно).
• AXI4-Stream: данные с высокоскоростной потоковой передачей.
• AXI4 (поддерживает пакет 256 данных) принадлежит карте памяти В.
• AXI4-Lite (одновременно может передаваться только одна информация) — карта памяти;
• AXI-Stream не отображается в памяти, и длина его пакета не ограничена.

Разница между тремя:

AXI4 и AXI4-Lite представляют собой интерфейсы с отображением в памяти. При обмене данными с этими двумя интерфейсами хосту необходимо указать адреса чтения и записи;

AXI-Stream передает данные в потоковом режиме и не требует указания адреса для чтения и записи. AXI4 имеет самый богатый функционал и потребляет больше всего ресурсов;

AXI4-Lite эквивалентен полностью упрощенному интерфейсу AXI4;

AXI-Stream не является интерфейсом с отображением в памяти и используется для передачи данных.

Это хорошо

Должна быть предусмотрена возможность вывода данных пикселей по адресу операции RISC. (На самом деле это невозможно, слишком мало данных)

ок, здесь

Выходной сигнал изображения выглядит следующим образом

Горизонтально, выглядит как VGA

вертикальный

Ну, это должен быть VGA

Название VGA такое

Это приемник 2,5G.

MIPI D-PHY — это масштабируемый физический уровень, используемый для подключения различных компонентов, таких как камеры и дисплеи, к хост-устройствам. Ядро контроллера MIPI D-PHY RX позволяет управлять и настраивать интерфейс MIPI D-PHY RX.

Это более открытый интерфейс, а это означает, что PHY можно настроить в соответствии с содержимым протокола.

Некоторые настройки

Это часы, соответствующие формату пикселей, поддерживаемому интерфейсом RX.

Это бытовая камера

Параметры этого

Просмотр формата RAW

Посмотрите на пакет, который был декодирован и отправлен.

Физический уровень — это кодирование электрического сигнала, то есть эти три протокола.

Я вижу, что все поддерживаемые - D-HPY

Аппаратное обеспечение D-PHY используется для отображения и вывода.

Lane: однонаправленный двух- или трехпроводный интерфейс, используемый для высокоскоростной последовательной передачи тактовых импульсов или данных. Количество проводов определяется спецификацией используемого PHY (т. е. D-PHY или CPHY); , соответственно).

использоватьD-PHYфизический уровеньCS1-2камераинтерфейс Зависит отканал синхронизациииодин или несколькоданные Состав канала。

Камера CS1-2, использующая физический уровень C-PHY, состоит из одной или нескольких полос.,Каждая полоса передает тактовую информацию и данные.

Спецификация CS1-2 определяет стандартный интерфейс передачи данных и управления между передатчиками и приемниками. Определены два варианта интерфейса высокоскоростной последовательной передачи данных.

Называемый «Опцией физического уровня D-PHY», он представляет собой однонаправленный дифференциальный интерфейс с 2-проводным каналом синхронизации и одним или несколькими 2-проводными каналами данных. Физический уровень этого интерфейса определяется спецификацией MIPIAlliance для D-PHY. На схеме показаны соединения между передатчиком и приемником CSI-2, которые обычно представляют собой модуль камеры и модуль приемника, являющиеся частью ядра мобильного телефона.

Называемый «опцией физического уровня C-PHY», он состоит из одной или нескольких однонаправленных 3-проводных последовательных линий данных, каждая из которых имеет свои собственные встроенные часы. Физический уровень этого интерфейса определяется спецификацией MIPIAlliance для C-PHY. На рисунке показаны соединения передатчика и приемника CSI для этой опции.

Каждые часы имеют

Интерфейс управления камерой (CCI) с двумя вариантами физического уровня представляет собой двунаправленный интерфейс управления, совместимый со стандартом I2C.

Я уже спрашивал о проблеме с часами, и вот ответ.

Подводя итог:

D-PHY: наиболее часто используемый в настоящее время интерфейс, будь то камера или экран, интерфейс D-PHY — 1/2/4-полосный (полосу можно понимать как канал, то есть 1/2/3/ 4 канала, по 2 на каждый канал (дифференциальные линии), плюс пара линий синхронизации. Линии данных и линии синхронизации являются дифференциальными линиями, управляемыми током. Различные версии D-PHY имеют разные скорости. D-PHY имеет до 10 проводов с выделенными линиями синхронизации для синхронизации.

C-PHY: поскольку разрешение экрана и камеры, а также частота кадров становятся все выше и выше, пропускная способность D-PHY становится все более недостаточной. Появился C-PHY. Интерфейс C-PHY — это 1/2/3 Trio. Каждое Trio имеет 3 линии, вплоть до 9, и не имеет выделенной линии синхронизации. C-PHY в настоящее время может использоваться в флагманских чипах мобильных телефонов высокого класса.

A-PHY: В основном предназначен для автоматического вождения автомобилей. В настоящее время камеры ADAS (Advanced Driver Assistance System) все чаще используются в автомобильных развлекательных экранах, а разрешение становится все выше и выше. Кроме того, автомобильные камеры и развлекательные экраны относительно разбросаны, а расстояние до основного элемента управления, как правило, относительно велико. Однако расстояние между C-PHY и D-PHY слишком мало, не более 15 см, что явно не подходит для использования в современной высокоинтеллектуальной автомобильной сфере. A-PHY был выпущен в сентябре 2020 года и используется в сверхскоростных автомобильных приложениях дальнего действия, таких как ADAS, системы автономного вождения (ADS), автомобильные информационно-развлекательные системы (IVI) и другие датчики объемного звука.

M-PHY: в настоящее время используется в основном в хранилищах USF.

CCS — это набор команд, определяющий камеру

Это можно скачать

Этот протокол предназначен для обнаружения камеры, новый протокол

Это официальная IDE, здесь удалено много фотографий

Поддерживаемые IP-ядра

Посмотрите IP последовательного порта

Когда чиновник сказал, что его энергопотребление низкое, они напрямую использовали термометр для его проверки.

Это официальный курс на Станции Б. Я продолжаю читать PPT, и это меня так раздражает.

Это встроено в RISC-V.

некоторые особенности

интерфейс, периферия

Это руководство по настройке действительно увлекательное, что я могу сказать дальше?

https://pan.baidu.com/s/1vgfyciVWN1ICgnCFsfnb-g