Исследовательский проект "Цифровая оптика" .

[Alex2013]

Truba_DS_0_0059_12_8.7z

Truba_DS_0_0059_12_8 (10.12.2017).
Добавлена "панель баркодов"

Поиск AzTec на базе библиотеки OMarks(C) 2013. IntBuSoft. http://intbusoft.com
Пока работает только:
"Глобальный поиск меток на основе Aztec кода"
Кнопка "Сканировать"
Режим "Auto"
(локальный поиск по найденным контурам сделать не сложно, но пока решил "зарелизить" текущую сборку, чтобы было к чему откатываться если что ... )
Найденный код "замирает" до ручного или автоматического обновления (так и задумано).
Убирается или сканом пустого кадра или гашением "панели баркодов"


Как откроешь все окна и запустишь большую часть функций понимаешь да "истина где-то там !"...


Добавлено спустя 13 часов 53 минуты 44 секунды:
Соням привет ! "Совам" телепорт! (Ночная сборка пожаловала... вчера чуть чуть не дописал )
Truba_DS_0_0059_12_9.7z

Truba_DS_0_0059_12_9 (11.12.2017) Понедельник
Добавил:
"Локальный поиск Aztec кода в найденных контурах"
Кнопку "Сброс"
И галку "Наблюдать процесс" для "Локального поиска" (Теперь она работает)
=================
Чтобы задействовать "Локальный поиск" нужно как минимум включить "Порог бинаризации" и "FRR"(поиск контуров)
(Включать "Чистый кадр" тоже полезно, так как с ним поиск всегда идет на исходном кадре но, разумеется, нет возможности попробовать разные фильтры)
К сожалению, в режиме Auto при наличии в поле зрения нескольких меток может глючить (Контуры вкладываются одни в другой и отследить где захвачено сразу несколько меток пока не получается )
Зато теперь читает ВСЕ найденные коды ...
(Правда чувствительность распознавания чуть ухудшена. но это почти всегда лечится "траурной" рамкой вокруг метки )

[Alex2013]

ARToolKit + ARDeskTop Почти тоже что пытаюсь получить как одни и результатов проекта
(Никогда сомневался что не мне одному приходят похожие идеи скорее удивлен что так долго не мог найти аналог )

https://www.youtube.com/watch?v=amxO38aoKZc
https://www.youtube.com/watch?v=V4Yj1Y3Pg20

[Alex2013]

А между тем реальность внезапно начитает плавно расширятся ...

Truba_DS_0_0059_13_0.7z.7z

Скрины

(Верхнем окне видно "как есть " в нижнем программа "наклеила ярлык " ... )


(Тоже самое но крупнее )
Truba_DS_0_0059_13_0 (06.02.2018) Втроник
Добавлена галка "OpenCV AR Test"

К ней я подключил и частично адаптировал пример simplAR
Ищет "шахматку" из chessboard 6x5.jpg (можно распечатать, нарисовать от руки или показать камере прямо на экране ) и "наклеивает" на нее ярлык из pic.jpg
(С пересчетом искажения проекции, поворота и масштаба )
Все это работает почти в риал тайм. Почему почти ? Потому что довольно заметно притормаживает.
Но есть идее по оптимизации . (Например сбросить разрешение при поиске а картинку "клеить" в высоком разрешении )
==========================================
Можно сказать, что половина дела сделана ...
Но метка chessboard 6x5.jpg увы фиксированная + нет перехода к 3D моделям.
(Можно сделать окно в "локальный 3д" но это все же не то )
Нет поддержки нескольких меток ("Допилить" поиск в несколько проходов можно но будет тормоз )...
Ярлык получается полупрозрачный (почему не понял, хотя догадки есть)

ЗЫ
Да я добавил то самый пример по поводу которого так и не дождался помощи в теме "Ужосы OpenCV"
(В прочем там реально дельфи версия библиотеки для работы OpenCV была малость перетяжеленная в моем модуле OpenCV.pas все куда как проще правда приходится постепенно добавлять не достающие функции но это не проблема )

[Alex2013]

Добавлено спустя 17 часов 7 минут 41 секунду:
Нарисовал реальную метку-шахматку (и хотя кривовато вышло но со сглаживаем по Гаусу работает )

[Alex2013]

AR-акция продолжается !

Truba_DS_0_0059_13_1.7z

Исправил "прозрачность" (Через CvCopy)
Добавил галку "AR Draw"
(Работает совместно с "OpenCV AR Test" )
При включении "AR Draw" Вместо ярлыка из pic.jpg выводится динамическая картинка.
(текущий кадр в ч/б режиме + вращается 3д каркас куба... да да это все та-же древняя демка, но за то все очень просто! )
Главная задача этой сборки, посмотреть можно ли использовать в примере simplAR динамическую графику вместо статической картинки .

! Плоховато работает с рисованными на бумаге и вообще с "реальными" метками.
( плюнул и использовал для тестов планшет в качестве "электронной бумаги" - результат весьма радует! )

Скрины...


Окно в "параллельный мир "...


Ну и "ярлык" тоже показывает.... (причем без всякой "прозрачности" )


Все три доступные в текущей версии программы технологии поиска меток одновременно ...
(правда пришлось ловить момент при выключении бинаризации что-бы получилось так красиво, но все честно никакой "фотожабы" ! )

[Pavia]

Осталось добавить оптический поток! Для отслеживания перемещении камеры в 3D

[Alex2013]

Осталось "начать и кончить"... Даже до самой простой виртуальной клавиатуры еще "пилить и пилить гири" ...

А пока "Эксперимент номер "а хрен его знает какой"..." :



Это я с "виртуальной водолазной маской для смартфона " возился ....

Видно :
1 Как моя программа захватывает изображение со смартфона (DroidCam Client)
2 Обрабатывает изображение (Накладывает поверх метки черно белое окно )
3 Возвращает на смартфон (TrinusVR)
( Видно как камера планшета заглядывает в окуляр "вр-маски" )
4 Плюс виден сам девайс на экранчике второго (совсем уж "антикварного") планшета

(Стерео изображения разумеется пока нет оба окуляра "маски" показывают одинаковое изображение )
Все работает в режиме салйд шоу (1-2 фпс)
( Планшет 2 гига и Intel Atom X5-Z8300 + гоняет трафик туда сюда чрез ВиФи Роутер )
Но условный РИАЛТАЙМ засчитан !

[Alex2013]

"Миксер для реальности "





Truba_DS_0_0059_13_2


Truba_DS_0_0059_13_2 (23.2.2018) Пятница

Галка "3d model"
(Работает в трех режимах)
1 3d Демка (по умолчанию)
2 Показ загруженной модели (после выбора файла или «в режиме отладки» )
3 Демка или модель внутри пространства метки. (при включении " AR Test" и "AR Draw")
(Движок от фильтра МBlur приближает или удаляет модель )
Двойной клик на поле вода имени модели загружает и парсит модель в "режиме отладки" (появляется окошко лога)
Да это еще не "3D-привязка" к метке, но нужно же заранее подумать, что именно будет привязываться.
Модели загружаются в текстовом формате старого 3DS (файлы *.asc ) используется только геометрия + в файле должна быть только одна модель .
За загрузку и вывод модели отвечает новый модуль load3e.pas

[Alex2013]

Truba_DS_0_0059_13_3 (24.2.2018) Суббота

Исправил застарелый баг влезший код еще в сборке Truba_DS_0_0059_12_5
Теперь снова работает OpenCV поиск контуров и линий
(Впрочем, пока бесполезный ... надежды на резкое улучшение надежности распознавания не оправдались)

Truba_DS_0_0059_13_4 (26.2.2018) Понедельник

Добавил галку "Mark3d"
(Рисует над меткой "псевдо-кубик" главная польза от этой сборки в переходе к реальным точкам метки)
Но думать в момент создания сборки мне определенно не хотелось...
Поэтому пока все дико тупо без реального пересчета геометрии и с дублированием кода при рисовании.
(По виду можно сказать что подвиг "неизвестного японца" с ролика в ю-тубе повторен но это увы не так... )
+ "Изобрел" новый способ делать метки (просто наклеил на белую бумагу квадратики черной)

Truba_DS_0_0059_13_4.7z (Ссылку убрал следующая версия полностью перекрывает эту, а "для истории развития проекта" этот глюк определено неважен...)
Следующая версия в дополнении к этому посту !


Не путайте с предыдущей версией там хоть и модель грузит но они вообще без привязки к метке строятся ...

Добавлено спустя 21 час 6 минут 56 секунд:





Truba_DS_0_0059_13_5.7z

Truba_DS_0_0059_13_5 (27.2.2018) Вторник
Девиз сборки "Мы пойдем другим путем!"
(Это я начитался книг по "правильному выводу 3д" и решил, что меня пока и "не правильный вывод" устроит)

"Привязал" вывод модели к центру метки +
("Подвиг неизвестного японца" пока все равно не повторен - нет расчета углов - но уже ближе!)
Убрал сдвиг по глубине при анимации +
Добавил "привязку" и к кадру с "пространством в пространстве"+.
"Простой вывод модели" для тестирования загрузки(При включении показа модели ("ЗD Model") но без "AR TEST") теперь работает в режиме "логотипа".
+ В "СтатусЛайне" выводятся координаты центра метки. (В дальнейшем можно будет реальное расстояние от камеры до метки вычислять ! )

Все нужно чистить и приводить в порядок (Много "магических"(подобранных "от балды") коэффициентов и нет масштабирования при построении "хрустального гробика" по галке "Mark3d" )
(Изменение разрешения все сбивает )

А вообще думаю, что уже можно браться за OpenGL и строить модель "как положено" а не своим "могучим ураганом"... ("кейфрамер режим"(вывод каркаса модели ) забавен и полезен для отладки но далеко на нем не уедешь !)
Зы
Продвижение продвигается! (Даже сам не ожидал… )

[Alex2013]

Truba_DS_0_0059_13_6 (2.06.2018)

Добавил "детектор руки" ... увы но надежды на значительное улучшение работы поиска ладони от возможности использования различных фильтров не оправдались. Но не смотря на довольно трудоемкую адаптацию к более простой версии оболочки OpenCV для Lazarus-a все работает не хуже чем в примере (Правда притормаживает, что не мудрено в виду перегруженности конвейера обработки )

Пока не разобрался в алгоритме поиска как мне кажется все проблемы решаются не сменой версии библиотеки, а модификацией алгоритма .

Truba_DS_0_0059_13_6.7z

[Alex2013]

Достань матрицу....
(Присмотритесь! 3D на 2D картинке ... ну почти ! )


Протри свой старый ветхий дом !
(С такой фильтраций "Ведьму из Блэр" можно снимать где угодно )


Что это ? А просто я не люблю "не нажимаемые кнопки" в программах ... Написано "Цифровые эффекты" вот вынь и полож ! Вообщем, пока не совсем то, что задумывалось мной сделать в качестве "бара эффектов" но продолжение следует! (Задумка была набирать "обойму эффектов" в произвольно порядке и тестировать её визуально ) Интерфейс окна "Цифровые эффекты" тоже пока оставляет желать лучшего ( Как можно легко догадаться применил чуть исправлений до состояние "почти не падает" тот самый "рыбный" инспектор данных но так как проект не для продажи плавная прорисовка элементов инспектора волнует мало а вот добавить в поле ввода целых чисел движок для ускорения их ввода мышкой можно и нужно ... но все сразу! )

Truba_DS_0_0059_13_7.7z

[Alex2013]

Truba_DS_0_0059_13_8.7z


Окно "Цифровые эффекты"...

Два новых эффекта

"Рыбий глаз" (Красиво но почти бесполезно )
"HSV+" ( А вот это очень даже полезный эффект HSV - настройка изображения
пересчитывает цвета в пространство HSV, добавляет дельту и конвертирует обратно в RGB )

То есть можно настраивать оттенок, насыщенность и "светлоту"
Осторожней с вводом чисел проверку пока убрал (так что лучше править значение при выключенной галке).
Зы
В принципе из за такой ерунды можно было не суетится ... Но найти настройку насыщенности цветов отдельно от "HSV - настройки" у меня не получилось да и тон подстроить может быть полезно . Работает чуть грубовато (можно через ОpenCV то же самое делать но хотелось немного разобраться самостоятельно).

[Alex2013]

"Иллюзия обмана" или "FX"
(Был кажется когда-то такой сериал посещенный спец-эффектам в кино )




Окно "Цифровые эффекты"...
1 Добавил механизм создания "обоймы эффектов" !
(то есть то, что я хотел получить, от окна "Цифровые эффекты" изначально )
Список доступных эффектов слева и текущий набор(с настройками ) справа
(можно ставить в любом порядке с повторами )
! Выполняется сверху вниз, вначале загружается весь список, но дальше его можно очистить и редактировать.
2 Исправил ввод чисел с плавающей точкой (как минимум стало удобнее )
3 Добавил новые эффекты :
'Простое сглаживание'
'Фильтр Робертса '
'Фильтр Собела '
'Детектор Канни'
+Подправил Фильтр "HSV+" (но до совершенства еще далеко )

Вообщем идея в наглядном обзоре , подборе и настройке фильтров "на ходу" .
Пока доступно только 19-фильтров (впрочем там уже есть как минимум два "сложных фильтра" один на 9 другой на 16 "суб эффектов" ) Методика добавления новых эффектов отлажена, так что дальше "больше лучше быстрее"
Насчет последнего нужно будет изрядно повозится хотя по "ускорению & перестройке" уже есть не плохие идеи!

Truba_DS_0_0059_13_9.7z

[Alex2013]

"Кирандия и рука судьбы !"

Дико простой он очень красивы эффект !


Нет это не Кирандия, просто "рука бойца махать устала" и нашел я на своем "обитаемом острове" подушку-перчатку для автобуса (в виде лапы мики-мауса ) .



Truba_DS_0_0059_1_9 (11.08.2018) Суббота

Окно "Цифровые эффекты"...
Изменить разрешение. +
Восстановить разрешение +
(Понятно что основное назначение "запекла борьба с тормозами" для тех случаев где разрешение неважно, но может использоваться и как часть "составных эффектов - вроде того, что показан на первом скриншоте )

Окно "слежение за объектами"...
Показ промежуточных результатов "детектора руки" +
( позволяет использовать ранее добавленные настройки "детектора руки")

Галка "Использовать ЦЭ" +
Позволят применять набор фильтров из окна "Цифровые эффекты" в окне "слежение за объектами".

Truba_DS_0_0059_14_0.7z

[Alex2013]

После нескольких "темных сборок" в которых показать было особо нечего ...

Появилась эта Truba_DS_0_0059_14_1_4





1 Поправил инспектор данных (улучшена перерисовка, добавил управление колесиком мыши и стрелками клавиатуры )
2 Добавил Эффекты "Скелетизация Занг-Суена" и "Темпоральный след"
3 Добавил галку "Пуск фильтрации".
Теперь все работает почти как надо правда нет возможности менять параметры в "живом режиме".
Но возникающие при запуске сложных фильтров тормоза все равно не позволяли делать это с удобством.

"Доморощенные эффекты" заканчиваются скоро примусь за OpenCV ...

Дело малость застопорилось и чуть ушло в сторону от основных планов и задач ,
но уровень разработки все равно подрастает а проект развивается .