Windows 10 и захват кадра из видеопотока с камеры
Серия проектов "Дополнение к реальности "
Tempus fugit !... (Видео: " ускорение & перестройка" )
Виртуальная и"аргументированная" реальность. Ждем Бума?
Основная цель проекта: создать свой интерфейс на основе технологии "дополненной реальности".
(В чем-то аналогичный интерфейсу ХолаЛенс но в отличии от него полностью программный требующий в идеале одну или в крайнем случае две камеры + есть мысль разобраться с общими возможностями и ограничениями ДР-технологии в целом. )
СМЕЖНЫЕ ТЕМЫ
Ужосы OpenCV...(Работа с библиотекой OpenCV в Лазарусе )
OMarks - библиотека оптических маркеров Как подключить ?
"Полезные темы" (Чтобы не искать по всему форуму )
OpenGl Рисуем в Фоне, возможно ли?
Быстрая отрисовка
Как ускорить прорисовку векторной графики ?
Как оптимизировать определение границ произвольной фигуры ?
(Грандиозный был флейм аж вспомнить приятно.. . но пользы то-же много! )
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Лабораторный журнал состояние на 12.10.2020
(Журнал обновляется не регулярно (примерно раз в квартал ) так-что если интересно следите за свежими обновлениями в конце темы. )
В процессе исследований мной опробованы и отчасти освоены технологии :
----------------
1 Захвата "живого видео" через ДиректХ
2 "Живого масштабирования" (почти как в шпионских фильмах )
3 Детектора движений (+ получил опыт в написании простой "системы слежения" )\
4 Предпринята попытка добиться Супер Зума
(сборкой кадра с высоким разрешением из нескольких кадров с низким разрешением )
5 Создана экспериментальная библиотека с множеством разных фильтров и эффектов .
(причем в целом достаточно быстро работающая за исключением "сложных" случаев вроде "детектора Канни" )
6 Прикручено "самодельное распознавание меток"...
(расширенная редакция из предыдущей темы Серия проектов "Дополнение к реальности ")
7 "От безысходности" добрался до дико нелюбимого мной OpenCV
(Громоздко, местами явно криво... и вообще на "крестах" то бишь С++ )
8 Предпринята попытка добиться отслеживания объектов без меток .... Про этот этап у меня даже "кино на трубе" есть !
(В целом успешная, но увы оказалось, что эта технология совершенно не подходит для моих целей и задач в этом проекте в качестве основной ... )
9 Была идея заменить метки давно "насиженными" 2D-баркодами (QR-code, Aztec, DataMatrx...)...
(В принципе рабочая идея, но найденная мной быстрая библиотека оказалась не очень стабильной, а то что я писал сам тормозило совершенно безбожно )
10 Вернулся к более "чистому OpenCV" и адаптировал к программе распознавание "шахматной метки" .
(Тут почти полный успех ... и дело за оптимизаций )
11 Освоены простейшие эффекты в стиле "дополненной реальности"...
(Замена метки на "посторонние" 2D изображение(причем динамическое) с учетом 3D-перспективы )
12 Добавлена простейшая загрузка и анимация 3D-модели(Формат ASC из старого 3DS ) и ее привязка к метке (В "подзорной трубе" пока видно только "каркас" но OpenGL-просмотр в принципе технологически уже доступен )
13 О совсем забыл ! В программе всего кроме прочего есть еще и пока не очень работающее "распознавание ладони" ( то бишь HandsDetect )
14 Сейчас решил собрать все эффекты и фильтры в одном "Центре фильтрации".
(Окно "Слежение за объектами ", в его текущем виде, явно перегружено всяческими галками и трекбарами плюс есть идея развития дополнительной ветки разработки в виде "Студии нелинейного видеомонтажа" и т.п. )...
15 За не имением лучшего и в то же время простого допиливаю свой очень самопальный "рыбный инспектор данных", который внезапно, оказался очень кстати в этом проекте .
16 А еще есть захват изображений с простых (то есть тех что умеют транслировать по кадрам в обычных jpg ) веб-камер в интернете...
17 В планах добавить скрипты как это было в моей "Лаборатории распознавания образов"
Но разумеется на новом уровне
18 Добавил детектор лиц на каскадах Хаара. (В фас и в профиль )
Не могу сказать что все шикарно работает но интересно то что все действует в комплексе.
19 На конец долгожданный OpenGL ! Нуждается в доработке но уже действует...
20 Добавил экспериментальный механизм планшетного ввода чисел ...
21 Немного вправил мозг "детектору ладони"
22 По случаю попадания в мои "очумелые ручки" шлема (или все-же очков ? ) Lenovo Explorer решил опробовать свою программу и там ... ( Реального стерео-видео-потока с камер шлема пока не получил но есть возможность смотреть на результат работы моей программы в "псевдо-стерео" точнее в
"SBS режиме" )
23. В окно "Цифровые эффекты" на будущее добавил дополнительное "меню выбора библиотеки"
В текущей версии есть Softwrare (27 фильтров) и OpenCV(11 фильтров)
24 Окно "Цифровые эффекты" Software Добавил «Сохранить кадр», «Восстановить кадр», «Кадр в окне» .
25 Окно "Цифровые эффекты" добавил:
"Software" "AntiAlias"
"OpenCV"- Два довольно сложных составных метода cvMorphologiсal и cvMotionDetect
cvMorphologiсal- "морфологический" анализ изображения (по тону насыщенности и яркости )
cvMotionDetect - продвинутый детектор движения отслеживает несколько объектов одновременно.
26 Окно "Цифровые эффекты":Software "Упрощение по цвету"
+ Добавил возможность сохранения и загрузки текущего набора фильтров.
см СтарыйТелевизор.ex1 (входит в комплект)
27 Главное окно: добавил новые "альтернативные режимы" (Загрузка из файла и захват с десктопа и окон) которые становится доступны после включения галки "Сменить источник кадров".(Ранее работал только ввод URL веб-камеры работающей в "JPG-режиме" )
28 Окно "Цифровые эффекты"
"cvStereoTest" попытка работать с "картой глубин".
"cvLkDemo" составной метод "поиск характерных точек" .
29 Окно "Цифровые эффекты"
cvWarpPerspective Искажение и афинные преобразования в 2Д (вписывает кадр в произвольный четырехугольник )
30 Окно "Цифровые эффекты" добавил поддержку библиотеки FastDIB
В текущей версии доступны следующие эффекты и фильтры:
+fdGamma
+fdEmbossEdges
+fdSaturation
+fdFlop
+fdFlip
+fdInvert
+fdSquareWave
+fdRoundWave
+fdMosaic
+fdAutoContrast
31 Окно "Цифровые эффекты" дополнение
(Загрузка и парсинг модели в формате ASC)
Раздел "3D Software" / s3d Загрузка Модели ("Проволочная" модель для превью )
Раздел "3D OpenGL" / ogl Загрузка Модели (OpenGL модель. Пока без текстур )
Оба варианта выводятся на отдельный битмап .
32 Окно "Цифровые эффекты" дополнение
Раздел "OpenCV"
"cvSURF"- Распознавание объектов по методу SURF
33 Окно "слежение за объектами"...
'Отделение фона'- пробная версия.
.
Окно "Цифровые эффекты" дополнение
Раздел "Software"
'Отделение фона' -полная версия .
.
Раздел "OpenCV"
.
'cvPyrMeanShiftFilter' - очень ресурсоемкий метод "сегментации"
(Соседние близкие по цвету пиксели сливаются, а цвет усредняется
- выходит что-то вроде цветной бинаризации )
(Текущая версия (от 12.10.2020) ) Truba_DS_0_0059_14_3_2M0 ТУТ
===========================================================================================