Исследовательский проект "Цифровая оптика" .

[Alex2013]

Кстати С первым мая !

1

"буферизуются в GPU"

Ладно уели...

2 ScanLine - упрощает код но пересчет координат в "линейную позицию" (адрес) все равно не мгновенный.
(Можно записать адрес-смещение всех линий заранее но это редко когда оправдывается )

3 Более быстрый GetPixel( и SetPixel) можно взять с моего кладбища алгоритмов (UCanny.pas )
(Но вообще работа каждым пикселем небыстрая по умолчанию и для оптимизации желательно как можно более плотно использовать блочные операции и "зрячие алгоритмы" (то есть составленные с учетом характера данных и разных "особых случаев" )

Добавлено спустя 17 минут:
По нейронным сетям : Честно говоря я немного разочарован ... простейшие бессмысленны, а сложные требуют прорву ресурсов и все равно обычно "Слепые" (То есть без заточенности под графику и распознавание графических образов )

Но есть и сравнительно простые "зрячие" адаптивные алгоритмы(АА) вроде тех-же каскадов Хаара (Скорость и точность которого приятно удивила ), однако, я все-же думаю, что распознавание с помощью АА может быть только предварительным этапом, а дальше нужно применять что-то вроде SURF (особенно если есть нужда в поучении пространственных координат ).
Зы
Важным этапом любого распознавания является "выделение фона" и частичная сегментация изображений
( идеально было бы получать "пространственный анализ" разделяя изображение на несколько планов - но к сожалению работа с "картой глубин" пока что обернулась прямо таки немерянным тормозом . )

[debi12345]

Честно говоря я немного разочарован ... простейшие бессмысленны, а сложные требуют прорву ресурсов и все равно обычно "Слепые

Ясен перец что тут нужно потратиться на специализированные нейро-процессоры в духе :
https://towardsdatascience.com/how-to-make-your-own-deep-learning-accelerator-chip-1ff69b78ece4
как принято во всем мире всеми теми, кто реально хочет чего-то добиться в этой теме, а не убивать время в порядке хобби.
А все эти софтовые нейро-игрушки на пайфоне только могут только оттолкнуть
Например это мелкое "чудо-юдо" https://www.gyrfalcontech.ai/solutions/2801s/ стоит 40...60 $. Да, USB - но зато можно наращивать и каскадировать насколько разъемов и шины хватит.
Или вот https://www.amazon.com/Intel-Neural-Compute-Stick-2/dp/B07KT6361R за 100 $
Вот примеры экспериментов:

Real Time Face Detection using Neural Compute Stick 2 with Raspberry

https://www.youtube.com/watch?v=8Jwz0c5uIUs

Image recognition using Movidius Neural Compute Stick on a RPi0W

https://youtu.be/1q7SU6tp4Yk

Accelerate Deep Learning on Raspberry Pi with Intel Movidius Neural Compute Stick

https://youtu.be/MK7XExpfm7Q

Добавлено спустя 14 минут:
Человек ведь видим мир, постоянно сканируя его мелкими участками четкого (непериферейного) зрения при инстинктивном вращении глазами - а цельная картина складывается только в результате обработки и объединения в мозгу этих просканированных участков. Мы - еще те компьютеры

Добавлено спустя 28 минут 33 секунды:
Канал мужика, плотно подсевшего на тему визуального "дип лёнинг" :
https://www.youtube.com/channel/UC2W0aQEPNpU6XrkFCYifRFQ


Добавлено спустя 9 минут 51 секунду:
Ничёёёё так реклама USB-стика

Deep Learning with Intel

https://youtu.be/KuM67WfTXBQ


Добавлено спустя 29 минут 56 секунд:
Очень запалювальная промова : комп за 450 баксов под "диплёнинг" (вариант "с видяхой")

Код: Выделить всё

Cheapest Deep Learning PC in 2020

https://youtu.be/G6PtQis8GDo

[Alex2013]

Беда специализированных "нейро чипов" в том что они не является частью стандартного оснащения компьютеров, что означает их почти полную бесполезность для большинства пользователей и соответственно большинства разработчиков ПО.

Так что реально доступны только "Софт версии" нейро-симуляции. Но даже если быстродействие эмуляции нейросетей было бы более менен приличным остается проблема точности (Обрати внимание нато что многие красивые ролики с распознаванием имеют однотонный фон , "уличная видео аналитика" работает только движущимся объектами )
Зы
Хм .. где-то я уже что-то похожие видел ....

Мой старый поиск контуров( Красиво... Но почти бесполезно!)


Кстати! Реальное динамическое изображение с Веб-камеры в Сети мой метод тоже может "парсить" ...


А это тупой детектор движения ..
(на один объект работает идеально )


Но и чуть умнее тоже есть...

..как что народ "фильтруйте базар"! ("красивые рамочки" вокруг машин и людей могут быть реальной "лапшой на уши" - "бинаризация + поиск контуров + детектор движений" способны создать довольно полную иллюзию распознавания.)
Зы
А еще можно "морфологию" виснуть для комплекта !

(Она "летает" но чтобы подобрать параметры нужна "ловкость рук и никакого мошенства" )

[debi12345]

Кстати Реальное динамическое изображение с Вебки мой метод тоже может парсить ...

Там не парсинг, а обучение. Нейрочип нужен для быстрого анализа и принятия решений (в духе языка PROLOG) по коэффициентам, загруженным после обучения по фотографиям, снэпшотам в реал-тайме ("снимаю нашу собаку теперь с этого ракурса и говорю что это наша собака") и т .п. Обучения, проводимого через выделение "граничных объектов" средствами OрenCV, OpenVIVO с фронтэндом на Пайфоне и т.д.
Для программиста-алгоритмиста, нацеленного на процесс а не на результат, это возможно скучно - по факту придется не кодить,а только фоткать и говорить "кто это", "да" и "нет"

Добавлено спустя 8 минут 1 секунду:
Например целые сутки снимаешь кошку по всей квартире и во дворе со всеми членами семьи при любой освещенности, выкладываешь все фотки в папку "our_cat" на мощном домашнем компе, натравливаешь на эти фотки пайфон-скритт с Open*-обработкой с задачей "найди такие коэффиценты для АI-стика, чтобы на этих и похожих фото, всегда находился один и тот же объект - мы назовем его кошкой". Для ускорения обучения (чтобы избежать лишних случайных заходов) начинать с небольшого числа однозначных фотграфий

[Alex2013]

Проблема в том что отличить это самое "глубокое обучение" от результатов ( кстати так или иначе неизбежной ) предварительной обработки сложно .

Например глядя на этот скрин можно подумать что это уже "Настоящая 3д-рекоструция" (Тим "Настоящие гавайцы! " )
(особенно если смотреть не статическую картинку, а видео или саму программу "живьем". ).

...однако все куда как проще ...

[debi12345]

Алекс, Вы зря чуратесь темы нейрсетевых AI и II - по любому за ними будущее.

Добавлено спустя 3 минуты 19 секунд:

"глубокое обучение" от результатов

Задача "диплёнинга" - не столько нахождение границ объектов в хаосе, сколько классификация "что и кто есть на этот фото"

Добавлено спустя 7 минут 38 секунд:
Таким образом "Тесла" научила-таки к 2020 году свой AI-автопилот различать дорожные знаки, стоп-линии и светофоры всевозможных вариаций, забрызганные грязью, в дождь и в снег, днем, ночью и в сумерах и т.д.

Добавлено спустя 2 минуты 42 секунды:
В "Тесла" считают что даже нынешних аппаратных возможностей AI-чипов (ессно не таких как стик см. выше, а посерьзнее) хватит для полной эмуляции человеческой "функции" "законопослушый водитель"

Добавлено спустя 18 минут 2 секунды:
3 с половиной часа выноса мозга. Без субтиров.

Deep Learning: A Crash Course

https://youtu.be/r0Ogt-q956I

[Alex2013]

Алекс, Вы зря чуратесь темы нейрсетевых AI и II - по любому за ними будущее.

Не чураюсь но думаю что "нисходящий подход" (экспертные системы,нечеткая логика, генетические алгоритмы ) еще долго будет полезные "восходящего"(нейросетевые модели,глубокое обучение,цифровая-бионика... )

Добавлено спустя 3 минуты 19 секунд:

"глубокое обучение" от результатов

Задача "диплёнинга" - не столько нахождение границ объектов в хаосе, сколько классификация "что и кто есть на этот фото"

Вот "Скрин на скорую руку" ( не самый удачный, но если еще чуть пошаманить, то похожим образом можно будет реально имитировать причем достаточно достоверное "3д-сканирование")

Лень делать гифку но "каркас" не статичный, а чуть шевелится и даже немного повороты камеры отслеживает.
(Хотя никакого 3д нет и в помине )

[debi12345]

Полная жесть от Гугла:

An end-to-end open source machine learning platform

https://www.tensorflow.org/

[Alex2013]

Полная жесть от Гугла:

An end-to-end open source machine learning platform

https://www.tensorflow.org/

Круто, спасибо !

[debi12345]

Не чураюсь но думаю что "нисходящий подход" (экспертные системы,нечеткая логика, генетические алгоритмы ) еще долго будет полезные "восходящего"(нейросетевые модели

Суть ситуации скорее всего в том, что на материки пока еще не распаивают ИИ-чипы - то есть для доступа к необязательным ИИ-фичам нужны дополнительные усилия. Как только станут распаивать - писатели софта (графические редакторы, игры,..) сразу на это отреагируют
Хотя в смартфоны уже распаивают, и даже под бытовую технику уже все готово

LG разработала чип искусственного интеллекта на базе Neural Engine

https://www.it-world.ru/it-news/tech/145484.html
Хотя массовое распространение ИИ-чипов сильно угрожает биржам с онлайн-API - ведь "клиенты" этих бирж могут стать (приобретя несложный софт) намнооооого умнее и поэтому терять намного меньше денег

[Pavia]

Беда специализированных "нейро чипов" в том что они не является частью стандартного оснащения компьютеров, что означает их почти полную бесполезность для большинства пользователей и соответственно большинства разработчиков ПО.

Во-первых. Нейро чипы это маркетинг. Усечения Double до ShortInt и хранение общей мантисы для вектора из 16,32 чисел. Далее это всё вычисляется на SIMD.
Во-вторых NPU сейчас поставляется практически во все новые ARM. Так что можно говорить о том что такие процессоры доступны каждому.

Важным этапом любого распознавания является "выделение фона" и частичная сегментация изображений

Нейронками это просто. За последние 10 лет терминология в этой областей классификаторов поменялась могу немного неправильно говорить.
Изображение разбивается на квадраты 16х16 каждый скармливается сетки она пердсказываете выдавая onePredict значение класса к которому относится эта клетка. Далее клетки просто помечаются нужным цветом. Используя F1 метрику оценивают насколько точно сетка предсказала значение. Если выше 60% то помечаем целиком если ниже 30% если от 30-60% то её более детально анализируют. Есть разные походы. Один из популярных это скользящим окном по методике IoU c получением метрики F1. Скользящим окном проходим по координатором нашей клетки с захватом соседних и подаем их на НС. НС нам говорит класс мы для всех скользящих окон подсчитываем сколько рас выпал класс 1 и 2. Далее делим на количество окон получаем F1. Каких классов больше тому и принадлежит пиксель.
Intersection over Union — IoU

[debi12345]

Пример навскидку "распознавание рукописного текста [цифры]ъ" на TensorFlow :
https://youtu.be/R_Lmewg8W64

Добавлено спустя 2 минуты 35 секунд:

Во-вторых NPU сейчас поставляется практически во все новые ARM. Так что можно говорить о том что такие процессоры доступны каждому.

NPU NPU рознь. Смотря какая мощь (размер мартицы, виды сверток, поддержка какими API..) под какие цели

Добавлено спустя 4 минуты 29 секунд:

Во-первых. Нейро чипы это маркетинг

Для автономных девайсов типа смартфонов, камер наблюдения и т.д. они (ASIC по сути) незаменимы - из-за экономичности. Для автопилота "Тесла" пришлось разработать свой чип в 1-ю очередь чтобы укладываться в 150 ватт мощности всей (а не только ИИ-модуля) электронной сборки

[Pavia]

Для автономных девайсов типа смартфонов, камер наблюдения и т.д. они (ASIC по сути) незаменимы - из-за экономичности. Для автопилота "Тесла" пришлось разработать свой чип в 1-ю очередь чтобы укладываться в 150 ватт мощности всей (а не только ИИ-модуля) электронной сборки

Так правильно взяли NVidia они цену заломили небось 100$ за проц. Когда как ARM стоит 10$ при партии от 30 000 тысяч.

Пример навскидку "распознавание рукописного цифры на TensorFlow

Я такой же запилить могу. База MNIST у меня есть, чтение где-то было. ANN от разработчика Теслы с JS на Delphi переведено.

[IvoX]

Код: Выделить всё

procedure TQuickPixels.SetPixels1(X, Y: Integer; const Value: TColor);
asm
  push ebx
  push esi
  mov esi,[ebp+8]   //цвет
  cmp esi,[eax].FLastColor
  //проверка, не использовался ли в прошлый раз этот же цвет
  jz @@TheSame
  //нет - ищем ближайший в палитре
  mov [eax].FLastColor,esi    //запомним цвет
  push ecx
  push edx
  push eax
  push esi
  mov eax,[eax].FHPal
  push eax
  call GetNearestPaletteIndex
  mov ebx,eax
  pop eax
  pop edx
  pop ecx
  mov [eax].FLastIndex,ebx
  jmp @@SetCol
@@TheSame:
  //да - используем сохраненный индекс
  mov ebx,[eax].FLastIndex
@@SetCol:
  mov esi,[eax].FDelta
  imul esi,ecx
  add esi,[eax].FStart
  mov eax,edx
  shr eax, 3   //X div 8
  add esi,eax  //адрес нужного байта FStart + FDelta * Y + (X Div 8);
  mov eax,[esi] //получили байт с данными о 8 точках
  mov ecx,edx
  and ecx, 7   //X mod 8
  mov edx, $80
  shr edx,cl   //маска для нужного бита
  or ebx,ebx
  jz @@IsZero
  or eax,edx   //установка бита в 1
  jmp @@SetByte
@@IsZero:
  not edx
  and eax,edx  //сброс бита в 0
@@SetByte:
  mov [esi],al   //запись байта с измененной точкой
  pop esi
  pop ebx
end;

Классика но не могу локализовать одну проблему...
У меня в тестовом приложении скорости доступа зашкаливают...
И даже бывает что скорость GetPixel в минус уходит
Подозреваю что это банальное переполнение счётчика,так как пример из сети и должен быть старым. возможно там Word.
Пойду ковырять,возможно получится адекватную скорость посмотреть.
А то вот так пока

2020-05-01_213748.png

[debi12345]

От NVIdia по перформансу кажется перестал тянуть, а каскадировать или ставить более новый от NVidia потребляемая мощность не позволила. Свой чип они вроде сделали и экономичее, и по перформансу в разы мощнее. К тому же Илон Маск всегда все старается вертикально интегрировать, все самим делать.
Хотя вроде недавно они один из ИИ-стартапов прикупили и над автопитолом работать посадили, а у тех свой чип, еще экономичнее. Факт что есть результат - уже тестируют проезд на светофоры в городе и за городом в разную погоду и т.д.