Виртуальная и дополненная реальность. Ждем Бума?

[debi12345]

то есть можно предавать мозгу картинки через слух или тактильные ощущения через "условные маркеры" посылаемые через зрение .

Это все равно передача на конкретные нейроны через выделенные (природой) специально для них каналы связи

[Alex2013]

то есть можно предавать мозгу картинки через слух или тактильные ощущения через "условные маркеры" посылаемые через зрение .

Это все равно передача на конкретные нейроны через выделенные (природой) специально для них каналы связи

Нейронам вообще-то все равно... Есть "эрго прокси" (то бишь некая "обратная связь") откликается на импульсы ? Подключаю!... А что с этим делать забота "высших когнитивных функций" . Это как были когда-то (а может и сейчас есть) такие уличные "люди оркестры" ...навесил на себя кучу муз инструментов обвязал веревочками и трубочками... "А теперь мы попробуем на всем этом что-то сыграть!"
Зы
"Девушка-оркестр" хайтеч вариант .

[debi12345]

Тема "живем в симуляции" - взгляд со стороны создателей симуляции, или "мы в ответе за процедурных неписей, которых сгенерировали"

"Блаженство"

https://for.kinohype.top/3503-blazhenstvo-2021.html

Не экшен, скорее философский фильм.

Добавлено спустя 10 минут 51 секунду:

Нейронам вообще-то все равно... Есть "эрго прокси" (то бишь некая "обратная связь" откликается на импульсы ) подключаю а что с этим делать забота "высших когнитивных функций"

Даже самый широкий канал среди органов чувств - зрительный (глаз + зрительный нерв + зрительный участок коры мозга, выполняющий предобработку вроде DLSS в картах с "лучами") - работает не шустрее 25 Гц. Поэтому через органы чувств широкий нейро-интерфейс не устроишь.

[Alex2013]

То есть, ты выводишь изображение на экран, потом с этого экрана скринишь и выводишь на очки?

Нет, чуть проще! Беру "скрин экран" (или конкретного окна ) и "вывожу на очки"(ясное дело в виде видеопотока, а не статически ). Но непросто "на очки", а на "виртуальный экран" висящий в виртуальном пространстве .
Примерно так ...

Объясни, что ты делаешь. Потому что то, что ты пишешь - это не понятно! Выше я написал, как я это понял. )))

Я уже два года вращаюсь "в мире виртуальных шлемов" так что просто забыл, что все еще есть люди которые могут быть совершенно "не в теме ". Вообщем если кратко, то программы класса "виртуальный десктоп" это почти первое с чем сталкиваются люди купившие любой современный виртуальный шлем.

Классика!
Обзор Виртуального Рабочего Стола на русском. 2016 год

Но кроме чисто "десктопных функций" подобные программы позволяют смотреть стереофото и стереокино, а так-же играть в "стереофицированные" с помощью специального софта игры (но и без стерео эффекта очень многое идет просто шикарно! Представь стратегии или гонки запущенные на "красиво вогнутом экране" с видимым размером в 10-20 метров по диагонали )
.
У каждой из подобных программ есть свои плюсы и минусы, а также свой набор фишек .
Кое какие интересные идеи есть и у меня . Но до написания полнофункциональной программы мне еще довольно далеко (не хватает опыта, знаний и наработок ) . Так что пока пишу разные "техно-демки" осваивая азы ВиАр-технологии.

Ну и разумеется своя программа "Виртуального Десктопа", это только часть моих довольно далеко идущих планов на тему "ВиАр программирования".
Зы
К сожалению работать на виртуальном экране также "как на реальном" пока не выходит (самое главное в том что у текущего поколения ВиАр-шлемов не достаточно разрешения для работы с текстом )
Но многое вполне можно делать уже сейчас .

[Seenkao]

Нет, чуть проще! Беру "скрин экран" (или конкретного окна ) и "вывожу на очки"(ясное дело в виде видеопотока, а не статически ). Но непросто "на очки", а на "виртуальный экран" висящий в виртуальном пространстве

Честно, не вникал. Но! Было бы хорошо знать что делает CreateSnapshotPlusWH ?

Как я вижу, что должно происходить. OpenVR - это происходящая от OpenGL (или DirectX - по идее без разницы, буду опираться на OpenGL).

Как это должно происходить? (как я это понимаю) Ты играешься матрицами и переключаешь их.
1) создаёшь основной контекст (возможно не ты сам, используешь его ты).
1.1) создаёшь в контексте виртуальный экран (очередной контекст?) с помощью glMatrixMode (первый контекст так же создавался)
1.2) выводишь основной контекст
1.3) выводишь виртуальный экран

И, с моей точки зрения, не должно быть ни каких скринов. Скрин - это очень сильно замедляющая процедура и она очень сильно урежет FPS.

Потому и спрашиваю, что происходит в программе и как.

Добавлено спустя 10 минут 12 секунд:
Возможно, если ты изучил достаточно OpenGL, то может сделать надо по другому?

Эмитировать экран (дать ему координаты, размеры). И, выдать его как закрывающую всё плоскость (всё что за ней). Получается надо вывести прямоугольник, со всем что есть на экране.

Получается, что у тебя должны быть загружены все иконки, стрелки, значки и прочая ерунда в твой OpeGLContext, и ты сам должен выводить их. Именно на тот виртуальный экран. Точнее, ты должен эмулировать экран, в виртуальном мире, но не скринить его.

Хм... зато я для себя понял, как это реализовать в будующем, если мне понадобится. Надо будет не забыть.

Тут основная сложность: состыковать основной и виртуальный экраны. Это надо полностью состыковывать клавиатуру, мышь, джойстики (если используются). В общем... работы немало.

Так что думай. )))

[Alex2013]

Чувствую мы говорим об очень разных вещах ....

1 CreateSnapshotPlusWH как раз дергает скриншот по хембеллу окна записывая его в стандартний битмап.
(Если хембелл равен нулю то дергает весь "основной экран" (поддержки мульти-экранности пока нет ) )
+ Дополнительно вырезает по флагу левую или правую половину экрана если флаг 0 обходится без обрезаний .WH озачет что я выдергиваемую текстуру сразу масштабирую .

2 OpenVR вообще почти побоку .OpenVR открывает фрейм-буфер передает "матрицу-камеры" левого или правого глаза (+ данные от контроллеров но я до них еще не добрался ), а что делает рендер это его личное дело (по идее можно вообще не использующий GPU софт-движок запилить )

3 У меня единый рендер строящий сцену и для окна на экране и для экранчиков шлема .
И да, я сам загружаю пространственную матрицу во всех "трех проходах" рендера
+ Все это складывается с данными от "болка управления" (Для ВиАр режима опционально ) + опционально есть почти полная синхронизация оконного рендера с виртуальным

4 Никакого "дополнительного контеста" для виртуального экран НЕТ! То есть, у меня изначально был обычный прямоугольник с текстурой "марсианские хроники" но после включения галки "Каптуре" я начинаю с каждым проходом ПЕРЕЗАГРУЖАТЬ текстуру которую дергаю через CreateSnapshotPlusWH(Что само по себе достаточно быстро но есть нюансы )
ВСЕ !

5 Все УЖЕ состыковано (Сейчас выложу свежую версию техно демки и сможешь повозится с ней сам ) Не все идеально но все работает . Все что нужно это нарисовать большой заметный курсор мыши на выдергиваемом скриншоте . А там где должно "работать 3д" мышь и клавиатура в принципе не очень годится ( в комплекте со шлемом сейчас почти всегда есть специальные ВиАр-контроллеры и они работают совсем иначе, кроме прочего всего походя заменяя джойстик, геймпад,руль и прочие "протезы")

Видос с моей предпоследней техно-демки (писал не я, а товарищ Xray9999 с форума 4PDA и дергается не программа, а просто чел головой усиленно крутит )
https://youtu.be/MVVhGFq8DTI



А свежая уже ТУТ

[Alex2013]

Все немного проще. Нужно на "объектах", не имеющих проблем например со зрением, наработать то, что сразу после "киборгизации" позволит видеть тем "объектам", кто до этого не имел зрения. Пусть зрение не сразу в полном объеме, но чтобы произошла и сразу начала работать "сцепка" между мозгом и имплантом.

Так это и есть "расширение нейросети/памяти" (иначе не представляю как это может работать) .

Дэсь сэнз у трохы иншому. По аналогии с компьютерными сетями, "Нейрлинк" имеющимся штатом реализовал уровни L1 и L2, теперь на очереди реализация уровней L3+, под это дело нужно расширение штата соответствующими (L3+) спецами

Самое смешное что НЛ как всегда в "изобретениях" Маска не предложил ничего нового . Чисто инженерный подход "собрать новое из старых кубиков".

[debi12345]

НЛ как всегда в "изобретениях" Маска не предложил ничего нового .

Уровни "L1 и L2 в случае "нейролинка" - сплошные материаловедческие, биотехнологические, микроэлектронные и прочие ноухау.

[Alex2013]

прочие ноухау.

Обычно НоуХау это чисто узко специальные технологические разработки направленные на решение конкретных задач.
А реальная научная и техническая "новизна" это например первые квантовые компьютеры, первые практические применения искусственных нейросетей, первые лазеры ... НоуХау может включать в себя (и от не всегда ) изобретения заслуживающие патента, но открытия содержать не могут по определению есть открытие графена, и есть некое гипотетическое НоуХау нужное для его промышленного производства . Как-то так .

Признак открытия в его (извиняюсь за тавтологию ) открытости . Код первых персептронов был полностью доступен любому, основы квантовых вычислений доступны любому сумевшему создать стабильный кубит. А ноухау НЛ можно применять только в нем самом и их едва ли выложат в открытый доступ причем не только по причине коммерческой тайны, просто большая часть решений бесполезна за пределами проекта НЛ, а "тупо копипастить" не выйдет потому что это бессмысленно (именно поэтому Буран не копия Шатла , а его ФУНКЦИОНАЛЬНЫЙ АНАЛОГ! ) .

[debi12345]

Нет ли в этом видео жонглирования цифрами ?

Мифы эволюции | Фильм: Происхождение

https://youtu.be/3BqB9ocb-c4
Хотя конечно не исключено, что жизнь на Земле создана рукотворно - высшим разумом, который сам в виде некого организма образовался гораздо более простым способом чем один белок из минимум 150 аминокислот в правильных комбинации и порядке - например нейросети из газов и/или металлов,а потом уже решил проблему приделывания себе "рук" (орудий труда и созидания) Или даже вся зволюция и есть долгий путь высшего разума в процессе приделывания себе "рук"

[Сквозняк]

Хотя конечно не исключено, что жизнь на Земле создана рукотворно - высшим разумом

На Луну посмотри. Она не просто так привинчена а чтобы тормозить вращение Земли и делать сутки равные нынешним.

высшим разумом, который сам в виде некого организма образовался гораздо более простым способом чем один белок из минимум 150 аминокислот в правильных комбинации и порядке - например нейросети из газов и/или металлов,а потом уже решил проблему приделывания себе "рук"

Это если и было, то не в нашеё вселенной - она сама искусственная.

Или даже вся зволюция и есть долгий путь высшего разума в процессе приделывания себе "рук"

Какая эволюция в час ночи? На Земле постоянно происходит инволюция живых организмов. Постоянно появляются люди, потом теряют разум и превращаются в свинок, рыбок, обезьянок и прочих позвоночных. Люди на планету раз 16, минимум, прилетали, теряли разум и зверофицировались. Ну а членистоногие, это потомки ранее прилетевших негуманоидных инопланетян. Были они умными и разумными, а теперь их потомки в пчёлок, муравьёв и глистов инволюционировали. Находки останков ископаемых организмов лучше вписываются в инволюцию чем в эволюцию. Разлетающиеся по вселенной разумные, это конструкторы, которые при утрате разума превращаются в кучу зверюшек и шмакодявок пополняющих биосферу Александр Белов это научно обосновывает.
https://www.youtube.com/watch?v=7VZ8Q9dnINA
https://www.youtube.com/watch?v=ar0EPkR29nc
https://www.youtube.com/watch?v=CauMeUKIonU
На том канале у него куча лекций об инволюции.

[Alex2013]

Животный мир где властвует Эволюция и социум построенный Людьми уже давно "параллельные континуумы ".
Вот если люди утратять свою "социальную реальность " то разумеется тогда они моментально снова попадут в "юрисдикцию" эволюции (или инволюции).

[Alex2013]

Честное "Управление жестами" в ВиАр (типа сбылась "мечта идиота" )

Видеоролик 30 мегабайт ( можно не качать, на ЯД есть встроенный плеер)
(Середину ролика можно пропускать я там тупо не понял что делает "систем кол " для левой руки )
Зы
Да это я обзавелся "сравнительно свежим" девайсом Oculus Quest 2 . ( Не то что-бы "чудо техники", но прогресс явно идет )

[Alex2013]

И так первая неделя с Oculus Quest 2 прошла как минимум не скучно !

0 Общее впечатление: разрешение разумеется впечатляет 3664x1920 ( то есть на один глаз 1832x1920 ), но оно довольно сильно горбатится линзами похоже без изменений переехавшими из Окулус Гоу ).
WiFi 6 и 5 Ггц действительно работают , трекинг контролеров на высоте, но временами чуть сбивается трекинг их поворота . ( В Oculus Go не было 6Dof контролер был только один но крутился он очень четко в WMR все довольно сильно зависит от "мощности" компа так что впечатления смешанные и чуть противоречивые ), чуть выбешивает кнопка под курком (нажимается слишком легко и часто "самопроизвольно" ), на Quest 1-2 установлены четыре черно-белые камеры довольно низкого разрешения, но это точно лучше чем две на WMR. Что еще ? Ну можно заменить что в Quest 2 очень насыщенные цвета и для некоторых приложении это определённо идет на пользу (я получил самый красивый Кавак 1 с модом Арканум Демешин что вообще возможен ) а некоторым не очень.

1 Посмотрел на автономный режим :
( Домашняя локация не впечатляет регистрация через FB немного напрягает, но в принципе все работает, контролеры на мой вкус немного не продуманы но зато нежрут батарейки как "не в себя"
Количество приложений около 200-т ( в основном разумеется игры ), радуют браузеры и Веб-ВР , можно "перенести в ВиАр" стол и диван или кресло, защитная система чуть навязчива ( можно выключить но вместе с ней отключается "быстрый взгляд" через камеры и еще пара фичь ) .

2 Поставил vSpatial Remote Manager работает не плохо "поддерживает руки" и "тень клавиатуры", а мышь рисует моделькой , разрешения для работы почти достаточно ( а при подборе цветов в приложения просто достаточно) но лизы все равно напрягают.


3 Запустил Oculus Link и AirLink . Софт окулус традиционно сильно прожорлив, а вот Steam VR вполне радует . Специального кабеля для Oculus Link еще нет (использовал короткий от зарядки ) но как бы там не было пока что разницы между Oculus Link и AirLink почти нет, однако беспроводной AirLink разумеется существенно удобней.

4 Приложения что стояли у меня для WMR через Link благополучно запустились ( и даже моя самодельная техно-демка ), в некоторых приложения есть проблемы с контроллерами (возможно решается настройкой) в других наоборот проблемы пропали.

5 Реализация "трекинга рук" с одной стороны радует наличем и автоматическим включением/выключением с другой нет поддержки в большинстве програм ну и точность-плавность не доработана . Управление жестами отдельная история оно есть и это хорошо ( в домашней локации практически все можно "делать руками" вместо контролеров, а это очень немало (особенно если вспомнить, что на Квесте можно успешно запускать 2д приложения для ОС андроид ) ) но временами толи руки кривые сверх обыкновения, толи освещение не то и начинается "зловещее самонажимание" на что попало, а потом сидишь чешешь репу "Упс! А как это все вернуть обратно и что я вообще там накликал..." Красивый "магический жест" вызова меню снабжен "предохранителем" и это хорошо, но предохранитель этот изрядно "тугой" ( нужно непросто повернуть руку к себе и сложить пальцы в щепотку но и "поймать" ей и летающую иконку ) Работа руками в режиме "эмуляции контролера " интуитивно понятна но есть свои тонкости в виде разницы между эмуляцией наведения, захвата и клика.( и все это из серии "догадайся сам" ).

6 Включил "режим разработчика" который разлочивает шлем для установки стороннего софта и 2д программа для андроида. (а еще можно зайти в "скрытые настройки" где можно например поднять точку доступа работать с VPN и т.д.)

7 Работать подолгу в используя шлем вместо мониторов на мой взгляд все еще нельзя (как минимум в стандартной комплектации и со стандартными линзами ) но кое кто оснастив шлем продвинутым креплением, насадками на линзы и настроив софт уже более двух лет именно это и делает .
https://habr.com/ru/company/jugru/blog/596215/

8 Режим "дополненной реальности", опять же хорошо, что он есть! (и это уже не "фонарик" как в WMR, а почти реальная ДР, причем не плоская, а стерео ). Изображение от четырех камер складывается явно довольно хитро но правдоподобно . Пиксиляция разумеется дикая но днем можно даже буквы на клавиатуре различать, что уже явный прогресс . Режим "сквозной камеры" просто замещает домашнюю локацию на вид через камеры . "Защитная система " и диван включают полупрозрачный режим, что уменьшает шансы налететь на стену или сесть на что-то лежащие на диване или придавать кого-то на нем сидящего. Еще есть "контурный режим" выделяющий неожиданные препятствия и внезапных гостей в игровой зоне . Привязать что реальному предмету или стене нельзя (Разве что окно стандартного браузера можно повесить с повязкой к точке пространства при включенной защитной системе да главное меню будет какое-то время висеть там где его повисли, но при сворачивании/ разворачивании привязка сбиваться )

Добавлено спустя 12 часов 12 минут 15 секунд:
Immersed действительно качественная программа ... (Скрин этого не передает но четкость действительно очень высокая )

[Alex2013]

Продолжение спора начавшегося в этой теме .
dn2l - Dos Navigator для Linux

Alex2013 писал(а):
Working in Virtual Reality

Это не работа, это игрушки технофрика.

обосную:
Что нового получил персонаж ролика от очков, чего он не может сделать на 4 мониторах? НИЧЕГО.
что он сделает быстрее в очках? только навигацию между большим числом приложений.

Что нового получил боец в перспективных очках с перечисленными мной апгрейдами по сравнению с обычными теплоочками?
- повышение выживаемости в случае минной засады
- в случае снайперского обстрела
- в случае входа на подготовленный участок вражеской обороны
- отсутствие необходимости в трассерах
- возможность стрельбы из-за угла

в случае интеграции с АСУ тактического звена
- снижение вероятности огня по своим
- ускорение навигации и получения целеуказания в десятки раз
- ускорение запросов огневой поддержки и передачи целеуказания в десятки раз

Ощущается разница между реальным делом и показухой?

1 Разумеется это показуха ! Точнее спланированная постановка (Реальную работу на ролик просто не снимешь и скучно будет ) Но вообще даже выразительный скриншот без постановки не снимешь

2 В реальности у него три монитора четвертый существует только в виртуальном пространстве. Может быть наоборот но мужик жадный и юзает бесплатную версию программы.

3 Кроме того что многие программы "виртуализации декстопов" позволяют дергать отдельные приложения в отдельный вр-экран

А это немного другое дело .

4 То то что показано в "армейском ролике" типа про ПНВ непросто показуха а полнейший подлог.

Это по твоему это тепловизор ?

А это ПНВ?


Добавлено спустя 32 минуты 6 секунд:
Ну тогда "Добра и процветания вам Земляне ! "




Добавлено спустя 17 часов 51 минуту 11 секунд:
Зы
Сам я кстати, для интереса тоже пробовал программировать в ВиАр причем еще на WMR c его заметно меньшим чем на Квесте 2 разрешением ... ( с помощь полностью графической среды разработки где вместо кода схема )


По результатам пробы могу сказать, что в принципе это вполне возможно, но особых преимуществ пока недает да и эргономика оставляет желать лучшего . Но это сейчас, а года так через 2 все изменится.