Использование облачного ИИ и нейросетей в своих проектах.

Обсуждаются как существующие проекты (перевод документации, информационная система и т.п.), так и создание новых.

Модератор: Модераторы

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение debi12345 » 15.06.2023 21:31:19

Есть также недорогие варианты доступа к аппаратным нейросетям - ТВ-процы (ARM-архитектура). Например T982 с помощью встроенного тензорного блока (и соответствующих микропрограмм в фирмвари) так умеет "на лету" ретушировать старое кино с вертикальным разрешением 320..480 в низком разрешении, что оно по детализации и чистоте "картинки" местами выглядит как FullHD. Просто отвал челюсти.

Нейромодуль таких процов не очень тормозной :
https://i.ibb.co/Bqhskpw/t982-npu.png

Или (уже другой проц ) в виде готовой платы для макетирования
https://aliexpress.ru/item/1005004300099227.html
Аватара пользователя
debi12345
долгожитель
 
Сообщения: 5759
Зарегистрирован: 10.05.2006 23:41:15
Откуда: Ташкент (Узбекистан)

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение Сквозняк » 16.06.2023 22:08:14

debi12345 писал(а):так умеет "на лету" ретушировать старое кино с вертикальным разрешением 320..480 в низком разрешении, что оно по детализации и чистоте "картинки" местами выглядит как FullHD. Просто отвал челюсти.


Это нисколько не новая технология. И нисколько не удивительная. Давно существуют обычные алгоритмические программы для немыльного увеличения картинок. Единственное что у них плохо, так это неумение работать с прозрачным слоем и уменьшение яркости градиентов. Но это просто недоработка авторов, при желании могли поправить. А теперь тоже самое научили делать нейросети на оперделённой видухе с оперделёнными дровами. Не нахожу в этом ничего удивительного. Просто для обучения взяли чёткое видео с большим разрешением, сделали состаренные и уменьшенные версии и скормили всё это программе. При наличии хорошей видеокамеры, мощных компов и резиновой карточки для оплаты электричества это задача решаемая.
Сквозняк
энтузиаст
 
Сообщения: 1123
Зарегистрирован: 29.06.2006 22:08:32

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение debi12345 » 16.06.2023 23:09:19

Давно существуют обычные алгоритмические программы для немыльного увеличения картинок.

Результат все равно очень не тот, что с нейросетью (имел возможность сравнить, знаменитые "улучшалки" в телевизорах "Сони" и рядом не стоЯт). Ее ведь обучить такому, как Вы правильно заметили, несложно - через процедурную генерацию плохих картинок из хороших и обучая на разнице этих картинок. Минусы такого подхода какие вижу своими глазами - люди и животные масштабируются чудесно (даже тонкие волоски и поры на коже видны - и это из разрешения 640х240, на котором были только артефакты от этой мелочевки !), а вот перекрывающиеся предметы, мебель и т.д - гораздо хуже.
Еще на процах с ИИ понравилась реализация "уплавнялки" (MEMC) на панорамировании объемных сюжетов с частотой 24..25 Гц. Ни разрывов кадров, ни "мыла" - все супер, лучше выбирать видео с частотой кадров 25..30 Гц (а не 60Гц), потому что локальная "уплавнялка" справится лучше,чем сторона-вещатель.
Аватара пользователя
debi12345
долгожитель
 
Сообщения: 5759
Зарегистрирован: 10.05.2006 23:41:15
Откуда: Ташкент (Узбекистан)

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение Сквозняк » 17.06.2023 00:20:32

debi12345 писал(а):Результат все равно очень не тот, что с нейросетью (имел возможность сравнить, знаменитые "улучшалки" в телевизорах "Сони" и рядом не стоЯт).

Причём тут тель-авизоры? В них же комп так себе. Использовал https://github.com/nagadomi/waifu2x Картинки со шрифтами и чёрными линиями увеличивает хорошо, но жрёт много, телек от такой работы раскалится как печь :mrgreen: Если поправить недостатки, то получится вполне нормальный ништяк. Только исправлять похоже некому, оно же на плюсах, а значит кроме автора туда никто для этого не полезет - мёртвый код. А уметь масштабировать картинки с прозрачностями это очень важно. Если залить прозрачные места зелёным цветом, то его потом замучаешься на границах выковыривать.

А ещё есть https://github.com/DeadSix27/waifu2x-converter-cpp и https://sourceforge.net/projects/waifu2x-extension-gui/files/v2.51.17/ Что-то много клонов этого проекта развелось, надо протестировать, может что-то с первой версии и улучшилось.

debi12345 писал(а): Минусы такого подхода какие вижу своими глазами - люди и животные масштабируются чудесно (даже тонкие волоски и поры на коже видны - и это из разрешения 640х240, на котором были только артефакты от этой мелочевки !), а вот перекрывающиеся предметы, мебель и т.д - гораздо хуже.


В нейросетках не масштабирование. Просто объекты рисуются заново по образцам. Если на исходном видео отдельных волос не было видно, а потом они появились, то значит их туда добавил рисователь по своему усмотрению. Гуманоидов рисовать научились, количество пальцев считать тоже, а вот у пейзажей есть много вариантов. Если неправильно распознать аппарат на фоне, то можно вместо него совсем другое устройство нарисовать, или вообще монстра изготовить - волосатый диван с клыков которого капает слюна, а это будет палево.
Сквозняк
энтузиаст
 
Сообщения: 1123
Зарегистрирован: 29.06.2006 22:08:32

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение Alex2013 » 11.12.2023 03:09:38

Сквозняк писал(а):В нейросетках не масштабирование.

Ну это не совсем верно.
Во первых существуют модели(обученные нейросети ) именно для масштабирования.
А во вторых проблемы с кривой детализацией и буйной фантазией (например при "шахматном пересчете" ) решаются уменьшением допустимых отличий image2image (10-20%)
(Параметр "Strength"( Я в шутку называю его "Насилие" ) How strongly the original image should be altered (from subtle to drastic changes)) Насколько сильно должно быть изменено исходное изображение (от незначительных до радикальных изменений))
Зы
Но все это скучно, гораздо интереснее другое, а именно весьма "похожая на правду" экстраполяция изображения за пределами исходной картинки .
Alex2013
долгожитель
 
Сообщения: 3049
Зарегистрирован: 03.04.2013 11:59:44

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение tidef » 01.02.2024 00:59:40

Создание интеллектуальных чат-ботов для обслуживания клиентов или предоставления информации. Оценка тональности текста для определения настроения пользователей или обзоров. Разработка систем автоматического перевода с использованием нейронных сетей. Но в любом случае лучше купить прокси чтобы позволить себе больше экспериментов. Идентификация и классификация объектов на изображениях или видео. Создание системы распознавания лиц для авторизации или слежения за посетителями. Использование облачных нейросетей для анализа медицинских изображений (например, Рентгеновских снимков).
tidef
незнакомец
 
Сообщения: 1
Зарегистрирован: 01.02.2024 00:54:26

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение Alex2013 » 04.02.2024 13:51:31

Гайд как поставить локальный ИИ ! :idea:
https://youtu.be/CYnwA-iHjmI
Alex2013
долгожитель
 
Сообщения: 3049
Зарегистрирован: 03.04.2013 11:59:44

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение Alex2013 » 08.06.2024 13:23:21

Интересная мысль ! Одна из важных проблем использования современных нейросетей это почти полная непрозрачность процесса их обучения и работы.
И как результат совершенная нереальность "отладки" и некого отдаленного подобия "ручной правки" ( не с точностью "до нейрона" а на уровне неких паттернов "нейро текстур" и "нейро геометрии" основного логического ядра нейро-моделей )
Что-то отдаленно похожее существует
https://stackoverflow.com/questions/298 ... al-network
Но идея отталкиваться при визуализации "от нейронов" (имхо) изначально порочна.
Тут чуть лучше
https://habr.com/ru/articles/342934/
( есть попытка показать прохождение данных) но это всеравно (насколько я понял) немного не то.

Первый вариант это как попытка понять работу 3D рендера "на основе анализа пикселей ", а вторая на основе "анализа трансформации текстур" .
Оба варианта никак не отражают "уровень 3D модели" ( то есть нет выхода на основное внутренние представление определяющее объект объект моделирования ).

Вообщем есть идея что при наличии некого "Нейро ИДЕ разработчика" создание, обучение и использование нейросетей станет заметно более прозрачно удобно и "вернет робота на экран"
(То бишь заменит непонятное мумбо-юмбо на четкое и логичное представление в коде-схеме и "элементах дизайна" ).

Думаю что реализация подобной "нейро-среды разработчика" вполне возможна даже с помощь привычного Лазарус.

Ну народ, как вам идея ? :idea: ( Извиняюсь за несколько сумбурное изложение )
Зы
Что может быть в качестве "3д модели" для ядра нейросети? Например последовательный набор "разностных патчей" состояния модели при обучении
( Разумеется просто тасовать "как колоду карт" такой набор патчей скорее всего не выйдет(потому что последовательность имеет значение ) но заменить один болок на прохожий альтернативный думаю вполне возможно) а дальше можно отслеживать "прохождение данных" ( влияя непосредственно на процесс "нейро-текстурирования" путем добавления разнообразной "не-нейронной-фильтрации" )
Основной прикол подобного подхода в его универсальности. То есть нет никакой нужды лезть в алгоритм поддерживающий нейросеть, ведь вся работа ведется на уровне простых массивов данных.
Зы Зы
Не утверждаю что предложенный выше вариант "менеджмента обучения НС" оптимальный но проще наверное и придумать сложно.
Alex2013
долгожитель
 
Сообщения: 3049
Зарегистрирован: 03.04.2013 11:59:44

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение RRYTY » 09.06.2024 15:50:34

Alex2013 писал(а):Не утверждаю что предложенный выше вариант "менеджмента обучения НС" оптимальный но проще наверное и придумать сложно.


Не вы тренируете НС, а на вас тренируют НС.
RRYTY
постоялец
 
Сообщения: 208
Зарегистрирован: 25.12.2021 10:00:32

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение Alex2013 » 10.06.2024 00:23:13

RRYTY писал(а):Не вы тренируете НС, а на вас тренируют НС.

Предвзятость не украшает.
Полно досточно простых вариантов например обучения знакомых мне сетей генерации изображений где даже я справлюсь.
https://youtu.be/9Nu5tUl2zQw
( Я этим не занимался но ничего особо сложного в этом нет )
.
Но суть в другом то что я предложил просто пример того как можно уйти от идеи восприятия нейросети как черного ящика .
По сути это просто многократно проверенная методика "слияния моделей" но если будет набран полный архивы "нейро-срезов" всех сущностей на которых обучена базовая модель это сразу станет чем-то куда большим. То есть мы действительно в значительной степени сможем управлять процессами генерации как конструктором не полагаясь исключительно на один хронически невнятный "промт инжиниринг" .(хотя разумеется обучить именно базовую модель заметно сложнее чем просто "сделать свою заплатку" поверх существующей, но с другой стороны возможно что и большого "набора заплаток" будет вполне достаточно для использования их в качестве адекватного набора инструментов )
Alex2013
долгожитель
 
Сообщения: 3049
Зарегистрирован: 03.04.2013 11:59:44

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение Снег Север » 10.06.2024 07:03:37

С моей точки зрения, все, кто держат свои данные в каких-то облаках, мягко говоря, не очень умны. Это всё равно. что держать свой бумажник под дверным ковриком снаружи входной двери.
Последний раз редактировалось Снег Север 10.06.2024 14:35:43, всего редактировалось 1 раз.
Аватара пользователя
Снег Север
долгожитель
 
Сообщения: 3038
Зарегистрирован: 27.11.2007 16:14:47

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение Alex2013 » 10.06.2024 09:57:13

Снег Север писал(а):С моей точки зрения, все, кто держат свои данные в каких-то облаках, мягко говоря, не очень умны.

А кто говорит о облаках ? Использовать как "удаленный сопроцессор" это сколько угодно иметь несколько бэкапов в том числе и в "далеких стальных облаках"? Почему бы и нет .
Но отказаться от локального хранилища и лишится возможности автономной работы это действительно "верх снижения уровня интеллекта" ( и это на самом деле очень мягко сказано)

Так что я разумеется имею ввиду версии генеративных нейросетей с возможностью локального использования
( пусть повсеместное использование веб-интерфейса не вводит вас в заблуждение большая в часть современных ГНС вполне успешно работают локально, более того даже наличие мощного GPU не более чем "доброе пожелание" )
Alex2013
долгожитель
 
Сообщения: 3049
Зарегистрирован: 03.04.2013 11:59:44

Re: Использование облачного ИИ и нейросетей в своих проектах

Сообщение Alex2013 » 30.10.2024 16:37:38

Поставил локальный GPT4All модель Llama-3.2-3B-Instruct-Q4_0
(Запускался "через пень-колоду"(из за двойной видеокарты) но все же запустился )
Первый тестовый запрос :
Finding coordinates of a point in 3D by its projection on the screen in Pascal language

Ответ "рисовался" довольно шустро .(пожалуй я медленнее печатаю )
To find the coordinates of a point in 3D by its projection on the screen, we can use the following steps:
Convert the projected pixel to Cartesian coordinates (x, y)
Calculate the depth value using the formula: z = 1 / tan(θ), where θ is the angle between the line and the positive x-axis
Use the calculated depth value to find the true x, y, and z coordinates of the point
Here's a simple implementation in Pascal:



program Projection;

const
maxDepth = 1000; // maximum possible depth value
screenWidth = 800;
screenHeight = 600;

var
mouseX, mouseY: integer;
projectedX, projectedY: real;
trueX, trueY, trueZ: real;

function pixelToCartesian(x, y: integer): tuple[x, y] =
begin
x := (x - screenWidth / 2) * maxDepth / screenWidth;
y := (y - screenHeight / 2) * maxDepth / screenHeight;
end;

function cartesianTo3D(x, y: real; angle: real): real =
var
z: real;
begin
if angle = 0 then begin
// look at the camera directly
z := maxDepth;
end else {
z := 1 / tan(angle);
};
end;

function findPoint(mouseX, mouseY: integer; angle: real): tuple[x, y, z] =
var
x, y: real;
begin
(x, y) := pixelToCartesian(mouseX, mouseY);
trueZ := cartesianTo3D(x, y, angle);
result.x := round(x * 1000); // scale to nearest integer
result.y := round(y * 1000); // scale to nearest integer
result.z := round(trueZ * 1000); // scale to nearest integer
end;

begin
writeln('Enter mouse coordinates (x, y):');
readln;
mouseX := strToInt(readline);
mouseY := strToInt(readline);

writeln('Enter angle between line and positive x-axis in radians:');
readln;
var angle: real = StrToFloat(readline);

writeln('Point coordinates:');
for i := 1 to 3 do begin
case i of
1:
begin
write('x: ');
write(findPoint(mouseX, mouseY, angle).x);
writeln();
end;
2:
begin
write('y: ');
write(findPoint(mouseX, mouseY, angle).y);
writeln();
end;
3:
begin
write('z: ');
write(findPoint(mouseX, mouseY, angle).z);
writeln();
end;
end;
end;
end.



This program will prompt the user to enter mouse coordinates (x, y) and an angle between the line and the positive x-axis in radians. It then calculates and displays the true x, y, and z coordinates of the point using the projected pixel values.
Note: This is a simplified example and does not take into account various factors that can affect 3D projections, such as perspective distortion, texture mapping, or lighting effects.

ХМ ! :shock: (Вот тебе и простенькая модель на "3 миллиарда инструкций") УПС! (Код и логику не проверял( но то что в коде ляпов хватает видно сходу) но сама форма развернутого ответа весьма впечатляет) :idea:
Зы
Теория "мёртвого интернета" становится все более пугающей... Как минимум текстовые фейки можно творить в устрашающем ассортименте.
Зы Зы
Как использовать "ИИ-кодера" на практике вопрос довольно не тривиальный потому, что составить точный запрос под конкретную задачу иногда сложнее чем сразу написать код.
(К тому-же "ИИ-галлюцинации" встречаются не только в картинках (особенно доставляют ссылки на существующие в природе библиотеки и сайты и странные "диалекты" ЯВУ ) )
"Большие онлайн сервисы" разумеется могу давать более внятные ответы однако "хорошо натасканный" локальный ИИ-помощник тоже может быть весьма полезен особенно если научить его использовать полу-шаблонные "стандартные решения" . Да это не будет панацеей, но может быть ещё одним способом "убийства рутины" ( как же как давно привычное визуальное программирование ).

Добавлено спустя 1 час 43 минуты 34 секунды:
Re: Использование облачного ИИ и нейросетей в своих проектах.
Вау! Оказывается даже на моем железе все может крутится гораздо быстрее если с "Вулкана"(причем тут Вулкан я честно говоря не понял это же по идее сугубо 3д АПИ ) на CUDA:Нвидиа переключится...

Добавлено спустя 10 часов 51 минуту 54 секунды:
Re: Использование облачного ИИ и нейросетей в своих проектах.

Запустил еще более мощную модель Meta-Llama-3.1-8B-Instruct-128k-Q4_0 (8 миллиардов инструкций )
Логи постить не буду но разница заметна: на примерно тот же запрос (без указания конкретного ЯВУ) самостоятельно(!) привела пример на питоне просил " in Pascal language" выдала код на паскале, спросил FPC+OpenCV сделала и это ( Причем четко с учетом особенностей FPC )

А вот патентованная модель gpt4all-falcon-newbpe-q4_0 похоже вопрос не поняла "от слова совсем", выдав какой-то вроде бы правильный но совершенно бесполезный код .

Еще один раз самая первая из опробованных мной моделей Llama-3.2-3B-Instruct-Q4_0 увлеклась написанием примера со всей математикой и графикой ( без использования сторонних библиотек)(!!!) настолько что исписан кодом станиц эдак 10-ть... и выбила оболочку с переполнением памяти.

Честно говоря не ожидал что такое возможно надоело ждать окончание ответа пошёл обедать, пришёл, а "простыня кода" все еще растет причем нейронка регулярно что-то правит в уже написанном коде, что вообще (ИМХО) дичь и все это делает весьма шустро (2,7-8.7 токенов в секунду) !

Добавлено спустя 17 часов 38 минут 45 секунд:
Re: Использование облачного ИИ и нейросетей в своих проектах.
Ура мне! Нашел модели понимающие русский язык !
gemma-2-9B-it-russian-function-calling-F16 и RichardErkhov/ruslandev_-_llama-3-8b-gpt-4o-ru1.0-gguf
Вопрос: как получить доступ к полям веб-интерфейса загруженного в движок WebView2 используя библиотеку WebView4Delphi в программе на Lazarus + Fpc?

Ответ:
Для доступа к полям веб-интерфейса, загруженному в движок WebView2 из вашего приложения на Lazarus + FPC с использованием библиотеки WebView4Delphi, вам потребуется выполнить несколько шагов. Вот общие рекомендации:
Использование JavaScript: Вам нужно будет использовать JavaScript для доступа к полям веб-интерфейса. Это можно сделать, используя методы DOM (Document Object Model) или событий.
Программируемый интерфейс: Если вам нужен прямой доступ к полям без использования JavaScript, вы можете попробовать использовать программированный интерфейс WebView2 для Delphi и Lazarus + FPC. Это позволит вам напрямую взаимодействовать с веб-страницами через API.
Использование библиотеки: Библиотека WebView4Delphi, как я понял из вашего запроса, предназначена для работы с движком WebView2. Вам нужно будет изучить документацию этой библиотеки и примеры кода, чтобы понять, какие методы или свойства позволяют доступ к полям веб-интерфейса.
Примерный код: Вот простой пример того, как можно использовать JavaScript для доступа к полю ввода на HTML странице:

Код: Выделить всё

html



<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Доступ к полям</title>
</head>
<body>

<input type="text" id="myInput">

<script>
function getFieldValue() {
  var field = document.getElementById('myInput');
  alert(field.value);
}
getFieldValue();
</script>

</body>
</html>




Программируемый интерфейс: Если вам нужен прямой доступ к полям без JavaScript, вы можете использовать программированный интерфейс WebView2 для Delphi и Lazarus + FPC. Это позволит вам напрямую взаимодействовать с веб-страницами через API.
Использование библиотеки: Библиотека WebView4Delphi предназначена для работы с движком WebView2, который предоставляет программный интерфейс для доступа к содержимому и функциональности веб-страниц. Вам нужно будет изучить документацию этой библиотеки и примеры кода, чтобы понять, какие методы или свойства позволяют вам взаимодействовать с полями ввода.
Помните, что точные шаги могут отличаться в зависимости от конкретной версии движка WebView2, вашей платформы (Windows, macOS, Linux) и специфики задач. Убедитесь, что вы ознакомились с последними документациями и примерами кода для библиотеки WebView4Delphi.


Зы
Ответ довольно бестолковый но достаточно разумный ....
( Забавно что вторичные "русские" модели вроде как платные ( однако что характерно подписи "не для коммерческого использования" нет ), но скачиваются "молча" через стандартный интерфейс GPT4All что немного странно (проверить что использовалась та или иная модель практически невозможно так что видимо "цена" назначена с потолка ( типа "вдруг кто-то заплатит" ) ) )

Добавлено спустя 57 минут 8 секунд:
Re: Использование облачного ИИ и нейросетей в своих проектах.
Упс ! Оказывается и другие модели вполне понятливые "полиглоты"... (Что неудивительно основа то gpt4 )
Alex2013
долгожитель
 
Сообщения: 3049
Зарегистрирован: 03.04.2013 11:59:44

Пред.

Вернуться в Разное

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 37

Рейтинг@Mail.ru