Логика поиска конкретных слов из кучи

[sts]

а что ссылки на обзор не достаточно? ключевые слова там все есть.
тут все просто, есть два варианта, либо программист в ручную закодит парсинг слов со всеми исключениям (корни суффиксы префиксы; глаголы, существительные, прилагательные), закодит логику связи между ними, закодит фильтрацию ошибочных символов и т.п. и в итоге получит туже самую сеть только в виде массивов констант и кусков кода, быструю, раз в 10, не более (если учесть значительную часть разнообразия входящих данных),
либо напишет "платформу" (как раз ту самую сеть) которая умеет по входящим данным строить те же самые массивы констант и куски кода только в виде абстрактных коэффициентов.
если и найдете исходники первого варианта то он наверняка чем-то не устроит а доработать их себе дороже, а второй вариант легко дорабатывается обучающими данными, как то так.

[vitaly_l]

если и найдете исходники первого варианта то он наверняка чем-то не устроит а доработать их себе дороже, а второй вариант легко дорабатывается обучающими данными, как то так.

всё верно,

но второй вариант есть "только" на сервере гуглей и подобных монстров, А первый слишком сложен, даже для команды учёных и специалистов в данной области, имеющих государственную поддержку. Поэтому существует третий вариант, который прост в реализации, т.к. реализуем на простом сервере со стандартной БД. Третий вариант и делает ТС.

[sts]

опять двадцать пять, причем здесь сервер гуглей? у гулей и сайт на куче датацентров развернут, но это не значит что нельзя веб сервер развернуть на домашнем компе и он не сможет обслуживать форум с десятком активных пользователей.

[vitaly_l]

то не значит что нельзя веб сервер развернуть на домашнем компе и он не сможет обслуживать форум с десятком активных пользователей.

Сервер - развернуть можно, ИИ на нейронных сетях глубокого обучения, на этом сервере - развернуть тоже можно, через несколько лет эта сеть обучится первому слову. За то время пока сеть будет учиться первому слову, топикстартер - изучит досконально все слова русского мата.

[azsx]

Моё отношение к нейроным сетям: так как людей 7,5 миллиардов и их нечем занять -- людей десятками тысяч сажают на обучение выборок. С такими человеко-часами любой алгоритм был бы прекрасен.
Да, баловаться глубокими нейросетями -- у меня нет денег.
ИИ к моей задаче не относятся никак от слово совсем.

[olegy123]

Что именно не так и что посоветуете?

Сейчас если познакомить ИИ с текстами Пушкина - он тебе выдаст текст схожи по стилистике.. "Дуб" и "Лукоморья" может будут связными словами. И при запросе "где Лумоморье?" ИИ даст ответ "у Дуба".. Само понятие "Дуба" и "Лукоморья" у ИИ нет.

У него ресурсов не хватит на глубокое обучение, там нужны гигантские вычислительные мощности.

Не обязательно. Приведу как "мат". Чтобы на нем хорошо разговаривать не нужно знать больше 500 слов. Поэтому он "удобный".

Проблема ИИ не в том что нужно "глубокое обучение" и большие мощности, а в том что ему не хватает предметных знаний. В соседней ветке ZCAD там сейчас идет обсуждение стандартиризации предметных знаний для проектирования... Вот если те знание прикрутить к ИИ и возможно тогда в реале как в ильме будет - "Здесь будет очень до ... ядерных осадков, тебе тогда и матрица приснится!"

Добавлено спустя 6 минут 9 секунд:
Когда я это понял - тогда у другана просил этим заняться - wiki для машин. задолго до открытия самого wikipedia, просил бабки на это, но он тогда сказал что это чушь.

Добавлено спустя 1 минуту 48 секунд:
Недавно слышал, что Европа хочет создать "wiki для машин" типа "m2m".

[azsx]

olegy123, что такое пассаж. Это неделимое выражение в "корпусе" как в ИИ его называют.
Условно, берём 1*10^9 текстов из сети интернет и разбиваем их по 2 словам. Там будут много раз встречаться фразы "у лукоморья дуб зелёный" и редко "у синхрофазатрона ель красная". Статистикой, дешёво по ресурсам (как компа, так и железа) я получу неделимые популярные выражения. То есть смогу предсказать, что когда вы говорите "где Лумоморье?" я отвечу "у Дуба". Не?

[vitaly_l]

Чтобы на нем хорошо разговаривать не нужно знать больше 500 слов. Поэтому он "удобный".

Чтобы грамотно общаться русским матом, нужно знать гораздо больше чем 500 слов. Потому что, одним словом из русского мата, можно описать всё изложенное в данном топике. И всем сразу станет понятно что именно здесь обсуждали. Именно поэтому, коренному населению - запрещают общаться на непонятном языке, т.к. русские с помощью ОДНОГО слова из мата - мгновенно передают сотни терабайт информации.

[sts]

Да, баловаться глубокими нейросетями -- у меня нет денег.

обучить сеть на два порядка быстрее чем вы нормально напишете все ручками, а для текста достаточно обычного проца.

Не обязательно

да эти два товарища ваще жгут не по детски
такое ощущение что никто ссылок не смотрел.

[vitaly_l]

а для текста достаточно обычного проца

Вы обучали?

[azsx]

обучить сеть на два порядка быстрее

Вы обучали?
зы
Если что я ссылки смотрю, в том числе и по ИИ смотрел. Просто пока это всё не то.

[olegy123]

Статистикой, дешёво по ресурсам (как компа, так и железа) я получу неделимые популярные выражения. То есть смогу предсказать, что когда вы говорите "где Лумоморье?" я отвечу "у Дуба". Не?

Скорее да.. но при "где Дуб" - тут статистика по Лумоморье скорее даст не верный результат..

да эти два товарища ваще жгут не по детски
такое ощущение что никто ссылок не смотрел.

смотрели, там машина подрезает и сигналит "спасибо"?

[azsx]

olegy123 , а как бы вы, человек, ответили на вопрос: где Дуб?

[Лекс Айрин]

azsx, в лесу, в дубраве, в поле, за окном...

[sts]

Вы обучали?

баловался давно, тоже хотел сделать отвечалку на вопросы технического характера, типа - не работает с такойто ошибкой - надо залезть тудато сделать тото, и это было гораздо быстрее чем писать вручную, но лень победила, не довел до ума.

Добавлено спустя 57 секунд:
т.е. технические вопросы со стороны неподкованного человека

Добавлено спустя 1 минуту 46 секунд:
типа - модель вики требует знания ключевых слов - а хотелось чтобы "угадывала" по обывательским формулировкам