Решено: Как автоматически обрабатывать комментарии?

[Лекс Айрин]

уж он-то легко напишет алгоритм замены русских символов на аналогичные английские по случайному алгоритму (плюс вставка всяких служебных и прочих символов между букв, вариантов - море). В итоге он сможет закакать весь форум за пять минут абсолютно уникальными сообщениями, с сильно затрудненной возможностью обнаружения.

не так уж и сложно произвести обратную перекодировку, заменяя английские символы на русские и удаляя спецсимволы.

[AlphaBlend]

а почему нельзя комментарии хранить в базе данных и искать нужные слова запросом ? И по результатам запроса удалять комментарий или ставить галочку "access" какой-нибудь ) например, пусть какая-то страница - это запись в таблице. C созданием страницы создавать отдельную таблицу "комментарий" , и дать ей префикс "comment_" + ID страницы. Преимущества такой таблички будут в том , что в ней можно хранить и логин автора и при необходимости блокировать автора по его логину или ID , как удобнее ) Поиск "нехороших слов " можно производить таким запросом

SELECT `comm_user`, `comm_text`, `comm_date` FROM `comments_024563` WHERE `comm_text` LIKE '%Часть Плохого Слова%' or `comm_text` LIKE '%Часть плохого слова какая-то еще %' и так много можно слов в поиск включить .

лазарус мгновенно обработает запрос и удалит комментарий , если Query запроса вернет RecordsCount > 0 ( если будут запрещенные слова )

[Лекс Айрин]

AlphaBlend... ты учитывай, что иногда плохое слово (например мат) само часть вполне легитимного.

[AlphaBlend]

ты учитывай, что иногда плохое слово (например мат) само часть вполне легитимного.

... а словари и исключения уже кто-то отменить успел ? ...

[Лекс Айрин]

AlphaBlend, ты не знаешь переводчиков и, некоторых, писателей... иногда такое слово найдут, что никакой словарь его не содержит.

[AlphaBlend]

запрос выберет только те комментарии , где попадаются слова с корнем "хуе" , "пизд" и т.д. То есть такие корни , которые могут образовать только матершинные слова . Дальше . Выбрать можно и те слова , которые относятся к запрещенным в каком-то смысле. Допустим , пользователь пишет :
"Моя программа работала , работала , а когда я обновил пакет , она неожиданно совершила акт суицида" . Никакого призыва к суициду. А вот выражение " Ты смотришь на меня , как Гитлер на еврея " - ничего запрещенного ( фамилия Гитлер - очень распространенная , а слово "еврей" не входит в список запрещенных слов. Смысл же запрещен. То есть цель работы программы можно свести не к тому , чтобы она блокировала все комментарии на корню , а сигнализировала модератору о необходимости проверки данного сообщения . Не все подряд чтобы он монторил, а выбранные программой . Потому что каким бы сложным ИИ не был , он не умеет пока что составлять предложения так , как умеет это человек . Иначе уже машины писали бы романы , стихи , сказки.. Проверять "смысловую нагрузку" написанного должен только человек , машина должна только сигнализировать. Можно включить безусловные удаления по полностью совпадающим фразам ( послылы на три известных буквы и так далее )

Добавлено спустя 1 минуту 19 секунд:

ты не знаешь переводчиков

ты учитывай, что иногда плохое слово

Не припомню момента , когда мы с Вами пили брудершафта

[Лекс Айрин]

Иначе уже машины писали бы романы , стихи , сказки..

Вообще-то есть и произведения составленные машиной.

Проблема не в том, что пользователь пишет запрещенные комментарии, а в том, что они могут попасть на проверку раньше чем их увидит модератор. Вообще, еще со времен начала сети для этого был только один 99% надежный рецепт -- премодерация. Даже если ты будешь прогонять программой. Но у него есть большой минус -- общение сильно замедляется и, иногда, уходит на иные ресурсы. Ну и большая склонность к падению.

Можно включить безусловные удаления по полностью совпадающим фразам ( послылы на три известных буквы и так далее )

и чуть усложнив посыл это все реально обойти. Например, повысив этажность.

[AlphaBlend]

Вообще-то есть и произведения составленные машиной

Франсуа Рабле - человек , жил почти 500 лет назад . Читается и популярен до сих пор .
Алекснадр Дюма - человек , жил более полутора века назад. Читается и популярен до сих пор .
Фенимор Купер - человек , жил более ,чем полтора века назад . Читается и популярен до сих пор.
Современники - Гарри Гаррисон , Роберт ХАйнлайн , Кир Булычев , и т.д. - миллионные тиражи , популярность.
Почему так ? - потому что , думаю , их книги интересны. Книгу, написанную машиной не представлялось случая прочитать . Не думаю даже , что она будет наполнена красками и сюжетом . К тому же - книга даже если и написана машиной , то по заложенному алгоритму человеком . Вполне возможно , что таланта писать книги у того человека не было . У самой машины "таланта" нет . Не могу сказать , что книга наберет популярность
То же касается и музыки , картин, скульптуры . Машина может высококачественно проиграть по нотам замечательное произведение Баха . Даже сымитирует звуки скрипки , органа . клавира. Но я не думаю , что машина может посмотреть своей камерой на какую-нибудь прекрасную картину , написанную другой машиной и в ее электронном мозгу завьется чудесная мелодия Вывод - машина " сама " книгу не написала . Она просто выполнила программу И именно поэтому проверять написанное человеком должен только человек Не надо возводить компьютер в культ - это всего-навсего железячина глупая , которая без вмешательства человека даже 2 и 2 не сложит

[SSerge]

где попадаются слова с корнем "хуе"

"Страхуемые" - ужасное запрещенное слово, да.

Никакого призыва к суициду

Вот возьмем для примера:
"В.В. Маяковский совершил акт самоубийства" - формально, так можно. До тех пор, пока это медиа-деятель и прочее. Если это некий ныне живущий гражданин, то на основании ФЗ закона №152 в публичный доступ выложены персональные данные. Запрещенная информация.
- Нельзя написать, как именно совершил [] В.В.Маяковский. - Способы совершения - запрещенная информация.
- Нельзя написать, из-за чего он это сделал - Причины совершения - запрещенная информация.
- Нельзя писать "В.В.Маяковский склеил ласты" - ибо запрещена негативная трактовка действия.
- Нельзя писать "Давайте сделаем, как В.В.Маяковский" - ибо провокация и призыв к запрещенному действию.
Ну и? Какой SQL запрос составите?

Добавлено спустя 10 минут 6 секунд:

Франсуа Рабле - человек , жил почти 500 лет назад . Читается и популярен до сих пор

Угу, данным апологетом сортирного юмора очень гордятся французы. Весьма сомневаюсь, что он массово читаем где-то еще. Точно также, как произведения господина Баркова - своего читателя, безусловно, найдут - но гордость ли это русской литературы?

[Лекс Айрин]

Почему так ? -

А сколько есть авторов о которых знает несколько десятков человек? И, кстати, Франсуа Рабле не читал, так что оценить его не могу.

Книгу, написанную машиной не представлялось случая прочитать . Не думаю даже , что она будет наполнена красками и сюжетом . К тому же - книга даже если и написана машиной , то по заложенному алгоритму человеком .

Не читал, но осуждаю... как это мило... вообще-то не все алгоритмы жесткие. В этом случае машина прочитала сотни книг и загнала их в БД. Потом написала нечто подобное.

[AlphaBlend]

"Страхуемые" - ужасное запрещенное слово, да.

можно составлять словарь исключений

данным апологетом сортирного юмора очень гордятся французы

в подростковом возрасте очень ценится такой юморок ) читалась эта книжка в 9 - 10 классах ))

Добавлено спустя 3 минуты 31 секунду:
кстати Эммануэль и Лолита - сплошь пошлятина , порнуха и разврат ) Но классика же ! ) А читать их - мерзко ) Рабле с его сортирами - просто невинное дитя ) к тому же у Рабле весь этот юмор весьма красочно и талантливо описан ) И читать было его ржачно-весело )

Добавлено спустя 1 минуту 21 секунду:

Точно также, как произведения господина Баркова - своего читателя, безусловно, найдут

ахахаха

[Лекс Айрин]

можно составлять словарь исключений

Пока лично Вы будете его составлять от вас уйдут люди.

в подростковом возрасте очень ценится такой юморок )

боюсь, подобный юмор меня не прельщал и тогда.

Добавлено спустя 3 минуты 4 секунды:

к тому же у Рабле весь этот юмор весьма красочно и талантливо описан ) И читать было его ржачно-весело )

Вы читали в оригинале?

[SSerge]

Тут по радиву передавали какую-то художественную постановку, по произведениям некоего венецианского писателя тех седых времен..
Короче, фабула сюжета в том, что некто, служащий в должности шута попался на дороге компании подвыпивших господ. Естественно (!!!), они его побили палкой и выбросили в овраг - сие само собой разумеющееся, на этом автор даже не концентрируется. И данный шут валялся там две недели и подыхал. Никто из идущих мимо не отвлекался на него, что тоже само собой подразумевалось, ибо нормальное поведение - стонет кто-то - уйди подальше. И вот, некая благородная дама обнаружила этого шута и начала носить ему еду. А вот это по нормам морали никуда не годится. Ибо недопустимо. Да еще со стороны дамы. И достойно всяческого осуждения обществом. О чем и речь. Поучительная такая история.

[Лекс Айрин]

Есть еще такой пример как дон Кихот. Тогда это была комедия. Сейчас и в России это снотворное.

[azsx]

очень важные моменты. Я не обсуждаю худ произведения, которые согласно новым законам в рф запрещены чуть менее, чем полностью. Я не хочу написать ИИ. Я за "бабло побеждает зло". Чтобы поговорка была верна, я не задумываясь заблочу десяток полезных комментариев не нарушающих закон, чтобы 11 комментарий, который закон нарушает был заблочен автоматически.

"Моя программа работала , работала , а когда я обновил пакет , она неожиданно совершила акт суицида"

Моя блокировка: стоп слово суицид. Как можно сделать по уму, разобрать всё предложение. Если есть указание на человека (родственные перечисления, имена, фамилии, другие обозначения людей) + слово суицид - то блочим комментарий.

" Ты смотришь на меня , как Гитлер на еврея "

гитлер + евре(й,я,ю) - блочим коментарий.
---
вот всё таки такой хороший способ или лучше есть, без разработки ИИ?