Решено: Как автоматически обрабатывать комментарии?

[Лекс Айрин]

pupsik, это другой вопрос.

[azsx]

1. Анализировать тематику (вот ваш суицид, мат и т.д.)

а как анализировать призыв к суициду в коменте?

[SSerge]

а как анализировать призыв к суициду в коменте?

Текст закона то был прочтен?
Куда-там "призыв к суициду". Формально под ограничение попадают даже стишата типа "Маленький мальчик по стройке гулял", комментарии "убейся ап стену" и (!!!) любые высказывания относительно глупости того кто это сделал. Премия Дарвина под запретом этого закона.

[Лекс Айрин]

SSerge, если честно, все это настолько бесполезно, что не верится, что будет какая-то выгода от этого -- запретный плод сладок(((

[azsx]

Премия Дарвина под запретом этого закона.

в том то и дело, что у меня логика отказывает. Понятно, что на наркотиках мне надо искать любое стоп слово + контакт или описание чувств, например. А что мне искать в словарях на суицид?

[SSerge]

azsx любые словечки из разряда mortal: двинул кони, склеил ласты, убился, порезал, вены, горло, кровь, кишки, рас... Чё-то увлёкся...

[pupsik]

SSerge ага... Первый есть
azsx в двух словах не описать. А в 3-х = нобелевка/шнобелевка. Я к тому что даже есть есть наработки просто так не поделятся (сами используют). Из открытых источников инфы мало (в принципе есть).
Можно начать с: https://ru.wikipedia.org/wiki/%D0%A1%D0%B5%D0%BC%D0%B0%D0%BD%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D1%8F%D0%B4%D1%80%D0%BE
Потом почитать теорию вероятности, попробовать нейронки.

[azsx]

SSerge спасибо, буду думать.

Я к тому что даже есть есть наработки просто так не поделятся (сами используют).

среди селшников, например, принято нанимать админа, который в том числе сидит и вычитывает комментарии вручную. А кто-то всё таки юзает скрипты? Вы лично используете?

[pupsik]

azsx хочу то не знаю что, хочу так не знаю как. Сделаю так не знаю как.
Есть фриланс. Вот и поинтересуйтесь там.

среди селшников, например, принято нанимать админа,

а вот это самая замечательная идея. И эвристика, и логистика, и "посылатель в длинный путь". Одно плохо: деньги берёт и нервишки шалят.

[azsx]

azsx хочу то не знаю что, хочу так не знаю как. Сделаю так не знаю как.

это не про мою задачу. Я может быть запутано объясняю, но что на выходе получить я знаю. Только я не силен в этих анализах текста русского языка.

[Mirage]

У IBM есть продукт LanguageWare.
Сам видел, как с помощью этого продукта в небольшие сроки писали анализатор постов в Твиттере на предмет положительного, либо отрицательного отношения автора к определенным персонам.
Затем на основе анализов строились прогнозы, которые неплохо сбывались.
Вобщем, продукт вполне рабочий, но дорогой.
Возможно, стоит поискать бесплатный аналог.

[Verx0Laz]

Технически, задача делится на три этапа: 1) выгрузка в файл массива комментариев для последующей обработки 2) обработка по словарю и выделение сообщения, в котором найдена искомая группа символов 3) создание списка подозрительных сообщений с возможностью их открытия из программы в браузере с целью дальнейшей модерации
=== Только это средство поможет, мягко говоря, не всегда!!
Если спамер не полный олух, не лентяй, и сам знаком с программированием (а это в среде спамеров не редкость), уж он-то легко напишет алгоритм замены русских символов на аналогичные английские по случайному алгоритму (плюс вставка всяких служебных и прочих символов между букв, вариантов - море). В итоге он сможет закакать весь форум за пять минут абсолютно уникальными сообщениями, с сильно затрудненной возможностью обнаружения.

С подобной атакой, имхо, есть только одно средство борьбы.
1) нанять усидчивого и толкового модератора, либо самому им стать
2) закрыть возможность добавления комментов без регистрации
3) цмс сайта должно иметь средство тотальной зачистки - удаления пользователя вместе со всеми его сообщениями (или на три дня в инвиз а потом кирдык)

А насчет программы, способной реализовать подобное в режиме автомата.... 1) Подозреваю в первые же дни запуска кучу случайных жертв и имиджевые потери.
2) горькое чувство понимания, что на любой хитрый скайнет найдется свой Джон Конор с левой резьбой ))
----
В качестве инструмента анализа сайта можно попробовать подключение из программы напрямую к базе с возможностью работы с нею на уровне SQL... это будет чуть красивее и эффективнее, чем парсинг текстового файла. Если конечно хостер позволяет работать с базой напрямую. И если в ЦМС уже не реализовано что-то подобное

[pupsik]

уж он-то легко напишет алгоритм замены русских символов на аналогичные английские по случайному алгоритму (плюс вставка всяких служебных и прочих символов между букв, вариантов - море).

это спам, а не нежелательный контекст.
По поводу п.1. Это решается ручной обработкой "проблемных вопросов" и хранением истории действий.
п.2 горечи не будет - если не афишировать работу программы. Ведь желание взлома происходит из-за возможности. Т.е. вроде как вызов: есть обработчик контекста, почему бы его не ломануть...

[azsx]

Подытожу. Буду считать, что в моих комментах запрещены политика, религия, маты, наркотики, порно, суицид.
Понятно, что политику, религию и маты проще искать по словарю. Только у меня нет словарей на политику (в том числе и экстремизм) и религию.
Наркотики - весьма однотипные объявления, на них мне нужны весь пул запросов на контакты + словарь запрещенных препаратов с синонимами (также словаря нет). Здесь правила будут принципиально сложнее, так как по отдельности слова законны, а так подтекст налицо, типа "есть чо, телефон ***". Оптимальным решением будет запрет постинга любых контактов + словарь стоп слов на нарко вещества. Умнее ничего придумать не могу.
Порно - дохлый номер. Есть список адалт терминов, но меня волнуют не спамеры которые пишут однотипно, а всякие запреты на пропаганду гомо в СПБ, например. Они пишут завуалировано. хз как их отлавливать.
Также не понятно как искать суициды. Запретить все термины связанные со смертью и сразу 3+ писать на сайте?
---
Здесь правда есть еще такая проблема, это уже придирки. В комментариях часто продают наркотики. Любые споры о политике, религии или национальности - вредны. Суициды мне попадаются только простые, типа: "нет денег - продай почку". Их можно ловить по словарю. Другого ваще нет.
Есть маты, много, на всех подряд.
зы
так что предварительно останавливаюсь на словаре с возможностью поиска связки терминов из вариаций значений.

[Verx0Laz]

Пример пхп-класса для матофильтра на регэкспах (регулярных выражениях). Написано без выкрутасов и густо откомменчено. Это к вопросу о том "как это люди делают". Было бы не плохо перевести это на паскаль, может кто возьмется.
https://github.com/rin-nas/php-censure/blob/master/Text/Censure.php