Как определяются дубли (повторы публикаций) в СКАНе?
По умолчанию, система считает дублем новости, которые совпадают более чем на 60% с оригиналом. Бывают также случаи, когда в выдачу попадают публикации, в которых источник добавил 40% и менее перепечатанного текста (например, начало статьи), а остальной текст оригинальный. В таких случаях можно отфильтровать результаты только по инфоповодам. Так количество схожих публикаций уменьшится.
