Какой алгоритм лучше всего подходит для отслеживания происхождения информации? [закрыто]

Закрыто. Этот вопрос должен быть более целенаправленным. В настоящее время ответы не принимаются.

Решение проблемы

Эта проблема не техническая, а организационная.

Было бы тривиально включить некоторые метаданные, в которых перечислены все источники в машиночитаемом формате. Могут возникнуть некоторые трудности с согласованием формата, но их можно решить, если приложить достаточные усилия.

Однако, в то время как хорошие новостные сайты, как правило, включают источники в удобочитаемом формате, есть много плохих сайтов, которые этого не делают. И если это так, вы, вероятно, не сможете убедить их включить его в машиночитаемый формат.

Что касается технических решений, у вас есть несколько вариантов, обычно они основаны на каком-то глобальном уникальном идентификаторе для идентификации статей.

1. Включите ссылки непосредственно на каждую справочную статью и надейтесь, что ссылки останутся в силе.


2. Используйте центральную (или, возможно, распределенную) базу данных, в которой хранятся ссылки на каждую статью, и надейтесь, что база данных всегда работает и доступна для всех пользователей.


3. Включайте полный справочный график в каждую статью и надейтесь, что он не разрастется до больших размеров.

Вы можете взглянуть на git или научные статьи, так как различные способы обработки ссылок могут быть обработаны.

Но вы по-прежнему полагаетесь на то, что авторы действительно включают ссылки. Если они этого не делают, вам нужно будет использовать какую-то эвристику, которая гораздо менее надежна.