На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети "Интернет", находящихся на территории Российской Федерации)

IT-новости от Geektimes

2 418 подписчиков

Распределённая система хранения метаданных

Назовём её DMSS (Distributed Metadata Storage System). Ну и картинка конечно — куда ж без этого:


image


Последние успехи в борьбе с интернетом (в странах с авторитарными режимами) и с распространением информации (руками правоторговцев в странах с режимами покультурнее) наверно многих наводят на мысль, что нужен способ децентрализованно хранить метаданные одного типа.

Примеры таких каталогов с метаданными:


  • Либрусек. Порядка 300-400 тыс. книг.
  • Архив. Порядка 1.5 млн. статей.
  • Скихаб. Порядка 65 млн. статей.
  • Флибуста. Порядка 400 тыс. книг.
  • PirateBay. Никак не могу найти сколько там всего торрентов. Как будто скрывают. Видел только, что сжатый дамп с magnet ссылками весит 100 МБ. Но учитывая, что magnet ссылка это по сути SHA-1 (20 байт) и такие хеши несжимаемы, то выходит, что всего там 100 МБ / 20 байт = 5 млн ссылок.
  • IMDB. Порядка 500 тыс. фильмов.
  • Spotify. Порядка 30 млн. файлов.
Читать дальше →
Ссылка на первоисточник

Картина дня

наверх