Цифровые Мысли

Придумал ещё одно паллиативное решение проблеме протухающих ссылок - на этот раз с помощью старого доброго Гугля. Когда я записываю URL мне же обычно на самом деле важен сам документ, а не его легкопортящийся адрес. Поэтому приходится делать content addressing на коленке. Помню, на заре интернетостроения сетяне развлекались Googlewhacking'ом - подбирали поисковые слова к Гуглю так, чтобы в результате поиска была всего одна ссылка. Я решил идти аналогичным способом - чтобы записать ссылку на текстовые документ, я выбираю из него набор ключевых слов и составляю поисковый запрос с ними. (Вот к примеру эта заметка должна быть доступна по ссылке на https://www.google.com/search?q="паллиативное решение проблеме протухающих ссылок"&btnI=.) В результате: пока в интернетах остаются копии этого документа, я легко смогу снова прочитать его.

Сразу появляется интересная задачка: как автоматизировать такой процесс? Мне-то довольно очевидно какие фразы являются ключевыми, и после одного-двух-трёх экспериментальных запросов в Google я могу выбрать оптимальный. Есть идея попробовать TF-IDF алгоритм для определения наиболее значимых слов (примерно так как это делает SMMRY.com) и пробовать искать их в разных комбинациях, пока нужный результат не окажется в топе. Главное - чтобы за эксперименты в Гугле не забанили.

Метод конечно не супер-надёжный, ибо подвержен Googlebombing'у, да и вообще говоря документ может просто пропасть из интернетов. Однако за примерно год что я этим методом пользуюсь, он чаще срабатывал чем нет.

Похоже, не одного меня достали проблемы с архивацией интернетов. За прошедший год помимо уже установленного в Chrome Archiveror'a, обнаружились ещё парочка любопытных расширений.

Во-первых, Memex от WorldBrain.io: он индексирует и локально архивирует всю историю посещений и все закладки. Очень помогает в ситуациях "кажется месяц назад я где-то что-то подобное уже видал..." За деньги он умеет ещё все данные хранить в облаке и синхронизироваться, но мой внутренний мини-параноик мне запретил это делать.

Во-вторых, нашёлся Toby с одноимённым расширением. Он предлагает организовать все закладки по категориям и показывать всё это на стартовой странице. Это конечно не так полезно как Memex, но решает проблему "опять открыл три сотни закладок и всё тормозит".

И ещё - простенький веб-сервис saved.io: чтобы сохранить страничку с его помощью, надо просто дописать saved.io/ в адресной строке перед полным URL. Ничего особенного, но простота процесса подкупает.

Остальные найденные инструменты сложил на Diigo по тегу "archiving". И продолжил поиски...

Цифровая тётка с косой нанесла очередной удар в спину: внезапно обнаружилось, что моя коллекция инфографики на vi.sualize.us накрылась медным тазом. Вместо графиков и котиков по моим URLам почему-то теперь открываются какие-то дизайнерские интерьеры. Покопавшись в мементовом WebArchive удалось выяснить, что последний раз мой аккаунт архивировался в декабре прошлого года, после чего сайт верломно похерился, словно в издёвку оставив мне в аккаунте пару картинок и грустного котика. Сволочи!

Старый del.icio.us был недавно опять перекуплен, на этот раз Pinboard'ом за полсотни штук грина, замигрирована на мемориальный сервер, и обещается оставаться в read-only статусе, но всё равно до сих пор лежит в дауне. Балбесы!

Неожиданно Facebook начал допиливать свои Saved Links - организовали там коллекции и сделали кое-какой поиск, но для промышленной организации ссылок всё равно не подходит. Максимум что я могу доверить Фейсбуку - это быть моим inbox'ом для ссылок с мобильных устройств.

Но есть и хорошие новости! Я нашёл своих единомышленников объединившихся в Archive Team. Они также как и я верят в ценность архивации всего, также ненавидят сокращаторы. Сейчас вот спасают ЖЖшечку и SoundCloud.

Могу пожелать коллегам из Archive Team успехов в борьбе с мировой интернет-энтропией, но всё равно считаю что спасение утопающих - дело рук самих утопающих. И пойду дальше пилить свой сохранятор...

Лучший способ не копить много ненужных ссылок — читать все это вместо работы на работе. Зря у вас есть 8 часов что ли? https://t.co/evdO0P3Bmo

— Бытовой сатанизм (@spichechny) March 14, 2017

В процессе дизайна персонального архиватора обнаружил что существует достаточно официальный (RFC 7089) протокол для архивации веб-ресурсов под названием Memento. Авторы протокола пошли оригинальным путём и просто расширили стандартную процедуру "content negotiation" ещё одним измерением - временем!

В схеме Memento клиент может сделать HEAD-запрос к ресурсу (на сервере, поддерживающем эту схему) с указанием заголовка "Accept-Datetime: {date}" и сервер отвечает на такой запрос стандартным 200 OK с указанием места где живёт "TimeGate" - сервер архивации, и выглядит это как "Link: {uri}, rel=timegate". После этого можно обратиться к таймгейт-серверу и он выдаст 302 Found туда где уже и выдадут запрошенную архивную копию.

На основе этого протокола придумали решение моей проблемы протухающих ссылок - Robust Links. Тэг ссылки просто расширяется дополнительными атрибутами data-versiondate и data-versionurl, так что ссылки выглядят примерно так:

<a href="http://thekeepers.org/" data-versionurl="http://archive.today/DTt8f" data-versiondate="2014-11-01">http://thekeepers.org/</a>
// rendered as http://thekeepers.org/

Такие декорированные ссылки небольшим скриптом можно превратить в мини-менюшки выбора конкретной сохранённой версии документа по ссылке. К сожалению, обычному бложеку на LJ/DW такая техника не подходит потому что сторонний скрипт так легко не подцепить. Поэтому Memento-сервисы обычно поддерживают запросы вида GET /{date}/{resource uri}, однако стандартизация сюда ещё не добралась и каждый сервис лепит что-то своё.

Увы, серьёзных сервисов поддерживающих Memento, не так уж и много: Wayback Machine, Archive Today, Perma.cc. Wayback Machine примечательна своим возрастом - она архивирует интернет с 2001 года (я там даже нашёл свой старый хомяк из прошлого тысячелетия!). Archive Today поражает качеством архивирования - видимо они загружают страницы в headless browser и сохраняют получившееся состояние. Однако совершенно непонятно кому принадлежит этот сервис и соответственно неясно сколько он ещё протянет. Perma.cc пилится Гарвардским университетом, так что стоит предположить что он переживёт все подобные сервисы, что и является его главным преимуществом.

Чувствую, в своём хабе-архивариусе надо будет запилить поддержку Memento. Незачем велосипеды изобретать. Было бы совсем круто сделать этот протокол распределённым, чтобы каждый такой сервачок мог спросить у соседних сервачков "а у вас такого URLя не найдётся?", но как только начинаешь думать о децентрализации - сразу всплывает такое количество проблем, что всё желание думать дальше и пропадает. Поэтому наш девиз - каждый сам за себя!

Отправился я недавно перечитать кой-чего из старого ЖЖ примерно десятилетней давности (да-да, я тот самый человек который перечитывает старые записи и даже иногда возвращается к старым дискуссиям). И после недолгого щёлканья по ссылкам остался в лёгком шоке от того что добрая половина гиперссылок протухла и более никуда не ведёт. Пошёл пошарить по своим коллекциям ссылок и пришёл в полнейшее расстройство. Увы, связность гипертекста не выдерживает испытание временем.

В общем, хочу завести себе небольшой уютный интернет-оазис, где будет порядок и #стабильность. Куда можно будет отложить закладочку, классифицировать её, и не забыть закешировать её содержимое на случай потери связности. Там же вести списки для чтения всяческих лонгридов на замену почившей Readability. Туда же прикрутить свой собственный сокращатор ссылок, который будет жить столько, сколько я решу.

И захостить всё это на своём собственном сервере, чтобы ни от кого не зависеть!

Должно быть несложно...