Цифровые Мысли

Сегодня у меня любопытный юбилей: 20 лет этому Живому Журналу! Практически пол-жизни. Формально конечно меньше , но уж точно больше чем пол-жизни творческой.

Статистика блоггинга у меня скромная: чуть больше 1400 заметок, чуть меньше 10000 комментов. В последнее время COVID и прочие житейские неурядицы и вовсе испортили статистику. Всего двенадцать постов за весь ебучий 2020 год - ну куда это годится? То ли дело раньше было!

Откроешь какой-нибудь 2006 год, полистаешь... Увы, больше половины ссылок в старых постах протухли и не ведут никуда. Так что информационная ценность этого архива сомнительна.

Зато какая ностальгическая ценность! Ещё и сам ЖЖ теперь масла подливает - каждый день присылает рассылочку "а ты помнишь что писал пятнадцать лет назад?". Почитаешь, вспомнишь, какая жизнь была... другая. Да и сам ЖЖ был другой.

Попробую мысленно вернуться в те славные времена. Больше думать, чаще писать, меньше залипать во всяких Твиттерах да Фейсбуках.

Make LiveJournal great again!

Оказывается, идея ненавидимых многими сокращаторов ссылок вроде TinyURL или Bit.ly уходит корнями в далёкие девяностые, когда OCLC справедливо озаботилась тем, что документы в интернетах могут переезжать и хорошо бы их как-то уникально идентифицировать. Для этого они ещё в 1995 году придумали концепцию Persistent uniform resource locator (PURL), которая по сути и есть абстрактный сокращатор, позволяющий регистрировать перманентные ID для ресурсов и служить резолвером-редиректором.

Первую реализацию они опубликовали на purl.org, потом лицензировали эту технологию другим PURL-провайдерам, а в конечном счёте всё переехало под крыло Internet Archive (что кмк очень хорошо) и сейчас живёт по адресу https://archive.org/services/purl/

Любопытно, что примерно в то же время в RFC были впервые зафиксированы концепции URN, которые делают примерно то же самое - идентифицируют сущности, которые могут быть транслированы в URLы. Типы сущностей правда жёстко стандартизированы в IANA в отличие от PURLов, но мне всё равно интересно почему эти концепции так и не слились воедино.

Забавно, что в перманентном мире IPFS разработчики решают обратную проблему: придумать какой-то механизм чтобы определённому имени соответствовало изменяющееся содержимое (да ещё и в распределённой среде). И оказывается что это тоже непросто.

Похоже, не одного меня достали проблемы с архивацией интернетов. За прошедший год помимо уже установленного в Chrome Archiveror'a, обнаружились ещё парочка любопытных расширений.

Во-первых, Memex от WorldBrain.io: он индексирует и локально архивирует всю историю посещений и все закладки. Очень помогает в ситуациях "кажется месяц назад я где-то что-то подобное уже видал..." За деньги он умеет ещё все данные хранить в облаке и синхронизироваться, но мой внутренний мини-параноик мне запретил это делать.

Во-вторых, нашёлся Toby с одноимённым расширением. Он предлагает организовать все закладки по категориям и показывать всё это на стартовой странице. Это конечно не так полезно как Memex, но решает проблему "опять открыл три сотни закладок и всё тормозит".

И ещё - простенький веб-сервис saved.io: чтобы сохранить страничку с его помощью, надо просто дописать saved.io/ в адресной строке перед полным URL. Ничего особенного, но простота процесса подкупает.

Остальные найденные инструменты сложил на Diigo по тегу "archiving". И продолжил поиски...

Цифровая тётка с косой нанесла очередной удар в спину: внезапно обнаружилось, что моя коллекция инфографики на vi.sualize.us накрылась медным тазом. Вместо графиков и котиков по моим URLам почему-то теперь открываются какие-то дизайнерские интерьеры. Покопавшись в мементовом WebArchive удалось выяснить, что последний раз мой аккаунт архивировался в декабре прошлого года, после чего сайт верломно похерился, словно в издёвку оставив мне в аккаунте пару картинок и грустного котика. Сволочи!

Старый del.icio.us был недавно опять перекуплен, на этот раз Pinboard'ом за полсотни штук грина, замигрирована на мемориальный сервер, и обещается оставаться в read-only статусе, но всё равно до сих пор лежит в дауне. Балбесы!

Неожиданно Facebook начал допиливать свои Saved Links - организовали там коллекции и сделали кое-какой поиск, но для промышленной организации ссылок всё равно не подходит. Максимум что я могу доверить Фейсбуку - это быть моим inbox'ом для ссылок с мобильных устройств.

Но есть и хорошие новости! Я нашёл своих единомышленников объединившихся в Archive Team. Они также как и я верят в ценность архивации всего, также ненавидят сокращаторы. Сейчас вот спасают ЖЖшечку и SoundCloud.

Могу пожелать коллегам из Archive Team успехов в борьбе с мировой интернет-энтропией, но всё равно считаю что спасение утопающих - дело рук самих утопающих. И пойду дальше пилить свой сохранятор...

Лучший способ не копить много ненужных ссылок — читать все это вместо работы на работе. Зря у вас есть 8 часов что ли? https://t.co/evdO0P3Bmo

— Бытовой сатанизм (@spichechny) March 14, 2017

В процессе дизайна персонального архиватора обнаружил что существует достаточно официальный (RFC 7089) протокол для архивации веб-ресурсов под названием Memento. Авторы протокола пошли оригинальным путём и просто расширили стандартную процедуру "content negotiation" ещё одним измерением - временем!

В схеме Memento клиент может сделать HEAD-запрос к ресурсу (на сервере, поддерживающем эту схему) с указанием заголовка "Accept-Datetime: {date}" и сервер отвечает на такой запрос стандартным 200 OK с указанием места где живёт "TimeGate" - сервер архивации, и выглядит это как "Link: {uri}, rel=timegate". После этого можно обратиться к таймгейт-серверу и он выдаст 302 Found туда где уже и выдадут запрошенную архивную копию.

На основе этого протокола придумали решение моей проблемы протухающих ссылок - Robust Links. Тэг ссылки просто расширяется дополнительными атрибутами data-versiondate и data-versionurl, так что ссылки выглядят примерно так:

<a href="http://thekeepers.org/" data-versionurl="http://archive.today/DTt8f" data-versiondate="2014-11-01">http://thekeepers.org/</a>
// rendered as http://thekeepers.org/

Такие декорированные ссылки небольшим скриптом можно превратить в мини-менюшки выбора конкретной сохранённой версии документа по ссылке. К сожалению, обычному бложеку на LJ/DW такая техника не подходит потому что сторонний скрипт так легко не подцепить. Поэтому Memento-сервисы обычно поддерживают запросы вида GET /{date}/{resource uri}, однако стандартизация сюда ещё не добралась и каждый сервис лепит что-то своё.

Увы, серьёзных сервисов поддерживающих Memento, не так уж и много: Wayback Machine, Archive Today, Perma.cc. Wayback Machine примечательна своим возрастом - она архивирует интернет с 2001 года (я там даже нашёл свой старый хомяк из прошлого тысячелетия!). Archive Today поражает качеством архивирования - видимо они загружают страницы в headless browser и сохраняют получившееся состояние. Однако совершенно непонятно кому принадлежит этот сервис и соответственно неясно сколько он ещё протянет. Perma.cc пилится Гарвардским университетом, так что стоит предположить что он переживёт все подобные сервисы, что и является его главным преимуществом.

Чувствую, в своём хабе-архивариусе надо будет запилить поддержку Memento. Незачем велосипеды изобретать. Было бы совсем круто сделать этот протокол распределённым, чтобы каждый такой сервачок мог спросить у соседних сервачков "а у вас такого URLя не найдётся?", но как только начинаешь думать о децентрализации - сразу всплывает такое количество проблем, что всё желание думать дальше и пропадает. Поэтому наш девиз - каждый сам за себя!

Отправился я недавно перечитать кой-чего из старого ЖЖ примерно десятилетней давности (да-да, я тот самый человек который перечитывает старые записи и даже иногда возвращается к старым дискуссиям). И после недолгого щёлканья по ссылкам остался в лёгком шоке от того что добрая половина гиперссылок протухла и более никуда не ведёт. Пошёл пошарить по своим коллекциям ссылок и пришёл в полнейшее расстройство. Увы, связность гипертекста не выдерживает испытание временем.

В общем, хочу завести себе небольшой уютный интернет-оазис, где будет порядок и #стабильность. Куда можно будет отложить закладочку, классифицировать её, и не забыть закешировать её содержимое на случай потери связности. Там же вести списки для чтения всяческих лонгридов на замену почившей Readability. Туда же прикрутить свой собственный сокращатор ссылок, который будет жить столько, сколько я решу.

И захостить всё это на своём собственном сервере, чтобы ни от кого не зависеть!

Должно быть несложно...

Однако, совершенно необязательно дожидаться чёрных пятниц и прочих распродаж, чтобы отловить хорошую скидку. Для этого есть отлично функционирующие роботы, которым достаточно скормить ссылку на магазин, указать желаемую цену (ну почти как обратный аукцион), и сидеть ждать уведомления в почту. Таких роботов довольно много разных (Lootr, Zing Sale, Price Jot, Price Chirp, 5&10), но я пользовался только тремя, IMHO лучшими:

1. The Tracktor. Трактор строго заточен под Amazon: даёшь ему ASIN и цену и ждёшь письма, когда можно закупить желаемое. Добавив его в Chrome, можно прямо в Амазоне видеть график изменения цен за последнее время. А это чертовски полезно!

2. Keepa. Кипа с виду немного гиковская, но по умениям ничуть не уступает Трактору: отслеживает товары на Amazon'e, присылает уведомления (в том числе мобильные!), и так же умеет рисовать графики изменения цен, если поставить его расширение в браузер.

3. Camel Camel Camel. Верблюд-в-Кубе - кажется самый старый из выживших сервисов такого вида (или PriceDrop самый старый?), но тем не менее и он тоже идёт в ногу со временем: и расширения опубликовал, и интеграцию с амазоновскими wishlists прикрутил.

Если не ограничивать свой выбор Амазоном - можно попробовать ещё Invisible Hand, который подскажет оптимальные цены прямо поверх Амазоновской страницы. Или Slick Deals который сравнивает цены между разными магазами. А ещё есть универсальный myAlerts выросший из TrackIf.com. И наверняка уже появились какие-нибудь новые, которых я ещё не видел.

Умельцы конечно могут сами на питоне наваять такое, тягая данные с priceJSON или напрямую с Amazon'a. Но я уже слишком стар для этого. Мне проще покликать на кнопки и пойти ещё подремать...

Приятного потреблятства!

Коллега bluedrag недавно напомнил о бренности происходящего в ЖЖ. В любой момент ЖЖешчка может лечь под DDOSом, заблокировать меня или френдов, вообще объявить о закрытии, или "утеряться иным способом™". И что же я буду перечитывать холодными зимними ночами?

Вот была у Яндекса неплохая блогоплатформа "Я.ru", в которую было очень удобно аггрегировать все свои бложики, складывать ссылочки с цитатками и всё такое. Однако видать оно оказалось для Янедкса непрофильным и вместо развития сервиса его прикрыли на корню. Хорошо хоть дали контент зазеркалить в ya_recoder. Но все ссылочки на нажитое непосильным трудом - протухли, и это обидно.

Был ещё Google Buzz, но тот помер ещё быстрее чем Я.ru. Где-то в интернетах всё ещё доживают свои дни аггрегаторы помельче да покорявее (ну например NetVibes или там Soup), но уже становится очевидно, что в перспективе - доверять нельзя никому.

Поэтому чем дальше - тем больше желание завести себе свой локальный хаб. Что-то типа того же Я.ru или Facebook'a, чтобы был мой собственный и с моими собственными фичами:

• Чтобы была двусторонняя синхронизация с другими сервисами: ЖЖ, Твиттером, Инстаграммом, Форсквером и т.д. RSS/ATOM/OAuth, все дела.
• Чтобы был удобный редактор постов, которые бы потом транслировались в тот же ЖЖ: например чтобы понимал markdown, чтобы было легко исходнички вставлять, и пр.
• Чтобы посты были типизированные. Ну хотя бы: текст, ссылка, картинки-музыка-видео, короткий статус. Но можно и ещё придумать: оценку чего-нибудь, гео-позицию или check-in, GPS-треки, и много другого (см. open schema).
• Чтобы было удобно делать посты-цитаты: зашёл на страницу, выделил нужный кусочек, ткнул в букмарклет, а хаб сам бы HTML подчистил и в таком виде запостил.
• Вообще, хочу чтобы все мои ссылочки кешировались: хоть картинкой, хоть полным текстом. Типа как CoralCDN делает.
• Поверх всего этого - поиск нормальный запилить. А то поисковикам доверия уже немного осталось.

Ещё бы было здорово, чтобы себе на том же хабе френд-ленту сделать: для начала просто OPML/RSS/ATOM-читалку. Но это я наверное уже слишком многого захотел, и в одном флаконе.

Вот гуглю теперь - есть уже что-то похожее или пора засучить рукава и садиться писать? И не получится ли в результате Diaspora? Впрочем, в любом случае - так дальше жить нельзя.

Винное направление конечно же особенное. Вообще, количество понтов в области потребления перебродившего виноградного сока иногда просто поражает. Сорта, года, плантации, виноградники и прочите винтажи-купажи... При том, что среднее вино за $10 не очень-то отличается от вина за $90. Однако иногда в этом хочется убедиться самому. И в этом часто помогают винные сети:

• Snooth (+)
• Vino Gusto (+)
• Open Bottles (+)
• Bottle Notes

Пивные сеточки будут попроще, однако они тоже неплохо справляются со своей задачей: фиксировать свои пивные впечатления и подбирать рекомендации когда хочется попробовать чего-то новенького:

• Untappd (+)
• Pintley (+)
• Brew Gene (+)
• Rate Beer (+)

Присоединяйтесь!

Отдельно надо упомянуть отечественный сервис Yesterday.me, ведущий статистику потребляемого алкоголя. Статистика можно складывать в литры, можно рисовать на графиках, можно меряться количеством с френдами. Но наверное самое главное - это мотивационная составляющая, крайне экспрессивно изложенная благодарным юзером:

( Братюни, спасибо вам... )

Как говорится, drink responsibly, то есть бухайте, но в меру!

Видимо совсем я стар стал. Который год смотрю на бурно цветущий Twitter и совершенно не втыкаю - в чём его гениальность? RSS же существовал уже стопиццот лет и со всех сторон говорили что это неудобно, непрактично и вообще никому не нужно. Тут же - сделали точно такой же RSS только хуже (и сам RSS оттуда в конце концов отломали), ограничили со всех сторон и прежде всего размером сообщения - и народ туда слетается стаями. Не понимаю. Сомневаюсь, что пипл ценит там передовые real-time'овые технологии, тем более что появились они довольно недавно. Единственное объяснение, которое меня устраивает - это то, что ограничение в 140 символов уравняло в возможностях поколение ADHD со всеми остальными и они, ликуя, ломанулись в этот плавильный котёл.

* * *

Ну и кстати - примерно так же недолюбливаю Facebook. Все эти современные сервисы стараются вывалить на тебя какой-то нескончаемый поток совершенно неструктурированной информации, которая моментально устаревает. Это конечно вполне в тренде современной копроэкономики, однако наш Тайный Орден очень этому печалится. Вот к примеру - найдите в вашем Фейсбуке где ты чекинился во вторую субботу мая (а это, поверьте, бывает нужно). Вот то-то же. Так что никак не могу называть всё это информационными сервисами. Максимум - очередными социально-развлекательными явлениями. А сам пока остаюсь тут, в ЖЖ.

* * *

Кстати - понял наконец, что такое Google Plus (меня искать тут: http://gplus.to/recoder). Это такой твиттер с сегментацией аудитории и без ограничения в 140 символов (и с отличным Android-клиентом). И применения такому твиттеру я как раз вижу - делать тематические микро-рассылки. Вот только народ туда пока не подтянулся. А вообще, у Гугла сложилась довольно полная палитра сервисов: писать своё - Google+, собирать всё своё из других мест - Buzz, собирать чужое интересное - Reader, фотохостинг - Picasa, всякие гео-штучки - Latitude, Maps, HotPot. Остаётся только ждать, когда они всё это смешают в правильной пропорции и соберётся критическая масса. Пока вот к сожалению этого не происходит. Будем ждать. Hail Google!

» buzz