Yahoo Pipes - In Memoriam

[recoder]

Давным-давно (по интернетовским меркам), в 2007 году несколько пацанов из Yahoo выкатили совершенно революционный сервис Pipes, призванный быть аналогом юниксовых пайпов, только для модного тогда Web 2.0. Сервис позволял в визуальной форме настроить сбор данных из разнообразных онлайновых источников (типа RSS-фидов), нужным образом преобразовать их, и выдать результат в виде нового фида. При всей кажущейся простоте продукт был потрясающей мощности - я сам на нём писал чертовски полезные агенты и аггрегаторы.

Однако летом 2015 года эффективная Мариссочка добралась и до Pipes и прикрыла их нафик. С тех пор прошло несколько лет, но достойной замены яхушным трубам так и не появилось. Появились IFTTT, Zapier, Automate.io позволяющие интегрировать разные онлайновые сервисы. Даже Microsoft накатал какой-то Flow. Подтянувшиеся open-source разработчики наваяли Python-библиотеку Riko для написания трасформационных скриптов и среду для управления агентами Huginn. Но ничего сравнимого по простоте, мощности и изяществу так и не появилось (страшный как моя жизнь pipes.digital не считается)

Я конечно ничего не понимаю в flow-based программировании, но было бы клёво сделать такой специальный язык для описания процессов получения, обработки, и форматирования структурированных данных. И чтобы на нём можно было создавать самодостаточные модули и публиковать их для повторного использования (можно через GitHub например). А потом берёшь такой модуль и запускаешь его как serverless лямбду (в AWS или в Google или в Azure). Удобно, модно, молодёжно. Никто такого ещё не написал случайно?

Comments

[ulrith.livejournal.com]

Думаю можно всё это кликами в интерфейсе построить в AWS: Glue,  Athena и т.д
Было бы желание ТЗ

[recoder]

Конечно, взять какой-нибудь python и написать себе своего бота - несложно.

Круть Pipes была в том, что можно было взять чужой pipeline, форкнуть, подхачить и задеплоить!