Приходил тут к нам Python, ел на завтрак JSON

[recoder]

Случилась тут у нас на работе загогулина. В процессе декомпозиции всех наших проектов на микросервисы решили мы воспользоваться шансом и поотпимизировать что можно. В частности - решили поменять JSON парсер, а то он у нас был самодельный, с поддержкой XML и хитрой валидации, но зато несовместимый ни с чем.

Пошли профайлить плюсовые JSON парсеры. Потыкали boost с его свойственными деревьями - оказалось на удивление медленно, причём и в компиляции и в рантайме. Посмотрели на Poco::JSON - более менее фурычит, хотя звёзд с неба и не хватает. Пошли смотреть что ещё бывает в современном мире C++...

А потом по приколу прогнали Python парсер на тех же тестовых данных. И тихо офигели: мерзкий питон уделал наши крутые библиотки в несколько раз. Проверили в разных аспектах - всё верно, питон быстрее плюсов. Даже для эксперимента вызвали из плюсов питоновский парсер - и он всё равно летает.

Как теперь жить с этим знанием? Переписывать всё нафик на Питоне? Таскать везде с собой кусок питона? И самый главный вопрос - как вообще такое могло получиться?!

Comments

[bash-i-buzuk.livejournal.com]

Наворочено не значит быстро :)
А GSON не смотрели? или он только на java?

[sprocket1.livejournal.com]

Он не мог как-то дополнительные вычислительные ресурсы задействовать? Многопоточность, например?

[sply.livejournal.com]

Если вы не завязаны на посторонних клиентов, то для микросервисов может оказаться удобнее MessagePack (http://msgpack.org) - можно сказать, бинарный аналог JSON. Списки, хэши поддерживает. То есть хоть бинарно, но не такая жестко как в старом RCP.

[zubian.livejournal.com]

flex & bison пробовали использовать?

[juan-gandhi.livejournal.com]

Тут два вопроса:
- а как это?
- а какая разница, все равно ж на проводах время теряется?

[jdevelop.livejournal.com]

а потом окажется, что жабий парсер уделает в несколько раз петоний ;)

[mpak666.livejournal.com]

прикольно жеж!
надо вывалить на суд общественности бенчмарки и исходники, авось и объяснения нашлись бы?!

[vtimonin.livejournal.com]

https://github.com/miloyip/nativejson-benchmark

Не знаю, как оно там относительно питона, но скорее всего RapidJSON быстрее будет.

[proxfessor.livejournal.com]

На ту же тему: читал на днях таблицу из 73000 строк и 55 колонок Питоном (pandas.readcsv) и R (readcsv). Питон прочитал а 7 раз быстрее. Крутое земноводное!

[http://users.livejournal.com/_winnie/]

Если питонячий, python-only уделывает C++ - значит, в C++ какой-то ахтунг (лишние malloc, memcpy, неявные O(N^2) и тп).


Вообще вот : http://lionet.livejournal.com/118853.html