9000 » from archive
«Blosc is a compressor [that allows] to transmit data to the processor cache faster than the traditional, non-compressed, direct memory fetch approach via a memcpy() OS call» - http://blosc.pytables.org/trac
это оно только для x64 архитектуры так эффективно, или для многих? и, да, как оно в смысле потребления энергии на одну атомарную операцию? ‎- silpol
энергетически одно должно быть безусловно дороже. но сама идея радует: mod_gzip на уровне FSB :) на уровне диска, кстати, вроде тоже. вообще этот PyTables надо поподробнее рассмотреть. ‎- 9000
@9000 А ты разобрался как он это делает без прямого доступа к кешам (такой реждим у процов есть, но в нормальной жизни недоступен, конечно)? Ведь распаковать -- это прочитать из памяти (!) запакованное и записать в память (!) распакованное, ну и наоборот. В чём профит? ‎- бородат и духовно хвостат
Т.е. ясно как это помогает disk I/O. А вот картинка на странице 57 презентации не ясна -- мы не можем записать кэш. Нет такой инструкции. ‎- бородат и духовно хвостат
@blacklion: я так понял, что он в памяти запакованные блобы хранит, к внутренностям которых произвольно лезть не требуется. забава в том, что инструкций CPU тратится больше, а суммарно получается быстрее. сжимаемые блоки влезают в кэш, поэтому сжатие быстрое. ‎- 9000
Это понятно, там и gzip справляется. На самом деле, по презентации, если дочитать, ясно что своей цели декларированной он пока не достиг -- быть быстрее memcpy() ‎- бородат и духовно хвостат