Кластер на халяву

← →
Pavia © (2015-03-15 12:30) [0]

Такое бывает? Хочу кластер или сервер. 16-100 ядерный.
На месяц погонять.

← →
brother © (2015-03-15 13:26) [1]

имхо врядли, возможно со скидкой первый месяц еще можно поискать...

← →
Pavelnk © (2015-03-15 13:42) [2]

А зачем так много?

← →
Dennis I. Komarov © (2015-03-15 13:55) [3]

Что за криптоанализ?

← →
Pavia © (2015-03-15 14:04) [4]

Большие данные - большие возможности. Надо обработать 10 ТБ. Сейчас в наличие около 100 ГБ. Даже 100 ГБ мой компьютер будет обрабатывать 1-4 месяца.
Для отработки алгоритмов нужно собрать статистику. Даже если я снижу данные до минимума. То примитивный прогон займёт 1 час. А согласно исследованием человек теряет мысль через 15 секунд. Мне для комфортной работы хватит 3-15 минут.

Видиокарта не подходит алгоритм плохо распараллеливается.

Если на данном этапе мне нужен кластер для комфортной разработки. То на последующих для окончательной работы.

← →
pavelnk © (2015-03-15 14:18) [5]

Максимум что я могу посоветовать это 12 ядер, но за месяц порядка 250 евро - http://fastvps.ru/

← →
pavelnk © (2015-03-15 14:20) [6]

Вот - http://fastvps.ru/dedicated/ в самом низу 2х6

← →
Кто б сомневался © (2015-03-15 17:11) [7]

> Даже 100 ГБ мой компьютер будет обрабатывать 1-4 месяца.

Может попробовать оптимизировать обработку?

← →
Inovet © (2015-03-15 17:27) [8]

> [4] Pavia © (15.03.15 14:04)
> Видиокарта не подходит алгоритм плохо распараллеливается

Чем тогда 100 ядер помогут?

← →
Pavia © (2015-03-15 17:50) [9]

По данным(SIMD) плохо распараллеливается. Вернее в таком подходе надо перестроить все структуры данных и переписать весь сторонний код.
Плюс я уже говорил что это отчасти изыскания.

А если делать параллельность по крупным блокам, то нужны ядра/потоки, но видео карта может паралельно запустить только 4 потока. Что в сумме с моим процессором даст 8 полноценных потоков(ядер). Что мне мало.

← →
wl © (2015-03-15 18:02) [10]

Pavia © (15.03.15 17:50) [9]
тогда Вам точно подойдет триал на месяц. Который можно с новой почтой продлевать, продлевать, продлевать...

← →
Jeer © (2015-03-15 18:58) [11]

Наверняка используется подход ориентированный на "железо", а не на алгоритмы.

← →
Pavia © (2015-03-15 20:56) [12]

А что вы хотите?
Это в 60 компьютеры строились под алгоритмы. В 70-тых уже были универсальные машины. В 80-тых был спектрум из которого выжимали всё по максиому и программы оптимизировались до последнего такта.
А в 90-тых уже про это забыли. Только изредко не хватало дисковой памяти.
А сейчас вычислительных мощностей с избытком. И народ разучился оптимизировать в конец.
Вот вы помните когда кто нибудь на форуме последний раз спрашивал про оптимизацию?

← →
Pavelnk © (2015-03-16 00:24) [13]

> Pavia © (15.03.15 17:50) [9]
А мне интересно, это математическая задача или из какой области? Я в своё время тоже решал математику. Моя программа работала до 12 часов. На хорошем по тогдашним меркам компьютере с тактовой частотой 166 Мгц.

← →
megavoid © (2015-03-16 00:54) [14]

И мне тоже интересно, расскажите чуть, а у меня задачи обычно упираются в i/o, никакие ссд не помогают, да и объёмы не те, а цпу много лет уже неважен :), ну, менее важен.

Я сейчас хочу поработать на стыке двух областей. Big data и computer vision.
Big data - это сравнительно новая область. По русски можно перевести так - когда количество переходит в качество. Мы имеем базу данных которая покрывает всю полезную информацию. Остаётся её добыть. Сортировка по качеству, а после обогащение.

Проблема в том что для первичной обработки изображений, так называемые сырые данные, нужны больше вычислительные мощности. А сами изображения ещё хранятся в сжатом виде что требует распаковки.
По поводу алгоритмов суть в том что имея всё многообразия данных найти наиболее быстрые алгоритмы. Даже в первом приближении такой подход должен дать 10 превосходство над конкурентами по скорости и качество должно быть немного выше.

> pavia © (16.03.15 17:31) [15]
> Я сейчас хочу поработать на стыке двух областей. Big data
> и computer vision.
Как то сам напрашивается вопрос, кто же ваш спонсор?)

Химкинский хладокомбинат, например)

>pavia © (16.03.15 17:31) [15]

для какой первичной обработки?

если для поиска по картинкам - на хабре есть статья как сделать текстовый хэш картинки который не зависит от изменения цветности, и мелких деталей

[18] уж не промаску изображения в чб идет разговор?

Кластер на халяву Найти похожие ветки