Главная страница
Top.Mail.Ru    Яндекс.Метрика
Текущий архив: 2015.11.01;
Скачать: CL | DM;

Вниз

Кластер на халяву   Найти похожие ветки 

 
Pavia ©   (2015-03-15 12:30) [0]

Такое бывает? Хочу кластер или сервер. 16-100 ядерный.
На месяц погонять.


 
brother ©   (2015-03-15 13:26) [1]

имхо врядли, возможно со скидкой первый месяц еще можно поискать...


 
Pavelnk ©   (2015-03-15 13:42) [2]

А зачем так много?


 
Dennis I. Komarov ©   (2015-03-15 13:55) [3]

Что за криптоанализ?


 
Pavia ©   (2015-03-15 14:04) [4]

Большие данные - большие возможности. Надо обработать 10 ТБ. Сейчас в наличие около 100 ГБ.  Даже 100 ГБ мой компьютер будет обрабатывать 1-4 месяца.
Для отработки алгоритмов нужно собрать статистику. Даже если я снижу данные до минимума. То примитивный прогон займёт 1 час. А согласно исследованием человек теряет мысль через 15 секунд. Мне для комфортной работы хватит 3-15 минут.

Видиокарта не подходит алгоритм плохо распараллеливается.

Если на данном этапе мне нужен кластер для комфортной разработки. То на последующих для окончательной работы.


 
pavelnk ©   (2015-03-15 14:18) [5]

Максимум что я могу посоветовать это 12 ядер, но за месяц порядка 250 евро - http://fastvps.ru/


 
pavelnk ©   (2015-03-15 14:20) [6]

Вот - http://fastvps.ru/dedicated/ в самом низу 2х6


 
Кто б сомневался ©   (2015-03-15 17:11) [7]


> Даже 100 ГБ мой компьютер будет обрабатывать 1-4 месяца.


Может попробовать оптимизировать обработку?


 
Inovet ©   (2015-03-15 17:27) [8]

> [4] Pavia ©   (15.03.15 14:04)
> Видиокарта не подходит алгоритм плохо распараллеливается

Чем тогда 100 ядер помогут?


 
Pavia ©   (2015-03-15 17:50) [9]

По данным(SIMD) плохо распараллеливается. Вернее в таком подходе надо перестроить все структуры данных и переписать весь сторонний код.
Плюс я уже говорил что это отчасти изыскания.

А если делать параллельность по крупным блокам, то нужны ядра/потоки, но видео карта может паралельно запустить только 4 потока. Что в сумме с моим процессором даст 8 полноценных потоков(ядер). Что мне мало.


 
wl ©   (2015-03-15 18:02) [10]

Pavia ©   (15.03.15 17:50) [9]
тогда Вам точно подойдет триал на месяц. Который можно с новой почтой продлевать, продлевать, продлевать...


 
Jeer ©   (2015-03-15 18:58) [11]

Наверняка используется подход ориентированный на "железо", а не на алгоритмы.


 
Pavia ©   (2015-03-15 20:56) [12]

А что вы хотите?
Это в 60 компьютеры строились под алгоритмы. В 70-тых уже были универсальные машины. В 80-тых был спектрум из которого выжимали всё по максиому и программы оптимизировались до последнего такта.
А в 90-тых уже про это забыли. Только изредко не хватало дисковой памяти.
А сейчас вычислительных мощностей с избытком. И народ разучился оптимизировать в конец.
Вот вы помните когда кто нибудь на форуме последний раз спрашивал про оптимизацию?


 
Pavelnk ©   (2015-03-16 00:24) [13]

> Pavia ©   (15.03.15 17:50) [9]
А мне интересно, это математическая задача или из какой области? Я в своё время тоже решал математику. Моя программа работала до 12 часов. На хорошем по тогдашним меркам компьютере с тактовой частотой 166 Мгц.


 
megavoid ©   (2015-03-16 00:54) [14]

И мне тоже интересно, расскажите чуть, а у меня задачи обычно упираются в i/o, никакие ссд не помогают, да и объёмы не те, а цпу много лет уже неважен :), ну, менее важен.


 
pavia ©   (2015-03-16 17:31) [15]

Я сейчас хочу поработать на стыке двух областей. Big data и  computer vision.
Big data - это сравнительно новая область. По русски можно перевести так - когда количество переходит в качество.  Мы имеем базу данных которая покрывает всю полезную информацию. Остаётся её добыть. Сортировка по качеству, а после обогащение.

Проблема в том что для первичной обработки изображений, так называемые сырые данные, нужны больше вычислительные мощности. А сами изображения ещё хранятся в сжатом виде что требует распаковки.
По поводу алгоритмов суть в том что имея всё многообразия данных найти наиболее быстрые алгоритмы. Даже в первом приближении такой подход должен дать 10 превосходство над конкурентами по скорости и качество должно быть немного выше.


 
Pavelnk ©   (2015-03-17 16:59) [16]

> pavia ©   (16.03.15 17:31) [15]
> Я сейчас хочу поработать на стыке двух областей. Big data
> и  computer vision.
Как то сам напрашивается вопрос,  кто же ваш спонсор?)


 
pavelnk ©   (2015-03-17 16:59) [17]

Химкинский хладокомбинат, например)


 
virex(home) ©   (2015-03-18 05:56) [18]

>pavia ©   (16.03.15 17:31) [15]

для какой первичной обработки?

если для поиска по картинкам - на хабре есть статья как сделать текстовый хэш картинки который не зависит от изменения цветности, и мелких деталей


 
brother ©   (2015-03-18 13:03) [19]

[18] уж не промаску изображения в чб идет разговор?


 
virex(home) ©   (2015-03-18 14:40) [20]

>brother ©   (18.03.15 13:03) [19]

да. статья "как работает перцептивный хэш"



Страницы: 1 вся ветка

Текущий архив: 2015.11.01;
Скачать: CL | DM;

Наверх




Память: 0.51 MB
Время: 0.005 c
15-1426601509
Кто б сомневался
2015-03-17 17:11
2015.11.01
Каким НЕ должно быть ПО


15-1426714204
Юрий
2015-03-19 00:30
2015.11.01
С днем рождения ! 19 марта 2015 четверг


15-1426887004
Юрий
2015-03-21 00:30
2015.11.01
С днем рождения ! 21 марта 2015 суббота


15-1426785270
Jeer
2015-03-19 20:14
2015.11.01
Подводников - с Днем!


15-1426411817
Pavia
2015-03-15 12:30
2015.11.01
Кластер на халяву