Ребят, прошу потестировать файловую систему

← →
brother © (2013-03-20 21:23) [40]

> Будет ли Виндоус писать физически в одно и то же место диска
> НТФС

вопрос не к винде, а именно к ФС! и далеко не факт, что будет.

← →
brother © (2013-03-20 21:24) [41]

либо тестировать без ФАТ, резервируюя для себя некую физическую область винта. но это отдельная песня

← →
Inovet © (2013-03-20 21:46) [42]

> [41] brother © (20.03.13 21:24)
> либо тестировать без ФАТ

ДОС вот на диске ФАТ смотрела и тупо писала последовательно в свободные кластеры, про ФАТ в Виндоус фиг знает. Про НТФС даже предполагать не могу, ибо пальцем в небо, тут читать документацию на ФС надо.

← →
DevilDevil © (2013-03-21 10:38) [43]

Ого вы понаписали !
Спасибо за внимание к вопросу

В целом - я и так уже мучаюсь с тестами не первую неделю
Если действительно есть желание докапываться до истины - ради бога меняйте исходники (или пишите свои) - они в всегда в архиве

← →
DevilDevil © (2013-03-21 10:40) [44]

← →
DevilDevil © (2013-03-21 10:42) [45]

Windows XP, SectorSize: 512, ClasterSize: 4kb

read_test.exe

Top 19:
843ms: 64kb, NoBuffering | Overlapped
843ms: 128kb, NoBuffering | Overlapped | Sequential
843ms: 64kb, NoBuffering | Overlapped
844ms: 32kb, Overlapped
844ms: 64kb, Default
844ms: 4kb, Overlapped
844ms: 128kb, Default
844ms: 4kb, Sequential
844ms: 256kb, Overlapped
844ms: 4kb, Default
844ms: 16kb, Overlapped | Sequential
844ms: 16kb, Overlapped | Sequential
844ms: 16kb, Sequential
844ms: 16kb, Overlapped | Sequential
844ms: 128kb, Overlapped
844ms: 16kb, Sequential
844ms: 16kb, Overlapped | Sequential
844ms: 128kb, Overlapped
859ms: 128kb, NoBuffering | Overlapped | Sequential

write_test.exe
Top 38:
2281ms: 256kb, Overlapped | Sequential | WriteThrough
2312ms: 256kb, Overlapped | Sequential | WriteThrough
2344ms: 128kb, Overlapped | Sequential | WriteThrough
2359ms: 256kb, Default
2360ms: 128kb, Overlapped | Sequential | WriteThrough
2360ms: 256kb, Sequential
2375ms: 128kb, Sequential
2375ms: 128kb, Default
2390ms: 128kb, Overlapped | WriteThrough
2390ms: 128kb, Default
2390ms: 256kb, Overlapped | WriteThrough
2390ms: 128kb, Overlapped | WriteThrough
2390ms: 64kb, Sequential
2391ms: 128kb, Default
2391ms: 256kb, Sequential
2391ms: 128kb, Overlapped | Sequential | WriteThrough
2406ms: 128kb, Overlapped | WriteThrough
2406ms: 128kb, Default
2406ms: 256kb, Default
2406ms: 256kb, Sequential
2406ms: 256kb, Default
2422ms: 128kb, Sequential
2422ms: 256kb, Sequential
2437ms: 128kb, Sequential
2438ms: 256kb, Default
2453ms: 256kb, Overlapped | WriteThrough
2453ms: 64kb, Overlapped | WriteThrough
2469ms: 128kb, Sequential
2484ms: 64kb, Overlapped | WriteThrough
2484ms: 64kb, Default
2485ms: 64kb, Sequential
2500ms: 64kb, Sequential
2515ms: 64kb, Default
2531ms: 64kb, Sequential
2532ms: 64kb, Overlapped | Sequential | WriteThrough
2578ms: 256kb, Overlapped | WriteThrough
2578ms: 64kb, Default
2593ms: 128kb, Overlapped | Sequential | WriteThrough

← →
DevilDevil © (2013-03-21 10:43) [46]

Windows XP, SectorSize: 512, ClasterSize: 4kb

read_test.exe
Top 19:
1406ms: 16kb, Overlapped
1406ms: 4kb, Overlapped
1406ms: 32kb, Overlapped | Sequential
1406ms: 64kb, Sequential
1406ms: 64kb, NoBuffering | Overlapped | Sequential
1406ms: 128kb, Sequential
1406ms: 256kb, Default
1406ms: 256kb, Sequential
1406ms: 4kb, Overlapped
1406ms: 16kb, Default
1406ms: 32kb, Sequential
1406ms: 64kb, Sequential
1406ms: 128kb, Overlapped
1406ms: 128kb, Overlapped | Sequential
1406ms: 128kb, NoBuffering | Overlapped | Sequential
1406ms: 4kb, Overlapped
1406ms: 4kb, Sequential
1406ms: 16kb, Default
1406ms: 16kb, Overlapped

write_test.exe
Top 38:
4015ms: 256kb, Overlapped | WriteThrough
4016ms: 256kb, Overlapped | Sequential | WriteThrough
4016ms: 256kb, Overlapped | WriteThrough
4046ms: 256kb, Overlapped | Sequential | WriteThrough
4047ms: 256kb, Overlapped | WriteThrough
4047ms: 256kb, Overlapped | WriteThrough
4187ms: 256kb, Overlapped | Sequential | WriteThrough
4203ms: 128kb, Overlapped | WriteThrough
4250ms: 128kb, Overlapped | WriteThrough
4266ms: 256kb, Sequential
4281ms: 256kb, Sequential
4282ms: 256kb, Sequential
4297ms: 256kb, Sequential
4297ms: 128kb, Overlapped | Sequential | WriteThrough
4297ms: 256kb, Default
4328ms: 128kb, Sequential
4359ms: 256kb, Default
4360ms: 128kb, Overlapped | Sequential | WriteThrough
4390ms: 128kb, Overlapped | WriteThrough
4390ms: 128kb, Sequential
4422ms: 64kb, Default
4438ms: 256kb, Default
4438ms: 128kb, Sequential
4438ms: 128kb, Default
4438ms: 128kb, Overlapped | Sequential | WriteThrough
4453ms: 64kb, Sequential
4454ms: 128kb, Default
4468ms: 64kb, Sequential
4469ms: 256kb, Default
4500ms: 64kb, Sequential
4515ms: 64kb, Default
4547ms: 256kb, NoBuffering | Overlapped | Sequential
4547ms: 64kb, Sequential
4562ms: 256kb, NoBuffering
4562ms: 256kb, NoBuffering
4562ms: 256kb, NoBuffering | Sequential
4562ms: 256kb, NoBuffering | Overlapped | Sequential
4562ms: 256kb, NoBuffering | Sequential

← →
DevilDevil © (2013-03-21 10:45) [47]

← →
Inovet © (2013-03-21 10:46) [48]

> [43] DevilDevil © (21.03.13 10:38)
> Если действительно есть желание докапываться до истины

А у тебя нет что ли такого желания?

← →
DevilDevil © (2013-03-21 10:57) [49]

Windows 7, SectorSize: 512, ClasterSize: 4kb

read_test.exe
Top 19:
1170ms: 16kb, Default
1170ms: 32kb, Default
1170ms: 32kb, NoBuffering | Overlapped
1170ms: 64kb, Default
1170ms: 64kb, NoBuffering | Overlapped
1170ms: 128kb, Default
1170ms: 128kb, NoBuffering | Overlapped
1170ms: 128kb, NoBuffering | Sequential
1170ms: 4kb, Default
1170ms: 4kb, Sequential
1170ms: 4kb, Overlapped | Sequential
1170ms: 16kb, Overlapped | Sequential
1170ms: 32kb, NoBuffering | Overlapped
1170ms: 32kb, Overlapped | Sequential
1170ms: 64kb, NoBuffering | Overlapped
1170ms: 128kb, NoBuffering
1170ms: 128kb, NoBuffering | Overlapped
1170ms: 256kb, Default
1170ms: 256kb, NoBuffering | Overlapped

write_test.exe
Top 38:
1575ms: 256kb, WriteThrough
1607ms: 256kb, Overlapped | Sequential | WriteThrough
1701ms: 128kb, WriteThrough
1716ms: 256kb, NoBuffering | Overlapped | Sequential | WriteThrough
1747ms: 256kb, NoBuffering | Overlapped | Sequential | WriteThrough
1763ms: 256kb, Sequential | WriteThrough
1794ms: 128kb, WriteThrough
1809ms: 256kb, NoBuffering | Sequential | WriteThrough
1810ms: 256kb, NoBuffering | Overlapped | WriteThrough
1825ms: 256kb, Overlapped | Sequential | WriteThrough
1840ms: 256kb, Overlapped | WriteThrough
1841ms: 256kb, Sequential | WriteThrough
1841ms: 128kb, Overlapped | Sequential
1841ms: 256kb, NoBuffering | WriteThrough
1856ms: 128kb, Overlapped | WriteThrough
1857ms: 256kb, Sequential
1872ms: 256kb, Overlapped
1872ms: 256kb, Default
1872ms: 256kb, Overlapped | Sequential
1872ms: 256kb, Overlapped | WriteThrough
1887ms: 256kb, Overlapped | WriteThrough
1887ms: 256kb, Overlapped | Sequential
1887ms: 256kb, Default
1888ms: 256kb, Overlapped
1903ms: 256kb, Sequential
1903ms: 256kb, Default
1903ms: 256kb, Overlapped | Sequential
1918ms: 128kb, NoBuffering | WriteThrough
1919ms: 256kb, Sequential | WriteThrough
1934ms: 128kb, WriteThrough
1935ms: 128kb, Sequential | WriteThrough
1950ms: 256kb, NoBuffering | Sequential | WriteThrough
1950ms: 256kb, WriteThrough
1965ms: 256kb, Overlapped | WriteThrough
1966ms: 256kb, WriteThrough
1981ms: 128kb, NoBuffering | Sequential | WriteThrough
1981ms: 256kb, NoBuffering | Overlapped | WriteThrough
1996ms: 128kb, NoBuffering | Overlapped | WriteThrough

← →
DevilDevil © (2013-03-21 10:57) [50]

> Inovet © (21.03.13 10:46) [48]
> > [43] DevilDevil © (21.03.13 10:38)
> > Если действительно есть желание докапываться до истины
>
> А у тебя нет что ли такого желания?

у меня нет сил

← →
DevilDevil © (2013-03-21 10:58) [51]

← →
brother © (2013-03-21 12:16) [52]

> у меня нет сил

тогда зачем начинал это все???

← →
DevilDevil © (2013-03-21 16:15) [53]

> brother © (21.03.13 12:16) [52]

а ты как думаешь ?

← →
brother © (2013-03-21 17:25) [54]

Удалено модератором
Примечание: не в пивной...

← →
DevilDevil © (2013-03-21 17:31) [55]

> brother © (21.03.13 17:25) [54]

а тебе не видно эффективности одних наборов параметров и неэффективности других ?
раз так эдак в 5

← →
brother © (2013-03-21 18:01) [56]

долго мусолишь одно и то-же

← →
DevilDevil © (2013-03-21 19:17) [57]

как видишь оно того стоит
только мои ресурсы ограничены

← →
Rouse_ © (2013-03-21 20:39) [58]

Дим я тоже думаю, что в данном случае ты не верно делаешь - тесты плывут сильно. С этими данными нельзя работать даже на этапе предварительного анализа к сожалению...

← →
DevilDevil © (2013-03-21 21:02) [59]

> Rouse_ © (21.03.13 20:39) [58]

дак блин
ну давайте объединим свои усилия
сообществом разработчиков решим этот вопрос

я свой вклад внёс как смог
я ж не резиновый )

← →
Rouse_ © (2013-03-21 21:37) [60]

Цель задачи не понятная. Сделать максимально быстрое чтение запись?
Я не уверен что стоит оптимизировать файловые операции, это всегда было узким местом. Да уж если и хочешь оптимизировать, то тогда через свой драйвер, убирая внешние воздействия как делает тот же MS SQL

← →
DevilDevil © (2013-03-21 21:51) [61]

> Rouse_ © (21.03.13 21:37) [60]

идея конечно здравая
но я не обладаю информацией

я думаю этот вопрос можно решить на уровне размер буфера и файловых опций
и пока не могу понять, почему ранее выбранные мной опции не являются максимально эффективными

размер буфера: 256кб
чтение Overlapped | Sequential | (если ОС < Win7)NoBuffering
запись Overlapped | Sequential | WriteThrough

← →
Rouse_ © (2013-03-21 22:30) [62]

> и пока не могу понять, почему ранее выбранные мной опции
> не являются максимально эффективными

Сколько миллисекунд ты хочешь выиграть на объеме от 100 Мб?
Что они тебе дадут? Пока у тебя плавает в маленьком диапазоне - что вообще монопенисюально для обычной прикладной программы, которые по сути своей крайне редко работают с таким объемом данных, на которых ты тестируешь.

> Rouse_ © (21.03.13 22:30) [62]

тут не вопрос "сколько выиграть"
тут вопрос "как вообще надо" выставлять опции и размер буфера в таких ситуациях

да и потом, как ты видел - разница бывает в разы
не просто в разы, а в разы медленнее априори очень медленных операций

← →
Sapersky (2013-03-21 23:30) [66]

Выкинуть No_Buffering без overlapped, которое всё равно в жизни никто не использует.
Тогда разница в разы уйдёт, останется разница на уровне погрешности измерений, и тест окончательно потеряет смысл :)

> DevilDevil © (21.03.13 23:15) [65]

Ну если честно - все :)
1. Тестирование нагрузки на железо через апи третьего кольца выдаст погрешность.
2. Зачем тестировать, где использовать результат?
3. Каких скоростей ты хочешь достигнуть? Сам понимаешь, проще в некоторых случаях сменить железо чем переписать программу.
4. Используемые тобой режимы не используют 99 процентов программистов, им достаточно классики. Я не думаю что до тебя не было сделавано исследование что мол ОПА - вот с таким флагом будет читаться сверхбыстро. Сколько лет уж прошло...

> Sapersky (21.03.13 23:30) [66]
> Выкинуть No_Buffering без overlapped, которое всё равно
> в жизни никто не использует.
> Тогда разница в разы уйдёт, останется разница на уровне
> погрешности измерений, и тест окончательно потеряет смысл
> :)

ну то есть ты хочешь сказать, что от Sequential и WriteThrough нет толка ?

> Rouse_ © (21.03.13 23:32) [67]

сейчас я отрою свою цитату из старой ветки :)

В конечном счёте задача одна - какие опции и размер буфера использовать в универсальной библиотеке для потокового чтения/записи. Чтобы раз выставить и уже не париться.

> [69] DevilDevil © (22.03.13 12:30)

Как видим, в реальных условиях это сильно зависит от различных факторов. И даже, создав идеальные условия для тестирования и подобрав некие параметры, дающие максимально быстрый результат, что тоже вряд ли возможно из-за различий в аппаратуре, пользоваться ими в раеальности будет неоптимально в одних случаях, в других, может быть, и близко к оптимальному.

Что получается? Не делать же замер перед каждым использованием приложения с этой библиотекой. Получается, надо взять некие параметры, дающие наилучшие результаты на большинстве систем. Но и это при условии достоверности измерений, о чём выше говорилось уже.

← →
Sapersky (2013-03-22 19:37) [71]

ну то есть ты хочешь сказать, что от Sequential и WriteThrough нет толка ?

От Sequential - возможно, есть эффект, но его сложно заметить, в топах всё перемешано. Ты бы хоть автоматически подсчитывал, сколько (например) в топе с Sequential, сколько без.
В любом случае, какого-то значительного отрыва от Default не видно. Почему - уже была ссылка:
http://blogs.msdn.com/b/oldnewthing/archive/2012/01/20/10258690.aspx
(менеджер кэша может автоматически переключаться в Sequential-режим)
Соображения в пользу Sequential больше теоретические - "в любом случае не повредит", как я здесь писал:
http://delphimaster.net/view/15-1360736756/
Но для таких соображений тест не нужен, достаточно документации.

Про запись - опять же см. старую ветку, [139] + [142].

> тут вопрос "как вообще надо" выставлять опции и размер буфера
> в таких ситуациях

еще раз: тк. не сделано одной опции и буфера, значит, зависит от железа и подгонятся под конкретну машину... золотой середины нет...

Ребят, прошу потестировать файловую систему Найти похожие ветки