Ускорение удаления фалов в NTFS

← →
GreyWolf (2008-05-30 11:14) [0]

Может кто подскажет, есть ли способ ускорить операцию удаления файлов в с диска в системе NTFS объемом около 40 Гб под Win XP SP2? А то текущая скорость уже достала.

← →
tesseract © (2008-05-30 11:23) [1]

quick format. Или в настройках тома указать - "оптимизировать для удаления".

← →
Правильный_Вася (2008-05-30 11:45) [2]

> текущая скорость уже достала.

много файлов по 10-1000 байт? и каждый день новые?
может, писать их в БД?

← →
БарЛог © (2008-05-30 19:07) [3]

> много файлов по 10-1000 байт? и каждый день новые?
Реальный геморрой. Пробывал. Перешел на базу.

← →
LightRipple © (2008-05-31 04:51) [4]

> [0] GreyWolf (30.05.08 11:14)
> Может кто подскажет, есть ли способ ускорить операцию удаления файлов в с диска в системе NTFS
> объемом около 40 Гб под Win XP SP2? А то текущая скорость уже достала.

Если хочешь, могу попробовать собрать exe-шник (не обещаю что быстро получиться).
Заодно и потестишь :) Мне самой интересно.
Предположение:
На индексированном диске должен работать быстро,
на не-индексированном, примерно в два раза быстрее чем пройтись FindFirst - ом по удаляемой директории.
Требования к системе как ты описал.

← →
ketmar © (2008-05-31 12:46) [5]

>[4] LightRipple © (2008-05-31 04:51:00)
порт ntfs3g на винду? %-))

---
Understanding is not required. Only obedience.

← →
guav © (2008-05-31 13:07) [6]

> [5] ketmar © (31.05.08 12:46)
> порт ntfs3g на винду? %-))

Вот ну его нафиг этот ntfs3g. Вообще.
NTFS под винду уже есть. Под невинду его нет.

Думаю LightRipple имеет ввиду просто более оптимальную последовательность API вызовов чем рекурсивный RemoveDirectory+DeleteFile.

← →
LightRipple © (2008-05-31 13:16) [7]

> [6] guav © (31.05.08 13:07)
> Думаю LightRipple имеет ввиду просто более оптимальную последовательность
> API вызовов чем рекурсивный RemoveDirectory+DeleteFile.

Ага. Плюс всякие полезные мелочи от Nt - функций :)

> NTFS под винду уже есть.

Это как надо понимать ?

← →
ketmar © (2008-05-31 13:16) [8]

>[6] guav © (2008-05-31 13:07:00)
>Под невинду его нет.
вот блин. интересно, как я с ntfs без винды работаю… дайте мне премию как первому асилившему libastral!

---
Understanding is not required. Only obedience.

← →
LightRipple © (2008-05-31 13:23) [9]

Кстати, раз уж такое дело.
Столкнулась с некорректностью работы одной из "программ".
Или Norton Ghost, или линуксоиды партачат.
Короче файлы, скопированные Линуксом с NTFS диска на другой NTFS диск Norton Ghost не видит.
Глубже не копала (не было времени, да и желания). Кто из них виновен не знаю.
Но Symantec уважаю :)

← →
guav © (2008-05-31 13:25) [10]

> [8] ketmar © (31.05.08 13:16)
> вот блин. интересно, как я с ntfs без винды работаю…

Если только читаешь, то это ещё не работаешь.

Если пишешь через ntfs3g, то я тут уже говорил.
NTFS в отличии от FAT изначально разрабатывалась как журналируемая система. И она рассчитывает на то, что в случае сбоев возможен повтор и откат по журналу (в отличии от FAT, где разнообразие возможных сбоев ограничено самой структурой FAT и эти сбои являются исправимыми без журнала). Причём сбои могут быть как програмные (оказалось, что не хватило места на диске) так и аппаратные (отключили электричество). ntfs3g в $LogFile не пишет и, таким образом, сбои при его использовании разрушают NTFS.
Баян в тему http://bash.org/?689386 .

> [7] LightRipple © (31.05.08 13:16)
> NTFS под винду уже есть.

Ну, этот, стандартный NTFS.SYS :)

← →
guav © (2008-05-31 13:28) [11]

> [8] ketmar © (31.05.08 13:16)

Ну т.е. может читаешь, может даже пишешь, но как файловую систему - не используешь.

> [9] LightRipple © (31.05.08 13:23)

Можно образ оригинала и копии мне на почту ?

← →
ketmar © (2008-05-31 13:29) [12]

>[10] guav © (2008-05-31 13:25:00)
>Если только читаешь, то это ещё не работаешь.
потрясающая телепатия. но libthelepaty пересобери, она у тебя сглючила.

>таким образом, сбои при его использовании разрушают NTFS.
ни разу не было. ты б поменьше башоргов читал и побольше чейнджлогов — был бы в курсе. ntfs3g давно уже нормально пишет. мы пользуемся. вам оно не надо — понятно, что вы до сих пор в курсе новостей прошлого века.

---
Understanding is not required. Only obedience.

← →
guav © (2008-05-31 13:31) [13]

> [12] ketmar © (31.05.08 13:29)
> ни разу не было.

Я код ntfs3g смотрел. Он не журналирует ничего. Выключи компьютер в момент записи - и приехали.

← →
ketmar © (2008-05-31 13:32) [14]

>[11] guav © (2008-05-31 13:28:00)
>но как файловую систему — не используешь.
э… а как? нет, а как ещё можно юзать ntfs? у неё есть какое-то другое применение?

а если ты про установку на неё системы — так я не дурак и не самоубийца. это у вас выбора нет, а лично я предпочитаю RaiserFS. быстрее, надёжней, проще, с открытым кодом (отсюда для создания инструментов восстановления, буде такие нужны, не надо реверсить, а можно взять и посмотреть).

---
Understanding is not required. Only obedience.

← →
ketmar © (2008-05-31 13:32) [15]

>[13] guav © (2008-05-31 13:31:00)
>Выключи компьютер в момент записи - и приехали.
выключался. винда понервничала, прогнала скандиск, ничего не падало. ЧЯДНТ?

---
Understanding is not required. Only obedience.

← →
guav © (2008-05-31 13:36) [16]

> [14] ketmar © (31.05.08 13:32)
> э… а как? нет, а как ещё можно юзать ntfs? у неё есть какое-
> то другое применение?

Файловая система подразумевает определённую надёжность, которую ntfs3g не обеспечивает.

← →
guav © (2008-05-31 13:39) [17]

> [15] ketmar © (31.05.08 13:32)
> выключался. винда понервничала, прогнала скандиск, ничего
> не падало.

оно раз на раз не приходится.
кроме того скандиск для NTFS использует $LogFile, т.е. если там незавершенных транзакций нет, то он может не найти ошибку, которая есть.

← →
LightRipple © (2008-05-31 13:39) [18]

> [11] guav © (31.05.08 13:28)
> Можно образ оригинала и копии мне на почту ?

Оригиналы файлов ? Если да, то сделаю еще раз (старые уничтожила) и вышлю.
Но я думаю, что они (оригинал и копия) идентичны.
Мне кажется что дело не в них а в записях в MFT. Но может я и ошибаюсь.

← →
guav © (2008-05-31 13:40) [19]

> [18] LightRipple © (31.05.08 13:39)
> Оригиналы файлов ?

Образы дисков. обычные или TC.

← →
LightRipple © (2008-05-31 13:44) [20]

> [19] guav © (31.05.08 13:40)
> Образы дисков. обычные или TC.

Хорошо. Воспроизведу ситуацию и вышлю.
Я как раз тогда использовала малнький диск (4 GB).

← →
ketmar © (2008-05-31 14:04) [21]

>[16] guav © (2008-05-31 13:36:00)
>Файловая система подразумевает определённую надёжность
т.о. FAT из FS вычёркиваем? %-)

>которую ntfs3g не обеспечивает.
да и не обязано. чудо, что оно вообще работает. но работает. хотя это и неправильно — поддержа ntfs не нужна.

>он может не найти ошибку, которая есть.
да ну и хрен бы с ней, винда не моя. %-)

---
Understanding is not required. Only obedience.

← →
guav © (2008-05-31 14:14) [22]

> [21] ketmar © (31.05.08 14:04)
> т.о. FAT из FS вычёркиваем? %-)

У FAT нет такой острой необходимости в журналировании, как в NTFS.
Все метаданные файла кроме цепочки FAT (и добавленного в последствии длинного имени) находятся в одном секторе, т.о. не может быть неконсистентого их состояния из-за недозаписи. Неконсистентные длиные имена могут быть отброшены. Неконсистентность цепочек FAT проявляется в виде "потеряных кластеров" и не приводит к накоплению ошибок, потеряные кластеры легко восстанавливаются скандиском. Смотри также - TFAT.
Другое дело NTFS, где метаданные сильно раскиданы и последствия прерваной операции были бы непредсказуемы, если бы не журналирование каждой операции с метаданными.

> хотя это и неправильно — поддержа ntfs не нужна.

Вот тут согласен.

← →
ketmar © (2008-05-31 14:54) [23]

>[22] guav © (2008-05-31 14:14:00)
да не надо мне простейшие вещи объяснять. %-)

>Неконсистентность цепочек FAT проявляется в виде «потеряных кластеров» и не
>приводит к накоплению ошибок
ты никогда не получал «битые файлы» на дискетках, если свет рубают? а я в школе работал на 286-х без винтов, и рубильник был в коридоре. файлы «бились» только так, и не из-за физической порчи, а из-за «недозаписи» FAT.

---
Understanding is not required. Only obedience.

> [23] ketmar © (31.05.08 14:54)
> ты никогда не получал «битые файлы» на дискетках, если свет
> рубают? а я в школе работал на 286-х без винтов, и рубильник
> был в коридоре. файлы «бились» только так, и не из-за физической
> порчи, а из-за «недозаписи» FAT.

Данные_самих_файлов != метаданные.
Речь идёт не о спасении файлов, с которыми идёт работа - тут журналирование NTFS тоже не спасёт.
Речь идёт о сохранении системы в консистентом состоянии, чтобы не потерять другие файлы.

> да не надо мне простейшие вещи объяснять. %-)

Точно ?
Тогда это должно быть понятно:
ntfs3g не реализует корректную работу с NTFS. Запись через него не есть работа с NTFS как с файловой системой. Т.о. [6] не опровергнуто.

>[24] guav © (2008-05-31 15:15:00)
>ntfs3g не реализует корректную работу с NTFS
оно реализует достаточно, чтобы при условии отсутствия сбоев в момент записи всё работало. т.о. запись через него есть именно работа с ntfs. а то, что не в полном объёме — так я этого и не утверждал. в достаотчном объёме.

---
Understanding is not required. Only obedience.

Да, сам записываемый файл может оказаться "битым" в какой-то реализации FAT. В реализации fastfat, которая в Windows кроме 9х я такого не представляю. Недозаписаный да, пустой совсем - да, но "битый" - нет.

>[26] guav © (2008-05-31 15:40:00)
а в dos бывало. я ж про dos говорил, это очевидно, по-моему.

---
Understanding is not required. Only obedience.

>[26] guav © (2008-05-31 15:40:00)
так вот по твоему определению, dos не умеет работать с FAT как с FS. так?

---
Understanding is not required. Only obedience.

> [27] ketmar © (31.05.08 15:46)
> а в dos бывало. я ж про dos говорил, это очевидно, по-моему.

Всё равно. Не пытаясь читать "битый" из-за недописанности файл, работай с другими - всё будет работать.

>[29] guav © (2008-05-31 15:50:00)
а тепеьр примерь это на ntfs3g и винду. двоемыслие получается, нет?

---
Understanding is not required. Only obedience.

> [30] ketmar © (31.05.08 15:52)

нет.
FAT не является надёжной by design (хотя в неё можно добавить надёжность просто работая с ней определённым образом, ни разу её не меняя - см. TFAT).
NTFS является надёжной by design. Поэтому превратив её в систему менее надёжную чем FAT - мы уже не работаем с NTFS.

>[31] guav © (2008-05-31 16:01:00)
теперь ясно. у нас разные границы «работы». я считаю, что «в достаточном объёме» — это «работать», а ты — нет. за сим предлагаю завершить, позиции сторон ясны. ты не переубедишь меня, а я — тебя. %-)

---
Understanding is not required. Only obedience.

Ускорение удаления фалов в NTFS Найти похожие ветки