народ помогине с blockread

← →
Azbul (2002-11-11 14:45) [0]

помогите написать процедуру чтения текстового файла по средствам blockread сразу говорю файл большой ~500-2000 mb так что в память считать весь не получается....

← →
MBo © (2002-11-11 14:48) [1]

Что именно не получается c процедурой чтения?

← →
icWasya © (2002-11-11 14:56) [2]

и зачем текстовый файл читать через BlockRead

← →
pasha_golub © (2002-11-11 15:40) [3]

этот вопрос уже звучал, по моему. И у меня такой же был. Так вот советовали читать не весь файл, а постранично.

← →
F1 © (2002-11-11 16:00) [4]

Посмотри про
MemoryMappedFile

← →
Azbul (2002-11-11 16:08) [5]

MBo> при процедуке чтения иногда бывает что сама процедура blockread прочитывает не всю строку из файла т.е. начала нету, а есть тока конец (не знаю пока по непонятным мне причинам)

icWasya> а ты пробывал прочитать текстовый файл размером в 2 гб?? на моей машине AMD Athlon 1600+ это занимает примерно 1,5 часа

← →
Azbul (2002-11-11 17:37) [6]

процедурой readln

← →
Anatoly Podgoretsky © (2002-11-11 17:42) [7]

У тебя что то не в порядке с дисковой подсистемой, в зависимости от скорости дисков от 20 минут до 40 секунд ( первый для случая порядка 1 мб в сек, если очень старый диск)

← →
Azbul (2002-11-11 18:31) [8]

Anatoly Podgoretsky> c файловой системой всё номана просто сама процедура readln работает очень медленно по этому я и решил использовать BlockRead

← →
han_malign © (2002-11-11 18:35) [9]

А смысл - любой файл все равно читается блоками не меньше 4Кб(для дискеты 512б),и кэшируется в памяти файловой сисстемой.

← →
Alex44 (2002-11-11 18:56) [10]

Otlichie ReadLn ot BlockRead (po sushestvu)---eto to, chto ReadLn, posle chteniya, scaniruet resultat i nahodit tam symboly contsa stroki. Hotya, konechno, ne dolzhno eto na mnogo bol"she vremeni zanimat"...

> MBo> при процедуке чтения иногда бывает что сама процедура
> blockread прочитывает не всю строку из файла т.е. начала
> нету, а есть тока конец (не знаю пока по непонятным мне
> причинам)

Bylo by stranno, esli by eto bylo ne tak.

Ya dumayu, otvet na Vash vopros zavisit v znachitel"noj stepeni ot togo, chto Vy sobiraetes" s etim file"om delat".

Da, eshe: problema s ReadLn mozhet byt" vyzvana tem, chto po umolchaniyu u textovogo file"a ochen" malen"kij bufer (128 bytes). Ran"she ego mozhno bylo menyat"; posmotrite povnimatel"nee.

← →
Набережных С. (2002-11-11 22:53) [11]

Попробуй вот это. Только учти - не тестировано, мог и напутать в логике. Но у меня чуть больше гигабайта около 5 секунд читает на очень хилом диске.
type TOvp = record Ovp: TOverlapped; Block: PByte; end; procedure TForm1.Button3Click(Sender: TObject); const QueryMax = MAXIMUM_WAIT_OBJECTS; BlockSize: integer = 16 * 4096; var Start,Stop: DWORD; n :integer; QueryCount: integer; StepCount: integer; FileSize: Integer; CurrentPos:integer; P:PByte; HFile: THandle; Ovp: array[0..QueryMax-1] of TOvp; begin Label1.Caption:=""; Application.ProcessMessages; Screen.Cursor:=crHourGlass; Start:=GetTickCount; HFile:=CreateFile("D:\Archive\Archive1.rar", GENERIC_READ, 0, nil,OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL or FILE_FLAG_NO_BUFFERING or FILE_FLAG_OVERLAPPED, 0); if HFile = INVALID_HANDLE_VALUE then RaiseLastWin32Error; FileSize:=GetFileSize(HFile,nil); if FileSize = 0 then Exit; GetMem(P,BlockSize*QueryMax); StepCount:=FileSize div BlockSize; if FileSize mod BlockSize > 0 then Inc(StepCount); if StepCount < QueryMax then QueryCount:=StepCount else QueryCount:=QueryMax; for n :=0 to QueryCount-1 do begin ZeroMemory(@Ovp[n],SizeOf(TOvp)); with Ovp[n], Ovp do begin Block:=pointer(integer(P)+BlockSize*n); if hEvent = 0 then hEvent:=CreateEvent(nil,false,false,nil); end; end; CurrentPos:=0; repeat Dec(StepCount,QueryCount); for n:=0 to QueryCount-1 do begin Ovp[n].Ovp.Offset:=CurrentPos; ReadFile(HFile,Ovp[n].Block^,BlockSize,DWORD(nil^),@Ovp[n]); Inc(CurrentPos,BlockSize); end; if QueryCount > 0 then WaitForMultipleObjects(QueryCount,@Ovp[0],true,10000); // Здесь - обработка считанного блока if StepCount < QueryMax then QueryCount:=StepCount else QueryCount:=QueryMax; until QueryCount < 1; Stop:=GetTickCount; Label1.Caption:=IntToStr(Stop-Start); Screen.Cursor:=crDefault; Application.ProcessMessages; CloseHandle(HFile); for n:=0 to QueryMax-1 do if Ovp[n].Ovp.hEvent <> 0 then CloseHandle(Ovp[n].Ovp.hEvent); FreeMem(P); end;

← →
Набережных С. (2002-11-11 23:00) [12]

Вместо
if hEvent = 0 then hEvent:=CreateEvent(nil,false,false,nil);
напиши просто
hEvent:=CreateEvent(nil,false,false,nil);
Забыл убрать:)

Когда-то в другом месте, один человек проводил тестирования скорости чтения файлов разными способами. Говорит, что BlockRead самый быстрый. Так что я бы советовал BlockRead и читать блоками (на то он и Blockread). :)

А Steam ами нельзя?

народ помогине с blockread Найти похожие ветки