求在C中将一个字符串中的汉字提取出来的算法

曾半仙

用于从非文本内容中滤过出连续的类似文字的东西.
这样他要用就得自己改了吧, jason兄~~

1. function TMainFrm.RipThreadExecute(Sender: PThread): Integer;
   
2. var
   
3.   Spos, Ssize, Dripd, crLenth, crByte, CrAddon: Int64;
   
4.   Position0, Position1, Position2: Integer;
   
5.   StartTick: DWORD;
   
6.   B1, B2: Byte;
   
7.   W1:     WORD;
   
8.   mRipEng, mRipMix, mRipHan: Boolean;
   
9.   mIsHan, Flush, Mixed: Boolean;
   
10.   aEng, aHan: Boolean;
    
11.   limEng, limHan, limMix: Integer;
    
12.   RecPre, RecLine: String;
    
13.   IsHan:  function(B1: Byte; B2: Byte): Boolean;
    
14.   ExfHan: function(B1: Byte; B2: Byte): Boolean;
    
15.   IsEng:  function(B: Byte): Boolean;
    
16. begin
    
17.   StartTick := GetTickCount();
    
18.   mRipEng := RipEng.Checked;
    
19.   mRipHan := RipHan.Checked;
    
20.   mRipMix := RipMix.Checked;
    
21.   LimEng  := MHLimEng.Position;
    
22.   LimHan  := MHLimHan.Position;
    
23.   LimMix  := MHLimMix.Position;
    
24. 
    
25.   IsHan := nil;
    
26.   if RipBig5.Checked then     IsHan := IsBIG5;
    
27.   if RipGBK.Checked then      IsHan := IsGBK;
    
28.   if RipGB2312.Checked then   IsHan := IsGB2312;
    
29.   if RipJIS.Checked then      IsHan := IsJIS;
    
30.   ExfHan := nil;
    
31.   if ExfBig5.Checked then     ExfHan := IsBIG5;
    
32.   if ExfGBK.Checked then      ExfHan := IsGBK;
    
33.   if ExfGB2312.Checked then   ExfHan := IsGB2312;
    
34.   if ExfJIS.Checked then      ExfHan := IsJIS;
    
35. 
    
36.   if RipJIS.Checked then
    
37.     IsEng := IsAsciiOrHalfWidthKatakana
    
38.   else
    
39.     IsEng := IsAscii;
    
40. 
    
41.   if noWholeBuff.Checked then
    
42.   begin
    
43.     BufStm := NewReadFileStream(RipInputEdt.Text);
    
44.     Ssize  := BufStm.Size;
    
45.   end
    
46.   else
    
47.   begin
    
48.     InputFStm := NewReadFileStream(RipInputEdt.Text);
    
49.     BufStm    := NewMemoryStream();
    
50.     Ssize     := InputFStm.Size;
    
51.     BufStm.Size := Ssize;
    
52.     Stream2Stream(BufStm, InputFStm, InputFStm.Size);
    
53.     InputFStm.Free;
    
54.     BufStm.Position := 0;
    
55.   end;
    
56.   StringStm := NewMemoryStream();
    
57.   StringStm.Position := 0;
    
58.   Spos      := 0;
    
59.   Dripd     := 0;
    
60.   Crlenth   := 0;
    
61.   Crbyte    := 0;
    
62.   CrAddon   := 0;
    
63.   aEng      := False;
    
64.   aHan      := False;
    
65.   Flush     := False;
    
66.   Mixed     := False;
    
67.   RarProgressBar1.Position1 := 0;
    
68.   RarProgressBar1.Position2 := 0;
    
69.   OutputFStm := NewWriteFileStream(RipOutputEdt.Text);
    
70.   OutputFStm.Size := 0; //ReWrite
    
71.   while Spos <= Ssize do
    
72.   begin
    
73.     if CrLenth div 1024 >= StringStm.Size div 1024 then
    
74.       StringStm.Size := (CrLenth div 1024) + 1024; //扩展字符缓冲
    
75.     BufStm.Read(B1, 1);
    
76.     Inc(Spos);
    
77.     if IsEng(B1) then
    
78.     begin
    
79.       if mRipMix or mRipEng then
    
80.       begin
    
81.         aEng := True;
    
82.         if aHan then
    
83.         begin
    
84.           Mixed := True;
    
85.           aHan  := False;
    
86.         end;
    
87.         //写入单个Ascii
    
88.         INC(CrAddon);
    
89.         case B1 of
    
90.           $09: StringStm.WriteStr('\t');
    
91.           $0D: StringStm.WriteStr('\r');
    
92.           $0A: StringStm.WriteStr('\n');
    
93.         else
    
94.           StringStm.Write(B1, 1);
    
95.           Dec(CrAddon);
    
96.         end;
    
97. 
    
98.         Inc(CrLenth);
    
99.         Inc(CrByte);
    
100.       end//mripMixEng
     
101.       else
     
102.       begin
     
103.         if crLenth > 0 then
     
104.           Flush := True;
     
105.       end;
     
106.     end
     
107.     else
     
108.     begin
     
109.       if (B1 in [$81..$FE]) then //EUC
     
110.       begin
     
111.         BufStm.Read(B2, 1);
     
112.         Inc(Spos);
     
113.         if mRipMix or mRipHan then
     
114.           mIsHan := IsHan(B1, B2)
     
115.         else
     
116.           mIsHan := ExfHan(B1, B2);
     
117.         if mIsHan then
     
118.         begin
     
119.           if mRipMix or mRipHan then
     
120.           begin
     
121.             aHan := True;
     
122.             if aEng then
     
123.             begin
     
124.               Mixed := True;
     
125.               aEng  := False;
     
126.             end;
     
127.             //写入一个汉字
     
128.             W1 := (B2 SHL 8) + B1;
     
129.             StringStm.Write(W1, 2);
     
130.             Inc(CrLenth);
     
131.             Inc(CrByte, 2);
     
132.           end//mRipHan
     
133.           else
     
134.           begin//00
     
135.             if crLenth > 0 then
     
136.               Flush := True;
     
137.           end;
     
138.         end//isHan
     
139.         else
     
140.         begin
     
141.           //回退字节
     
142.           BufStm.Seek(-1, spCurrent);
     
143.           Dec(Spos);
     
144.           if CrLenth > 0 then
     
145.             Flush := True;
     
146.         end;//notisHan
     
147.       end//preHan
     
148.       else
     
149.       begin
     
150.         //低字节或者7F,FF
     
151.         if (Crlenth > 0) {or (not(IsHalfWidthKatakana(B1)) and (RipJIS.Checked))} then
     
152.           Flush := True;
     
153.       end;//notprebig5
     
154.     end;//isascii
     
155.     if Spos >= SSize then//no Ssize-1 because not overflow
     
156.     begin
     
157.       Inc(Spos);
     
158.       Flush := True;
     
159.     end;
     
160.     if Flush then
     
161.     begin
     
162.       if (Mixed and mRipMix and (Crlenth >= LimMix)) or (not (Mixed) and aEng and mRipEng and (Crlenth >= LimEng)) or
     
163.         (not (Mixed) and aHan and mRipHan and (Crlenth >= LimHan)) then
     
164.       begin
     
165.         RecPre := Int2Hex(Spos - 1 - Crbyte, 8) + ',' + Int2Hex(Crbyte, 8) + ',';
     
166.         OutputFStm.WriteStr(RecPre);
     
167.         StringStm.Position := 0;
     
168.         SetLength(RecLine, CrByte + CrAddon);
     
169.         //Stream2Stream(OutputFStm, StringStm, CrByte);
     
170.         StringStm.Read(PChar(RecLine)^, Length(RecLine));
     
171.         //with StrReplace(RecLine, '\', '\\') do;
     
172.         //while StrReplace(RecLine, #$0D, '\r') do;
     
173.         //while StrReplace(RecLine, #$0A, '\n') do;
     
174.         OutputFStm.WriteStr(RecLine);
     
175.         Inc(Dripd, CrByte);
     
176.         OutputFStm.WriteStr(#$0D#$0A);
     
177.       end;
     
178.       StringStm.Position := 0;
     
179.       aEng    := False;
     
180.       aHan    := False;
     
181.       Crlenth := 0;
     
182.       Crbyte  := 0;
     
183.       CrAddon := 0;
     
184.       Mixed   := False;
     
185.       Flush   := False;
     
186.     end;
     
187.     Position0 := Spos * 100 div Ssize;
     
188.     if Position1 <> Position0 then
     
189.     begin
     
190.       Position1 := Position0;
     
191.       RarProgressBar1.Position1 := Position1;
     
192.     end;
     
193.     Position0 := DRipd * 100 div Ssize;
     
194.     if Position2 <> Position0 then
     
195.     begin
     
196.       Position2 := Position0;
     
197.       RarProgressBar1.Position2 := Position0;
     
198.     end;
     
199.   end;//while byte
     
200.   StringStm.Free;
     
201.   BufStm.Free;
     
202.   OutputFStm.Free;
     
203.   AddLog('Ripping done in ' + Int2Str(GetTickCount() - StartTick) + 'ms');
     
204.   Result := 0;
     
205. end;

复制代码

leesoft

咋看着象pascal

jason

何止要改, 不懂Pascal都看不懂..

leesoft

lacsap