字符串分割函数StringTokenizer与strtok,strsep的比较

字符串分割在我们在开发过程中经常遇到的问题。根据一个标记串，将输入的字符串分割成多个子串。实际编码当中，我们发现使用不同的函数得到的结果也会有区别。

为了方便比较，我们定义一个统一的输入输出比较方式：

vector<string> parsetoken(const string &str, const string& delim);

输入源字符串str,分割标记串为delim,分割的子串保存到vector<string>中。

我们分别使用内部的StringTokenizer::parseTokens，与c语言中的strtok,strtep函数来实现我们上面这个标准输入输出函数。

StringTokenizer::parseTokens的定义与上面的定义相同，无需改动直接使用。

使用strtok实现parsetoken如下：

vector<string> parsetoken_2(const string &str,const string &delim)
{
        vector<string>  values;
        char *result = NULL;
        char *buf = new char[str.length()+1];

        strcpy(buf,str.c_str());

        result = strtok( buf, delim.c_str());
        while( result != NULL ) {
                values.push_back(string(result));
                result = strtok( NULL, delim.c_str());
        }

        delete buf;

        return values;
}

使用strtep实现parsetoken如下：

vector<string> parsetoken(const string &str,const string &delim)
{
        vector<string>  values;
        char *result = NULL;
        char *buf = new char[str.length()+1];

        strcpy(buf,str.c_str());

        result = strsep( &buf, delim.c_str());
        while( result != NULL ) {
                values.push_back(string(result));
                result = strsep( &buf, delim.c_str());
        }

        delete buf;

        return true;
}

使用的测试字符串为"|5111999991|普通-通票测试(ZTY)|||11900|10171|1729|0.17|";

测试函数为：

int TestApp::MainProcess()
{
        string str2="|5111999991|普通-通票测试(ZTY)|||11900|10171|1729|0.17|";

        cout<<"test string:"<<str2<<endl;

        cout<<"\n-----use StringTokenizer---------"<<endl;
        vector<string> vec0 = StringTokenizer::parseTokens(str2,"|");
        cout<<"vec0.size="<<vec0.size()<<endl;

        for(int i=0;i<vec0.size();++i){
                printf("%d:%s\n",i,vec0[i].c_str());
        }

        cout<<"\n-----use strtok---------"<<endl;
        vector<string> vec1=parsetoken_2(str2,"|");
        cout<<"vec1.size="<<vec1.size()<<endl;
        for(int i = 0 ;i< vec1.size(); ++i){
                printf("%d:%s\n",i,vec1[i].c_str());
        }

        cout<<"\n-----use strsep---------"<<endl;
        vector<string> vec2=parsetoken(str2,"|");
        cout<<"vec2.size="<<vec2.size()<<endl;
        for(int i = 0 ;i< vec2.size(); ++i){
                printf("%d:%s\n",i,vec2[i].c_str());
        }
        return 0;
}

我们将分割后子串的个数以及每个子串打印出来，对比结果如下：

test string:|5111999991|普通-通票测试(ZTY)|||11900|10171|1729|0.17|

-----use StringTokenizer---------
vec0.size=6
0:5111999991
1:普通-通票测试(ZTY)
2:11900
3:10171
4:1729
5:0.17

-----use strtok---------
vec1.size=6
0:5111999991
1:普通-通票测试(ZTY)
2:11900
3:10171
4:1729
5:0.17

-----use strsep---------
vec2.size=10
0:
1:5111999991
2:普通-通票测试(ZTY)
3:4:
5:11900
6:10171
7:1729
8:0.17
9:

结果分析

StringTokenizer和strtok的结果是一样的，而strsep则出现了一些空字符串，也就是"\0".而前两个则将"\0"作为无意义的子串过滤掉了。

1.如果空字符串"\0"是无意义的，则过滤是可以接受的。

2.如果空字符串"\0"是有意义的，则过滤是错误的。

假设有一个结构体Student:

struct Student
{
  string name;
  string sex;
  string age;
};

要将一个字符串"xiaoming||20"按|分割到一个Student结构体里，现在，中间的空字符串是有意义的，表示结构体里的sex，不能被过滤。这时候就不能使用内部的StringTokenizer来分割字符串了。最好使用strsep来实现对应的分割函数。

strtok不是一个线程安全的函数,会被逐渐废弃，请使用strtok_r或者strsep代替。

总结

StringTokenizer,strtok,trsep都用于分割字符串。

• StringTokenizer和strtok都会主动过滤掉空字符串
• strsep则不会过滤空字符串

字符串分割函数StringTokenizer与strtok,strsep的比较