PSSM特征-从生成到处理

以下代码均为个人原创,如有疑问,欢迎交流。新浪微博:拾毅者

本节内容:

  • pssm生成
  • pssm简化
  • 标准的pssm构建
  • 滑动pssm生成

在基于蛋白质序列的相关预测中,使用PSSM打分矩阵会得将预测效果大大提高,同时,如果使用滑动的PSSM,效果又会进一步提高。这里主要以分享代码为主,下面介绍下PSSM从生成到处理的全过程。

1.PSSM的生成

PSSM的生成有多种方式,这里使用的psiblast软件,ncbi-blast-2.2.28+/bin/psiblast,下载地址:http://blast.ncbi.nlm.nih.gov/Blast.cgi?CMD=Web&PAGE_TYPE=BlastNews#1 使用方法,输入一个序列,加上相关参数,直接输出PSSM文件

代码

#一个命令函数,根据pdb文件,使用blast生成pssm文件
def command_pssm(content, output_file,pssm_file):
    os.system(‘/ifs/share/lib/blast/ncbi-blast-2.2.28+/bin/psiblast                 -query %s                 -db /ifs/data/database/blast_data/nr                 -num_iterations 3                 -out %s                 -out_ascii_pssm %s &‘ %(content, output_file,pssm_file))

上面是执行的命令,封装成函数,下面为实际代码:

#对每个序列进行PSSM打分
def pssm(proseq,outdir):
    inputfile = open(proseq,‘r‘)
    content = ‘‘
    input_file = ‘‘
    output_file = ‘‘
    pssm_file = ‘‘
    chain_name = []
    for eachline in inputfile:
        if ‘>‘ in eachline:
            if len(content):
                temp_file = open(outdir + ‘/fasta/‘ + chain_name,‘w‘)
                temp_file.write(content)
                input_file = outdir + ‘/fasta/‘ + chain_name
                output_file = outdir + ‘/‘ + chain_name + ‘.out‘
                pssm_file = outdir + ‘/‘ + chain_name + ‘.pssm‘
                command_pssm(input_file, output_file,pssm_file)
                temp_file.close
            content = ‘‘
            chain_name = eachline[1:5] + eachline[6:7]
        content +=  ‘‘.join(eachline)
        #print content
        #print chain_name
    if len(content):
        temp_file = open(outdir + ‘/fasta/‘ + chain_name,‘w‘)
        temp_file.write(content)
        input_file = outdir + ‘/fasta/‘ + chain_name
        output_file = outdir + ‘/‘ + chain_name + ‘.out‘
        pssm_file = outdir + ‘/‘ + chain_name + ‘.pssm‘
        command_pssm(input_file, output_file,pssm_file)
        temp_file.close
    inputfile.close()       

测试用例:

‘‘‘
#生成pssm文件,迭代次数为3
proseq = ‘/ifs/home/liudiwei/experiment/step2/data/protein.seq‘
outdir = ‘/ifs/home/liudiwei/experiment/step2/pssm‘
pssm(proseq,outdir)
‘‘‘

PSSM输出样例:

2.简化PSSM数据

通常我们需要的只是前面的20列

下面通过代码来实现上面的功能:

#格式化pssm每行数据
def formateachline(eachline):
    col = eachline[0:5].strip()
    col += ‘\t‘ + eachline[5:8].strip()
    begin = 9
    end = begin +3
    for i in range(20):
        begin = begin
        end = begin + 3
        col += ‘\t‘ + eachline[begin:end].strip()
        begin = end
    col += ‘\n‘
    return col

简化pssm,只要得到前面的20个氨基酸的打分值

def simplifypssm(pssmdir,newdir):
    listfile = os.listdir(pssmdir)
    for eachfile in listfile:
        with open(pssmdir + ‘/‘ + eachfile,‘r‘) as inputpssm:
            with open(newdir + ‘/‘ + eachfile,‘w‘) as outfile:
                count = 0
                for eachline in inputpssm:
                    count +=1
                    if count <= 3:
                        continue
                    if not len(eachline.strip()):
                        break
                    oneline = formateachline(eachline)
                    outfile.write(‘‘.join(oneline))
‘‘‘ Test example
pssmdir = ‘/ifs/home/liudiwei/experiment/step2/pssm/oldpssm‘
newdir = ‘/ifs/home/liudiwei/experiment/step2/pssm/newpssm‘
simplifypssm(pssmdir, newdir)
‘‘‘

3.得到标准的PSSM

通过上面抽取出来的PSSM,下面通过代码来获得一个滑动的PSSM

#标准的pssm,直接根据标准的pssm滑动
def standardPSSM(window_size,pssmdir,outdir):
    listfile = os.listdir(pssmdir)
    for eachfile in listfile:
        outfile = open(outdir + ‘/‘ + eachfile, ‘w‘)
        with open(pssmdir + ‘/‘ + eachfile, ‘r‘) as inputf:
            inputfile = inputf.readlines()
            for linenum in range(len(inputfile)):
                content = []
                first = [];second = [];third=[];last=[]
                if linenum < window_size/2:
                    for i in range((window_size/2 - linenum)*20):
                        second.append(‘\t0‘)
                if window_size/2 - linenum > 0:
                    countline = window_size - (window_size/2 - linenum)
                else:
                    countline = window_size  #get needed line count

                linetemp = 0
                for eachline in inputfile:
                    if linetemp < linenum-window_size/2:
                        linetemp += 1
                        continue
                    if linetemp == linenum:
                        thisline = eachline.split(‘\t‘)
                        for j in range(0,2):
                            if j>0:
                                first.append(‘\t‘)
                            first.append(thisline[j].strip())
                    if countline > 0:
                        oneline = eachline.split(‘\t‘)
                        for j in range(2,len(oneline)):
                            third.append(‘\t‘ + oneline[j].strip())
                        countline -=1
                    else:
                        break
                    linetemp += 1
                while countline:
                    for i in range(20):
                        last.append(‘\t0‘)
                    countline -=1
                content += first + second + third + last
                outfile.write(‘‘.join(content) + ‘\n‘)
        outfile.close()

‘‘‘Test example
pssmdir = ‘/ifs/home/liudiwei/experiment/step2/pssm/newpssm‘
newdir = ‘/ifs/home/liudiwei/experiment/step2/pssm/standardpssm‘
window_size = 5
standardPSSM(window_size,pssmdir, newdir)
‘‘‘

4.根据滑动窗口求出滑动的PSSM

#根据窗口大小,计算出滑动后的20个氨基酸打分值
def computedPSSM(window_size,pssmdir,outdir):
    listfile = os.listdir(pssmdir)
    for eachfile in listfile:
        outfile = open(outdir + ‘/‘ + eachfile, ‘w‘)
        with open(pssmdir + ‘/‘ + eachfile, ‘r‘) as inputf:
            inputfile = inputf.readlines()
            for linenum in range(len(inputfile)):
                content = []
                first = [];second = []
                if window_size/2 - linenum > 0:
                    countline = window_size - (window_size/2 - linenum)
                else:
                    countline = window_size  #get needed line count

                linetemp = 0
                for eachline in inputfile:
                    if linetemp < linenum-window_size/2:
                        linetemp += 1
                        continue
                    if linetemp == linenum:
                        thisline = eachline.split(‘\t‘)
                        for j in range(0,2):
                            if j>0:first.append(‘\t‘)
                            first.append(thisline[j].strip())
                    if countline > 0:
                        oneline = eachline.split(‘\t‘)[2:len(eachline)]
                        tline = []
                        for i in range(len(oneline)):
                            tline.append(int(oneline[i]))
                        if len(second)==0:
                            second += tline
                        else:
                            second = list(map(lambda x: x[0]+x[1], zip(second, tline)))
                        countline -=1
                    else:
                        break
                    linetemp += 1
                format_second = []
                for i in range(len(second)):
                    format_second.append(‘\t‘ + str(second[i]))
                content += first + format_second
                outfile.write(‘‘.join(content) + ‘\n‘)
        outfile.close()
‘‘‘
pssmdir = ‘/ifs/home/liudiwei/experiment/step2/pssm/newpssm‘
newdir = ‘/ifs/home/liudiwei/experiment/step2/pssm/computedpssm‘
window_size = 5
computedPSSM(window_size,pssmdir, newdir)
‘‘‘

平滑的PSSM,只是pssmdir不同,直接调用standardPSSM函数

def smoothedPSSM(window_size,pssmdir,outdir):
    standardPSSM(window_size,pssmdir, outdir)

‘‘‘Test example
pssmdir = ‘/ifs/home/liudiwei/experiment/step2/pssm/computedpssm‘
newdir = ‘/ifs/home/liudiwei/experiment/step2/pssm/smoothedpssm‘
window_size = 5
smoothedPSSM(window_size,pssmdir,newdir)
‘‘‘

最后得到的是一个滑动的PSSM矩阵,特征的维数随窗口的大小逐渐增减。



本栏目python代码分享持续更新中,欢迎关注:Dream_Angel_Z博客 新浪微博:拾毅者

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-10-13 20:36:05

PSSM特征-从生成到处理的相关文章

weka数据挖掘拾遗(三)----再谈如果何生成arff

前一阵子写过一个arff的随笔,但是写完后发现有些啰嗦.其实如果使用weka自带的api,生成arff文件将变成一件很简单的事儿. 首先,可以先把特征文件生成csv格式的.csv格式就是每列数据都用逗号分隔的一种格式.(还有不清楚的googling一下就知道了) 一.首先看下特征文件怎么保存成csv格式. 1.首行为特征名,以逗号分隔. 2.除首行外的行都为数据行,每列数据都是首行对应的值.(可以是字符串,数字) 例: 二.通过weka的api把上面的csv转化成arff格式文件 1.weka代

图像局部显著性—点特征

基于古老的Marr视觉理论,视觉识别和场景重建的基础即第一阶段为局部显著性探测.探测到的主要特征为直觉上可刺激底层视觉的局部显著性--特征点.特征线.特征块. SalientDetection 已经好就没有复习过了,DNN在识别领域的超常表现在各个公司得到快速应用,在ML上耗了太多时间,求职时被CV的知识点虐死... 点探测总结(SIft.PCA-SIft.Surf.GLOH)         原文链接(SIFT):http://www.cnblogs.com/cfantaisie/archiv

使用python实现森林算法方法步骤详解

本文和大家分享的是使用python实现森林算法相关内容,一起来看看吧,希望对大家学习python有所帮助. 算法描述 随机森林算法 决策树运行的每一步都涉及到对数据集中的最优**点(best split point)进行贪婪选择(greedy selection). 这个机制使得决策树在没有被剪枝的情况下易产生较高的方差.整合通过提取训练数据库中不同样本(某一问题的不同表现形式)构建的复合树及其生成的预测值能够稳定并降低这样的高方差.这种方法被称作引导**算法(bootstrap aggrega

阿里天池大数据之移动推荐算法大赛总结及代码全公布

移动推荐算法比赛已经结束了一个多星期了,现在写一篇文章来回顾一下自己的参赛历程. 首先,对不了解这个比赛的同学们介绍一下这个比赛(引用自官网): 赛题简介 2014年是阿里巴巴集团移动电商业务快速发展的一年,例如2014双11大促中移动端成交占比达到42.6%,超过240亿元.相比PC时代,移动端网络的访问是随时随地的,具有更丰富的场景数据,比如用户的位置信息.用户访问的时间规律等. 本次大赛以阿里巴巴移动电商平台的真实用户-商品行为数据为基础,同时提供移动时代特有的位置信息,而参赛队伍则需要通

数据挖掘十大经典算法

一. C4.5  C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3 算法.   C4.5算法继承了ID3算法的优点,并在以下几方面对ID3算法进行了改进: 1) 用信息增益率来选择属性,克服了用信息增益选择属性时偏向选择取值多的属性的不足: 2) 在树构造过程中进行剪枝: 3) 能够完成对连续属性的离散化处理: 4) 能够对不完整数据进行处理. C4.5算法有如下优点:产生的分类规则易于理解,准确率较高.其缺点是:在构造树的过程中,需要对数据集进行多次的顺序扫描和排序,因而导

Faster R-CNN论文详解

原文链接:http://lib.csdn.net/article/deeplearning/46182 paper链接:Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks &创新点 设计Region Proposal Networks[RPN],利用CNN卷积操作后的特征图生成region proposals,代替了Selective Search.EdgeBoxes等方法,速度上提升明显:

CV:object detection(LBP)

LBP(Local Binary Pattern,局部二值模式)是一种用来描述图像局部纹理特征的算子:它具有旋转不变性和灰度不变性等显著的优点.它是首先由T. Ojala, M.Pietik?inen, 和 D. Harwood 在1994年提出,用于纹理特征提取.而且,提取的特征是图像的局部的纹理特征: 1.LBP特征的描述 原始的LBP算子定义为在3*3的窗口内,以窗口中心像素为阈值,将相邻的8个像素的灰度值与其进行比较,若周围像素值大于中心像素值,则该像素点的位置被标记为1,否则为0.这样

卷积神经网络(CNN)代码实现(MNIST)解析

在http://blog.csdn.net/fengbingchun/article/details/50814710中给出了CNN的简单实现,这里对每一步的实现作个说明: 共7层:依次为输入层.C1层.S2层.C3层.S4层.C5层.输出层,C代表卷积层(特征提取),S代表降采样层或池化层(Pooling),输出层为全连接层. 1.        各层权值.偏置(阈值)初始化: 各层权值.偏置个数计算如下: (1).输入层:预处理后的32*32图像数据,无权值和偏置: (2).C1层:卷积窗大

车牌识别及验证码识别的一般思路

http://www.pin5i.com/showtopic-22246.html 描述一下思路及算法. 全文分两部分,第一部分讲车牌识别及普通验证码这一类识别的普通方法,第二部分讲对类似QQ验证码,Gmail验证码这一类变态验证码的识别方法和思路. 一.车牌/验证码识别的普通方法 车牌.验证码识别的普通方法为: (1)      将图片灰度化与二值化 (2)      去噪,然后切割成一个一个的字符 (3)      提取每一个字符的特征,生成特征矢量或特征矩阵 (4)      分类与学习.