BioNano数据的管道

K-INBRE生物信息学核心为BioNano分子图或预组装的BioNano基因组图谱创建了易于使用的管道,用于多次常规的组装和/或对准实验。

所有管道都有样本数据集和教程。管道从您从测绘设施收到的原始数据或汇编的基因组图谱中完成分析。

在使用这些脚本之前,不需要命令行的体验。

生物纳米分子的“原始数据到完成装配和组装分析”管线与基于序列的基因组FASTA映射

组装XeonPhi管道预处理原始分子图,并为其编写并运行一系列组件。然后用户选择最佳组装,并将其用于超级支架参考FASTA基因组文件,并总结最终装配度量和对齐。

基本步骤是首先从单个目录合并多个BNX,并绘制单分子图质量度量。然后如果参考可用,则重新缩放单分子图并绘制每次扫描的重定标因子。重新缩放步骤类似于前面的“通过扫描步骤调整拉伸扫描”。接下来,它为具有一系列参数的程序集编写脚本。组装结束后,生成装配指标,并分析最佳结果。

注意:此管道使用与AssembleIrys.pl和AssembleIrysCluster.pl相同的基本工作流程,但它运行的是具有576个内核(48x12核心Intel Xeon CPU),256GB RAM和Linux CentOS 7操作系统的Xeon Phi服务器。Assembler在不同的机器上运行BioNano可能需要进行定制。具体来说,可能需要自定义Irys-scaffolding / KSU_bioinfo_lab / assemble_XeonPhi / rescale_stretch.pl的“自定义RefAligner设置”部分,以在不同的机器上运行BioNano Assembler。也可能需要定制Irys脚手架/ KSU_bioinfo_lab / assemble_XeonPhi / clusterArguments.xml,以便程序集在不同的群集上成功运行。

请参阅教程实验室,以运行带有示例数据的组合XeonPhi管道https://github.com/i5K-KINBRE-script-share/Irys-scaffolding/blob/master/KSU_bioinfo_lab/assemble_XeonPhi/assemble_XeonPhi_LAB.md

“BioNano分子图”的“原始数据到完成的从头装配和装配分析”管道

组装XeonPhi de novo管道预制生分子图,并为其编写并运行一系列组装。然后,用户选择最佳组件,然后总结最终组装度量。

基本步骤是首先从单个目录合并多个BNX,并绘制单分子图质量度量。接下来,它为具有一系列参数的程序集编写脚本。组装结束后,生成装配指标,并分析最佳结果。

该管道使用与AssembleIrys.pl和AssembleIrysCluster.pl相同的基本工作流程,但它运行的是具有576个内核(48x12核心Intel Xeon CPU),256GB RAM和Linux CentOS 7操作系统的Xeon Phi服务器。Assembler在不同的机器上运行BioNano可能需要进行定制。

请参阅教程实验室,以运行具有示例数据的组装XeonPhi管道https://github.com/i5K-KINBRE-script-share/Irys-scaffolding/blob/master/KSU_bioinfo_lab/assemble_XeonPhi/assemble_XeonPhi_de_novo_LAB.md

#为BioNano数据组装提供主要的脚本

AssembleIrysXeonPhi.pl - 组装XeonPhi脚本制作原始分子映射并为其编写并运行一系列程序集。然后用户选择最佳组装,并将其用于超级支架参考FASTA基因组文件,并总结最终装配度量和对齐。

基本步骤是首先从单个目录合并多个BNX,并绘制单分子图质量度量。然后如果参考可用,则重新缩放单分子图并绘制每次扫描的重定标因子。重新缩放步骤类似于前面的“通过扫描步骤调整拉伸扫描”。接下来,它为具有一系列参数的程序集编写脚本。组装完成后,组装指标得到了分类,并对最佳结果进行了分析。

注意:此管道使用与AssembleIrys.pl和AssembleIrysCluster.pl相同的基本工作流程,但它运行的是具有576个内核(48x12核心Intel Xeon CPU),256GB RAM和Linux CentOS 7操作系统的Xeon Phi服务器。Assembler在不同的机器上运行BioNano可能需要进行定制。具体来说,可能需要自定义Irys-scaffolding / KSU_bioinfo_lab / assemble_XeonPhi / rescale_stretch.pl的“自定义RefAligner设置”部分,以在不同的机器上运行BioNano Assembler。也可能需要定制Irys脚手架/ KSU_bioinfo_lab / assemble_XeonPhi / clusterArguments.xml,以便程序集在不同的群集上成功运行。

请参阅教程实验室,以运行带有示例数据的组合XeonPhi管道https://github.com/i5K-KINBRE-script-share/Irys-scaffolding/blob/master/KSU_bioinfo_lab/assemble_XeonPhi/assemble_XeonPhi_LAB.md

对于从头项目,请参阅本教程实验室,运行带有示例数据的组装XeonPhi管道 https://github.com/i5K-KINBRE-script-share/Irys-scaffolding/blob/master/KSU_bioinfo_lab/assemble_XeonPhi/assemble_XeonPhi_de_novo_LAB.md

新功能(相对于AssembleIrys.pl和AssembleIrysCluster.pl):

自动调整optArguments文件和迭代次数以匹配基因组大小

绘制BNX指标

减少论据数量

包括具有默认噪声参数的装配

包括新的图形,并减少装配QC文件中的细节,使选择最好的装配更容易阅读(assembly_qcXeonPhi.pl)

在可能的情况下自动组织研究人员的数据

工作流图 

A)Irys生成的TIFF文件被转换成分子图的BNX文本文件。

B)每个IrysChip为两个流通池中的每一个生成一个BNX文件。

C)汇编工作目录bnx/子目录中的每个BNX文件-a被合并,并且分析图谱质量度量。

D)如果提供了引用,则合并的BNX文件将与序列引用中的计算机映射对齐。拉伸从对准重新缩放,并且每次扫描都会打印重新缩放系数。重新缩放的分子图与参考对齐,估计噪声参数。E)基于估计的基因组大小和噪声参数确定基本汇编代码。

F)第一个组件以各种p值阈值运行(至少有一个组件也运行有抑制噪声参数)。

G)选择最好的第一个组件(红色椭圆形),并使用各种最小分子长度过滤器生成该组件的版本。

典型用途

perl AssembleIrysXeonPhi.pl -g [genome size in Mb] -r [reference CMAP] -a [the assembly working directory for a project] -p [project name]
Usage:
    perl AssembleIrysXeonPhi.pl [options]

     Documentation options:

       -help    brief help message
       -man     full documentation

     Required options:

        -a       the assembly working directory for a project
        -g       genome size in Mb
        -r       reference CMAP
        -p       project name for all assemblies

     Optional options:

        -d       add this flag if the project is de novo (has no refernce)

Options:
    -help   Print a brief help message and exits.

    -man    Prints the more detailed manual page with output details and
            exits.

    -a, --assembly_dir
            The assembly working directory for a project. This should
            include the subdirectory "bnx" (any BNX in this directory will
            be used in assembly). Use absolute not relative paths. Do not
            use a trailing "/" for this directory.

    -g, --genome
            The estimated size of the genome in Mb.

    -r, --ref
            The full path to the reference genome CMAP.

    -p, --project
            The project id. This will be used to name all assemblies

    -d, --de_novo
            Add this flag to the command if a project is de novo (i.e. has
            no reference). Any step that requires a reference will then be
            skipped.
时间: 2024-07-31 15:56:02

BioNano数据的管道的相关文章

Bash基础(2) 通配符 组合键 数据重定向 管道 tee

Bash基础(2)     通配符  组合键  数据重定向  管道  tee命令 1 文本名"通配符" *:匹配任意长度的任意字符: ?:匹配任意单个字符: []: 匹配指定范围内的任意单个字符: [0-9] [^]:匹配范围外的任意单个字符: [^a-b] 字符集合: [:lower:] 匹配任何小写字母 [:upper:] 匹配任何大写字母 [:alnum:] 匹配任何字母 [:digit:]  匹配任何数字 [:space:] 匹配空格符 [:punct:] 匹配任何标点符号 [

linux程序设计——管道输出数据到popen(第十三章)

13.3    将输出送往popen 看过捕获外部程序输出的例子后,再来看一个将输出发送到外部程序的示例程序popen2.c,它将数据通过管道送到另一个程序.在这里使用的是od(八进制)命令. 编写程序popen2.c,它非常类似popen1.c,唯一的不同是这个程序将数据写入管道,而不是从管道中读取. /************************************************************************* > File Name: popen2.c

Apache Beam实战指南 | 大数据管道(pipeline)设计及实践

Apache Beam实战指南 | 大数据管道(pipeline)设计及实践  mp.weixin.qq.com 策划 & 审校 | Natalie作者 | 张海涛编辑 | LindaAI 前线导读: 本文是 Apache Beam 实战指南系列文章第五篇内容,将对 Beam 框架中的 pipeline 管道进行剖析,并结合应用示例介绍如何设计和应用 Beam 管道.系列文章第一篇回顾 Apache Beam 实战指南 | 基础入门.第二篇回顾 Apache Beam 实战指南 | 玩转 Kaf

Java NIO (五) 管道 (Pipe)

Java NIO 管道是2个线程之间的单向数据连接.Pipe有一个source通道和一个sink通道.数据会被写到sink通道,从source通道读取. 如下图: 向管道写数据: 从管道读数据: 1. 从读取管道的数据,需要访问source通道. 2. 调用source通道的read()方法来读取数据

linux中的管道

管道是一种最基本的IPC机制,由pipe函数创建: #include <unistd.h> int pipe(int filedes[2]); 调用pipe函数就是在内核区开辟一块缓冲区(称为管道).filedes[0]指向管道的读端,filedes[1]指向管道的写端.管道实际上就是一个打开的文件.pipe函数成功返回0,失败返回-1. 如何用管道实现两个进程间的通信? 1.父进程调用pipe函数开辟管道,得到两个文件描述符指向管道的两端. 2.父进程调用fork()创建子进程,那么子进程也

Linux下的进程通信方式(IPC)——管道通信

Unix IPC: 管道.命名管道(FIFO)      管道 1.概念 管道是单向的(半双工).先进先出.无结构的字节流,它把一个进程的输出和另一个进程的输入连接在一起. 写进程在管道的尾端写入数据,读进程在管道的首端读出数据.数据读出后将从管道中移走,其它读进程都不能再读到这些数据. 管道提供了简单的流控制机制.进程试图读一个空管道时,在数据写入管道前,进程将一直阻塞.同样,管道已经满时,进程再试图写管道,在其它进程从管道中读走数据之前,写进程将一直阻塞. 2.管道的特点 (1)单向数据通信

匿名管道

1关于管道 有两种类型的管道:匿名管道和命名管道.匿名管道比命名管道需要更少的开销,但是提供有限的服务. 术语管道,就像用在这里的,暗示管道被用作一个信息管子.从概念上讲,一个管道有两端.单向管道允许进程在一端写入,并且允许进程在令一端读入.双向管道允许进程在同一段读写. 匿名管道 命名管道 1.1 匿名管道 匿名管道是一种没有名字的,通常在父子进程之间传递数据的管道.匿名管道是本地的:它们不能用在网络之间的通信. 匿名管道操作 管道句柄继承 匿名管道安全和访问权限 1.1.1匿名管道操作 Cr

Java NIO -- 管道 (Pipe)

Java NIO 管道是2个线程之间的单向数据连接. Pipe有一个source通道和一个sink通道.数据会被写到sink通道,从source通道读取. 举个例子: package com.soyoungboy.nio; import java.io.IOException; import java.nio.ByteBuffer; import java.nio.channels.Pipe; import org.junit.Test; public class TestPipe { @Tes

linux中用无名管道进行文件的读写

1管道是什么: 水管子大家知道,有两端,在此一端用来读一端用来写,其中一端的输出作为另外一端的输入. 2 函数原型 int pipe(int pipefd[2]);//参数中分别代表的两端 3 例子:管道一端作为写 另外一端作为读 父子进程实现 1 #include <unistd.h> 2 #include <stdio.h> 3 #include <stdlib.h> 4 5 int main() 6 { 7 pid_t pid; 8 int temp; 9 int