之前两篇介绍PCI的文章都没有仔细看下去,感觉介绍的视角不适合我,偏PCI规范本身。要从处理器的角度了解PCIE总线,现在来看这本强哥推荐的《PCIE体系结构导读》
前言
1)深入理解处理器体系结构是理解PCI总线的重要基础,超越PCI自身,去理解系统的局部总线。
2004年开始PCIE取代PCI和AGP,成为局部总线工业标准。
PCI 并行共享架构, PCIE串行
刚刚接触PCI不要去读规范文档,规范文档适合查阅,不便于学习。
2)第一篇,PCI总线基础知识
第二篇,PCIE相关概念
第1章, posted,non-posed, split 数据传送方式,很重要
第2章,PCI桥,PCI的精华
第3章,数据传送方式,与cache相关和预读机制
第4,5章,PCIE通述,x86的RC
第6,7章,PCIE的事务层,链路层,物理层,物理层是核心,中国工程师最没机会接触的内容
第9章,流控的管理和策略
第10章,MSI和MSI-X中断机制,X86架构多用MSI-X,许多嵌入式处理器仍用MSI
第11章,PCIE中的序
第12章,linux驱动实现过程, capric和cornus卡
第13章,PCI与虚拟化技术
第三篇,linux系统中PCI的使用
-----------------------
第1章 PCI基本知识
1)PCI (peripheral componet interconnect), 属于局部总线(local bus),主要功能是连接外部设备。由intel提出。
ISA->PCI->PCIE, PCIE继承PCI的设计思路;
还有各种相关规范:PCMCIA、PC Card、miniPCI 、 compactPCI(用于有背板的大型系统)、PCI-to-PCI桥规范、PCI-X(频率更高)
PCI-to-PCI桥 (PCI桥)、PCIE-to-PCI桥(PCIe桥)、Host-to-PCI主桥(HOST主桥,PCI主桥,PCI总线控制器)
2)PCI总线空间和处理器空间隔离
通过HOST主桥隔离,其中有许多缓冲,使得他们工作在各自的时钟频率
主桥的作用是将处理器访问的存储器地址转换为PCI总线地址 (重要)
以freescale的power PC和intel的x86处理器为例说明HOST主桥的实现方式。
3)可扩展
HOST主桥引出PCI总线,PCI通过PCI桥扩展,形成PCI总线树,1课树最多256个PCI设备
PCI 桥的配置空间有管理其子树的配置寄存器
4)动态配置
PCI设备的地址可由系统软件动态分配,解决地址冲突,实现“即插即用”; ISA还需要跳线
每个PCI设备都有独立的配置空间,其中有设备在总线中使用的基地址(物理地址)。
5)总线带宽
PCI,32位、33MHZ的为132MB/s, EISA为33MB/s
6) 共享总线机制
PCI设备通过仲裁后获得PCI总线使用,才能传输,不需要处理器干预。
7)中断机制
PCI设备通过四根中断请求信号 INTA~D#向处理器提交中断请求。配置空间中有这四根信号的信息。还有MSI机制
X86,PowerPC, MIPS, ARM都把PCI作为标准局部总线,PCI设备:网卡,声卡,硬盘控制器等
ARM使用SoC平台总线,即AMBA总线,连接片内设备,但还是有AMBA-to-PCI桥
1.1 PCI总线组成结构
1)HOST主桥
PCI设备通过HOST主桥访问主存,即DMA操作,cache一致性模块会监听,然后改变cache状态。
数据交换:处理器访问PCI设备的地址空间; PCI使用DMA访问主存
PowerPC处理器和主桥在一个芯片,x86主桥在北桥中;
2)PCI设备
三类:PCI主设备、从设备、桥设备
PCI设备可以是主也可以是从,统称PCI Agent, PCI网卡、显卡、声卡都是。
3)HOST处理器
HOST主桥中有许多寄存器,x86中有0xCF8和0xCFC两个I/O端口 访问PCI设备的配置空间;
powerPC中则是CFG_ADDR和CFG_DATA来访问;
4)PCI总线的负载
1.2 PCI的信号定义
1)PCI设备通过一些信号与PCI总线相连:地址/数据信号,控制信号,仲裁信号,中断信号等
每个设备都有CLK信号,用于同步数据传递
2)地址和数据信号
a. AD[31:0]信号,复用地址和数据信号,先传地址,再传数据;
突发传输,一个地址周期后,多个数据周期
b. PAR信号,为地址数据信号线提供奇偶校验位
c. C/BE[3:0]#信号
地址周期,该信号表PCI总线的信号
数据周期,表示字节选通信号
目前多数PCI设备不支持I/O地址空间,仅支持存储器地址空间
3)控制信号,作用是保证数据的正常传递
a. FRAME#信号, 指示一个PCI总线事务的开始和结束。低有效
b. IRDY#信号, 由主设备驱动,表主设备的数据准备好了
c. TRDY#信号,由目标设备驱动,表目标设备数据准备完毕;
d. STOP#信号,目标设备请求主设备停止当前事务
e. IDSEL信号,配置读写总线事务时,选择PCI目标设备
f. DEVSEL#信号,目标设备准备好
g. LOCK#信号, 将目标设备的存储器和IO资源锁定,禁止其他主设备访问。避免使用,因为影响传送效率
4)仲裁信号, REQ#和GNT#
每条PCI总线都有一个总线仲裁器(PCI桥中). 先是主设备发REQ#给仲裁,然后GNT#会有效就获得了使用权
5)中断请求
INTA#, INTB#, INTC#, INTD# , 低有效,PCI设备向处理器提交中断请求,驱动的ISR清除中断后,PCI设备将信号置高,结束中断。
通过一个规则(中断路由表)得知来自不同PCI设备的中断请求
1.3 PCI总线的存储器读写总线事务
1)PCI设备只有在系统软件初始化配置空间后,才能被访问
2)配置空间初始化后,该设备就拥有一个独立的PCI总线地址空间,即BAR(base address register) 中描述的空间
3)Posted和Non-Posted数据传送方式
Posted方式:主设备传数,到PCI桥时,由桥来接管下发。减少阻塞。
Non-Posted: 数据必须到达目的地才能结束总线事务。PCI总线使用Delayed总线缓解这种方式的拥塞。
只有存储器写(PMW)可以采用posted事务,而存储器读,IO读写,配置读写只能Non-posted事务
4)HOST处理器访问PCI设备
包括两方面: HOST处理器向PCI设备发起存储器和IO读写请求
HOST处理器对PCI设备进行配置读写
a. PCI设备的配置空间中,共6个BAR,可以存放I/O地址空间,存储器地址空间,等PCI总线地址空间,是PCI总线域的物理地址。
b. x86有独立的IO空间,可以把PCI的IO地址映射到存储器域的IO地址空间,通过IN,OUT对存储器域IO访问,
HOST主桥又转换为PCI域的IO地址,最后访问到PCI设备的IO. 两个域的I/O地址相同;
而PowerPC则把PCI设备的IO映射到存储器地址
5)PCI设备读写主存
PCI设备与主存进行数据交换的过程被称为DMA. 按照我们的9056驱动来看,处理器读写PCI设备也可以DMA
6)Delayed方式
用于缓解non-posted拥塞,分为delay读写请求和delay读写完成
处理器传给主桥后,启用retry周期,就释放总线了。delayed读请求DRR,读完成DRC
虽然有提升,但重试周期也会消耗PCI总线,所以PCI-X和PCIE升级为split事务,发送端将non-posted发给接收端
然后接收端主动将数据传递给发送端
1.4 中断机制
两种:INTA/B/D#信号和MSI
1) x86使用APIC中断控制器,powerPC使用MPIC中断控制器
中断控制器有外部中断请求引脚IRQ_PINx#, BIOS的中断路由表记录INTx信号和中断控制器的连接关系
多数设备仅使用INTA,PCI配置空间interrupt pin寄存器记录了该设备究竟用哪个INTx信号。
INTx属于边带信号,即这些信号在PCI总线中是可选信号,只能在处理系统内部使用,PCI桥不会处理这些边带信号
中断路由表:由BIOS保存两者间的映射关系
2)中断的同步
INTx与CLK信号无关,涉及异步
如当设备DMA写主存,ISR中收到INTx时,并不意味着数据已经写入主存,因为数据传递需要通过HOST主桥和PCI桥,才能到主存。
(即两个路径,无法确定哪个信息率先到达)
所以ISR中要先读中断状态寄存器,这个读保证了数据已经到达主存,(利用了PCI总线的“序”机制)
3) MSI中断机制
实际上是存储器写事务,是某段存储器地址范围,数据事先安排好的,含有中断向量号。HOST主桥会翻译这个写事务为中断请求给处理器
PCI-X和PCIE必须支持MSI,PCI不一定
1.5 PCI-X总线简介
1) 频率可达533MHZ
2)split事务,requester和completer,和delayed比,数据是由completer主动传递的,而不是通过requester通过多次重试得到的。
3)目标设备可以将主设备发的命令锁存,在下一个时钟周期进行译码操作。提高了效率
很少有基于PCI-X的设备