IBM有多种划分部门的方式，是一种矩阵式组织结构。这种矩阵式结构导致了复杂的汇报机制。你除了按职能部门向上汇报外，在项目级别上又可能需要向其他经理汇报。
按业务单元（BusinessGroup and Unit），可划分为
系统与科技部（STG）：包括主机部SystemZ，PowerSystem含SystemP和SystemI（已卖给联想），中型服务器部门（已卖给联想）含Systemx和BladeCenter，专家集成系统Pure Flex System，存储部门（磁盘存储器、存储网络、磁带和光存储器等）；
软件部（SWG）：分为解决方案部和中间件部。其中解决方案部包括Cognos，SPSS，ECM等，而中间件部则包含Informationmanagement （含DB2），Websphere，Tivoli，Rational，Lotus以及Cloud；
全球技术服务部（GTS），提供实施服务和售后支持；
全球金融部（GBS），提供商业或IT咨询服务和解决方案；
全球流程服务部 （GPS），提供创新业务流程服务和解决方案；
集成供应链部（ISC），负责IBM所有的供应链管理；
研究部（Research）；
销售部（S&D）；
其他支持性部门，包括沟通，法律，IT，人力，财务，市场，战略，售前和知识产权。
从2015年起，IBM进行了近些年来最大的重组。除保留Research和Sales部门外，将业务部门重新划分为八大事业部沃森产品部（Waston）,系统产品部（Systems），大数据和分析产品部（Analysis），安全产品部（Security），云产品部（Cloud），移动产品部（Mobile），智慧地球部（SmartCity）和智慧商业部（SmartCommence）。
按市场地域可划分主要市场（MajorMarket）和新兴市场（GrowthMarket），其中主要市场包含北美、东北欧、西南欧和日本，新兴市场包括亚太区、中东欧、拉美、中东和非洲等。亚太区包含大中华区（GreatChina Group）、澳洲、东南亚、印度和韩国，其中大中华区又由大陆（华南、华北和华东），香港和台湾组成。
按办公位置来，大中华区除了各地的分公司外，其研发机构主要分布在北京、上海、西安、宁波、香港和台湾，所以会有CSTL（STG大陆）， CDL（SWG大陆）、CRL（Research大陆）、TSTL（STG台湾）这类部门出现。大中华区总部在北京的盘古大观，北京的研发部门则主要在中关村软件园的环宇大厦和钻石大厦。
按业务领域分为交通、零售、能源、工业、金融、医疗、保险、教育等。
按渠道分为直销和业务伙伴。
评：在这种矩阵式结构中，团队需要拥有混合技能来满足客户需求，关键技术可以被很快的分发到需要的地方，而专家也可能服务于多个项目，无疑会降低成本。另一方面，也带来了管理和沟通的复杂性，员工往往听命于两位甚至多位经理，会变得无可适从。部门间可能会出现竞争，即会促进创新也会增加内耗。客户有时也会被这种结构迷惑。