计算机发展前几十年，在电子计算机发展之前，它经营穿孔卡片数据处理设备。IBM于1911年6月15日在宾厄姆顿西几英里处的纽约恩迪科特作为CTR公司注册。三个独立公司合并建立了CTR公司，它们是：列表机公司(1896年创立于华盛顿）、计算表公司(1901年创建于俄亥俄州代顿）和国际时代唱片公司(1900年创办于纽约州恩迪科特）。那时列表机公司的总裁也即创办人是HermanHollerith。合并背后的关键人物是金融家CharlesFlint，他召集三家公司的创始人提出兼并，并在CTR中任职直到1930年退休。

ThomasJ.Watson是IBM的创始人，1914年担任CTR总经理，1915年担任总裁。1917年，CTR以国际商用机器有限公司进入加拿大市场，1924年2月14改名为国际商业机器公司（IBM）。

公司合并成CTR制造各种产品，包括员工计时系统、磅秤、自动切肉机，而且最重要的是发展计算机、穿孔卡片设备.一段时间CTR集中精力专做穿孔卡片，不再参与其他活动。

IBM在1932年投入巨资100万美元建设第一个企业实验室，这个实验室在整个30年代的研发让IBM在技术产品上获得领先。在整个经济大萧条期间，IBM一直在研发和新产品上投资，它的产品比所有其他公司都更好、更快、更可靠，它因此赢得了独家代理罗斯福新政会计项目的合同。1935年时IBM的卡片统计机产品，已经占领美国市场的85.7%，IBM公司因卡片机的大量销售而积累雄厚的财力和强大的销售服务能力，为以后成为计算机领域的主宰奠定了重要的基础。

IBM与中国的缘分源远流长。早在1934年，IBM公司就为北京协和医院安装了第一台商用处理机。1936年，IBM在远东地区的第一个办公室就设立在上海，为其在中国乃至整个东亚地区布局发展奠定了基础。1937年，中国第一个越洋电话，就从IBM上海办公室拨出，从此开辟了中国与世界连接的新途径。

在60年代IBM是八大电脑公司（UNIVAC、都市生活、科学数据系统、控制数据公司、通用电气公司、美国无线电公司、Honeywell）中最大的公司。人们在谈论这件事会说“IBM和七个星体”，因为其他公司或他们的计算机部门的规模较小。只有都市生活、UNIVACR、Honeywell生产主机，其后就有人说“IBM和B.U.N.C.H.”如今大多IBM公司的竞争对手早已不复存在，除了优利系统公司，这是因为许多兼并其中包括UNIVAC和都市生活。NCR、Honeywell放弃了一般主机、小部门和专注于有利可图的产品市场，NCR做的是收银机（所以名称就是国家收银机）、霍尼韦尔成为恒温市场的主导。通用电气公司仍然是世界上最大的公司，但在电脑市场不再运作。当时IBM电脑系列赢得了在市场上的地位，如今仍在增长。原来称为IBMSystem/360，更为现代化64位形式，现被称为驻IBM系统（通常称为“IBM主机”）。

随着半导体集成电路的出现，IBM积极投入第三代集成电路计算机的生产。在1964年，IBM推出了划时代的System/360大型计算机，从而宣告了大型机时代的来临。System/360的问世，代表着世界上的计算机有了一种共同的语言，它们都共享代号为OS/360的操作系统（而非每种产品都用量身订做的OS）。自此，世界几乎所有的计算机研制和开发都以IBM360系列系统为基准，成为世界范围的一种重要趋势。

1960年代中期IBM的成功使得美国司法部调查IBM违反反托拉斯，1969年1月17日。提出控诉的案件美国IBM在美国地区法院纽约南区。官司声称IBM违反谢尔曼法第2条的垄断或企图垄断通用数字电子计算机系统的市场，尤其是商业设计的电脑。诉讼一直持续到1983年，对公司的做法产生了重大影响。

1975年，IBM生产的计算机数量是世界其他所有计算机厂家生产的计算机总和的4倍，成为一个集科研、生产、销售、技术服务和教育培训为一体的联合企业。

20世纪60-70年代，IBM推动的计算机事业迅速发展，为推动整个社会各个方面的发展起到了关键的作用，例如协助美国太空总署建立阿波罗11号资料库，完成太空人登陆月球计划；建立银行跨行交易系统；设立航空业界最大的在线票务系统等。