Giáo Hội Kitô được sinh ra trên đất Do Thái, và chính thức bắt đầu tại Giêrusalem, nơi các môn đệ hội tụ sau khi Chúa Giêsu Kitô về trời. Tông Đồ Phêrô được Chúa đặt làm nền tảng Hội Thánh mới, làm trưởng Tông Đồ đoàn, làm chủ chăn toàn thể đoàn chiên của Chúa, chủ chăn của cả các chủ chăn khác (Ga 21,16). Trong vai trò trưởng Tông Đồ đoàn, Thánh Phêrô là phát ngôn viên và là người quyết định các vấn đề quan trọng của Giáo Hội sơ khai: rao giảng cho người Giêrusalem dịp lễ Ngũ Tuần đầu tiên sau biến cố Phục Sinh, chủ toạ Công Đồng Giêrusalem, đại diện Giáo Hội đón nhận Phaolô trở lại… Ban đầu các Tông Đồ chủ trương rao giảng cho người Do Thái trước, nhưng các cuộc bắt bớ lan rộng khiến các ngài phải hướng về dân ngoại. Các ngài ra đi hoạt động khắp các nơi xa lạ các ngài có thể đến: Thánh Giacôbê Hậu làm Giám Mục Giêrusalem, Thánh Giacôbê Tiền đến Tây Ban Nha, Thánh Batôlômêô đến Armenia, Thánh Anrê đến Hy Lạp, cá biệt Thánh Tôma đến tận Ấn Độ hay có thể là Trung Quốc.
Đầu tiên, Thánh Phêrô thiết lập Toà Giám Quản đầu tiên của mình tại thành Antiôkhia (nay thuộc Thổ Nhĩ Kỳ) và ở đó 7 năm. Sau đó, ngài rời Antiôkhia để đến rao giảng tại Rôma, thủ đô của đế quốc La Mã, vì nơi đây có vai trò tối quan trọng trong cả đế quốc. Thánh Phêrô thiết lập giáo đoàn Rôma và làm Giám Mục đầu tiên của cộng đoàn Kitô hữu tại đây vào khoảng năm 39. Năm 64, dưới thời hoàng đế Nêrô bạo vương, Giám Mục Phêrô bị chính quyền La Mã kết án đóng đinh vào thập giá tương tự như Chúa Giêsu đã chịu trước đó hơn 30 năm. Xác Thánh nhân được chôn trên đồi Vatican, ngoại ô thành Rôma. Vị Giám Mục kế vị ngài là Thánh Linô.
Sau gần 300 năm sống hầm trú và bị La Mã bắt bớ, năm 313, Kitô Giáo được vua Constantinô I công nhận và biến thành quốc giáo của đế quốc La Mã. Lúc bấy giờ trong toàn Giáo Hội, có 5 Toà Giám Mục quan trọng nhất và đứng hàng đầu: Rôma, Antiôkhia, Giêrusalem, Byzantium (thành phố Istanbul, Thổ Nhĩ Kỳ ngày nay) và Alexandria (Ai Cập ngày nay). Trong đó, nhờ nằm ở thủ đô của đế quốc, nơi hoàng đế sống, đồng thời với vị thế kế vị của vị Tông Đồ Trưởng, Toà Giám Mục Rôma là Toà có quyền lực và thế giá nhất trong Hội Thánh. Năm 324, nhà thờ Thánh Gioan Latêranô được chọn làm nhà thờ chính toà của giáo phận Rôma, nơi đặt chiếc ghế của Giám Mục Rôma, do đó trở thành nhà thờ mẹ của toàn thế giới Kitô Giáo, và là nơi cư trú thông thường của Đức Giám Mục. Cũng từ giai đoạn này, Toà Giám Mục Rôma bắt đầu được gọi là “Toà Thánh”.
Năm 324, vua Constantinô I dời đô sang Byzantium, đổi tên thành phố thành Constantinople. Nhờ đó, Toà Giám Mục Byzantium, đã được đổi tên thành Toà Thượng Phụ Constantinople, bắt đầu nổi lên làm một thẩm quyền quan trọng trong thế giới Kitô Giáo, sau Rôma.
Năm 1054, vì sự kiện Thượng Phụ Constantinople không chấp nhận quyền bính của Giám Mục Rôma trên mình, cộng với các khác biệt đã có trước đó, hai Toà Rôma và Constantinople vạ tuyệt thông lẫn nhau, dẫn đến sự ly khai; Toà Constantinople tự xưng mình là Toà Thượng Phụ Tân Rôma, Thượng Phụ Đại Kết (toàn Giáo Hội); còn Đức Giám Mục Rôma thì bắt đầu được gọi là Giáo Hoàng (Papa – Cha). Giáo Hội phương Tây đứng về phía Toà Giám Mục Rôma tự gọi mình là Giáo Hội Công Giáo; các Giáo Hội phương Đông ủng hộ Toà Thượng Phụ Constantinople thì gọi mình là Chính Thống Giáo. Giáo Hội Công Giáo tiếp tục phát triển và truyền giáo khắp thế giới với sự trung thành tuyệt đối dành cho Đức Giám Mục Rôma mà bấy giờ đã được gọi là Giáo Hoàng. Trong khi đó các Giáo Hội Chính Thống Giáo thì không hiệp nhất và thỉnh thoảng có các xung đột về quyền bính.
Giáo phận Rôma trở thành điểm quy chiếu và phán quyết về các vấn đề tín lý và phong hoá cho cả Giáo Hội Công Giáo, và sự trung thành với Đức Giáo Hoàng luôn được nhấn mạnh ở bất cứ đâu Giáo Hội được truyền đến. Vì vai trò của Giám Mục Rôma ngày càng lớn, giáo triều Rôma được thành lập như một nhóm giúp việc cho ngài. Như vậy toàn thể các Hồng Y, Giám Mục, linh mục, giáo dân làm việc trong các hội đồng, uỷ ban, thánh bộ, toà án của Toà Thánh đều chỉ có một mục đích là giúp việc cho Đức Giáo Hoàng; nếu Toà Giáo Hoàng trống ngôi thì toàn thể các vị này lập tức mất chức.
Năm 319, Vương cung Thánh đường Thánh Phêrô được xây dựng trên mộ Thánh Phêrô tại đồi Vatican. Khoảng thế kỷ XIV, các Giáo Hoàng quyết định dọn về sống ở Điện Tông Toà bên cạnh Thánh đường Thánh Phêrô thay vì Thánh đường Latêranô như trước, hình thành nên lãnh thổ Vatican thuộc quyền Giáo Hoàng. Năm 1929, Toà Thánh và vương quốc Ý ký Hiệp ước Latêranô, thiết lập lãnh thổ đồi Vatican 44 hécta làm một quốc gia độc lập thuộc quyền cai trị tuyệt đối của Toà Giám Mục Rôma, với Giáo Hoàng làm quốc vương chuyên chế.
Điều thú vị ở đây là: Đức Giáo Hoàng sống trong nước Vatican là chủ của Toà Giám Mục Rôma, nhưng Toà Giám Mục Rôma lại nằm trên lãnh thổ nước Ý ngoài Vatican (do đó giáo phận được gọi là giáo phận Rôma chứ không phải giáo phận Vatican), thành thử nơi Vị Giám Mục Rôma sống và Toà Giám Mục Rôma là ở 2 nước khác nhau.
Như vậy, Rôma là giáo đô của Giáo Hội Công Giáo vì là nơi đặt Toà Giám Mục của vị Tông Đồ Trưởng; Toà Giám Mục của vị Tông Đồ Trưởng (gọi tắt là Toà Thánh) được đặt ở Rôma vì nó là thủ đô của đế quốc La Mã thời Thánh Phêrô. Âu cũng là ý Chúa đã định vậy.