
Το καταστατικό του νέου συλλόγου εγκρίθηκε στις 26 Απριλίου 1926 από το Πρωτοδικείο Θεσσαλονίκης (αριθ. απόφασης 822/26). Η ημερομηνία αυτή θεωρείται και η ληξιαρχική πράξη γέννησης του συλλόγου, αλλά η αγωνιστική του δράση είχε ξεκινήσει ένα χρόνο νωρίτερα. Ως χρώματα της ομάδος επιλέχθηκαν το πένθιμο μαύρο για να συμβολίζει την τραγική περιπέτεια του μικρασιατικού ελληνισμού και το αισιόδοξο λευκό, που θα άνοιγε ένα παράθυρο στο μέλλον. Έμβλημα του συλλόγου, το πράσινο τετράφυλλο τριφύλλι και το πέταλο.
Στις 26 Ιουλίου 1925 ο ΠΑΟΚ δίνει το πρώτο του φιλικό παιγνίδι και ηττάται 2-1 από τον Ηρακλή. Δύο εβδομάδες αργότερα θα συντριβεί από τον Άρη με 5-2. Το πρώτο επαγγελματικό συμβόλαιο της ομάδας υπογράφεται στις 5 Σεπτεμβρίου 1928, με τον ποδοσφαιριστή Ετιέν, που θα εισπράττει 4.000 δραχμές μηνιαίως.
Στις 20 Μαρτίου 1929 ο ΠΑΟΚ συγχωνεύεται με το άλλο προσφυγικό σωματείο της Θεσσαλονίκης, την ΑΕΚ, με πρωτοβουλία του γιατρού Καραμαούνα, προέδρου του πολιτιστικού σωματείου Ένωση Κωνσταντινοπουλιτών. Ο ΠΑΟΚ αλλάζει έμβλημα και στη θέση του τετράφυλλου τριφυλλιού με το πέταλο, υιοθετείται ο Βυζαντινός Δικέφαλος Αετός. Μόνο που ο Δικέφαλος Αετός του ΠΑΟΚ έχει τα φτερά του κλειστά, σε ένδειξη πένθους για τον ξεριζωμό των ρωμιών από την Πόλη.

Το φθινόπωρο του 1959 ξεκινά το νέο πρωτάθλημα της Α' Εθνικής, με τον ΠΑΟΚ να είναι πανέτοιμος, με ισχυρή ομάδα και νέο γήπεδο στην Τούμπα, που εγκαινιάζεται στις 6 Σεπτεμβρίου. Χτίστηκε σε οικόπεδο 30 στρεμμάτων, που είχε παραχωρήσει το 1957 ο Στρατός στην Τούμπα, μια προσφυγική συνοικία της Θεσσαλονίκης. Στον πρώτο αγώνα του στην Α' Εθνική, στις 25 Οκτωβρίου 1959, ο ΠΑΟΚ νικά τον Μέγα Αλέξανδρο Κατερίνης με 3-1.

Η συνέχεια, όμως, δεν θα είναι ανάλογη. Οι αδύναμες διοικήσεις, τα οικονομικά προβλήματα και ο υπέρμετρος γιγαντισμός των οπαδών, που λύνουν και δένουν στην Τούμπα, καθιστούν τον ΠΑΟΚ από πρωταγωνιστή, κομπάρσο, παρά τις κάποιες επιτυχίες, όπως τα δύο Κύπελλα Ελλάδος (2001 και 2003), τη συμμετοχή στον τελικό του Κυπέλλου Ελλάδας το 1992 και τον αποκλεισμό της Άρσεναλ στο Κύπελλο UEFA το 1997 (1-0 και 1-1).
Ο ΠΑΟΚ, εκτός από το τμήμα του ποδοσφαίρου, διατηρεί τμήματα μπάσκετ, (2 πρωταθλήματα, 3 Κύπελλα και 2 Ευρωπαϊκά Κύπελλα), βόλεϊ, κλασσικού αθλητισμού, κολύμβησης, υδατοσφαίρισης, πυγμαχίας και ποδηλασίας.