Der rote Backsteinbau mit seinen sandsteinfarbenen Konturen, dem markanten Uhrenturm, Staffelgiebel und Ecktürmchen, ist neben den monumentalen Kranhäusern ein absoluter Kontrastpunkt. Damit ist der historische Bau des Hafenamtes mit dem nebenstehenden Krafthaus ein Beispiel für die gelungene Integration der historischen Gebäude in die moderne Planung des Rheinauhafens. Auch das Hafenamt selbst bietet ein Beispiel für ein gelungenes Ensemble aus historisch und modern: 1998 erhielt das Architektenbüro Gatermann + Schossig den Auftrag für einen Erweiterungsbau des Hafenamtes, der sich deutlich von dem Bau des 19. Jahrhunderts absetzt. Verbunden werden beide Bauteile durch ein gläsernes Treppenhaus.
Das historische Hafenamt wurde im Zuge des Hafenausbau Ende des 19. Jahrhunderts durch den Architekten Adam Sesterhenn errichtet, der ebenfalls das Krafthaus und den Lokschuppen nebenan baute. Der damalige Stadtplaner Josef Stübben verweist auf den „romanisierenden Stil" des Hafenamtes. Hierzu passen die Rundbogenfriese als architektonischer Abschluss der Gebäude sowie die Rundbogen- und Zwillingsfenster mit Blendbögen.
Das Hafenamt war damals nicht nur Kontor, sondern es beherbergte auch Dienstwohnungen für den Hafendirektor, den Hafenmeister, den Amtsdiener und den Maschinenmeister des Krafthauses. Sesterhenn verwendete bewusst vielfältige Elemente, die an Rathausbauten – oder durch den Stufengiebel – an Bürgerhäuser aus dem Mittelalter erinnern. Markanter Blickfang ist der quadratische Uhrenturm der an der nördlichen Stadtseite das Hafenamt um vier Geschosse überragt.
Jedes Geschoss des Hafenamtes ist unterschiedlich gestaltet. Der Eckbau mit den beiden Stufengiebeln unterscheidet sich in der Gestaltung teilweise etwas vom dreiflügeligen Hauptbau. Im 1.Obergeschoß hat der Eckbau ebenso mit Blendbögen überfangene Rundbogenfenster, die nun aber gekuppelt sind und eingestellte Säulen sowie Blendbogenfelder aufweisen. Dagegen hat der Hauptbau hochrechteckige Kreuzstockfenster. Im 2.Obergeschoss des Hauptbaus gibt es rundbögige Zwillingsfenster, die im Eckbau zusammenrücken und in deren Mitte eine Nische ist, in der sich früher eine Figur befand.
Zur Stadtseite grüßte der Syndikus der Kölner Hanse Heinrich Sudermann (1520 -1591) und verwies auf Kölns Bedeutung als Hansestadt. Er war seinerzeit einer der einflussreichsten Männer in Deutschland. 1556 wurde er mit 36 Jahren der erste leitende Angestellte mit einem festen Dienstverhältnis bei der Hanse. 20 Jahre später erhielt er dieses Amt auf Lebenszeit.
An der Westseite grüßte der römische Feldherr Marcus Agrippa, der auf Befehl des Kaisers Claudius und Wunsch seiner Gattin Agrippina die Stadt Köln als Colonia Claudia Ara Agrippinensium (CCAA) gründete. Die Figuren wurden 1960 abgenommen, da die Standsicherheit nicht mehr gewährleistet war. Da sie dann draußen gelagert wurden, waren sie einige Jahre später verwittert.
Im 3. Obergeschoss weisen die beiden Stufengiebelfassaden je ein Drillingsfenster und ein darüber liegendes Rundfenster auf. Der Hauptbau, der mit einem Satteldach abschließt, hat dreifenstrige Gauben, die mit einem Kegeldach versehen sind. Diese Kegeldächer erinnern an das Kegeldach des eingestellten nordwestlichen Rundturms des Eckgebäudes.
Das Pendant zu diesem Rundturm im Südosten ist der zweistöckige Erker, der aus reinem Sandstein errichtet ist. Das Hafenamt wurde nach dem 2.Weltkrieg notdürftig wieder hergerichtet und war insbesondere in den 1990er Jahren in einem sehr schlechtem Zustand. Nach längerer Diskussion, in der auch über einen Verkauf des Gebäudes nachgedacht wurde, entschied sich die neu gegründete „Häfen und Güterverkehr Köln AG (HGK)" zu einer Restaurierung, so dass der historische Komplex seit einigen Jahren wieder eine Augenweide im Rheinauhafen ist und einen gelungenen Kontrast zu den modernen Gebäuden bildet.
