Das Cadell House befindet sich in abgeschiedener Lage vor Canongate, zwischen dem restaurierten öffentlichen Garten Dunbar Close aus dem 17. Jahrhundert, der sich über die Länge eines der langen Stadtgrundstücke erstreckt, und hinter der Wohnsiedlung Sir Basil Spence aus den 1930er Jahren, die vor dem Canongate liegt. Das Cadell House ist ein gut erhaltenes Kaufmannshaus aus dem 18. Jahrhundert, das seine ursprüngliche Grundrissform beibehält. Die blinde Giebelhöhe weist auf frühere Öffnungen hin, die jetzt blockiert sind. William Cadell (1668-1728) war ein bekannter Kaufmann und Freiberufler der Stadt. Sein Enkel, auch William, war einer der Gründer der Carron Company Ironworks in Falkirk, die im 18. und frühen 19. Jahrhundert die größte ihrer Art in Europa war. Das Haus wurde 1954 als Wohnung restauriert.
Cadell House war mit dem berüchtigten Adam Smith FRSA (16. Juni 1723 - 17. Juli 1790) verbunden, einem schottischen Ökonomen, Philosophen und Schriftsteller sowie einem Moralphilosophen, einem Pionier der politischen Ökonomie und einer Schlüsselfigur während der schottischen Aufklärung. Smith schrieb zwei klassische Werke, The Theory of Moral Sentiments (1759) und An Inquiry in the Nature und Ursachen des Reichtums der Nationen (1776). Letzterer, oft als "The Wealth of Nations" abgekürzt, gilt als sein Hauptwerk und das erste moderne Werk der Wirtschaft.
Der historische und architektonische Wert des gesamten Canongate-Gebiets in Edinburgh kann nicht genug betont werden. Die Gebäude verkörpern einen Geist der Beständigkeit, während sie sich ständig weiterentwickeln. Sie spiegeln fast 1000 Jahre politischer, religiöser und staatsbürgerlicher Entwicklung in Schottland wider. Die Kanoniker der Holyrood Abbey erhielten von König David I. die Erlaubnis, 1140 die Stadt Canongate zu gründen. Jede Seite der Straße (ein Vulkankamm) war in lange, schmale Landstreifen oder "Tofts" unterteilt. Bis zum Ende des 15. Jahrhunderts waren alle Gebiete besetzt, von denen einige in "Vorland" und "Hinterland" unterteilt waren, die sich in unterschiedlichen Besitzverhältnissen befanden. Die Überlegenheit der Fuedals über Canongate hörte nach 1560 auf. Das folgende Jahrhundert war eine Zeit des großflächigen Umbaus, und in dieser Zeit wurden die meisten Villen und schönen Stadthäuser der Gegend errichtet, gewöhnlich im hinteren Teil der Schläge, abseits des Elends der Hauptstraße. Im 17. Jahrhundert wurden auch die engen Parzellen zusammengelegt und zu von Mietshäusern umgebenen Höfen ausgebaut. Die Stadt wurde 1856 offiziell in die Stadt eingegliedert. Im Laufe des 19. Jahrhunderts ging der Wohlstand des Canongate zurück, als große Teile des Adels und der Mittelschicht zugunsten der Größe und der verbesserten Einrichtungen der New Town von Edinburgh aus dem Gebiet zogen. Mit dem Improvement Act von 1867 wurden Anstrengungen unternommen, um dem entgegenzuwirken, und es wurde frühzeitig mit einer großflächigen Elendsräumung und der Sanierung ganzer Straßenfronten reagiert. Ein weiteres Verbesserungsgesetz (1893) war teilweise eine Reaktion auf diese „maximale Intervention“ und reagierte mit einem Programm von relativ kleinen Änderungen innerhalb des bestehenden Straßenmusters. Dieser letztere Ansatz entsprach eher dem Konzept von Patrick Geddes 'konservativer Chirurgie'. Der renommierte Intellektuelle Geddes, der in der Altstadt lebte, war ein Pionier der modernen Naturschutzbewegung in Schottland, die im Laufe des 20. Jahrhunderts an Dynamik gewann. Umfangreiche Umbauten und Auffüllungen von Abschnitten der vielen Wohnhäuser des Canongate wurden durchgeführt, insbesondere von den Stadtarchitekten EJ McRae und Robert Hurd (Mitte des 20. Jahrhunderts), wobei einige frühe Fassaden beibehalten und andere nachgebaut wurden.