Pierwsza informacja o miejscowości pojawia się w 1331 roku. Miejscowość aż do XVII wieku związana była z eksploatacją w Górach Sowich galeny, czyli rudy ołowiu i srebra. W 1536 roku otrzymała prawa miejskie. Po upadku górnictwa, mieszkańcy Srebrnej Góry zajmowali się tkactwem i handlem, co ułatwiał im fakt położenia na Przełęczy Srebrnej, jednej z bram między Czechami a Śląskiem. Kolejne zgoła sto lat powodzenia i rozwoju wynika z faktu budowy i funkcjonowania Twierdzy Srebrna Góra. Po jej zamknięciu w 1867 roku, srebrnogórzanie utrzymywali się głównie z turystyki. I tak jest do dzisiaj.
Powiada się, iż pewnego chłodnego dnia, na przednówku 1945 roku, tuż przed świtem, kamienice w Srebrnej Górze zaczęły drżeć. Przestraszeni mieszkańcy zrywali się z ciepłych łóżek i biegli do okien zobaczyć skąd pochodzi miarowy, niekończący się warkot silników. Była przecież wojna, czyżby niemieckie wojska zamierzały ustawić w Srebrnej Górze obronne szańce dla odparcia zbliżającej się nieubłaganie Armii Czerwonej?
Ulice miasteczka przemierzała karawana ciężarówek. Kilkadziesiąt maszyn wspinało się w stronę srebrnogórskiej twierdzy mieląc resztki marcowego śniegu. Jedna po drugiej przekraczały bramę fortecznego donżonu, a następnie zawracały w luźniejszych odstępach czasu. Co takiego żołnierze Wehrmachtu transportowali do wnętrza twierdzy? Srebrnogórzanie nie powtarzają popularnej w Sudetach historyjki o Bursztynowej Komnacie. Powiada się, że hitlerowscy żołnierze transportowali do Twierdzy Srebrna Góra dzieła sztuki zrabowane podczas wojny.
Powiada się, że dzieła te przewozili z Kamieńca Ząbkowickiego, w którym istniał ich wielki magazyn. Powiada się – pozostaje kolejna tajemnica do odkrycia.
Srebrna Góra od ponad stu lat nazywana jest Perłą Gór Sowich. Ostatnio modne staje się również określenie Namche Bazar Gór Sowich. Namche Bazar to Brama Himalajów. I wprawdzie Srebrna Góra nie oferuje dotarcia na Mount Everest, ale atrakcji jest tutaj wielki dostatek: mineralog w „Sztolni Chłopiny” znaleźć może galenę, wielbiciel militariów spotka pruskiego piechura, huknie z muszkietu a nawet armaty, pasjonat baśni, legend i horrorów przeżyje prawdziwe chwile strachu w komnatach grozy na Twierdzy. Dla amatorów sportów ekstremalnych przygotowany jest park linowy, dla pasjonatów hippiki najpiękniej w Polsce położony maneż, niemrawi już 1 kwietnia 2011 r., mogą poruszać się lokalną kolejką Fortfan Ekspres, a aktywni mogą pieszo, rowerem i konno przemierzać sieć dobrze oznakowanych szlaków turystycznych.
Srebrnogórska ziemia pamięta rzeczy, jakie nawet nie śniły się filozofom. Pamięta średniowiecznych górników (czyż nie stąd bierze się nazwa górnik, czyli osobnik grzebiący w górach?) fedrujących w skalnych sztolniach w poszukiwaniu galeny - rudy ołowiu i srebra. Pamięta wozy taborytów „nawracających” ogniem i mieczem na wiarę i zasady ewangelii. Pamięta jak Roku Pańskiego 1536 otrzymała prawa Wolnego Miasta Górniczego. Pamięta kolejne opresje wojenne, zmieniające się oblicza państwowości, ataki dżumy i kokluszu, czasy upadku i świetności. To doświadczona i mądra ziemia. I trudno się dziwić, skoro ludzie pisali o niej już w 1331 roku.
