ローンの借り換え断られました。審査難しいですか？

2001年に4,490万円でマンションを購入し、公庫と銀行で、現在3,700万の残高があります。
主人は中小企業の経営者で年収780万(申告額)ありますが、昨年ローンの借り換えをある銀行に申し込んだ所、会社の決算内容、過去3年のうち、1年赤字決算があった為、断られました。現在、商用で駐車場を2台契約しており、管理費、修繕積立金を含め、ローン返済額 + 9万円程の負担があり、駐車場のある戸建への買換えを検討し始めたところです。住み換え( マンション売却の後の戸建購入 )と会社経営者(1年赤字決算あり)という条件では、やはり審査に通るのは難しいでしょうか？