国立屋内総合競技場は現在、国立代々木競技場と呼ばれており、64年大会の水泳とバスケットボールの競技会場として占領アメリカ軍施設・ワシントンハイツ跡地に建てられました。返還交渉が難航したことで着工が1963年2月と遅れて、オリンピック開催の39日前（1964年8月31日）にようやく完成しました。当時、この工事を18か月で完成させることは不可能と言われていたそうです。設計者は丹下健三氏。彼が設計を手掛けた主な建物には”東京モード学園”や”東京都庁”、”広島平和記念公園”などがあり、どの建物も外見に特徴があります。国立屋内総合競技場は、日本建築学会賞を受賞するほど建築物として優れた設計でした。他にも、日本建設業連合会より建築技術を評価するBCS賞を受賞しました。

　現在は、独立行政法人日本スポーツ振興センターが国立代々木競技場の管理運営を行っており、スポーツやコンサートなど様々なイベントで使われています。1964年大会の水泳競技は、現在の国立代々木競技場第一体育館に設けられていた代々木オリンピックプールで行われました。第一体育館はもともと水泳競技用施設として作られましたが、大会後、夏は室内プール、冬はアイススケート場として利用され、プールの上に床を張って体育館としても使用されました。しかし、1993年に国際規格を持つ東京辰巳国際水泳場が完成したことで競泳施設として使われなくなり、プールは1998年に廃止されました。2002年には残っていた飛び込み台が撤去され、アイススケート場の一般公開も2005年をもって終了しました。