馬蹄形写像 h とは、以上のように連続的な変形の操作で定義される、S を像h(S) へ写す写像である[2][5][6]。馬蹄形写像は、代数的というより、幾何学的に定義される写像である[7][8]。後述のように構造安定な写像なので、変形自体も多少適当であっても同じ力学系になる。h(S) の縦線が S の縦線とは交わらないことや h(S) が S をきちんと突き抜けていることなどが守られていれば本質的に同じ力学系といえる[9]。h(S) に再度 h を適用すれば、逆U字をさらに伸ばして折り曲げた領域の像 h 2(S) ができあがる。ここで、h 2 は写像 h の2回反復合成を意味する。逆写像h−1 も定義でき、h は時間反転に対称な写像である。h−1 で正方形 S を写すと向きが 90° 変わった馬蹄が出来上がる[10]。
馬蹄形写像を繰り返し適用すると、縦方向の幅はどんどん縮められながら、何重にも折りられ、積み重なった図形となる[14]。馬蹄形写像でとくに注目するのが、写像の反復を延々と続けても元の正方形領域 S の内に留まり続ける領域である[5]。一般に、ある写像 x ↦ f(x) に対して集合 A ∋ x が不変であるとは、任意の n ∈ Z について fn(x) ∈ A を満たすことをいう[15]。正方形内に存在する馬蹄形写像の不変集合とは、領域 Λ = { x ∈ S | 全ての整数 n について x ∈ hn(x) } のことである[16]。正の方向の反復と負の方向の反復に分けた方が便利なので[17]、
次に、2回反復 h 2(S) が S 内に残る領域は、より細くなった4つの縦長長方形となる。これらの4つの縦長長方形へ写る元の S 上の領域は、1回適用のときと同じく4つの横長長方形が対応する[20]。左に残る領域には H の下付き文字の右側に0を付け加え、右に残る領域には1を付け加えるとする。すなわち、h 2(S) ∈ S の4本の縦長長方形を、左から h 2(H00), h 2(H10), h 2(H11), h 2(H01) と表す。例えば、H10は、h 1 で右側へ、h 2 で左側へ写ることを意味する。H00 と H01 は H0 の内に存在し、H10 と H11 は H1 の内に存在する[20]。
以上のような具合に h の反復を続けると、k 回反復後に hk(S) ∈ S である領域は、幅が λk、数が 2k 本の縦長長方形となる。これらの領域に写る S 上の点の集合 H も、幅が λk、数が 2k 本の横長長方形となる。よって、n → ∞ で、各 H の幅は 0 に収束し、H は長さ 1 の水平な線分の非可算無限個の集まりとなる。H は、その操作から、線分のカントール集合を形成する。この集合が、n → ∞ に関する不変集合 Λ+ である[21]。
不変集合 Λ の構成
負の時間方向へ h−1 を反復した場合も、同様の議論から、n → −∞ に関する不変集合 Λ− も線分のカントール集合を形成する。ただし、Λ− は垂直な線分の集まりである[21]。過去にわたっても未来にわたっても S 上に存在しつづける不変集合は Λ+ と Λ− の積であるから、H と V が重なってできる無数の小さな正方形の中に不変集合が含まれることになる[22]。Λ は、2つのカントール集合同士の直積集合となる[23]。
を満たす[28]。したがって、σ が持つ上記の性質を h も備えている。Λ 上の任意の点はどんなに小さな近傍上の点とも有限回の反復である距離以上に離れてしまう性質を持ち、h は初期値鋭敏性を持つ閉不変集合上のカオス力学系である[29]。さらに、h の全ての周期点は、安定集合と不安定集合を持つサドル点となる[30]。
不変集合 Λ は非遊走集合でもある[31]。ある力学系 f について点 x0 が非遊走的であるとは、x0 の適当な近傍 U 上の任意の点 x に写像の反復を繰り返すと、ある有限の反復繰り返し数 k で fk(x) が U と含まれることをいう。非遊走的な点とは、その点を含めたある領域に写像の反復を繰り返すと、その領域自身に必ずいつか戻って来るという性質を持つ点だといえる[32]。非遊走集合とは非遊走的な点の集まりのことで[33]、ある力学系 f の全ての非遊走的な点を集めた非遊走集合を Ω(f) などと表す[34]。
一般に、ある点 p に対する安定多様体 Ws(p) と不安定多様体 Wu(p) を考える。写像(離散力学系)の場合、Ws(p) と Wu(p) が p 以外の場所で交差できる[52]。この交点を q とする。q はホモクリニック点と呼ばれる[53]。Ws(p) と Wu(p) が q で 0 でない角度で交差するとき、q を横断的ホモクリニック点という[54]。Ws(p) と Wu(p) が不変集合としての性質を持っていることから、q が 写像 f によって写される f (q) も Ws(p) と Wu(p) の交点(ホモクリニック点)に写ることになる。q を初期点とする軌道 {..., f −2(q), f −1(q), q, f(q), f 2(q),...} も全て Ws(p) 上と Wu(p) 上に存在し、ホモクリニック点が無限個存在することになる。結局、横断的ホモクリニック点が1つ存在すれば、 Ws(p) と Wu(p) は互いに無限に交わりながら絡み合う[55]。このような複雑な幾何学的構造はホモクリニック錯綜と呼ばれ[56]、歴史的にはアンリ・ポアンカレが制限三体問題における不安定周期解の性質を研究する過程でその存在を指摘していた[57][58]。連続力学系であれば、ポアンカレ写像によって上記の議論がそのまま当てはまる[59]。
横断的ホモクリニック点と馬蹄。短冊形ABCDが写像の適当な反復によって馬蹄A'B'C'D'に写る。
馬蹄形写像の発案者であるスティーブ・スメールは、ホモクリニック点が持つ位相的性質を馬蹄形写像として解明した[60]。以上のような錯綜が起こると、馬蹄が存在するようになる[50]。言い換えれば、写像が横断的ホモクリニック点を持つとき、その力学系は馬蹄形写像を持つ[61]。幾何学的には、以下のような具合である。p と q を含み、Ws(p) を中心線とするような短冊形領域ABCDを考える。ABCDは写像の反復によって p の周りに正方形状に集まる。この正方形状領域は、さらなる反復によってWu(p) に沿って引き伸ばされる。最終的に、適当な k 回の反復によって写る領域 A'B'C'D' = fk(ABCD) は馬蹄形となり、ABCD を突き抜けた格好となる[62]。この fk は馬蹄形写像である[60]。平面上の微分同相写像を f とし、横断的ホモクリニック点が存在すれば、f のある反復繰り返しに、上記で定義された馬蹄形写像に座標変換して一致する「馬蹄」が存在することが定理としていえる[63]。
馬蹄形写像は、アメリカの数学者スティーブ・スメールが考案した。スメールが馬蹄形写像を初めて紹介した論文は、1964年の Diffeomorphisms with many periodic points とされる[67]。当時の背景として、1940年代から1950年代にかけて、非線形振動の問題が多くの数学者の興味を引き、多くの研究がなされていた[68]。スメールは、自身の学位論文はトポロジーに関するもので、研究者となった後の主な興味もトポロジーにあった[69]。シカゴ大学で最初の教職に就いたのちに同僚を通じて徐々に力学系についても理解を深め始め、1958年ごろに知ったマウリシオ・ペイショート(英語版)の構造安定性に関する成果に興味を持ち、この結果を任意次元への拡張することに取り組んだ[70]。