誕生日の前日が終了した時、つまり
誕生日の前日の深夜１２時なのだそうです。
＃外国のことは知りませんが、日本ではそうです。

つまり、２月２９日生まれの人は、誕生日前日の
２月２８日深夜１２時に年齢が増えるので、
平年(閏年でない年)においては
３月１日午前０時に年齢が増えたように
感じることになるのです。

法律上の、根拠条文・関連条文をあげておきます。
＃細かいことですが、民法以外の２法については、
＃法律の原文には項番号はついてなくて、
＃項番号は解釈上一般につけられているもののようです。
　
　
　
　「年齢のとなえ方に関する法律」
　
　(１項)　この法律施行の日以後，国民は，年齢を数え年によって言い表わす従来のならわしを改めて，年齢計算に関する法律（明治三十五年法律第五十号）の規定により算定した年数（一年に達しないときは，月数）によってこれを言い表わすのを常とするように心がけなければならない。
　(２項)　　(略)
　(附則)　　(略)
　
　
　「年齢計算ニ関スル法律」
　
　(１項) 年齢ハ出生ノ日ヨリ之ヲ起算ス
　(２項) 民法第百四十三条ノ規定ハ年齢ノ計算ニ之ヲ準用ス
　(３項) 明治六年第三十六号布告ハ之ヲ廃止ス
　
　
　「民法」　第１編　総則　　　第六章　期間の計算
　
　（期間の計算の通則）
　第138条 　期間の計算方法は、法令若しくは裁判上の命令に特別の定めがある場合又は法律行為に別段の定めがある場合を除き、この章の規定に従う。

　（期間の起算）
　第139条 　時間によって期間を定めたときは、その期間は、即時から起算する。

　第140条 　日、週、月又は年によって期間を定めたときは、期間の初日は、算入しない。ただし、その期間が午前零時から始まるときは、この限りでない。

　（期間の満了）
　第141条 　前条の場合には、期間は、その末日の終了をもって満了する。

　第142条 　期間の末日が日曜日、国民の祝日に関する法律 （昭和二十三年法律第百七十八号）に規定する休日その他の休日に当たるときは、その日に取引をしない慣習がある場合に限り、期間は、その翌日に満了する。

　（暦による期間の計算）
　第143条1項 　週、月又は年によって期間を定めたときは、その期間は、暦に従って計算する。
　　2項 　週、月又は年の初めから期間を起算しないときは、その期間は、最後の週、月又は年においてその起算日に応当する日の前日に満了する。ただし、月又は年によって期間を定めた場合において、最後の月に応当する日がないときは、その月の末日に満了する。
　
　
　
条文を見ただけでは、なぜそうなるかわかりにくい、と
おっしゃる方は、これらの条文を参照しながら、
『実務の友』というサイトの中の
『年齢計算に関する法律』や
『年齢計算 よくある質問と答え』を
ご覧下さい。

もっと公的なサイトの方がいい、とおっしゃる方は、
参議院法制局のサイトの「法制執務コラム集」の中の、
『４月１日生まれの子どもは早生まれ？』を
ご覧下さい。
　
　
　
あと、本当は、「２月２９日が４年に１回」というのも、
かつてのユリウス暦はともかく、
現行のグレゴリオ暦においては不正確なのですが、
その辺の話は、『二十四節気シリーズ』の中の
『春分。いよいよ春です。』で書いたことと重複するので、
そちらを参照下さい。

でも結論だけ書くと、グレゴリオ暦では、
西暦年が４で割り切れる年であっても、
100でも割り切れるが400で割り切れない年は
閏年ではなく平年です。
例えば、1900年は平年でしたし、
2100年も(改暦しなければ)平年になる予定です。
＃2000年は400で割り切れるので閏年でした。

冒頭で、２月２９日を「４００年に９７回」と
書いたのは、そういうことです。