Drawing phase diagrams using deep convolutional neural networks - - PowerPoint PPT Presentation

Drawing phase diagrams using deep convolutional neural networks

• Deep Learning and Physics 2018
• J. Phys. Soc. Jpn., 85, 123706 (2016)
• J. Phys. Soc. Jpn., 86, 044708 (2017)
• J. Phys. Soc. Jpn., 86, 113704 (2017)

• utline
• Analyze the wave function using deep

convolutional neural network à phase diagram for quantum phase transition

• What is Anderson metal-insulator transition

(delocalization-localization transition)?

• Deep 3d convolutional neural network approach

(image recognition)

• Various types of Anderson transitions
• Quantum percolation transitions
• Application to random topological insulator: real vs.

k-space analysis

2

Anderson localization

• Wave propagation in random medium à

constructive and destructive interferences (wave can be electron, microwave, light, sound, matter waves) àlocalization of wave (P.W. Anderson, ‘58)

3

Ubiquitous phenomena in many fields of physics

Anderson localization

• Eigenfunctions are exponentially localized

Ψ(x) = a(x)exp − | x − x0 | ξ ⎛ ⎝ ⎜ ⎞ ⎠ ⎟

• Red-green, 80%. Red-green-blue, 99%

|ψ (x, y)|2

Slevin –Ohtsuki ‘12

3d delocalized-localized w.f.

5

Metal (delocalized) Insulator (localized)

Anderson Model

6

In magnetic fields In the presence of spin-orbit interaction Non-interacting, random Hamiltonian

H = ε j j j +

j

∑

Vj', j j' j

j', j

∑

, − W 2 < ε j < W 2

H = ε j j,σ j,σ +

j,σ

∑

Vj',σ ', j,σ j',σ ' j,σ

j', j,σ,σ '

∑

SU(2) matrix U(1) matrix

Lyapunov exponent and quasi 1D localization length

ψn+1 Vn+1,nψn ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ = Tn ψn Vn,n−1ψn−1 ⎛ ⎝ ⎜ ⎞ ⎠ ⎟

Eψn = Hnψn + Vn,n+1ψn+1 + Vn,n−1ψn−1

Transfer matrix

n-1 n n+1

ψ n ≈ exp − n ξq1D(L) ⎛ ⎝ ⎜ ⎞ ⎠ ⎟

Γ(L) = F(L /ξ) = f (L

1/ν (W −Wc)) =

L2−d (delocalized, metal) Γc (critical) L /ξ (localized, insulator) ⎧ ⎨ ⎪ ⎪ ⎩ ⎪ ⎪

Finite size scaling analysis

Slevin-Ohtsuki 2012 Wc L L metal insulator

L/ξq1d(L)=

Limit of transfer matrix

• If the matrix elements between sites on n-th

layer and n+1th layer, Vn,n+1 = ⟨n|H|n+1⟩, is not invertible, we can not use transfer matrix.

– This happens in the case of bcc and fcc lattices, quantum percolation and of localization on fractal lattice.

• To draw a phase diagram in W-E space,

– Fix E, change W, do FSS and obtain Wc(E). – Then change E to E’ and fix it, change W, FSS, Wc(E’). – …..

Use 3D image recognition

• 3D convolutional neural network
• Train the neural network for a simple case,

and use the trained neural network to analyze the more complex situations/systems.

– Simple model: Anderson model of localization at the band center E=0.àused for training the neural network. – Application to

• |E|>0
• In the presence of magnetic field
• Random lattice (ex. quantum percolation)

Models

• Anderson model
• Quantum percolation

! = ∑ $

%&,%| ⟩

*+ ⟨*|, $

%+,%=0 or 1

Sites/bonds are occupied with probability p. For p>pc , a cluster connecting left side to right appears.

H = ε j j j +

j

∑

Vj', j j' j

j', j

∑

, − W 2 < ε j < W 2

https://en.wikipedia.org/wiki/Percolation_theory#/media/ File:Bond_percolation_p_51.png

14<W<16 17<W<19

CONVOLUTION CONVOLUTION POOLING CONVOLUTION CONVOLUTION POOLING CONVOLUTION CONVOLUTION POOLING DENSE

3D CNN

Diagonalize

Anderson model

Size 404040 Select E=0 4000 eigen functions for metal and ins.

• 3D Anderson transition
• (32 a

c jacc

• c

c cc uc a0IO[GOUT c ULSG] KIOLOKJ:OTKG BTOK:B ia

• 3UVUZ ipmcta

Deep (9 weight layer) CNN transfer matrix + FSS Mano-Ohtsuki, JPSJ ‘17

Wave function of Anderson model vs. quantum percolation

Anderson model quantum percolation Ujfalusi and Varga, PRB ‘14

Phase diagram for quantum percolation

Site percolation; T. Mano and TO: J. Phys. Soc. Jpn. 86, 113704 (2017)(white dashed line,Ujfalusi and

Varga, ‘14)

=insulator =metal =metal

Change the model and draw phase diagrams

• Modify the potential distribution
• Applying the magnetic fields, which weakens

the localization due to the breaking of time reversal symmetry

– Modify the transfer term,

18

の間に一様分布をしているとする． エネルギー ，ランダムネスの強さ を変化させると，波動関数は非局在状態から局 在状態へ，またはその逆に転移する．いわゆるアンダーソン転移である．非局在状態は金 属，局在状態は絶縁体に対応するので，波動関数の非局在，局在の特徴を，以下の節に述 べるようにニューラルネットワークが抽出してくれれば，金属，絶縁体の判定が可能とな るわけである． 一度このモデルで学習して作ったニューラルネットワークは，今度は他のモデルで得ら れた波動関数が金属的であるか，絶縁体的であるかを判定できるようになる．演習問題 を十分勉強すれば応用問題も解けるようになるのと似ている．ここでは，以下の 応用問 題 を考える． ポテンシャル の確率分布を上記の箱型分布 P(Vx) =

1 W Θ

W

2 − |Vx|

• から，ガ

ウス分布 コーシー分布 にし たもの． ポテンシャルは一定であるが，格子がランダムなもの．例えば，サイトが確率 で占有されている，いわゆるパーコレーションクラスター上での電子の局在ー非局 在問題がこの状況に当たる ．古典的にはパーコレーション閾値 よ り大きな で系全体に広がったクラスターが形成され電気が流れ始め，金属ー絶 縁体転移が起こる．一方，量子力学的に振る舞う電子の場合，たとえクラスターが 系全体に広がっていても，電子がクラスター上で局在している限り絶縁体のまま である．よって電流が流れ始める条件は である． は量子パーコ レーション閾値と呼ばれる． 上記の問題に磁場をかけることで時間反転対称性を破ったもの．この場合，最 近接格子へのトランスファー を と変形する． で はランダムな磁場から生じているとして， の一 様乱数とする．

最近接サイトが両方とも占有されていれば繋がっているとみなす．繋がっているサイトの塊をクラスター と呼ぶ．

の間に一様分布をしているとする． エネルギー ，ランダムネスの強さ を変化させると，波動関数は非局在状態から局 在状態へ，またはその逆に転移する．いわゆるアンダーソン転移である．非局在状態は金 属，局在状態は絶縁体に対応するので，波動関数の非局在，局在の特徴を，以下の節に述 べるようにニューラルネットワークが抽出してくれれば，金属，絶縁体の判定が可能とな るわけである． 一度このモデルで学習して作ったニューラルネットワークは，今度は他のモデルで得ら れた波動関数が金属的であるか，絶縁体的であるかを判定できるようになる．演習問題 を十分勉強すれば応用問題も解けるようになるのと似ている．ここでは，以下の 応用問 題 を考える． ポテンシャル の確率分布を上記の箱型分布 から，ガ ウス分布 P(Vx) =

1 √ 2πW 2 exp

• − V 2

x

2W 2

• コーシー分布

にし たもの． ポテンシャルは一定であるが，格子がランダムなもの．例えば，サイトが確率 で占有されている，いわゆるパーコレーションクラスター上での電子の局在ー非局 在問題がこの状況に当たる ．古典的にはパーコレーション閾値 よ り大きな で系全体に広がったクラスターが形成され電気が流れ始め，金属ー絶 縁体転移が起こる．一方，量子力学的に振る舞う電子の場合，たとえクラスターが 系全体に広がっていても，電子がクラスター上で局在している限り絶縁体のまま である．よって電流が流れ始める条件は である． は量子パーコ レーション閾値と呼ばれる． 上記の問題に磁場をかけることで時間反転対称性を破ったもの．この場合，最 近接格子へのトランスファー を と変形する． で はランダムな磁場から生じているとして， の一 様乱数とする．

最近接サイトが両方とも占有されていれば繋がっているとみなす．繋がっているサイトの塊をクラスター と呼ぶ．

の間に一様分布をしているとする． エネルギー ，ランダムネスの強さ を変化させると，波動関数は非局在状態から局 在状態へ，またはその逆に転移する．いわゆるアンダーソン転移である．非局在状態は金 属，局在状態は絶縁体に対応するので，波動関数の非局在，局在の特徴を，以下の節に述 べるようにニューラルネットワークが抽出してくれれば，金属，絶縁体の判定が可能とな るわけである． 一度このモデルで学習して作ったニューラルネットワークは，今度は他のモデルで得ら れた波動関数が金属的であるか，絶縁体的であるかを判定できるようになる．演習問題 を十分勉強すれば応用問題も解けるようになるのと似ている．ここでは，以下の 応用問 題 を考える． ポテンシャル の確率分布を上記の箱型分布

• − |

|

• から，ガ

ウス分布 コーシー分布 P(Vx) =

W π(V 2

x +W 2) にし

たもの． ポテンシャルは一定であるが，格子がランダムなもの．例えば，サイトが確率 で占有されている，いわゆるパーコレーションクラスター上での電子の局在ー非局 在問題がこの状況に当たる ．古典的にはパーコレーション閾値 よ り大きな で系全体に広がったクラスターが形成され電気が流れ始め，金属ー絶 縁体転移が起こる．一方，量子力学的に振る舞う電子の場合，たとえクラスターが 系全体に広がっていても，電子がクラスター上で局在している限り絶縁体のまま である．よって電流が流れ始める条件は である． は量子パーコ レーション閾値と呼ばれる． 上記の問題に磁場をかけることで時間反転対称性を破ったもの．この場合，最 近接格子へのトランスファー を と変形する． で はランダムな磁場から生じているとして， の一 様乱数とする．

最近接サイトが両方とも占有されていれば繋がっているとみなす．繋がっているサイトの塊をクラスター と呼ぶ．

の間に一様分布をしているとする． エネルギー ，ランダムネスの強さ を変化させると，波動関数は非局在状態から局 在状態へ，またはその逆に転移する．いわゆるアンダーソン転移である．非局在状態は金 属，局在状態は絶縁体に対応するので，波動関数の非局在，局在の特徴を，以下の節に述 べるようにニューラルネットワークが抽出してくれれば，金属，絶縁体の判定が可能とな るわけである． 一度このモデルで学習して作ったニューラルネットワークは，今度は他のモデルで得ら れた波動関数が金属的であるか，絶縁体的であるかを判定できるようになる．演習問題 を十分勉強すれば応用問題も解けるようになるのと似ている．ここでは，以下の 応用問 題 を考える． ポテンシャル の確率分布を上記の箱型分布 から，ガ ウス分布 コーシー分布 にし たもの． ポテンシャルは一定であるが，格子がランダムなもの．例えば，サイトが確率 で占有されている，いわゆるパーコレーションクラスター上での電子の局在ー非局 在問題がこの状況に当たる ．古典的にはパーコレーション閾値 よ り大きな で系全体に広がったクラスターが形成され電気が流れ始め，金属ー絶 縁体転移が起こる．一方，量子力学的に振る舞う電子の場合，たとえクラスターが 系全体に広がっていても，電子がクラスター上で局在している限り絶縁体のまま である．よって電流が流れ始める条件は である． は量子パーコ レーション閾値と呼ばれる． 上記の問題に磁場をかけることで時間反転対称性を破ったもの．この場合，最 近接格子へのトランスファー を

⟨x,x′⟩ tx,x′c† xcx′ と変形する．

で はランダムな磁場から生じているとして， の一 様乱数とする．

最近接サイトが両方とも占有されていれば繋がっているとみなす．繋がっているサイトの塊をクラスター と呼ぶ．

の間に一様分布をしているとする． エネルギー ，ランダムネスの強さ を変化させると，波動関数は非局在状態から局 在状態へ，またはその逆に転移する．いわゆるアンダーソン転移である．非局在状態は金 属，局在状態は絶縁体に対応するので，波動関数の非局在，局在の特徴を，以下の節に述 べるようにニューラルネットワークが抽出してくれれば，金属，絶縁体の判定が可能とな るわけである． 一度このモデルで学習して作ったニューラルネットワークは，今度は他のモデルで得ら れた波動関数が金属的であるか，絶縁体的であるかを判定できるようになる．演習問題 を十分勉強すれば応用問題も解けるようになるのと似ている．ここでは，以下の 応用問 題 を考える． ポテンシャル の確率分布を上記の箱型分布 から，ガ ウス分布 コーシー分布 にし たもの． ポテンシャルは一定であるが，格子がランダムなもの．例えば，サイトが確率 で占有されている，いわゆるパーコレーションクラスター上での電子の局在ー非局 在問題がこの状況に当たる ．古典的にはパーコレーション閾値 よ り大きな で系全体に広がったクラスターが形成され電気が流れ始め，金属ー絶 縁体転移が起こる．一方，量子力学的に振る舞う電子の場合，たとえクラスターが 系全体に広がっていても，電子がクラスター上で局在している限り絶縁体のまま である．よって電流が流れ始める条件は である． は量子パーコ レーション閾値と呼ばれる． 上記の問題に磁場をかけることで時間反転対称性を破ったもの．この場合，最 近接格子へのトランスファー を と変形する．

tx,x′ = exp(iθx,x′) で

はランダムな磁場から生じているとして， の一 様乱数とする．

最近接サイトが両方とも占有されていれば繋がっているとみなす．繋がっているサイトの塊をクラスター と呼ぶ．

19

Mano-Ohtsuki, JPSJ ’17, JPS Mtg ‘18 Anderson model, box Anderson model, Gauss Anderson model+B Quantum percolation Quantum percolation+B Anderson model, Cauchy

So far, real space wave functions have been studies.

• What happens if we train the neural network

using wave functions in k-space, ψ(k)=Σ eikr ψ(r)

• Application to the analysis of topological

materials.

– Difficult to define the topological number in the present of randomness. – k-space representation is more natural.

20

Applications to 3D topological materials(3D topological insulator and 3D Weyl semimetal)

• topological materials and ordinary material/

vacuum have different topology à surface states

• focus on the existence of surface states,

determine whether the system is topological

• r not.

Surface states of strong TI in the presence of randomness Fermi arc states of Weyl semimetal in the presence of randomness

Minimum model for 3D topological insulator Ordinary insulator

< m0/m2 < m0/m2 < Strong TI Weak TI

• 4 < m0/m2 <

t /m2= 2

• 2
• π
• π
• π

π π π

E(k) = ±

• m(k)2 + t2(sin2 kx + sin2 ky + sin2 kz)

Slab geometry surface Dirac cone

comparing the result with that by transfer matrix method

’phaseDiagramT2R1.txt’

• 2
• 1.5
• 1
• 0.5

0.5 2 3 4 5 6 7 8

0.5 1 1.5 2 2.5 3

DM WTI (111) STI OI

m0/m2 transfer matrix method machine learning method TO, JPSJ (‘17)

Can we distinguish surface states, STI and WTI?

27

Real space K-space STI WTI STI WTI

|ψ(k)|2 |ψ(k)|2 |ψ(r)|2 |ψ(r)|2

Application of convolutional neural network to K-space w.f.

28

’phaseDiagramT2R1.txt’

• 2
• 1.5
• 1
• 0.5

0.5 2 3 4 5 6 7 8

0.5 1 1.5 2 2.5 3

DM WTI (111) STI OI

Metal STI WTI OI Real space K-space, preliminary Cannot distinguish STI and WTI. Can distinguish STI and WTI.

Machine learning in condensed matter physics

• Now getting popular and seem to be well

accepted.

• Use of 3D image recognition à various metal

insulator transitions

– Anderson transition in the presence/absence of magnetic fields

• Fourier space image recognition: sometimes

better to analyze the wave function.

– Ex. Disordered topological insulators.

29