/ 笔记  

【预编码论文阅读(二)】深度学习(一)

预编码论文阅读(二)——深度学习(一)

由于没有非常系统地看完MIMO的相关内容,整理中必定有很多的问题,欢迎在评论区批评指正。

整理很乱。。。

由于网页公式渲染器KaTeX不支持公式交叉引用,我的前端水平就不足以把我这个模板加入mathjax。故将所有公式交叉引用均删除了,有的是在显示不出来的建议贴到markdown里面去吧


Beamforming Design for Large-Scale Antenna Arrays Using Deep Learning——2020

MISO-mmWave——maximizing the spectral efficiency (SE) with hardware limitation and imperfect CSI.

image-20211116102845778

r=hHvRFs+nr=\mathbf{h}^H\mathbf{v}_{RF}s+n

其中,vRFCNt×1\mathbf{v}_{RF}\in\mathbb{C}^{N_t\times 1}

信道矩阵:

hH=NtLl=1LαlatH(ϕtl)\mathbf{h}^{H}=\sqrt{\frac{N_{\mathrm{t}}}{L}} \sum_{l=1}^{L} \alpha_{l} \mathbf{a}_{\mathrm{t}}^{H}\left(\phi_{\mathrm{t}}^{l}\right)

其中,LL条路径,l=1l=1为LoS路径

优化问题——sum-rate problem

maxvRFlog2(1+γNthHvRF2) s.t. [vRF]i2=1, for i=1,,Nt,\begin{aligned} \underset{\mathbf{v}_{\mathrm{RF}}}{\operatorname{max}} \quad & \log _{2}\left(1+\frac{\gamma}{N_{\mathrm{t}}}\left\|\mathbf{h}^{H} \mathbf{v}_{\mathrm{RF}}\right\|^{2}\right) \\ \text { s.t. } \quad &\left|\left[\mathbf{v}_{\mathrm{RF}}\right]_{i}\right|^{2}=1, \quad \text { for } i=1, \ldots, N_{\mathrm{t}}, \end{aligned}

γ=Pσ2\gamma=\frac{P}{\sigma^2}是信噪比,最优的数字波束赋形vD=PNtv_D=\sqrt{\frac{P}{N_t}}。约束条件由恒模约束和功率约束。

流程

通过估计的hest,γest\mathbf{h}_{est},\gamma_{est}优化RF预编码向量vRF\mathbf{v}_{RF}。相较于CSI,γest=γ\gamma_{est}=\gamma

image-20211116141835446

  • 离线训练:随机生成信道(可以获得perfect CSI),输入估计的hest\mathbf{h}_{est},在BFNN中优化vRF\mathbf{v}_{RF}。再通过vRF\mathbf{v}_{RF}和perfect CSI条件下的CSI和信噪比计算Loss函数。——学习在perfect CSI获得理想频谱效率的方法,同时增强信道估计误差的鲁棒性。
  • 在线部署:实际环境信道(imperfect CSI)估计出hest,γest\mathbf{h}_{est},\gamma_{est},利用BFNN设计出vRF\mathbf{v}_{RF}

网络结构

image-20211116142810047

  • 输入:Nt=64N_t=64根发射天线,将Nt=64N_t=64个信道hest\mathbf{h}_{est}的实部、虚部和估计的信噪比γest\gamma_{est}作为输入(2Nt+1)×1(2N_t+1)\times 1

  • 每层开始前先做Batch-Norm

  • 最后输出前通过Lambda层将其变成符合恒模约束的复数矢量vRF\mathbf{v}_{RF}(由于sigmoid函数,αi(0,1)\alpha_i\in(0,1))

    vRF=exp(j2πα)=cos(2πα)+jsin(2πα)\mathbf{v}_{RF}=\exp(j2\pi\boldsymbol{\alpha})=\cos(2\pi\boldsymbol{\alpha})+j\sin(2\pi\boldsymbol{\alpha})

  • Loss函数:越小越好

    Loss=1Nn=1Nlog2(1+γnNthnHvRF,n2)Loss=-\frac 1N\sum_{n=1}^N\log_2\left(1+\frac{\gamma_n}{N_t}\left\|\mathbf{h}_n^H\mathbf{v}_{RF,n} \right\|^2\right)

算法复杂度

每一层的浮点数运算次数是(2NI1)NO(2N_I-1)N_ONIN_I是输入参数个数,NON_O是输出参数个数。且可以使用并行运算。

仿真

见BFNN中ffbn_v2.py为pytorch的实数运算版本,ffbn_test.py为测试。ffbn_complex为复数运算版本。

  • 注意:log2(A)\log_2(A)使用换底公式通过log(A)log(2)\frac{\log(A)}{\log(2)}实现。

Contribution

  • 新的设计方法:利用估计的CSI作为BFNN输入,直接输出最优beamforming权值。估计的信道矩阵hest\mathbf{h}_{\mathrm{est}} ,估计的信噪比γest \gamma_{\text {est }}作为输入。

  • 新颖的Loss函数:在作者的设计中不需要标签,创新性地提出了与SE十分相关的一个Loss函数

     Loss =1Nn=1Nlog2(1+γnNthnHvRF,n2)\text { Loss }=-\frac{1}{N} \sum_{n=1}^{N} \log _{2}\left(1+\frac{\gamma_{n}}{N_{\mathrm{t}}}\left\|\mathbf{h}_{n}^{H} \mathbf{v}_{\mathrm{RF}, n}\right\|^{2}\right)

    Loss函数的减少正好对应着平均SE的增加

  • 对于非理性CSI的鲁棒性:提出了一种两阶段设计方法,利用估计的CSI作为输入,让BFNN学会接近理想CSI下的SE。在线部署阶段,BFNN能够适应非理性CS实现对信道估计误差的鲁棒性。

  • Lamda层满足恒模约束:经典的、完美的欧拉公式

    vRF=exp(jθ)=cos(θ)+jsin(θ)\mathbf{v}_{\mathrm{RF}}=\exp (\mathrm{j} \cdot \boldsymbol{\theta})=\cos (\boldsymbol{\theta})+{j} \cdot \sin (\boldsymbol{\theta})

    将相位θ\boldsymbol{\theta}作为在最后一个Dense层的输出,然后添加一个基于欧拉公式的Lamda层满足恒模约束。

改进思路


有约束!

MU-MISO

yk=hkHi=1Kwixi+nky_k=\mathbf{h}_k^H\sum_{i=1}^K\mathbf{w}_ix_i+n_k

其中,hkCN×1\mathbf{h}_k\in \mathbb{C}^{N\times 1}xiCN(0,1),niCN(0,σ2)x_i\sim\mathcal{CN}(0,1),n_i\sim\mathcal{CN}(0,\sigma^2)

本文解决的问题:(P1、P2可以解得最优解,可采用监督学习;P3非凸,无最优解)

  • SINR balancing problem under a total power constraint,

    P1:maximizeWmin1kK{γkdlρk}, s.t. k=1Kwk2Pmax\begin{aligned} \mathbf{P1:}\underset{\mathbf{W}}{\operatorname{maximize}} \quad & \min_{1 \leq k \leq K}\left\{ \frac{\gamma_{k}^{d l}}{\rho_{k}}\right\}, \\ \text { s.t. } \quad&\sum_{k=1}^{K}\left\|\mathbf{w}_{k}\right\|^{2} \leq P_{\max } \end{aligned}

    ρk\rho_k是importance of the sub-streams,W=[w1,w2,,wK]\mathbf{W}=[\mathbf{w_1,w_2,\cdots,w_K}]PmaxP_{\max}是power budget

  • power minimization problem under QoS(Quality of Service) constraints,

    P2:minWk=1Kwk2s.t.γkdlΓk,k.\begin{aligned} \mathbf{P2:}\min_{\mathbf{W}} \quad& \sum_{k=1}^K||\mathbf{w}_k||^2\\ \mathrm{s.t.}\quad&\gamma_k^{dl}\ge \Gamma_k,\forall k. \end{aligned}

    Γ=[Γ1,,ΓK]T\boldsymbol{\Gamma}=[\Gamma_1,\cdots,\Gamma_K]^T是SINR constraint

  • sum rate maximization problem under a total power constraint.

    P3:maxWk=1Kαklog2(1+γkdl)s.t.k=1Kwk2Pmax\begin{aligned} \mathbf{P3:}\max_{\mathbf{W}}\quad&\sum_{k=1}^K\alpha_k\log_2(1+\gamma_k^{dl})\\ \mathrm{s.t.}\quad&\sum_{k=1}^{K}\left\|\mathbf{w}_{k}\right\|^{2} \leq P_{\max } \end{aligned}

网络框架

image-20211118151957384

A DL-based framework for the beamforming optimization in MISO downlink, which includes two main modules: the neural network module and the beamforming recovery module. The neural network module is composed of an input layer, convolutional (CL) layers, batch normalization (BN) layers, activation (AC) layers, a flatten layer, a fully-connected (FC) layer, and an output layer, whereas the key features and the functional layers in the beamforming recovery module are specified by the expert knowledge.

  • 输入层:h=[h1H,,hKH]HCNK×1\mathbf{h}=[\mathbf{h}_1^H,\cdots,\mathbf{h}_K^H]^H\in\mathbb{C}^{NK\times1}–>I/Q transformation–>[R(h),I(h)]TR2×NK[\mathfrak{R}(\mathbf{h}),\mathfrak{I}(\mathbf{h})]^T\in\mathbb{R}^{2\times NK}

  • 本文,BN在CONV前进行

  • MSE loss对异常值敏感,但数据集由仿真产生,故仍采用MSE

  • 比起完全预测整个BF矩阵,专家知识可以有效减小需要预测的变量

P1(功率约束下SINR平衡)的网络——supervised

通过h\mathbf{h}预测上行链路power allocation矢量q^\mathbf{\hat q}(最优值通过迭代获得【ai2-12】),再通过上行链路-下行链路二元性,得到下行链路的最优功率分配矢量p\mathbf{p}^*和BF矢量W~\mathbf{\tilde W}^*,有W=W~P\mathbf{W}^*=\mathbf{\tilde W}^*\mathbf{P}^*

image-20211118171020326

  • 除了最后一个激活函数为Sigmoid,其它均为ReLU

  • Scaling——满足功率限制

    q^=Pmaxq^1q^\mathbf{\hat q}^*=\frac{P_{\max}}{||\mathbf{\hat q}||_1}\mathbf{\hat q}

  • conversion——由q^\mathbf{\hat q}^*W^\mathbf{\hat W}^*
    image-20211119104539898

  • Loss函数采用MSE度量

P2(服务质量约束下功率最小)的网络

同样,通过h\mathbf{h}预测上行链路power allocation矢量q^\mathbf{\hat q}(最优值通过迭代获得【ai2-5】),再通过上行链路-下行链路二元性,得到下行链路的最优功率分配矢量p\mathbf{p}^*和BF矢量W~\mathbf{\tilde W}^*,有W=W~P\mathbf{W}^*=\mathbf{\tilde W}^*\mathbf{P}^*但无功率约束,不需要上行链路power allocation矢量归一化。

  • conversion
    image-20211119111841965image-20211119111852718
  • 与P1不同,当q^\mathbf{\hat q}^*与实际优化值q\mathbf{q}^*相差过大时,会导致p^\mathbf{\hat p}^*不符合物理规律从而导致波束成型不可行

P3(功率约束下SR最高)的网络

image-20211119150331158

Sum-rate优化问题没有最优解。

  • 第一阶段先通过监督学习逼近传统WMMSE算法的局部最优解,称为“预训练”

    Loss=12LKl=1L(p(l)p^(l)22+λ(l)λ^(l)22)Loss=\frac{1}{2LK}\sum_{l=1}^L\left(\left\|\mathbf{\underline p}^{(l)}-\mathbf{\hat p}^{(l)}\right\|_2^2+\left\|\boldsymbol{\underline \lambda}^{(l)}-\boldsymbol{\hat \lambda}^{(l)}\right\|_2^2\right)

    其中,p\mathbf{p}是BF的功率分配矢量,λ\boldsymbol{\lambda}是lagrange乘子,可以看作虚拟的功率分配矢量。

  • 第二阶段直接计算这个算法的优化目标函数作为loss,进行无监督学习。

     Loss =12KLl=1Lk=1Kαk(l)log2(1+γkul,(l))sumrate\text { Loss }=-\frac{1}{2 K L} \sum_{l=1}^{L} \underbrace{\sum_{k=1}^{K} \alpha_{k}^{(l)} \log _{2}\left(1+\gamma_{k}^{u l,(l)}\right)}_{sum-rate}

  • 分两个阶段的作用:显著增强学习效果,加快收敛。(杨神:?)

  • scaling——满足功率约束,2K2K个参数

    p^=Pmaxp^1p^andλ^=Pmaxλ^1λ^\mathbf{\hat p}^*=\frac{P_{\max}}{||\mathbf{\hat p}||_1}\mathbf{\hat p}\quad\text{and}\quad\boldsymbol{\hat \lambda}^*=\frac{P_{\max}}{||\boldsymbol{\hat \lambda}||_1}\boldsymbol{\hat \lambda}

  • construction——PmaxP_{\max}k=1Kλi=Pmax\sum_{k=1}^K\lambda_i=P_{\max}是lagrange对偶问题【ai2-2】

    w^k=p^k(IN+k=1Kλ^kσ2hkhkH)1hk(IN+k=1Kλ^kσ2hkhkH)1hk2,k\hat{\mathbf{w}}_{k}^{*}=\sqrt{\hat{p}_{k}^{*}} \frac{\left(\mathbf{I}_{N}+\sum_{k=1}^{K} \frac{\hat{\lambda}_{k}^{*}}{\sigma^{2}} \mathbf{h}_{k} \mathbf{h}_{k}^{H}\right)^{-1} \mathbf{h}_{k}}{\left\|\left(\mathbf{I}_{N}+\sum_{k=1}^{K} \frac{\hat{\lambda}_{k}^{*}}{\sigma^{2}} \mathbf{h}_{k} \mathbf{h}_{k}^{H}\right)^{-1} \mathbf{h}_{k}\right\|_{2}}, \quad \forall k

仿真

image-20211120104337880

contributions

  • 所提出的框架利用了专家知识,如上行链路和下行链路的二元性以及已知的最佳解决方案的结构。这种知识通过允许人们指定要学习的最佳参数来提高精简效率;这些参数通常不是波束成形矩阵条目。

改进思路——针对SR的思考


三类DL处理的问题:

  • One of the areas of interest is to deal with scenarios in which the channel
    model does not exist, 传统信道模型不存在
  • Another area of interest is to optimize the end-to-end system performance,对端到端系统的优化
  • The third area of interest is to overcome the complexity of wireless networks,无线网络的复杂度问题

在上一篇文章的基础上增加了单天线约束(过去大部分文章讨论MU-MISO,即基站多天线用户单天线问题)

在基站侧单天线功率约束下,最大化最小接收信干噪比或平衡信干噪比

——独立的非频选瑞利快衰落

波束赋形矩阵:W=[w1,w2,,wK]CNt×K\mathbf{W}=[\mathbf{w_1,w_2,\cdots,w_K}]\in\mathbb{C}^{N_t\times K}。单天线约束为

pn=W(n,:)2=enW2p_n=\left\|\mathbf{W}(n,:) \right\|^2=\left\|\mathbf{e}_n\mathbf{W} \right\|^2

其中,en\mathbf{e}_n是除了第nn个元素为1外的零矢量。

单天线约束下的SINR balancing问题:

 P1: maxW,ΓΓ s.t. γk=hkTwk2i=1,ikKhkTwi2+N0Γ,k,pn=enTW2Pn,n.\begin{aligned} \textbf { P1: } \max _{\mathbf{W}, \Gamma} \quad &\Gamma \\ \text { s.t. }\quad& \gamma_{k} =\frac{\left|\mathbf{h}_{k}^{T} \mathbf{w}_{k}\right|^{2}}{\sum_{i=1, i \neq k}^{K}\left|\mathbf{h}_{k}^{T} \mathbf{w}_{i}\right|^{2}+N_{0}} \geq \Gamma, \quad \forall k, \\ & p_{n} =\left\|\mathbf{e}_{n}^{T} \mathbf{W}\right\|^{2} \leq P_{n}, \quad \forall n . \end{aligned}

通过广义特征值算法,可以转化为问题P2

P2:maxβ,λ,μβ s.t. βλkhkTG(λ,μ)1hk1,k,k=1KλkN0=1,n=1NtμnPn=1,λ,μ,β0.\begin{aligned} \mathbf{P 2}: \max _{\beta, \boldsymbol{\lambda}, \boldsymbol{\mu}}\quad & \beta \\ \text { s.t. } \quad&\beta \lambda_{k} \mathbf{h}_{k}^{T} \mathbf{G}(\boldsymbol{\lambda}, \boldsymbol{\mu})^{-1} \mathbf{h}_{k}^{*} \leq 1, \quad \forall k, \\ & \sum_{k=1}^{K} \lambda_{k} N_{0}=1, \\ & \sum_{n=1}^{N_{t}} \mu_{n} P_{n}=1, \\ & \boldsymbol{\lambda}, \boldsymbol{\mu}, \beta \geq \mathbf{0} . \end{aligned}

其中,G(λ,μ)i=1KλihihiT+diag(μ)\mathbf{G}(\boldsymbol{\lambda}, \boldsymbol{\mu})\triangleq\sum_{i=1}^K\lambda_i\mathbf{h}_i^*\mathbf{h}_i^T+diag(\boldsymbol{\mu})

  • λZK\boldsymbol{\lambda}\in\mathbb{Z}^K与SINR约束相关,
  • μZNt\boldsymbol{\mu}\in\mathbb{Z}^{N_t}与单天线约束相关,

β=1+1Γ\beta=1+\frac{1}{\Gamma}

The optimal downlink beamforming problem P2 with per-antenna power constraints can be solved via a dual uplink channel in which the SINR constraints remain the same and the noise is uncertain. 通过对偶性转化成上行链路问题P3maxμmaxΓ,λΓ\max_{\boldsymbol{\mu}}\max_{\Gamma,\boldsymbol{\lambda}} \Gamma ,P3是两个max嵌套,内层的max是u\mathbf{u}的函数,先求解内层问题P4f(u)=maxΓ,λΓf(\mathbf{u})=\max_{\Gamma,\boldsymbol{\lambda}} \Gamma,再通过subgradient算法,求解外层关于μ\boldsymbol{\mu}的问题。

image-20211121155315628

流程

two strategies:

  • one is to learn the dual variables μ and λ with fast recovery of the original beamforming solution,——算法类似A2,但不需要更新
  • the other is to learn only the dual variable μ with improved learning accuracy, to achieve various tradeoffs.——只通过神经网络估计μ\boldsymbol{\mu},而λ\boldsymbol{\lambda}通过算法1求解,可以更精确

DL结构的一般性:由于用户数量KK和发射天线数量NtN_t会发生变化,所以要采取相应措施保证其泛化能力。

  • Transfer learning——【ai3-52】
  • training set augmentation(训练集扩大)——训练集中样本的Nt,KN_t,K不固定,但是输入输出固定为2×NtK2\times N_t'K'KK'Nt>Nt,K>KN_t'>N_t,K'>K,多的补零。(杨神:?)

仿真

本文提出的和优化算法针对信道估计误差是鲁棒的。

NtKN_t\geq K则ZF需要解决复杂度更高的SOCP问题。

Contributions

  • 提出了subgradient算法,收敛更快
  • 提出了学习双变量的DL框架
  • 开发了一种启发式算法,通过数据augmentation适应不同的用户数和天线数,提高泛化能力(?)
  • testbed实验

IAIDNN——2021-TWC

Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems

本文部分链接和引用没法用,链接的是预编码论文阅读(一)中迭代的那篇文章“An Iteratively Weighted MMSE Approach to Distributed Sum-Utility Maximization for a MIMO Interfering Broadcast Channel

建模同文章“An Iteratively Weighted MMSE Approach to Distributed Sum-Utility Maximization for a MIMO Interfering Broadcast Channel

image-20211104143313382

深度展开网络的搭建

  • 优化问题(目标函数):

    minXEZ{f(X;θ,Z)},s.t. XX\min_\mathbf{X}\quad \mathbb{E}_\mathbf{Z}\{f(\mathbf{X};\boldsymbol{\theta},\mathbf{Z})\},\quad\text{s.t.}\ \mathbf{X}\in\mathcal{X}

    其中,θ\boldsymbol{\theta}是可以训练的参数,X\mathbf{X}是变量,Z\mathbf{Z}是随机参数

  • 前向传播:

    Xl=Fl(Xl1;θ,Z)\mathbf{X}^l=\mathcal{F}_l(\mathbf{X}^{l-1};\boldsymbol{\theta},\mathbf{Z})

    在本文中,前向传播的模型为

    Xl=AˉXl1BˉXl1Cˉ+φ(AˉXl1BˉXl1Cˉ)Dˉ\mathbf{X}^l=\bar{\mathbf{A}}\mathbf{X}^{l-1}\bar{\mathbf{B}}\mathbf{X}^{l-1}\bar{\mathbf{C}}+\varphi(\bar{\mathbf{A}}\mathbf{X}^{l-1}\bar{\mathbf{B}}\mathbf{X}^{l-1}\bar{\mathbf{C}})\bar{\mathbf{D}}

  • 反向传播:GCR in Matrix Form(更一般的链式法则)

    Tr{GldXl}=(5)Tr{(BXl1CGl(Dφ(AXl1BXl1C)T+I)A+CGl(Dφ(AXl1BXl1C)T+I)AXl1B)dXl1}\begin{aligned} &\operatorname{Tr}\left\{\mathbf{G}^{l} d \mathbf{X}^{l}\right\} \\ &\stackrel{(5)}{=} \operatorname{Tr}\left\{\left(\overline{\mathbf{B}} \mathbf{X}^{l-1} \overline{\mathbf{C}} \mathbf{G}^{l}\left(\overline{\mathbf{D}} \circ \varphi^{\prime}\left(\overline{\mathbf{A}} \mathbf{X}^{l-1} \overline{\mathbf{B}} \mathbf{X}^{l-1} \overline{\mathbf{C}}\right)^{T}+\mathbf{I}\right) \overline{\mathbf{A}}\right.\right. \\ &\left.\left.\quad+\overline{\mathbf{C}} \mathbf{G}^{l}\left(\overline{\mathbf{D}} \circ \varphi^{\prime}\left(\overline{\mathbf{A}} \mathbf{X}^{l-1} \overline{\mathbf{B}} \mathbf{X}^{l-1} \overline{\mathbf{C}}\right)^{T}+\mathbf{I}\right) \overline{\mathbf{A}} \mathbf{X}^{l-1} \overline{\mathbf{B}}\right) d \mathbf{X}^{l-1}\right\} \end{aligned}

    Gl\mathbf{G}^lXl\mathbf{X}^l的梯度,\circ是element-wise。

  • **该网络的创新点:**In comparison with applying the platforms such as “Pytorch” and “Tensorflow” to do the BP, the GCR has three advantages

    • The platforms cannot do BP for the complex trainable parameters;
    • There are some operations these platforms cannot do, such as the inversion and the determinant of a complex matrix;
    • Based on the GCR, the closed-form gradients are obtained, which is more accurate and provides faster convergence speed compared with the automatic differential of the platforms.
    • Then, based on the GCR presented in Theorem 1, the gradient in each layer, i.e., {Gl,lL}\{\mathbf{G}^l,l\in\mathcal{L}\} is obtained. Finally, the gradient of trainable parameter θl\boldsymbol{\theta}^l is calculated based on Gl\mathbf{G}^l.

IWMMSE算法的转换

将功率限制,考虑到\eqref{eq:2-1}的目标函数中,考虑无约束的SR问题(13)

max{Vk}k=1Kωklogdet(I+HkVkVkHHkH(mkHkVmVmHHkH+σk2PTn=1KTr(VnVnH)I)1)\begin{aligned} \max _{\left\{\mathbf{V}_{k}\right\}} \quad& \sum_{k=1}^{K} \omega_{k} \log \operatorname{det}\left(\mathbf{I}+\mathbf{H}_{k} \mathbf{V}_{k} \mathbf{V}_{k}^{H} \mathbf{H}_{k}^{H}\right.\\ &\left.\left(\sum_{m \neq k} \mathbf{H}_{k} \mathbf{V}_{m} \mathbf{V}_{m}^{H} \mathbf{H}_{k}^{H}+\frac{\sigma_{k}^{2}}{P_{T}} \sum_{n=1}^{K} \operatorname{Tr}\left(\mathbf{V}_{n} \mathbf{V}_{n}^{H}\right) \mathbf{I}\right)^{-1}\right) \end{aligned}

式\eqref{eq:ai4-13}的最优解V\mathbf{V}^{\star\star}和式\eqref{eq:2-1}的最优解V\mathbf{V}^{\star}存在关系:

Vk=αVk,α=PT(k=1KTr(Vk(Vk)H))12\mathbf{V}_k^{\star}=\alpha\mathbf{V}_k^{\star\star},\quad\alpha=\frac{\sqrt{P_T}}{\left(\sum_{k=1}^K Tr(\mathbf{V}_k^{\star\star}(\mathbf{V}_k^{\star\star})^H) \right)^{\frac12}}

进一步考虑,MMSE问题和WSR问题的同一性,将问题就转换成了无约束的MMSE问题

min{Wk,Uk,Vk}k=1Kωk(Tr(WkE2,k)logdet(Wk))\min _{\left\{\mathbf{W}_{k}, \mathbf{U}_{k}, \mathbf{V}_{k}\right\}} \sum_{k=1}^{K} \omega_{k}\left(\operatorname{Tr}\left(\mathbf{W}_{k} \mathbf{E}_{2, k}\right)-\log \operatorname{det}\left(\mathbf{W}_{k}\right)\right)

其中,

E2,k(IUkHHkVk)(IUkHHkVk)H+mkUkHHkVmVmHHkHUk+n=1KTr(VnVnH)PTσk2UkHUk\begin{aligned} &\mathbf{E}_{2, k} \triangleq\left(\mathbf{I}-\mathbf{U}_{k}^{H} \mathbf{H}_{k} \mathbf{V}_{k}\right)\left(\mathbf{I}-\mathbf{U}_{k}^{H} \mathbf{H}_{k} \mathbf{V}_{k}\right)^{H} \\ &+\sum_{m \neq k} \mathbf{U}_{k}^{H} \mathbf{H}_{k} \mathbf{V}_{m} \mathbf{V}_{m}^{H} \mathbf{H}_{k}^{H} \mathbf{U}_{k}+\frac{\sum_{n=1}^{K} \operatorname{Tr}\left(\mathbf{V}_{n} \mathbf{V}_{n}^{H}\right)}{P_{T}} \sigma_{k}^{2} \mathbf{U}_{k}^{H} \mathbf{U}_{k} \end{aligned}

算法流程图:

image-20211123150620802

image-20211123150646333

与上述分析的深度展开网络中参数的对照:

X{Wk,Uk,Vk,kK}Z{Hk,ωk,σk,PT,kK}\begin{aligned} \mathbf{X}\equiv&\left\{\mathbf{W}_k,\mathbf{U}_k,\mathbf{V}_k,\forall k\in\mathcal{K} \right\}\\ \mathbf{Z}\equiv&\left\{\mathbf{H}_k,\omega_k,\sigma_k,P_T,\forall k\in\mathcal{K} \right\} \end{aligned}

迭代过程:

Ut=Ft(Vt1)Wt=Gt(Ut,Vt1)Vt=Jt(Ut,Wt)\begin{aligned} \mathbf{U}^t=&F_t(\mathbf{V}^{t-1})\\ \mathbf{W}^t=&G_t(\mathbf{U}^t,\mathbf{V}^{t-1})\\ \mathbf{V}^t=&J_t(\mathbf{U}^t,\mathbf{W}^t) \end{aligned}

IAIDNN(iterative algorithm induced Deep-Unfolding Neural Network)

前向传播

  • 减小矩阵求逆的计算量的两种途径
    • A+=(AI)1\mathbf{A}^+=(\mathbf{A}\circ\mathbf{I})^{-1}逼近A1\mathbf{A}^{-1},因为对角元比非对角元大得多=>训练A+X\mathbf{A^+X}中的X\mathbf{X}
    • A1\mathbf{A}^{-1}的一阶taylor展开2A01A01AA012\mathbf{A}_0^{-1}-\mathbf{A}_0^{-1}\mathbf{AA}_0^{-1}逼近=>训练AY+Z\mathbf{AY+Z}中的Y,Z\mathbf{Y,Z}
    • 【?】用A+X+AY+Z\mathbf{A^+X+AY+Z}来逼近A1\mathbf{A}^{-1}
  • 迭代算法中U,W,V\mathbf{U,W,V}的估计均用此法估计,同时U,V\mathbf{U,V}的估计还有训练补偿(offset){Oku,l+1,Okv,l+1}\left\{\mathbf{O}_k^{u,l+1},\mathbf{O}_k^{v,l+1} \right\}
  • V\mathbf{V}的维数比U,W\mathbf{U,W}的维数大得多,将U,W\mathbf{U,W}作为网络的输出,将V\mathbf{V}U,W\mathbf{U,W}的表达式作为网络的Loss
    image-20211124123855835
  • Loss函数:

max{Vk}k=1KEHk{ωklogdet(I+HkVkVkHHkH(mkHkVmVmHHkH+σk2PTkTr(VkVkH)I)1)}\max _{\left\{\mathbf{V}_{k}\right\}} \sum_{k=1}^{K} \mathbb{E}_{\mathbf{H}_{k}}\left\{\omega_{k} \log \operatorname{det}\left(\mathbf{I}+\mathbf{H}_{k} \mathbf{V}_{k} \mathbf{V}_{k}^{H} \mathbf{H}_{k}^{H}\left(\sum_{m \neq k} \mathbf{H}_{k} \mathbf{V}_{m} \mathbf{V}_{m}^{H} \mathbf{H}_{k}^{H}+\frac{\sigma_{k}^{2}}{P_{T}} \sum_{k} \operatorname{Tr}\left(\mathbf{V}_{k} \mathbf{V}_{k}^{H}\right) \mathbf{I}\right)^{-1}\right)\right\}

反向传播

反向传播不直接对训练参数进行计算,而先对中间的迭代变量进行计算!

  • 对迭代变量U,W,V\mathbf{U,W,V}的梯度:
    • 最后一层由目标函数代入VkL\mathbf{V}_k^L的表达式,对UkL,WkL\mathbf{U_k^L,W_k^L}求梯度Gku,L,Gkv,L\mathbf{G_k^{u,L}},\mathbf{G_k^{v,L}}
    • 中间层由GCR算法,从l+1l+1层的对U,W,V\mathbf{U,W,V}的梯度计算得到ll层的梯度
  • 进一步通过链式法则求解出训练参数的梯度
    image-20211124164004293
  • 采取梯度下降方法训练网络
  • 初始值的选定:训练参数随机初始化;Vk0\mathbf{V}^0_k用ZF初始化

算法流程

image-20211124131151072

image-20211124131216620

benchmark——CNN

类似【ai2】,

  • 输入:H[H1T,H2T,,HkT]T\mathbf{H}\triangleq [\mathbf H_1^T,\mathbf H_2^T,\cdots,\mathbf H_k^T]^T
  • 输出:Uk,Wk\mathbf{U_k,W_k}
  • 流程:
    • 监督:先逼近传统的WMMSE,用求U,W\mathbf{U,W}的MSE作为loss
    • 无监督:再用代入Vk\mathbf V_k的SR作为loss

分析

  • 参数

    • IAIDNN的参数维度取决于需要训练的参数{Xku,l,Yku,l,Zku,l,Oku,l}\left\{\mathbf X_k^{u,l},\mathbf Y_k^{u,l},\mathbf Z_k^{u,l},\mathbf O_k^{u,l}\right\},{Xkw,l,Ykw,l,Zkw,l}\left\{\mathbf X_k^{w,l},\mathbf Y_k^{w,l},\mathbf Z_k^{w,l}\right\},{Xkv,l,Ykv,l,Zkv,l,Okv,l}\left\{\mathbf X_k^{v,l},\mathbf Y_k^{v,l},\mathbf Z_k^{v,l},\mathbf O_k^{v,l}\right\},最后一层无V\mathbf V相关的参数

      普通中间层:(3Nr2+3d2+3Nt2+dNr+dNt)K最后一层:LK(3Nr2+3d2+dNr)+(L1)K(3Nt2+dNt)\begin{aligned} \text{普通中间层:}&\left(3 N_{r}^{2}+3 d^{2}+3 N_{t}^{2}+d N_{r}+d N_{t}\right) K\\ \text{最后一层:}&L K\left(3 N_{r}^{2}+3 d^{2}+d N_{r}\right)+(L-1) K\left(3 N_{t}^{2}+d N_{t}\right) \end{aligned}

    • CNN

      l=1L2Sl2Cl1Cl+KNrNtCL2Cout \sum_{l=1}^{L-2} S_{l}^{2} C_{l-1} C_{l}+K N_{r} N_{t} C_{L-2} C_{\text {out }}

      卷积核Sl=5S_l=5,通道数Cl=32C_l=32,全连接层输出Cout=1024C_{out}=1024

  • 复杂度

    • 传统WMMSE需要迭代LWL_W次,但IAIDNN只有LaL_a层,LaLwL_a\ll L_w
    • 相比传统的矩阵求逆需要O(n3)\mathcal{O}(n^3),本文中的近似只需要O(n2.37)\mathcal{O}(n^{2.37})
    • IAIDNN的闭式梯度比传统黑箱CNN训练时间更短、效果更好
  • 泛化能力

    • 同【ai3】可以训练(Nt0,Nr0,K0)(N_{t0},N_{r0},K_0)的网络,但实际情景(Nt1,Nr1,K1)(N_{t1},N_{r1},K_1)时,(Nt1<Nt0,Nr1<Nt0,K1<K0)(N_{t1}<N_{t0},N_{r1}<N_{t0},K_1<K_{0})也是可行的(这篇文章我觉得时可行的,因为都是矩阵运算)
    • 同【ai1】可以训练在不同PT,σkP_T,\sigma_k环境下的V\mathbf V,以增强鲁棒性

Contributions

  • We propose a framework for deep-unfolding, where the general form of IAIDNN is developed in matrix form to better solve the problems in communication systems. To train the IAIDNN, the GCR is proposed to calculate the gradients of the trainable parameters.
  • We implement the proposed deep-unfolding framework to solve the sum-rate maximization problem for precoding design in MU-MIMO systems. Based on the structure of the iterative WMMSE algorithm, an efficient IAIDNN is developed, where the iterative WMMSE algorithm is unfolded into a layer-wise structure.
  • We analyze the computational complexity and generalization ability of the proposed schemes. Simulation results show that the proposed IAIDNN efficiently achieves the performance of the iterative WMMSE algorithm with reduced computational complexity. The contribution becomes more significant in a massive MU-MIMO system.
  1. model-driven
  2. 反向传播——矩阵形式的广义链式法则

DL-DSC-FDD-Massive-MIMO——2021-TWC

Deep Learning for Distributed Channel Feedback and Multiuser Precoding in FDD Massive MIMO——imperfect CSI

MU-MISO

maximizeX~,{Fk()}k,P()k=1Klog2(1+hkHvk2jkhkHvj2+σ2) subject to V=P([q1T,,qKT]T)qk=Fk(hkHX~+z~k),kTr(VVH)Px~22P,\begin{aligned} \underset{\tilde{\mathbf{X}},\left\{\mathcal{F}_{k}(\cdot)\right\}_{\forall k}, \mathcal{P}(\cdot)}{\operatorname{maximize}} \quad & \sum_{k=1}^{K} \log _{2}\left(1+\frac{\left|\mathbf{h}_{k}^{H} \mathbf{v}_{k}\right|^{2}}{\sum_{j \neq k}\left|\mathbf{h}_{k}^{H} \mathbf{v}_{j}\right|^{2}+\sigma^{2}}\right) \\ \text { subject to } \quad & \mathbf{V}=\mathcal{P}\left(\left[\mathbf{q}_{1}^{T}, \ldots, \mathbf{q}_{K}^{T}\right]^{T}\right) \\ & \mathbf{q}_{k}=\mathcal{F}_{k}\left(\mathbf{h}_{k}^{H} \widetilde{\mathbf{X}}+\widetilde{\mathbf{z}}_{k}\right), \quad \forall k \\ & \operatorname{Tr}\left(\mathbf{V} \mathbf{V}^{H}\right) \leq P \\ &\left\|\widetilde{\mathbf{x}}_{\ell}\right\|_{2}^{2} \leq P, \quad \forall \ell \end{aligned}

其中,X~\tilde{\mathbf{X}}是下行链路训练导频,Fk:C1×L{±1}B\mathcal{F}_k:\mathbb{C}^{1\times L}\to \{\pm 1\}^B表示第kk个用户的反馈策略,qk\mathbf{q}_kBB位反馈比特用于帮助设计预编码矩阵。P:{±1}KBCM×K\mathcal{P}:\{\pm 1\}^{KB}\to \mathbb{C}^{M\times K}表示下行链路预编码策略。

分布式信源编码

image-20211125143320423

网络结构

image-20211125143541320

  1. downlink training and uplink feedback phase
  2. downlink data transmission phase

流程

前向传播

  • Downlink Pilot Training:训练参数X~\widetilde{\mathbf X}

    • 作为全连接层,训练导频X~\tilde{\mathbf{X}}看成权重矩阵,bias看作0,加上一个σ2\sigma^2的加性噪声
  • Uplink Feedback:(用户侧)参数ΘR(k)={Wr(k),br(k)}r=1R\Theta_\text{R}^{(k)}=\left\{\mathbf W_r^{(k)},\mathbf b_r^{(k)} \right\}_{r=1}^R

    • 输入:

      yˉk[(y~k),I(y~k)]\bar{\mathbf y}_k\triangleq[\Re{(\tilde{\mathbf y}_k)},\mathcal{I} (\tilde{\mathbf y}_k)]

    • 中间层采用ReLU,最后一层用符号函数

      qk=sgn(WR(k)σR1(σ1(W1yˉk+b1(k)))+bR(k))\mathbf{q}_k=sgn\left(\mathbf W_R^{(k)}\sigma_{R-1}\left(\cdots\sigma_1\left(\mathbf W_1\bar{\mathbf y}_k+\mathbf b_1^{(k)}\right)\cdots\right)+\mathbf b_R^{(k)}\right)

  • Downlink Precoding Design: (BS侧)参数ΘT={Wt,bt}t=1T\Theta_\text{T}=\left\{\mathbf W_t,\mathbf b_t \right\}_{t=1}^T

    • 输出:

      v=[vec((V))T,vec(I(V))T]T\mathbf v=\left[vec(\Re{(\mathbf V)})^T,vec(\mathcal{I} (\mathbf V))^T\right]T

    • 中间层采用ReLU,最后一层则需要功率约束,对功率进行归一化σ~T()=P2\tilde\sigma_T(\bullet)=\sqrt{P}\frac{\bullet}{\left\|\bullet\right\|_2}

      v=σ~T(W~T(k)σ~T1(σ~1(W~1yˉk+b~1(k)))+b~T(k))\mathbf v=\tilde \sigma_{T}\left(\tilde{\mathbf W}_T^{(k)}\tilde \sigma_{T-1}\left(\cdots\tilde \sigma_1\left(\tilde {\mathbf W}_1\bar{\mathbf y}_k+\tilde{\mathbf b}_1^{(k)}\right)\cdots\right)+\tilde{\mathbf b}_T^{(k)}\right)

  • Loss函数:对信道矩阵H\mathbf H和下行链路训练阶段的噪声z~\tilde{\mathbf z}做期望

    maxx~,{ΘR(k)}k=1K,ΘTEH,z~[klog2(1+hkHvk2jkhkHvj2+σ2)]\max _{\tilde{\mathbf{x}},\{\Theta_{\mathrm{R}}^{(k)}\}_{k=1}^{K}, \Theta_{\mathrm{T}}} \mathbb{E}_{\mathbf{H}, \tilde{\mathbf z}}\left[\sum_{k} \log _{2}\left(1+\frac{\left|\mathbf{h}_{k}^{H} \mathbf{v}_{k}\right|^{2}}{\sum_{j \neq k}\left|\mathbf{h}_{k}^{H} \mathbf{v}_{j}\right|^{2}+\sigma^{2}}\right)\right]

反向传播

  • 随机梯度下降SGD

  • 针对用户侧最后一步二值化,采用slope annealing(斜率退火)的sigmoid-adjusted straight-through(sigmoid调节直通)——用sigmoid函数去表示二值函数,从而使其可微

    sgn(u)2sigmoid(α(i)u)1=21+exp(αiu)1sgn(u)\to 2\,\mathrm{sigmoid}(\alpha^{(i)}u)-1=\frac{2}{1+\exp(-\alpha^{i}u)}-1

    其中,α(i)\alpha^{(i)}是第ii个epoch中的退火因子,α(i)α(i1)\alpha^{(i)}\geq\alpha^{(i-1)}

算法流程

image-20211126103118589

  • 用户侧和BS侧均为R=T=4R=T=4层网络,用户侧[1024,512,256,B][1024,512,256,B],BS侧[1024,512,512,2MK][1024,512,512,2MK]

泛化能力(🌟)

  • B(反馈的编码位数)
    • 用户侧通过tanh输出SS[1,1][-1,1]间的软二进制值,通过一定的QbitQ-bit量化方式,传送到BS侧(B=S×QB=S\times Q,原来是传递B位二进制值,现在改为S位Q进制值)——相当于在用户侧DNN输出后加了个量化器
    • BS侧根据KSKS个Q进制量化的值,映射到M×KM\times K的预编码矩阵(原来是通过KBKB个二进制{±1}\{\pm1\}量化值映射到M×KM\times K的预编码矩阵)
  • K(用户数量)
    • 每个用户信道分布i.i.d.,则只需要训练一个用户侧的DNN
    • 分两个阶段:先利用单用户系统,训练导频X~\tilde{\mathbf X}和用户侧的网络;再针对多用户系统(训练导频和用户侧网络复制)训练BS侧网络。

仿真

基准算法

image-20211126131819631

  • 训练的DNN具备减小频分双工多用户系统用户间干扰的能力
  • 先估计后量化信道参数是有限导频长度下的次优解
  • 导频长度长,能逼近最优解,且本文方法的SR一般更高

LpL_p的泛化能力

  • 训练集和测试集的不匹配,会导致表现恶化
  • 在更大范围的信道参数上训练DNN,能在无关于信道参数的先验条件时帮助我们设计更鲁棒的网络。

BB的泛化能力

通过上面的设计,只有微不足道的损失。但同时能帮助神经网络提升在反馈容量方面的泛化能力。

KK的泛化能力

  • DNN远好于其它有限下行链路训练资源
  • 两步实现和end-to-end差异不大

本文标题:【预编码论文阅读(二)】深度学习(一)

文章作者:Levitate_

发布时间:2021年12月07日 - 20:14:02

原始链接:https://levitate-qian.github.io/2021/12/08/precoding-2/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。