计算机代写|机器学习代写MACHINE LEARNING代考|SIT796 Stochastic ADMM

如果你也在 怎样代写机器学习Machine Learning SIT796这个学科遇到相关的难题,请随时右上角联系我们的24/7代写客服。机器学习Machine Learning学习算法的工作基础是,过去行之有效的策略、算法和推论有可能在未来继续行之有效。这些推论可以是显而易见的,例如 “由于在过去的一万天里,太阳每天早上都会升起,所以它可能在明天早上也会升起”。它们可以是细微的,例如 “X%的家族有地理上独立的物种,有颜色变异,所以有Y%的机会存在未被发现的黑天鹅”。

机器学习Machine Learning程序可以在没有明确编程的情况下执行任务。它涉及到计算机从提供的数据中学习,从而执行某些任务。对于分配给计算机的简单任务,有可能通过编程算法告诉机器如何执行解决手头问题所需的所有步骤;就计算机而言,不需要学习。对于更高级的任务,由人类手动创建所需的算法可能是一个挑战。在实践中,帮助机器开发自己的算法,而不是让人类程序员指定每一个需要的步骤,可能会变得更加有效 。

essayta.com机器学习Machine Learning代写,免费提交作业要求, 满意后付款,成绩80\%以下全额退款,安全省心无顾虑。专业硕 博写手团队,所有订单可靠准时,保证 100% 原创。essayta.com™, 最高质量的机器学习Machine Learning作业代写,服务覆盖北美、欧洲、澳洲等 国家。 在代写价格方面,考虑到同学们的经济条件,在保障代写质量的前提下,我们为客户提供最合理的价格。 由于统计Statistics作业种类很多,同时其中的大部分作业在字数上都没有具体要求,因此机器学习Machine Learning作业代写的价格不固定。通常在经济学专家查看完作业要求之后会给出报价。作业难度和截止日期对价格也有很大的影响。

想知道您作业确定的价格吗? 免费下单以相关学科的专家能了解具体的要求之后在1-3个小时就提出价格。专家的 报价比上列的价格能便宜好几倍。

essayta.com™ 为您的留学生涯保驾护航 在澳洲代写方面已经树立了自己的口碑, 保证靠谱, 高质且原创的澳洲代写服务。我们的专家在机器学习Machine Learning代写方面经验极为丰富,各种机器学习Machine Learning相关的作业也就用不着 说。

计算机代写|机器学习代写MACHINE LEARNING代考|SIT796 Stochastic ADMM

计算机代写|机器学习代考MACHINE LEARNING代考|Stochastic ADMM

We consider Problem (5.1) with $f_1\left(\mathbf{x}1\right) \equiv \mathbb{E}{\xi} F\left(\mathbf{x}1, \xi\right)$. In each iteration, we independently sample a stochastic index $\xi$ and compute the stochastic gradient $\nabla F\left(\mathbf{x}_1, \xi\right)$. For the simplicity of our expressions, we denote $\nabla F\left(\mathbf{x}_1, \xi\right)$ by $\tilde{\nabla} f_1\left(\mathbf{x}_1\right)$. The algorithm of Stochastic ADMM (SADMM) was designed in [9] and is shown in Algorithm 5.1, in which the approximated augmented Lagrangian function $\hat{L}\beta^k$ is given as
$$
\begin{aligned}
\hat{L}\beta^k\left(\mathbf{x}_1, \mathbf{x}_2, \lambda\right)= & f_1\left(\mathbf{x}_1^k\right)+\left\langle\tilde{\nabla} f_1\left(\mathbf{x}_1^k\right), \mathbf{x}_1-\mathbf{x}_1^k\right\rangle+f_2\left(\mathbf{x}_2\right) \ & +\frac{\beta}{2}\left|\mathbf{A}_1 \mathbf{x}_1+\mathbf{A}_2 \mathbf{x}_2-\mathbf{b}+\frac{1}{\beta} \lambda\right|^2+\frac{1}{2 \eta{k+1}}\left|\mathbf{x}_1-\mathbf{x}_1^k\right|^2
\end{aligned}
$$
Note that for the simplicity of our analysis, we only linearize the objective function $f_1$ in Algorithm 5.1. In Sects. $5.2$ and 5.3, we will consider also linearizing the augmented term $\frac{\beta}{2}\left|\mathbf{A}_1 \mathbf{x}_1+\mathbf{A}_2 \mathbf{x}_2-\mathbf{b}+\frac{1}{\beta} \lambda\right|^2$. Our result can also be extended to the case where $f_2$ has the expectation structure. An example is shown in Sect. 5.3.
Now we begin the analysis. The proof is taken from [9]. We first prove a useful lemma.

计算机代写|机器学习代考MACHINE LEARNING代考|Variance Reduction

The Variance Reduction (VR) technique is initially designed to solve the problem
$$
\min {\mathbf{x} \in \mathbb{R}^d} \frac{1}{n} \sum{i=1}^n F_i(\mathbf{x})
$$

It is known that the standard Stochastic Gradient Descent (SGD) will enjoy a sublinear convergence rate when each $F_i$ is strongly convex and smooth. Surprisingly, the VR technique can accelerate stochastic algorithms to a linear convergence rate. The first VR method may be SAG [10], which uses the sum of the latest individual gradients as an estimator. The method requires $O(n d)$ memory storage and the estimated gradient is a biased gradient estimator. Later, lots of VR methods have been designed, e.g., SDCA [11], MISO [7], SVRG [6], and SAGA [2].

In this section, we introduce the application of VR to ADMM methods. We show that for the offline problems, VR improves the convergence rate to $O(1 / K)$ for the generally convex case. We use a classical VR method called SVRG [6]. Its main technique is to frequently pre-store a snapshot vector and to control the variance via the snapshot vector and the latest iterate.
Specifically, consider the problem:
$$
\begin{gathered}
\min {\mathbf{x}_1, \mathbf{x}_2}\left(f_1\left(\mathbf{x}_1\right)+f_2\left(\mathbf{x}_2\right)\right), \ \text { s.t. } \mathbf{A}_1 \mathbf{x}_1+\mathbf{A}_2 \mathbf{x}_2=\mathbf{b} \end{gathered} $$ where $f_1\left(\mathbf{x}_1\right)=\frac{1}{n} \sum{i=1}^n F_i\left(\mathbf{x}1\right)$. We introduce SVRG-ADMM proposed by Zheng and Kwok [12]. The algorithm is shown in Algorithm 5.2. In the process of solving the primal variable, we linearize both $f_1\left(\mathbf{x}_1\right)$ and the augmented term $\frac{\beta}{2}\left|\mathbf{A}_1 \mathbf{x}_1+\mathbf{A}_2 \mathbf{x}_2-\mathbf{b}+\frac{1}{\beta} \lambda\right|^2$. So $$ \begin{aligned} \mathbf{x}{s, 1}^{k+1}= & \underset{\mathbf{x}1}{\operatorname{argmin}}\left(\left\langle\tilde{\nabla} f_1\left(\mathbf{x}{s, 1}^k\right), \mathbf{x}1-\mathbf{x}{s, 1}^k\right\rangle\right. \
& +\left\langle\beta\left(\mathbf{A}1 \mathbf{x}{s, 1}^k+\mathbf{A}2 \mathbf{x}{s, 2}^k-\mathbf{b}\right)+\lambda_s^k, \mathbf{A}1\left(\mathbf{x}_1-\mathbf{x}{s, 1}^k\right)\right\rangle \
& \left.+\frac{1}{2 \eta_1}\left|\mathbf{x}1-\mathbf{x}{s, 1}^k\right|^2\right)
\end{aligned}
$$

计算机代写|机器学习代写MACHINE LEARNING代考|SIT796 Stochastic ADMM

机器学习代考

计算机代写|机器学习代考|机器学习代考|Stochastic ADMM

我们考虑问题(5.1):$f_1(\mathbf{x} 1) \equiv \mathbb{E} F(\mathbf{x} 1, \xi) \F(\mathbf{x} 1, \xi)$。在每个迭代中,我们独立地对一个随机指数$\xi$进行采样,并计算随机梯度$\nabla F\left(\mathbf{x}_1, \xi\right)$。为了简化表达,我们用$tilde{\nabla} f_1\left(\mathbf{x}_1, \xiright)$表示$nabla F\left(\mathbf{x}_1\right)。随机ADMM(SADMM)的算法是在[9]中设计的,如算法5.1所示,其中近似的增强拉格朗日函数$\hat{L} \β^k$被赋予了
$$
\hat{L} \β^k\left(\mathbf{x}_1, \mathbf{x}_2, \lambda\right)=f_1\left(\mathbf{x}_1^k\right)+left\langle\tilde{nabla} f_1\left(\mathbf{x}_1^k\right) 。\mathbf{x}_1-\mathbf{x}_1^k\right\rangle+f_2\left(\mathbf{x}_2\right) \quad+\frac{\beta}{2} `mid mathbf{A}_1mathbf{x}_1+mathbf{A}_2mathbf{x}_2-mathbf{b}+frac{1}{beta}lambda
$$
请注意,为了分析的简单性,我们在算法5.1中只对目标函数$f_1$进行了线性化。在第5.2节和第5.3节中。5.2$和5.3节中,我们将考虑对增量项$frac{beta}{2}\left|\mathbf{A}_1 \mathbf{x}_1+\mathbf{A}_2 \mathbf{b}+\frac{1}{beta} \lambda\right|^2$进行线性化。我们的结果也可以扩展到$f_2$具有期望结构的情况。一个例子在第5.3节中显示。
现在我们开始进行分析。证明取自[9]。我们首先证明一个有用的定理。

计算机代写|机器学习代考|机器学习代考|方差减少

降低方差(VR)技术最初是为了解决以下问题
$$
\min\mathbf{x} in \mathbb{R}^d \frac{1}{n} \sum i=1^}. \sum i=1^n F_i(\mathbf{x})
$$
众所周知,当每个$F_i$都是强凸和平滑时,标准的随机梯度下降法(SGD)将享有亚线性的收敛率。令人惊讶的是,VR技术可以将随机算法加速到线性收敛率。第一个VR方法可能是SAG[10],它使用最新的单个梯度的总和作为估计器。该方法需要$O(n d)$的存储空间,估计的梯度是一个有偏的梯度估计器。后来又设计了很多VR方法,如SDCA[11]、MISO[7]、SVRG[6]和SAGA[2]。
在本节中,我们介绍了VR在ADMM方法中的应用。我们表明,对于离线问题,在一般凸的情况下,VR将收敛率提高到$O(1 / K)$。我们使用一个经典的VR方法,叫做SVRG[6]。它的主要技术是经常预存一个快照向量,并通过快照向量和最新迭代来控制方差。具体来说,考虑这个问题。
$$
\min \mathbf{x}_1, \mathbf{x}_2\left(f_1\left(\mathbf{x}_1\right)+f_2\left(\mathbf{x}_2\right) \text {, s.t. }. \mathbf{A}_1 \mathbf{x}_1+\mathbf{A}_2 \mathbf{x}_2=\mathbf{b}
$$
where $f_1\left(\mathbf{x}_1\right)=\frac{1}{n} \sum i=1^n F_i(\mathbf{x} 1)$。我们引入Zheng和Kwok[12]提出的SVRG-ADMM。其算法如算法5.2所示。在求解原始变量的过程中, 我们将$f_1\left(\mathbf{x}_1\right)$和增强项$frac{\beta}{2}\left|\mathbf{A}_1\mathbf{x}_1+\mathbf{A}_2\mathbf{x}+\frac{1}{beta} \lambda\right|^2$线性化。所以
$$
\s, 1^{k+1}=\underset{mathbf{x} 1}{operatorname{argmin}}\left(\left\langle\tilde{nabla} f_1\left(\mathbf{x} s, 1^k\right), \mathbf{x}1-\mathbf{x} s, 1^k\right\rangle \quad+\left\langle\beta\left(\mathbf{A} 1 \mathbf{x} s, 1^k+\mathbf{A} 2 \mathbf{x} s, 2^k-\mathbf{b}\right)+\lambda_s^k,\right。 \Right.
$$

计算机代写|机器学习代考MACHINE LEARNING代写

计算机代写|机器学习代考MACHINE LEARNING代写 请认准UprivateTA™. UprivateTA™为您的留学生涯保驾护航。

微观经济学代写

微观经济学是主流经济学的一个分支,研究个人和企业在做出有关稀缺资源分配的决策时的行为以及这些个人和企业之间的相互作用。my-assignmentexpert™ 为您的留学生涯保驾护航 在数学Mathematics作业代写方面已经树立了自己的口碑, 保证靠谱, 高质且原创的数学Mathematics代写服务。我们的专家在图论代写Graph Theory代写方面经验极为丰富,各种图论代写Graph Theory相关的作业也就用不着 说。

线性代数代写

线性代数是数学的一个分支,涉及线性方程,如:线性图,如:以及它们在向量空间和通过矩阵的表示。线性代数是几乎所有数学领域的核心。



博弈论代写

现代博弈论始于约翰-冯-诺伊曼(John von Neumann)提出的两人零和博弈中的混合策略均衡的观点及其证明。冯-诺依曼的原始证明使用了关于连续映射到紧凑凸集的布劳威尔定点定理,这成为博弈论和数学经济学的标准方法。在他的论文之后,1944年,他与奥斯卡-莫根斯特恩(Oskar Morgenstern)共同撰写了《游戏和经济行为理论》一书,该书考虑了几个参与者的合作游戏。这本书的第二版提供了预期效用的公理理论,使数理统计学家和经济学家能够处理不确定性下的决策。



微积分代写

微积分,最初被称为无穷小微积分或 “无穷小的微积分”,是对连续变化的数学研究,就像几何学是对形状的研究,而代数是对算术运算的概括研究一样。

它有两个主要分支,微分和积分;微分涉及瞬时变化率和曲线的斜率,而积分涉及数量的累积,以及曲线下或曲线之间的面积。这两个分支通过微积分的基本定理相互联系,它们利用了无限序列和无限级数收敛到一个明确定义的极限的基本概念 。



计量经济学代写

什么是计量经济学?
计量经济学是统计学和数学模型的定量应用,使用数据来发展理论或测试经济学中的现有假设,并根据历史数据预测未来趋势。它对现实世界的数据进行统计试验,然后将结果与被测试的理论进行比较和对比。

根据你是对测试现有理论感兴趣,还是对利用现有数据在这些观察的基础上提出新的假设感兴趣,计量经济学可以细分为两大类:理论和应用。那些经常从事这种实践的人通常被称为计量经济学家。



MATLAB代写

MATLAB 是一种用于技术计算的高性能语言。它将计算、可视化和编程集成在一个易于使用的环境中,其中问题和解决方案以熟悉的数学符号表示。典型用途包括:数学和计算算法开发建模、仿真和原型制作数据分析、探索和可视化科学和工程图形应用程序开发,包括图形用户界面构建MATLAB 是一个交互式系统,其基本数据元素是一个不需要维度的数组。这使您可以解决许多技术计算问题,尤其是那些具有矩阵和向量公式的问题,而只需用 C 或 Fortran 等标量非交互式语言编写程序所需的时间的一小部分。MATLAB 名称代表矩阵实验室。MATLAB 最初的编写目的是提供对由 LINPACK 和 EISPACK 项目开发的矩阵软件的轻松访问,这两个项目共同代表了矩阵计算软件的最新技术。MATLAB 经过多年的发展,得到了许多用户的投入。在大学环境中,它是数学、工程和科学入门和高级课程的标准教学工具。在工业领域,MATLAB 是高效研究、开发和分析的首选工具。MATLAB 具有一系列称为工具箱的特定于应用程序的解决方案。对于大多数 MATLAB 用户来说非常重要,工具箱允许您学习应用专业技术。工具箱是 MATLAB 函数(M 文件)的综合集合,可扩展 MATLAB 环境以解决特定类别的问题。可用工具箱的领域包括信号处理、控制系统、神经网络、模糊逻辑、小波、仿真等。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注