电子信息工程考研学校，电子信息工程考研学校推荐
党的十八大以来，党中央高度重视发展数字经济，实施网络强国战略和国家大数据战略，不断开创中国经济高质量发展新局面。从2016年在十八届中央政治局第三十六次集体学习时强调“加快传统产业数字化、智能化，做大做强数字经济，拓展经济发展新空间”，到2017年在十九届中央政治局第二次集体学习时强调“推动实施国家大数据战略，加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国”，再到2021年在十九届中央政治局第三十四次集体学习时强调“充分发挥海量数据和丰富应用场景优势，促进数字技术与实体经济深度融合，赋能传统产业转型升级，催生新产业新业态新模式，不断做强做优做大我国数字经济。”习近平总书记作出一系列重要讲话、重要指示，深刻阐明了大数据推动经济高质量发展、推进中国式现代化的重大意义。大数据是促进数字经济和实体经济深度融合、推动数字中国建设的重要引擎，是新时代加快实体经济质量变革、效率变革、动力变革的战略依托。
大数据为数字经济发展带来助力的同时，也为产业发展和权益保障带来诸多挑战，例如云计算的开放性可能导致个人隐私或商业秘密的泄露，系统固有问题可能导致推荐算法准确度有限，历史数据膨胀带来的大量重复计算严重浪费存储与算力资源等等。为应对大数据技术发展过程中的新挑战，学界提出诸多创新解决思路和技术方案。
※在云计算隐私保护方面，由于云的开放性和用户只能对云上数据进行有限的控制，直接在云上开展大数据分析处理可能会导致个人隐私或商业秘密的泄露。第一，基于张量的数据分析与处理技术可以实现有效数据分析处理的同时保障用户的隐私。具体而言，新的云端语义安全的加密数据张量分解可通过同态加密和联邦云的方式对用户数据的加密张量进行分解，从而免去用户与云服务器之间的数据交互过程，进而增强用户隐私保护。第二，基于同态加密的云服务器和可信硬件可提供一个安全的主特征张量计算方案，一方面可以充分吸收同态加密和乱码电路技术的优势，另一方面也通过轻量级的打包技术平衡了技术方案的安全性和效率。第三，安全的高阶Lanczos 算法也被实验证明可在雾和云合作执行大数据处理任务的同时避免泄露用户隐私。第四， 利用张量链网络的高阶Lanczos 模型也可在云上以张量链形式的大规模张量上安全执行数据处理任务。
※在推荐算法方面，针对推荐系统固有的可扩展性、数据稀疏性和冷启动的问题，基于加权二部图网络的个性化推荐算法借鉴物理学上的热传导和资源分配原理，将推荐系统建模为一个加权二部图网络，将用户的评分值作为需要进行分配的资源，同时在算法中引入一个可自由调节的参数来降低“大度”节点的影响，从而在项目和用户的两步资源分配中实现个性化推荐。此外，基于数据填充的协同过滤个性化推荐算法利用数据填充方法、多种推荐策略和用户相似度计算方法可开展协同过滤推荐，从而有效地缓解数据稀疏性的问题，提升推荐的准确度。
※在减少重复计算方面，通过对语句的特征进行预分类的重复语句查询检测技术可仅在历史数据的子集内进行计算，避免检测时间随历史数据膨胀而过长。针对文件访问模式不均衡的问题，基于分级存储架构的技术方案，可依据任务负载情况准确定位数据集中的热数据，并通过共享存储集群加速热数据处理。此外，基于分离复制策略的元数据复制方法，可使内存与磁盘中元数据的操作复制过程相互独立，在提升元数据复制效率的同时保障数据的可靠性。
※在结构化数据存储查询方面，为应对大规模数据集快速响应交互式请求的需要，SQL on Hadoop 通过结合Hadoop 和SQL 引擎，可在存储层用HDFS 进行数据管理，在应用层为用户提供清晰的数据库视图和高度透明化的查询接口。为对存储组织结构和查询分析机制进行进一步改进，学界提出了基于关联度分析的数据划分机制。该机制基于分区子表在查询集上的运算关系建立关联度统一分析模型和关系矩阵，从而通过矩阵转换计算优化数据划分方案。
※在面向超算系统的大数据处理技术方面，通过流水化任务、优化中间数据管理以及基于MPI 的中间数据交换等等，能够更加充分得利用超算系统资源进行高性能数据分析。另外，利用任务窃取和集合也可以分别提升读输入文件和写输出文件的性能，应对面向全局共享文件系统部署时的并行性能瓶颈问题。
※在提升MapReduce 和神经网络的性能方面，采用集成学习的方法对构建双层模型对应用程序性能的影响和Hadoop 配置参数之间的关系进行建模。在此基础上，基于性能模型寻找配置参数组合的优化方式，从而准确预测MapReduce 应用的运行时间，减少错误率，提升应用性能。另外，为应对频繁数据移动对系统能耗和性能带来的影响，基于动态任务迁移的近数据处理方法可通过对MapReduce应用的工作流解耦来获得核心的计算任务，通过迁移机制将计算任务动态迁移到近数据处理单元中运算，进而有效减少主处理单元和存储单元之间的数据移动，提升数据处理的能效和性能。
※在高性能计算系统的数据融合管理方面，基于层次式存储结构的数据管理系统，可以统一管理内存、固态硬盘等多个存储层次，为融合应用提供高效的数据缓存空间。为充分发挥不同存储层次的性能和容量等特点，该层次式数据管理系统可结合应用数据的访问模式定制数据管理策略，协调数据在不同存储层次的分布。此外，针对存储层次加深引起的数据局部性变化，数据感知任务调度机制可配合资源管理系统尽可能使计算资源调度到计算任务中，从而提升应用性能，优化高性能计算系统的数据管理能力。
※在云存储高性能安全去重方面，利用离散对数难题将用户随机因子融入冗余数据检测的数据结构中可以提升冗余数据检测中的数据隐私安全保护效果。另外，针对仅有少数字节变化的多版本文件带来的冗余问题，面向多版本数据的安全去重方法可将修改后的内容存储在增量编码文件中，有效避免由离散型修改所导致的大量非冗余数据块上传，从而有效地降低修改操作导致的非冗余数据块数量和加密密钥的维护开销。
作者：何宝宏 魏凯 仵姣姣 闫树 吕艾临
王卓 李雨霏 刘寒 马鹏玮 姜春宇
本文摘编自《中国电子信息工程科技发展研究．大数据技术及产业发展专题》（中国信息与电子工程科技发展战略研究中心编著．北京：科学出版社，2023.3）一书“第9 章 大数据技术学术前沿综述”，标题为编者所加。
ISBN 978-7-03-074745-7
责任编辑：赵艳春
本书首先简要阐述了大数据的概念、特征和主要发展阶段，并对我国的国家和地方大数据产业政策进行了详细的梳理。在大数据技术章节，按照数据的生命周期对数据采集、存储、计算、管理、应用和安全技术进行了简要的介绍。针对大数据产业，重点从产业发展现状和相关产业主体进行分析。在大数据应用领域，简要介绍了大数据在数字经济、通信、政务、金融、工业等领域的融合应用情况。最后就数据资产、数据要素和大数据法制的发展现状和趋势进行了简要分析和介绍。本书适合人工智能、计算机等专业的本科生、研究生，以及相关专业的教师、产业工程科技人员阅读。
“蓝皮书”专题
进入专题页面
进入专题页面
（本文编辑： 刘四旦）
一起阅读科学!
科学出版社│微信ID：sciencepress-cspm
专业品质 学术价值
原创好读 科学品味
科学出版社视频号
硬核有料 视听科学
电子信息工程考研学校(电子信息工程考研学校推荐)转载请注明：电子信息工程考研学校(电子信息工程考研学校推荐)