学习大数据难易程度如何？（mongodb单机查询速度怎么提高）

学习大数据难易程度如何？

看到这个问题，忍不住的想说两句，主要是想说说自己最近学习大数据的感受！原先一直想学习大数据，但总感觉忙抽不出时间学习，从去年开始下定决心，开始学习大数据。下面说一个个人的一些感受！

最初，认为从官网下载一些资料学习学习就可以了。于是下载了hadoop开始进行环境搭建。搭建了单机、伪分布式和分布式。看看Hadoop主要包含哪些东西。从官网看了些资料，看完之后，感觉还是不怎么理解，感觉这要学的东西太多了。

感觉学了一段时间，效果不佳，开始找资料。从51cto、CSDN等找资料学习，学习之后有了一个大体的了解。基本学完了common、hdfs、mapReduce（mr）、yarn等几部分，以及这几部分的关系。

大数据不是一个框架，大数据是一个生态，需要学习的东西，比想象的要多的多。后面就开始找视频资料进行系统的学习。逐渐了解到大数据需要掌握的基础知识包括java编程基础、Linux基础知识。hadoop的hdfs、mr以及yarn。后面的数据仓库Hive，序列号编解码Avro、Protobuf。分布式框架zookeeper。大数据数据库Hbase。大数据日志采集Flume。消息队列Kafka。大数据实时处理Storm。大数据实时计算spark及其相关编程语言scala。一般还要web开发的ssh或ssm框架等。

最后，想说知识虽然多，但只要坚持学习，总会有所收获。编程需要多动手，多实践，有助于你学习知识，加深理解。

本人具有多年的java开发经验，熟悉多种框架，熟悉网络编程，熟悉java安全编程，熟悉大数据，熟悉多种安全协议，熟悉并发编程，有兴趣的同学可以互相关注，互相学习！！！

大数据的学习还是挺难的，因为涉及的东西比较广比较多，你要学习统计学的相关知识，还有学习人工智能方面的。比如一些数据库管理系统MySQL， MongoDB，开源、支持网络、基于内存、键值对存储数据库Redis，还有python，liunx，hadoop等等。勤能补拙，路漫漫，好好学习，发展很好。

大数据技术的体系庞大而且复杂，涉及的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。如果真的决定入行大数据，需要做好长期的攻坚准备。

mysql数据表规模九千万左右，怎么优化查询？

是一张表九千万了吗？

建议：

第一、表读居多还是写？读的话数据库引擎用myisam ，写的话InnoDB 而不是MyISAM，因为MyISAM有太多锁。

第二、升级到MySQL 5.5 ，确保使用buffering功能。

第三，索引确保使用正确，且都在内存中，移除没有必要的索引。

第四、写场景多吗？ 设置innodb_buffer_pool_size足够大来确保更快的写操作。

第五、按业务id取模，分表。

最后，花钱加机器内存和用ssd磁盘吧。

我不清楚答题的大部分人是否有真正实践过，特别是用mysql实践过。大部分说是加索引、调整参数不是说不正确，有效果，但是不能很好的解决问题。说说个人想法:

部分答主的方案的确不敢苟同，纠正如下：

1、select count(*) 和 select count(主键) 在现阶段的mysql 没有太大区别，新版mysql这个对性能影响可以忽略。

2、强烈反对使用存储过程，后面介绍了使用分表分库的方案，就更不要用存储过程了。

3、单表行数和表数量，需要找到平衡点。表太多，性能也会下降。

我的回答：

1、单表9000w数据，mysql存储不了，想办法分表分库。500w数据的时候，你就该有这个想法了。只加索引解决不了问题，9000w的单表数据，很难平衡查找和插入性能，索引稍微多了插入性能也很低。

2、不要再说select count了，放弃汇总查询的想法，根本查不了。

到此，以上就是小编对于mongodb 查询速度的问题就介绍到这了，希望这2点解答对大家有用。

分享标题：学习大数据难易程度如何？（mongodb单机查询速度怎么提高）
本文地址：http://www.shufengxianlan.com/qtweb/news5/367055.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联