行哥带大家轻松入门视频 https://www.bilibili.com/video/av97017452/?vd_source=401a01331a9

https://www.bilibili.com/video/BV1sM411i7tT/?spm_id_from=333.999

学习了2个月，明显感觉效率低下

大数据三字，在当下的生活中无论是技术人员也好，还是普通用户也罢，都或多或少的接触过。 可是到底大数据是什么？跟我们有什么关系？并没有多少相关科普性文章能讲明白说透彻。 而这篇文章，会用最简洁明了的语言，来跟大家讲讲什么是大数据、和我们有什么关系。 “大数据”是一种泛概念，具体含义有两层：大量的数据、处理大量数据的技术。这两种含义其实是相辅相成、一脉而生的，为了便于各位看官理解，我们分开来讲。 大量的数

如果想要自学，绝对不是找到视频自己随意盲目的看看。 一定要有规划性、例如每周的任务要学多少、每天的任务学多少、每个月要学多少。制定学习计划要严格执行，三天打雨两天晒网，肯定也是坚持不到最后的。

第一阶段 Java基础讲解 Java SE标准语言入门 https://v.51doit.cn/detail/p_5fc0bd48e4b0231ba8893901/6 第二阶段 Java数据案例分析 测测你的Java学习效果吧！！！自我检测，java实战案例 https://www.bilibili.com/video/av35682628 第三阶段 mysql数据库、html、SSM框架 考虑到伙伴们视觉疲劳，还是直接看这个骚气的行哥是咋讲的吧！！！ https://www.bilibili.com/video/av97017452 第四阶段 Linux系统讲解 视频类目详解查阅： https://www.bilibili.com/video/av64244197 第五阶段 hadoop生态详解 hadoop生态系统详

首先先回答一下大家可能会问的一些问题 一，大数据是什么？ 大数据是一个庞大的体系，其中大致包括 1，数据存储阶段（用户信息，行为信息存储进硬盘）。 2，数据挖掘 清洗 筛选（根据产品需求筛选出符合企业用于盈利需求的数据） 3，数据分析（通过数学分析，商业分析，将挖掘出来的数据进行产品匹配盈利分析） 4，产品调整（根据分析进行产品的上下架，迭代开发，达到产品迎合更多用户的选择或者销售出更多的产品。） 5，产品下一步的

1. 了解大数据理论 要学习大数据你至少应该知道什么是大数据，大数据一般运用在什么范畴。对大数据有

学习大数据首先要从Java学起 javase 然后是Linux 会基本操作命令即可，然后是hadoop体系，例如 hadoop hive hbase pig zk sqoop kafka 等等 然后是spark体系 Scala spark 等等 还有R语言 机器学习项目等知识

这里是大数据自学Java部分的笔记每天更新

Windows中常用的DOS命令 dir:列出当前目录下的文件以及文件夹，后面可以接其他路径 md:创建目录，一次创建多级目录 mk a\b\c rd:删除目录，删除非空目录 rd/s/q a cd:进入指定目录 cd..退回上级目录 cd/或cd/:退回到当前盘符的根目录 del:删除文件，del*class,删除所有以.class为结尾的文件 exit:退出dos命令行 D:切换盘符 cls:清除屏幕 jdk(开发工具包) jre(运行环境） jvm(虚拟机） 下载、安装JDK，及使用流程 ?下载 JDK -- http://www.oracle.com ?安装 JDK ?设置环境变量Path ?Path：win

一、HDFS HDFS是分布式计算的存储基石，对于整个集群有单一的命名空间，具有数据一致性，适合一次写入多次读取的模型，客户端在文件没有被成功创建之前是无法看到文件存在的。文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且会根据配置由复制文件块来保证数据的安全性。 HDFS通过三个重要的角色来进行文件系统的管理：NameNode、DataNode和Client。NameNode可以看做是分布式文件系统中的管理者，主要负责管理文件系统的命名空

之前骨折住院一个月 现在继续给大家每天分享视频和学习资料企鹅543525994

文件存储：HADOOP HDFS Tachyon KFS 离线计算：HADOOP MapReduce Spark 流式、实时计算：Storm Spark Streaming S4 Heron K-V NOSQL数据库：HBASE REDIS MONGODB 资源管理：Yarn Mesos 日志收集：flume scribe logstash 消息系统：kafka stormMQ zeroMQ RABBITMQ 查询分析：Hive Impala Pig Presto Phoenix SparkSQL Drill FLINK KyLin Druid 分布式协调服务：zookeeper 集群管理与监控：AMBARI Ganglia NAGIOS CLOUDERA Manager 数据挖掘、机器学习：mahout spark mllib 数据同步sqoop 任务调度：Oozie

一、数据量大，TB->PB 二、数据类型繁多，结构化 、非结构化文本、日志、视频、图片、地理位置 三、商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来 四、处理时效性高，海量数据的处理需求不再局限在离线计算当中

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。[1] 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[2] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价