分类目录归档：新兴技术

Scala快速入门

#定义变量var

var name = “chen”

name = “zhiguo”

#定义常量val 首次复制后不可以再改变

val two = 1+ 1

#定义函数def，等号左侧是函数名、函数列表和返回值，右侧是函数体实现的表达式。

scala> def addOne(m:Int): Int = m+ 1

addOne: (m: Int)Int

scala> var x = addOne(123)

x: 124 继续阅读 →

Hadoop伪分布式安装

一、Hadoop简介

  1. Hadoop：一个分布式系统基础架构，适合大数据的分布式存储与计算平台。两个核心项目：HDFS、MapReduce
  2. HDFS：分布式文件系统，主要解决分布式的存储问题。
  3. MapReduce：并行计算框架，主要解决分布式的计算问题。
  4. Hadoop的特点：高可靠、高扩展、高性能、高容错、低成本
  5. Hadoop架构：

    在MapReduce中一个准备提交的应用程序成为作业（job），从一个作业划分出的、运行于各计算节点的工作单位成为任务(task)；

    Hadoop提供的分布式文件系统（HDFS）主要负责各个节点上的数据存储，实现高吞吐率的数据读写。

    Hadoop使用Master/Slave架构。

    1. 以HDFS角度看（一个文件会被分割成若干个默认64M的block）：

      主节点（只有一个）： namenode。接受用户数据、维护文件系统的目录结构、管理文件与block和block与       datanode之间的关系。

      从节点（若干个）： datanode。存储block，为保证数据安全会有备份。

    2. 以MapReduce角度看：主节点（只有一个）： JobTracker。接受客户提交的服务任务、将任务分配给TaskTracker执行、监控TaskTracker执行情况。 继续阅读 →