陋室铭


  • 首页

  • 分类

  • 归档

  • 标签
陋室铭

nohup命令使用

发表于 2018-06-15 | 阅读次数

nohup命令使用

  • 一般形式:nohup command &
  • 指定输出文件 nohup command > myout.file 2>&1 </dev/null &

说明:

  • command > myout.file是将command的输出重定向到myout.file文件,即输出内容不打印到屏幕上,而是输出到myout.file文件

  • 2>&1 是将标准出错重定向到标准输出, 这里的标准输出已经重定向到了myout.file,即将标准出错也输出到myout.file文件中

  • </dev/null 不会有任何错误提示

  • & 让命令在后台执行

陋室铭

Kafka介绍及使用

发表于 2018-06-14 | 阅读次数

Kafka简介

  1. 关键能力
  • 消息队列

  • 容错存储

  • 流处理

Kafka 构建了一个语言无关的基于TCP protocol 的通信机制,用来高性能的实现clients 和 servers 之间通信

  1. 基本术语
  • Broker
    Kafka集群包含一个或多个服务器,其中服务器被称为broker

  • Topic
    每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存在一个或多个broker上但用户只需要指定消息的Topic即可生产和消费数据)

  • Partition
    Partition是物理上的概念,每个Topic包含一个或多个Partition(一般为Kafka节点数CPU的总核数)

作用:

1. Partitions实现高并发
2. Partitions 复制+ zookeeper实现了高可用
  • Producer
    负责发布消息到Kafka broker;写入要指定topic和partition;消息如何分到不同的partition,算法由producer指定

  • Consumer
    消息消费者,向Kafka broker读取消息的客户端

  • Consumer Group
    每个Consumer属于一个特定的Consumer Group(每个Consumer指定group name,若不指定group name则属于默认的group)

    • 每条消息分发一个消费者,每条消息广播给消费者组的所有消费者
    • 一条消息发送到一个consumer group后,只能由该group的一个consumer接收和使用
    • 一个group中的每个consumer对应一个partition有如下好处
      • 可以按照partition的数目进行并发处理
      • 每个partition都只有一个consumer读取,因而保证了消息被处理的顺序是按照partition的存放顺序进行
    • 一个Consumer可以有多个线程进行消费,线程数应不多于topic的partition数,因为对于一个包含一或多消费线程的consumer group来说,一个partition只能分给其中的一个消费线程消费
    • 如果consumer从多个partition读到数据,不保证数据间的顺序性,kafka只保证在一个partition上数据是有序的,但多个partition,根据你读的顺序会有不同
    • 增减consumer,broker,partition会导致rebalance,所以rebalance后consumer对应的partition会发生变化
  1. 消息队列
  • 特性
    1. 可扩展
      • 在不需要下线的情况下进行扩容
      • 数据流分区存储在多个机器上
    2. 高性能
      • 单个broker能服务上千个客户端
      • 单个broker每秒读/写几百兆字节
      • 多个broker组成的集群能达到非常强的吞吐能力
      • 性能稳定,无论数据多大
      • Kafka在底层摒弃了Java堆缓存机制,采用了操作系统级别的页缓存,同时将随机写操作改为顺序写,再结合Zero-Copy的特性极大地改善了IO性能
    3. 持久存储
      • 存储在磁盘上
      • 冗余备份到其他服务器以防丢失

安装和使用

下载kafka_2.11-1.10,解压后进入目录

  1. 启动zookeeper
  • 启动
    1
    2
    3
    4
    5
    ./bin/zookeeper-server-start.sh config/zookeeper.properties & 
    ```
    其中,config/zookeeper.properties是zookeeper的配置文件

    * 结束

./bin/zookeeper-server-stop.sh

1
2
3
4

2. 启动Kafka服务器

配置文件 config/server.properties文件,一般需要配置如下字段,其它按默认即可

broker.id:       每一个broker在集群中的唯一表示,要求是正数
listeners(效果同之前的版本的host.name及port):注意绑定host.name,否则可能出现莫名其妙的错误如consumer找不到broker。这个host.name是Kafka的server的机器名字,会注册到Zookeeper中
log.dirs:        kafka数据的存放地址,多个地址的话用逗号分割,多个目录分布在不同磁盘上可以提高读写性能
log.retention.hours:  数据文件保留多长时间, 存储的最大时间超过这个时间会根据log.cleanup.policy设置数据清除策略
zookeeper.connect:   指定ZooKeeper的connect string,以hostname:port的形式,可有多个以逗号分隔,如hostname1:port1,hostname2:port2,hostname3:port3,还可有路径,如:hostname1:port1,hostname2:port2,hostname3:port3/kafka,注意要事先在zk中创建/kafka节点,否则会报出错误:java.lang.IllegalArgumentException: Path length must be > 0

1
2

* 命令

//启动
./bin/kafka-server-start.sh config/server.properties,生产环境最好以守护程序启动

1
2


//结束
./bin/kafka-server-stop.sh

1
2
3
4
5
6

## 使用
kafka本身是和zookeeper相连的,而对应producer和consumer的状态保存也都是通过zookeeper完成的。对Kafka的各种操作通过其所连接的Zookeeper完成

* 命令行客户端
创建topic

./bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test

1
2

列出所有topic

./bin/kafka-topics.sh –list –zookeeper localhost:2181

1
2

查看topic信息(包括分区、副本情况等)

kafka-topics.sh –describe –zookeeper localhost:2181 –topic my-replicated-topic

1
2

生产某种topic消息

./bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test

1
2

消费某种topic消息

./bin/kafka-console-consumer.sh –zookeeper localhost:2181 –topic test –from-beginning

1
2
3
4
5

## kafka-manager用于管理kafka集群
编译好的包在/Users/yangchj/soft/develop/kafka-manager.zip

1. 解压

unzip kafka-manager.zip

1
2

2. 配置conf/application.conf里的kafka-manager.zkhosts

kafka-manager.zkhosts=”192.168.6.131:2181,192.168.6.132:2181,192.168.6.133:2181”

1
2

3. 启动

./bin/kafka-manager -Dconfig.file=conf/application.conf 默认端口9000

指定端口,指定zkhost
./bin/kafka-manager -Dhttp.port=9001 -Dkafka-manager.zkhosts=”192.168.6.131:2181,192.168.6.132:2181,192.168.6.133:2181”
`

  1. 使用
    访问 http://127.0.0.1:9000,在Cluster-> Add Cluster 输入要监控的Kafka集群的Zookeeper
陋室铭

SpringBoot启动参数及环境设置

发表于 2018-06-12 | 分类于 SpringBoot | 阅读次数

java命令的模版: java [-options] -jar jarfile [args…]

启动命令:

1
java -Xms128m -Xmx256m -Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=8081,suspend=n -jar /data/app/test.jar --spring.profiles.active=dev &

其中:

-Xms128m 设置的是JVM堆最小内存128m

-Xmx256m 设置的是JVM堆最大内存为256m

-Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=8081,suspend=n

设置debug模式,允许tomcat远程连接服务器调试,调试端口可指定,此处为8081

/data/app/test.jar 指定需要执行的jar包的路径

–spring.profiles.active=dev 设定SpringBoot运行环境为dev环境

& 后台模式执行

陋室铭

分布式锁的实现

发表于 2018-05-31 | 阅读次数

分布式锁的实现有哪些

  1. Memcached分布式锁
    利用Memcached的add命令。此命令是原子性操作,只有在key不存在的情况下,才能add成功,也意味着线程得到了锁。

  2. Redis分布式锁
    和Memcached的方式类似,利用Redis的setnx命令。此命令同样是原子性的操作(被set(key,nx,px,expire)替代),
    只有在key不存在的情况下,才能set成功。

  3. Zookeeper分布式锁
    利用Zookeeper的顺序临时节点,来实现分布式锁和等待对列。Zookeeper设计的初衷,也是为了实现分布式锁服务的。

  4. Chubby
    Google公司实现的粗力度分布式锁服务,底层利用了Paxos一致性算法。

Redis分布式锁的实现

1
2
3
4
5

String luaScript="if redis.call('get',KEYS[1])==ARGV[1] then return redis.call('del',KEYS[1]) else return 0 end";
redisClient.eval(luaScript,Collections.singletonList(key),Collections.singletonList(threadId));

这样一来,判断和释放锁就是原子操作了
陋室铭

基于Kotlin的android主流框架技术

发表于 2018-05-31 | 阅读次数

Anko

Glide

RxKotlin

RxAndroid

RxBus

Retrofit

Dagger2

Arouter

MultiStateView

Takephoto

Coverflow

TriangleLabelView

Flowlayout

Bottom-navigation-bar

陋室铭

okio优点分析

发表于 2018-05-30 | 阅读次数

okio优点

  1. 使用方便
  • Buffer是处理可变byte序列的利器,它可以根据使用情况自动增长,在使用过程中不用关心位置的处理
  • Java.IO读取不同类型数据要用DataInputStream来包装,使用缓存要使用BufferedOutputStream,而在okio中BufferedSink/BufferedSource具有以上所有功能
  • okio提供了方便压缩及字符常用处理工具
  1. 速度快
  • okio采用了segment机制进行内存共享,极大减少copy操作带来的时间消耗,加快了读写速度
  • okio引入ByteString使其在byte[]与String之间转换速度非常快(ByteString内部以两种变量记录了同个数据byte[] data; transient String utf8;),空间换时间
  1. 稳定
  • okio提供了超时机制,不仅在IO操作上加上超时的判定,包括close,flush之类的方法中都有超时机制
  1. 内存消耗小
  • 虽然okio在byteString采用空间换时间,但是对内存也做极致优化,总体还是极大提高了性能
  • okio的segement机制进行内存复用,上传大文件时完全不用考虑OOM
陋室铭

SpringCloud和Dubbo对比

发表于 2018-04-26 | 阅读次数

Spring Cloud 是一个基于SpringBoot实现的云应用开发工具,它为基于JVM的应用开发中的配置管理、服务发现、
断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等操作提供了一种简单的开发方式。

ESB(企业数据总线),一般采用集中式转发请求,适合大量异构系统集成,侧重任务的编排,性能问题可通过异构的方式来进行
规避,无法支持特别大的并发。

Dubbo(服务注册管理),采用是分布式调用,注册中心只记录地址信息,然后直连调用,适合并发及压力比较大的情况,其侧重服务的
治理,将各个服务颗粒化,各个子业务系统在程序逻辑上完成业务的编排。

SpringCloud 常用核心组件

  1. SpringCloud Config

    • 统一管理各个服务的配置信息
    • 在服务横向扩展时避免同时维护多个配置文件
    • 支持实时刷新配置文件内容
    • 支持git版本管理配置文件
  2. SpringCloud eureka

    • 服务注册发现组件
    • 满足A.P原则,不用额外处理
  3. SpringCloud Ribbon

    • 服务间的负载均衡组件
    • 可以和服务发现组件和熔断器组合使用
  4. SpringCloud Hystrix

    • 熔断器组件
    • 使用熔断机制避免错误扩散
  5. SpringCloud Feign

    • 声明式,模版化http客户端
    • 基于http协议调用服务,简化调用代码
  6. SpringCloud Zuul

    • api网关,类似nginx反向代理的功能
    • 可以和服务发现灵活集成

    dubbo常用核心功能和组件

    1. zookeeper

      • dubbo的服务发现注册依赖组件
      • 满足C.P原则,dubbo额外处理,满足A.P原则
    2. Monitor

      • 监控中心
      • 监控服务的运行使用情况
    3. RPC

      • 使用rpc通讯
      • 需要依赖api包
      • 性能强于rest。但依赖包管理复杂。

dubbo核心部件

- Provider:暴露服务的提供方,可以通过jar或者容器的方式启动服务
- Consumer:调用远程服务的服务消费方
- Registry:服务注册中心和发现中心
- Monitor:统计服务和调用次数,调用时间监控中心。
- Container:服务运行的容器

image

微服务架构核心要素比较

核心要素 Dubbo Spring Cloud
服务注册中心 Zookeeper、Redis Spring Cloud Netflix Eureka
服务调用方式 RPC REST API
服务网关 无 Spring Cloud Netflix Zuul
断路器 不完善 Spring Cloud Netflix Hystrix
分布式配置 无 Spring Cloud Config
分布式追踪系统 无 Spring Cloud Sleuth
消息总线 无 Spring Cloud Bus
数据流 无 Spring Cloud Stream 基于Redis,Rabbit,Kafka实现的消息微服务
批量任务 无 Spring Cloud Task

通讯协议

  1. 支持协议

    • Dubbo:使用RPC通讯协议,提供序列化方式如下:
      dubbo:Dubbo缺省协议采用单一长连接和NIO异步通讯,适合于小数据大量并发的服务调用,以及服务消费者机器数远大于服务提供者机器数的情况。
      rmi:RMI协议采用JDK标准的java.rmi.*实现,采用阻塞式短连接和JDK标准列化方式
      Hessian:Hessian协议用于集成Hessian的服务,Hessian底层采用http通讯,采用Servlet暴露服务,Dubbo缺省内嵌Jetty作为服务器实现
      http:采用Spring的HttpInvoker实现
      WebService:基于CXF的fronted-simple和transports-http实现

    • SpringCloud:SpringCloud使用HTTP协议的RESTAPI

性能比较

使用一个Pojo对象包含10个属性,请求10万次,Dubbo和Spring Cloud在不同的线程数量下,每次请求耗时如下:

线程数 Dubbo Spring Cloud
10线程 2.75 6.52
20线程 4.18 10.03
50线程 10.3 28.14
100线程 20.13 55.23
200线程 42 110.21

评:dubbo支持各种通信协议,而且消费方和服务方使用长链接方式交互,通信速度上略胜Spring Cloud,如果对于系统的响应时间有严格要求,长链接更合适。

服务依赖方式

Dubbo:服务提供方与消费方通过接口的方式依赖,服务调用设计如下:

  • interface层:服务接口层,定义了服务对外提供的所有接口
  • Model层:服务的DTO对象层
  • business层:业务实现层,实现interface接口并且和DB交互

因此需要为每个微服务定义了各自的interface接口,并通过持续集成发布到私有仓库中,调用方应用对微服务提供的抽象接口存在强依赖关系,开发、测试、集成环境都需要严格的管理版本依赖。
通过maven的install & deploy命令把interface和Model层发布到仓库中,服务调用方只需要依赖interface和model层即可。在开发调试阶段只发布Snapshot版本。等到服务调试完成再发布Release版本,通过版本号来区分每次迭代的版本。通过xml配置方式即可方面接入dubbo,对程序无入侵。

Spring Cloud:服务提供方和服务消费方通过json方式交互,因此只需要定义好相关json字段即可,消费方和提供方无接口依赖。通过注解方式来实现服务配置,对于程序有一定入侵。

点评:Dubbo服务依赖略重,需要有完善的版本管理机制,但是程序入侵少。而Spring Cloud通过Json交互,省略了版本管理的问题,但是具体字段含义需要统一管理,自身Rest API方式交互,为跨平台调用奠定了基础。

dubbo
Dubbo组件运行流程

  • gateway:前置网关,具体业务操作,gateway通过dubbo提供的负载均衡机制自动完成
  • service:原子服务,只提供该业务员相关的原子服务
  • Zookeeper:原子服务注册到zk上

springcloud

  • 所有请求都统一通过 API 网关(Zuul)来访问内部服务
  • 网关接收到请求后,从注册中心(Eureka)获取可用服务
  • 由 Ribbon 进行均衡负载后,分发到后端的具体实例
  • 微服务之间通过 Feign 进行通信处理业务

点评:业务部署方式相同,都需要前置一个网关来隔绝外部直接调用原子服务的风险。Dubbo需要自己开发一套API 网关,而Spring Cloud则可以通过Zuul配置即可完成网关定制。使用方式上Spring Cloud略胜一筹。

micro_service

架构分解

  • 网关集群:数据的聚合、实现对接入客户端的身份认证、防报文重放与防数据篡改、功能调用的业务鉴权、响应数据的脱敏、流量与并发控制等
  • 业务集群:一般情况下移动端访问和浏览器访问的网关需要隔离,防止业务耦合
  • Local Cache:由于客户端访问业务可能需要调用多个服务聚合,所以本地缓存有效的降低了服务调用的频次,同时也提示了访问速度。本地缓存一般使用自动过期方式,业务场景中允许有一定的数据延时。
  • 服务层:原子服务层,实现基础的增删改查功能,如果需要依赖其他服务需要在Service层主动调用
  • Remote Cache:访问DB前置一层分布式缓存,减少DB交互次数,提升系统的TPS
  • DAL:数据访问层,如果单表数据量过大则需要通过DAL层做数据的分库分表处理
  • MQ:消息队列用来解耦服务之间的依赖,异步调用可以通过MQ的方式来执行
  • 数据库主从:服务化过程中毕竟的阶段,用来提升系统的TPS

注意事项

  • 服务启动方式建议使用jar方式启动,启动速度快,更容易监控
  • 缓存、缓存、缓存,系统中能使用缓存的地方尽量使用缓存,通过合理的使用缓存可以有效的提高系统的TPS
  • 服务拆分要合理,尽量避免因服务拆分而导致的服务循环依赖
  • 合理的设置线程池,避免设置过大或者过小导致系统异常
陋室铭

Protobuf简介

发表于 2018-04-26 | 分类于 protobuf | 阅读次数

Protobuf简介

Google Protocol Buffer(Protobuf)是Google公司内部的混合语言数据标准,可以用于RPC系统和持续数据存储系统。

Protocol Buffers是一种轻便高效的数据化存储格式,可以用于结构化数据穿行化,或者说序列化。它很适合做数据存储或RPC数据交换格式。可用于通讯协议、
数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。

安装

下载Protobuf:http://code.google.com/p/protobuf/downloads/list

linux自行编译

1
2
3
4
5
6
tar zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure --prefix=/usr/local/protobuf
make
make check
make install

Protobuf消息定义,数据类型
完整的Protobuf数据类型参考:http://www.cnblogs.com/dkblog/archive/2012/03/27/2419010.html

ProtoBuf的简单使用
定义一个消息的协议:如下协议,命名为user.proto

1
2
3
4
5
6
7
8
option java_package="cn.slimsmart.protoc.demo"
option java_outer_classname="User";
message UserInfo{
required string id=1;
required string name=2 [default = "Jack"];
required int32 age=3 [default=20];
optional string desc=4;
}

java_package java包路径
java_outer_classname java类型
message 定义类及属性
用protoc生成各种定义语言的消息实体,如Java
./protoc –java_out=./user.proto
在当前目录下生成cn/slimsmart/protoc/demo/User.java

在工程引入依赖jar包

1
2
3
4
5
      <dependency>
<groupId>com.google.protobuf</groupId>
<artifactId>protobuf-java</artifactId>
<version>2.6.1</version>
</dependency>

序列化测试

1
2
3
4
5
6
7
8
9
10
11
12
13
package cn.slimsmart.protoc.demo
public class Test {
public static void main(String[] args) {
User.UserInfo.Builder builder =User.UserInfo.newBuilder();
builder.setId("699B599EF7E44EEFA0B9A659A03CD159");
builder.setAge(55);
builder.setName("lucy");
builder.setDesc("hello world");
User.UserInfo userinfo = builder.build();
System.out.println(userinfo.toString());
System.out.println(userinfo.toByteString().toStringUtf8());
}
}

Protobuf的优点

Protobuf相比XML,更小、更快、也更简单。可以定义自己的数据结构,然后使用代码生成器生成的代码来读写这个数据结构。
使用Protobuf对数据结构进行一次描述,即可利用各种不同语言或从各种不同数据流中对你的结构化数据轻松读写。
Protobuf语义更清晰,无需类似XML解析器的东西。

使用Protobuf无需学习复杂的文档对象模型,Protobuf编程模式比较友好,简单易学,同时拥有良好的文档和示例。

Protobuf不足

Protobuf与XML相比也有不足之处。功能简单,无法用来表示复杂的概念。
XML已经成为多种行业标准的编写工具,Protobuf只是Google公司内部使用的工具,在通用性上还差很多。

陋室铭

API网关

发表于 2018-04-26 | 分类于 网关 | 阅读次数

API网关的作用

提供统一的入口来访问内部的API,隔离外部访问与内部系统。集成了非业务性的功能(安全检查、频次限制、API监控、日志上报等),API生命周期管理、请求的转发
、合成、协议转换、服务发现等多种功能。

API网关的职能

  • 请求接入
    作为所有API接口服务请求的接入点,管理所有的接入请求

  • 业务聚合
    作为所有后端业务服务的聚合点,所有的业务服务都可以在这里被调用

  • 中介策略
    实现安全、验证、路由、过滤、流控、缓存等策略,进行一些必要的中介处理

  • 统一管理
    提供配置管理工具,对所有API服务的调用生命周期和相应的中介策略进行统一管理

网关分类与功能

  1. 流量网关(关注稳定与安全)
  • 全局性流控
  • 日志统计
  • 防止SQL注入
  • 防止Web攻击
  • 屏蔽工具扫描
  • 黑白IP名单
  • 证书/加解密处理
  1. 提供更好的服务
  • 服务级别的流控
  • 服务降级与熔断
  • 路由与负载均衡、灰度策略
  • 服务过滤、聚合与发现
  • 权限验证与用户等级策略
  • 业务规则与参数校验
  • 多级缓存策略

API网关需要考虑的因素

  1. 性能问题
    作为流量入口,所有请求经由网关,对请求进行检查及决策,通过验证后进行反向代理转发到后端的server进行处理。这对性能要求特别高,尤其针对互联网中海量的用户
    要与后端交互,如果不能保证性能,就只能通过堆机器来水平扩容,无疑会加大投入的设备成本。目前业务已有不少高性能方案:在JVM上,基于NIO框架的Spring Cloud Zuul、
    构建在Node.js事件循环,回调机制的IBM、有给予Openresty事件驱动型、协程的KONG,ORANGE、也有基于事件驱动型、协程的Tyk。

  2. 高可用
    API网关不可用将会是致命的影响,要通过冗余部署、自愈、多维度监控告警,确保API网关7*24小时的稳定运行

  3. 扩展性
    API网关是业务性比较强的一个组件,如报文的转换、认证、验证等, 所以它提供了一个脚本架,业务可以自行去扩展及变动

  4. 服务发现
    后端服务的IP存在很大的变动性,尤其是微服务化后应用基于docker,对获取服务的位置提出了挑战

  5. 服务调用
    支持进程间同步及异步的通信模块,可根据后端server情况支持所需要的通信机制

API网关方案

  1. Nginx+Lua
    Nginx 一个高性能的HTTP和反向代理服务器。
    Nginx基本功能:
    • 静态web资源服务器,能够缓存打开的文件描述符
    • 支持http/imap/pop3/smtp的反向代理,支持缓存、负载均衡
    • 支持fastcgi(fpm)
    • 模块化,非DSO机制,支持过滤器zip压缩,SSI以及图像大小调整
    • 支持SSL

Nginx通过插件的扩展功能:

  • 基于名称和IP的虚拟主机
  • 支持keepalive的保持机制
  • 支持平滑升级
  • 定制访问日志、支持使用日志缓存区提高日志存储性能
  • 支持url rewrite
  • 支持路径别名(root或alias)
  • 支持基于IP及用户的访问控制
  • 支持传输速率限制,并发限制

    Nginx在性能和高可用性上的表现:
    Nginx性能极高,Nginx先天的事件驱动型设计、全异步的网络I/O处理机制、极少的进程间切换以及许多优化设计,都使得Nginx天生善于处理高并发压力下的互联网请求。
    Nginx的稳定性也在各大网站得到验证。官方提供的常用模块都非常稳定,每个worker进程相对独立,master进程在1个worker进程出错时可以快速“拉起”新的worker子进程提供服务。
    支持热部署,可以不停机更新配置文件、更新日志文件、更新服务器程序版本。

    Nginx的扩展性:
    Nginx的设计极具扩展性,它完全是由多个不同功能、不同层次、不同类型且耦合度极低的模块组成。因此,当对某一个模块修复Bug或进行升级时,可以专注于模块自身,无须在意其他。

    Nginx的易用性:
    Nginx使用最自由的BSD许可协议,允许用户在自己的项目中直接使用或修改Nginx源码,有大量的插件可以利用。但是,Nginx模块需要用C开发,而且必须符合一系列复杂的规则。虽然通过第三方模块,
    可以支持Nginx与Perl、Lua等脚本语言集成工作,但对使用者的要求还是很高。

    Nginx可以说是一款能够工业化API网关,在国内的很多互联网公司,例如阿里、新浪等都得到很好的应用。

  1. SpringCloud Zuul
    Zuul Netflix公司开源的一个API网关组件。提供了认证&鉴权、限流、动态路由、监控、弹性、安全、负载、均衡、协助单点压测、静态响应等边缘服务的框架。

Zuul的基本功能

  • 验证与安全保障:识别面向各类资源的验证要求并拒绝那些与要求不负的请求。
  • 审查与监控:在边缘位置追踪有意义数据及统计结果,从而为我们带来准确的生产状态结论。
  • 动态路由:以动态方式根据需要将请求路由至不同后端集群处。
  • 压力测试: 逐渐增加指向集群的负载流量,从而计算性能水平。
  • 负载分配: 为每一种负载类型分配对应容量,并弃用超出限定值的请求。
  • 静态响应处理: 在边缘位置直接建立部分响应,从而避免其流入内部集群。
  • Netflix公司还利用Zuul的功能通过金丝雀版本实现精确路由与压力测试。
  • 虽然提供的功能还算丰富,但都比较弱,很难满足高要求的场景。

    Zuul在性能和高可用性上的表现
    Zuul处理每个请求的方式是针对每个请求是用一个线程来处理。通常情况下,为了提高性能,所有请求会被放到处理队列中,从线程池中选取空闲线程来处理该请求。
    2016年底,Netflix将它们的网关服务Zuul进行了升级,全新的Zuul 2将HTTP请求的处理方式从同步变成了异步,以提升其处理性能。

Zuul的扩展性
在Zuul的架构图上可以看出,Zuul更像一个过滤器框架,其自身的路由、日志、反向代理、ddos预防等功能都是通过过滤器来实现的。提供PRE、ROUTING、POST和ERROR四个扩展点,
可以很容易的添加自定义的过滤器。

Zuul的易用性:
Zuul的搭建非常简便,使用和配置也很简单。Zuul的开源社区比较活跃,一直在更新状态,但版本不算太稳定,在使用的过程中,还有一些坑要踩。例如重定向问题、异常处理问题,
还没有解决的很好,需要自己重写一些filter。

  1. Kong
    Kong是Mashape提供的一款API管理软件,它本身是基于Ngnix+lua的,但比nginx提供了更简单的配置方式,数据采用了 ApacheCassandra/PostgreSQL存储,并且提供了一些优秀的插件,
    比如验证,日志,调用频次限制等。

Kong的一个非常诱人的地方就是提供了大量的插件来扩展应用,通过设置不同的插件可以为服务提供各种增强的功能。Kong默认插件插件包括:

  • 身份认证:Kong提供了Basic Authentication、Key authentication、OAuth2.0authentication、HMAC authentication、JWT、LDAP authentication认证实现。
  • 安全:ACL(访问控制)、CORS(跨域资源共享)、动态SSL、IP限制、爬虫检测实现。
  • 流量控制:请求限流(基于请求计数限流)、上游响应限流(根据upstream响应计数限流)、请求大小限制。限流支持本地、Redis和集群限流模式。
  • 分析监控:Galileo(记录请求和响应数据,实现API分析)、Datadog(记录API Metric如请求次数、请求大小、响应状态和延迟,可视化API Metric)、
    Runscope(记录请求和响应数据,实现API性能测试和监控)
  • 转换:请求转换、响应转换

Kong本身也是基于Nginx的,所以在性能和稳定性上都没有问题。Kong作为一款商业软件,在Nginx上做了很扩展工作,而且还有很多付费的商业插件。Kong本身也有付费的企业版,其中包括技术支持、使用培训服务以及API 分析插件。

Nginx适合有较强研发团队,自主开发企业自己的API网关。Kong适合于没有自身研发团队,但需要拥有企业级API网关能力的公司。

陋室铭

Android基础知识点

发表于 2018-04-18 | 阅读次数

Android基础知识点

四大组件是什么

四大组件的生命周期和简单用法

Activity之间的通信方式

Activity各种情况下的生命周期

横竖屏切换的时候,Activity 各种情况下的生命周期

Activity与Fragment之间生命周期比较

Activity上有Dialog的时候按Home键时的生命周期

两个Activity 之间跳转时必然会执行的是哪几个方法?

前台切换到后台,然后再回到前台,Activity生命周期回调方法。弹出Dialog,生命值周期回调方法。

Activity的四种启动模式对比

Activity状态保存于恢复

fragment各种情况下的生命周期

Fragment状态保存startActivityForResult是哪个类的方法,在什么情况下使用?

如何实现Fragment的滑动?

fragment之间传递数据的方式?

Activity 怎么和Service 绑定?

怎么在Activity 中启动自己对应的Service?

service和activity怎么进行数据交互?

Service的开启方式

请描述一下Service 的生命周期

谈谈你对ContentProvider的理解

说说ContentProvider、ContentResolver、ContentObserver 之间的关系

请描述一下广播BroadcastReceiver的理解

广播的分类

广播使用的方式和场景

在manifest 和代码中如何注册和使用BroadcastReceiver?

本地广播和全局广播有什么差别?

BroadcastReceiver,LocalBroadcastReceiver 区别

AlertDialog,popupWindow,Activity区别

Application 和 Activity 的 Context 对象的区别

Android属性动画特性

如何导入外部数据库?

LinearLayout、RelativeLayout、FrameLayout的特性及对比,并介绍使用场景。

谈谈对接口与回调的理解

回调的原理

写一个回调demo

介绍下SurfView

RecycleView的使用

序列化的作用,以及Android两种序列化的区别

差值器

估值器

Android中数据存储方式

Android源码相关分析

Android动画框架实现原理

Android各个版本API的区别

Requestlayout,onlayout,onDraw,DrawChild区别与联系

invalidate和postInvalidate的区别及使用

Activity-Window-View三者的差别

谈谈对Volley的理解

如何优化自定义View

低版本SDK如何实现高版本api?

描述一次网络请求的流程

HttpUrlConnection 和 okhttp关系

Bitmap对象的理解

looper架构

ActivityThread,AMS,WMS的工作原理

自定义View如何考虑机型适配

自定义View的事件

AstncTask+HttpClient 与 AsyncHttpClient有什么区别?

LaunchMode应用场景

AsyncTask 如何使用?

SpareArray原理

请介绍下ContentProvider 是如何实现数据共享的?

AndroidService与Activity之间通信的几种方式

IntentService原理及作用是什么?

说说Activity、Intent、Service 是什么关系

ApplicationContext和ActivityContext的区别

SP是进程同步的吗?有什么方法做到同步?

谈谈多线程在Android中的使用

进程和 Application 的生命周期

封装View的时候怎么知道view的大小

RecycleView原理

AndroidManifest的作用与理解

常见的一些原理性问题

Handler机制和底层实现

Handler、Thread和HandlerThread的差别

handler发消息给子线程,looper怎么启动?

关于Handler,在任何地方new Handler 都是什么线程下?

ThreadLocal原理,实现及如何保证Local属性?

请解释下在单线程模型中Message、Handler、Message Queue、Looper之间的关系

请描述一下View事件传递分发机制

Touch事件传递流程

事件分发中的onTouch 和onTouchEvent 有什么区别,又该如何使用?

View和ViewGroup分别有哪些事件分发相关的回调方法

View刷新机制

View绘制流程

自定义控件原理

自定义View如何提供获取View属性的接口?

Android代码中实现WAP方式联网

AsyncTask机制

AsyncTask原理及不足

如何取消AsyncTask?

为什么不能在子线程更新UI?

ANR产生的原因是什么?

ANR定位和修正

oom是什么?

什么情况导致oom?

有什么解决方法可以避免OOM?

Oom 是否可以try catch?为什么?

内存泄漏是什么?

什么情况导致内存泄漏?

如何防止线程的内存泄漏?

内存泄露场的解决方法

内存泄漏和内存溢出区别?

LruCache默认缓存大小

ContentProvider的权限管理(解答:读写分离,权限控制-精确到表级,URL控制)

如何通过广播拦截和abort一条短信?

广播是否可以请求网络?

广播引起anr的时间限制是多少?

计算一个view的嵌套层级

Activity栈

Android线程有没有上限?

线程池有没有上限?

ListView重用的是什么?

Android为什么引入Parcelable?

有没有尝试简化Parcelable的使用?

开发中常见的一些问题

ListView 中图片错位的问题是如何产生的?

混合开发有了解吗?

知道哪些混合开发的方式?说出它们的优缺点和各自使用场景?(解答:比如:RN,weex,H5,小程序,WPA等。做Android的了解一些前端js等还是很有好处的);

屏幕适配的处理技巧都有哪些?

服务器只提供数据接收接口,在多线程或多进程条件下,如何保证数据的有序到达?

动态布局的理解

怎么去除重复代码?

画出 Android 的大体架构图

Recycleview和ListView的区别

ListView图片加载错乱的原理和解决方案

动态权限适配方案,权限组的概念

Android系统为什么会设计ContentProvider?

下拉状态栏是不是影响activity的生命周期

如果在onStop的时候做了网络请求,onResume的时候怎么恢复?

Bitmap 使用时候注意什么?

Bitmap的recycler()

Android中开启摄像头的主要步骤

ViewPager使用细节,如何设置成每次只初始化当前的Fragment,其他的不初始化?

点击事件被拦截,但是想传到下面的View,如何操作?

微信主页面的实现方式

微信上消息小红点的原理

CAS介绍(这是阿里巴巴的面试题,我不是很了解,可以参考博客: CAS简介http://blog.csdn.net/jly4758/article/details/46673835)

高端

图片
图片库对比

图片库的源码分析

图片框架缓存实现

LRUCache原理

图片加载原理

自己去实现图片库,怎么做?

Glide源码解析

Glide使用什么缓存?

Glide内存缓存如何控制大小?

网络和安全机制
网络框架对比和源码分析

自己去设计网络请求框架,怎么做?

okhttp源码

网络请求缓存处理,okhttp如何处理网络缓存的

从网络加载一个10M的图片,说下注意事项

TCP的3次握手和四次挥手

TCP与UDP的区别

TCP与UDP的应用

HTTP协议

HTTP1.0与2.0的区别

HTTP报文结构

HTTP与HTTPS的区别以及如何实现安全性

如何验证证书的合法性?

https中哪里用了对称加密,哪里用了非对称加密,对加密算法(如RSA)等是否有了解?

client如何确定自己发送的消息被server收到?

谈谈你对WebSocket的理解

WebSocket与socket的区别

谈谈你对安卓签名的理解。

请解释安卓为啥要加签名机制?

视频加密传输

App 是如何沙箱化,为什么要这么做?

权限管理系统(底层的权限是如何进行 grant 的)?

数据库
sqlite升级,增加字段的语句

数据库框架对比和源码分析

数据库的优化

数据库数据迁移问题

算法
排序算法有哪些?

最快的排序算法是哪个?

手写一个冒泡排序

手写快速排序代码

快速排序的过程、时间复杂度、空间复杂度

手写堆排序

堆排序过程、时间复杂度及空间复杂度

写出你所知道的排序算法及时空复杂度,稳定性

二叉树给出根节点和目标节点,找出从根节点到目标节点的路径

给阿里2万多名员工按年龄排序应该选择哪个算法?

GC算法(各种算法的优缺点以及应用场景)

蚁群算法与蒙特卡洛算法

子串包含问题(KMP 算法)写代码实现

一个无序,不重复数组,输出N个元素,使得N个元素的和相加为M,给出时间复杂度、空间复杂度。手写算法

万亿级别的两个URL文件A和B,如何求出A和B的差集C(提示:Bit映射->hash分组->多文件读写效率->磁盘寻址以及应用层面对寻址的优化)

百度POI中如何试下查找最近的商家功能(提示:坐标镜像+R树)。

两个不重复的数组集合中,求共同的元素。

两个不重复的数组集合中,这两个集合都是海量数据,内存中放不下,怎么求共同的元素?

一个文件中有100万个整数,由空格分开,在程序中判断用户输入的整数是否在此文件中。说出最优的方法

一张Bitmap所占内存以及内存占用的计算

2000万个整数,找出第五十大的数字?

烧一根不均匀的绳,从头烧到尾总共需要1个小时。现在有若干条材质相同的绳子,问如何用烧绳的方法来计时一个小时十五分钟呢?

求1000以内的水仙花数以及40亿以内的水仙花数

5枚硬币,2正3反如何划分为两堆然后通过翻转让两堆中正面向上的硬8币和反面向上的硬币个数相同

时针走一圈,时针分针重合几次

N*N的方格纸,里面有多少个正方形

x个苹果,一天只能吃一个、两个、或者三个,问多少天可以吃完?

插件化、模块化、组件化、热修复、增量更新、Gradle
对热修复和插件化的理解

插件化原理分析

模块化实现(好处,原因)

热修复,插件化

项目组件化的理解

描述清点击 Android Studio 的 build 按钮后发生了什么

架构设计和设计模式
谈谈你对Android设计模式的理解

MVC MVP MVVM原理和区别

你所知道的设计模式有哪些?

项目中常用的设计模式

手写生产者/消费者模式

写出观察者模式的代码

适配器模式,装饰者模式,外观模式的异同?

用到的一些开源框架,介绍一个看过源码的,内部实现过程。

谈谈对RxJava的理解

RxJava的功能与原理实现

RxJava的作用,与平时使用的异步操作来比的优缺点

说说EventBus作用,实现方式,代替EventBus的方式

从0设计一款App整体架构,如何去做?

说一款你认为当前比较火的应用并设计(比如:直播APP,P2P金融,小视频等)

谈谈对java状态机理解

Fragment如果在Adapter中使用应该如何解耦?

Binder机制及底层实现

对于应用更新这块是如何做的?(解答:灰度,强制更新,分区域更新)?

实现一个Json解析器(可以通过正则提高速度)

统计启动时长,标准

性能优化
如何对Android 应用进行性能分析以及优化?

ddms 和 traceView

性能优化如何分析systrace?

用IDE如何分析内存泄漏?

Java多线程引发的性能问题,怎么解决?

启动页白屏及黑屏解决?

启动太慢怎么解决?

怎么保证应用启动不卡顿?

App启动崩溃异常捕捉

自定义View注意事项

现在下载速度很慢,试从网络协议的角度分析原因,并优化(提示:网络的5层都可以涉及)。

Https请求慢的解决办法(提示:DNS,携带数据,直接访问IP)

如何保持应用的稳定性

RecyclerView和ListView的性能对比

ListView的优化

RecycleView优化

View渲染

Bitmap如何处理大图,如一张30M的大图,如何预防OOM

java中的四种引用的区别以及使用场景

强引用置为null,会不会被回收?

NDK、jni、Binder、AIDL、进程通信有关
请介绍一下NDK

什么是NDK库?

jni用过吗?

如何在jni中注册native函数,有几种注册方式?

Java如何调用c、c++语言?

jni如何调用java层代码?

进程间通信的方式?

Binder机制

简述IPC?

什么是AIDL?

AIDL解决了什么问题?

AIDL如何使用?

Android 上的 Inter-Process-Communication 跨进程通信时如何工作的?

多进程场景遇见过么?

Android进程分类?

进程和 Application 的生命周期?

进程调度

谈谈对进程共享和线程安全的认识

谈谈对多进程开发的理解以及多进程应用场景

什么是协程?

framework层、ROM定制、Ubuntu、Linux之类的问题
java虚拟机的特性

谈谈对jvm的理解

JVM内存区域,开线程影响哪块内存

对Dalvik、ART虚拟机有什么了解?

Art和Dalvik对比

虚拟机原理,如何自己设计一个虚拟机(内存管理,类加载,双亲委派)

谈谈你对双亲委派模型理解

JVM内存模型,内存区域

类加载机制

谈谈对ClassLoader(类加载器)的理解

谈谈对动态加载(OSGI)的理解

内存对象的循环引用及避免

内存回收机制、GC回收策略、GC原理时机以及GC对象

垃圾回收机制与调用System.gc()区别

Ubuntu编译安卓系统

系统启动流程是什么?(提示:Zygote进程 –> SystemServer进程 –> 各种系统服务 –> 应用进程)

大体说清一个应用程序安装到手机上时发生了什么

简述Activity启动全部过程

App启动流程,从点击桌面开始

逻辑地址与物理地址,为什么使用逻辑地址?

Android为每个应用程序分配的内存大小是多少?

Android中进程内存的分配,能不能自己分配定额内存?

进程保活的方式

如何保证一个后台服务不被杀死?(相同问题:如何保证service在后台不被kill?)比较省电的方式是什么?

App中唤醒其他进程的实现方式

1…3456
icefire

icefire

Stick with it,and keep moving.

53 日志
15 分类
21 标签
GitHub
© 2016 - 2021 icefire 辽ICP备16011524号-1
由 Hexo 强力驱动
主题 - NexT.Pisces