yupaits的博客

幂等操作 引用自 高并发的核心技术-幂等的实现方案 幂等性概念幂等（idempotent、idempotence）是一个数字与计算机学概念，常见于抽象代数中。 在编程中，一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数，或幂等方法，是指可以使用相同参数重复执行，并能获得相同结果的函数。这些函数不会影响系统状态，也不用担心重复执行会对系统造成改变。例如，getUsername() 和 setTrue() 函数就是幂等函数。 应用场景以下是一些常见场景： 前端重复提交选中的数据，应该后台只产生对应这个数据的一个响应结果。 我们发起一笔付款请求，应该只扣用户账户一次钱，当遇到网络重发或系统bug重发，也应该只扣一次钱。 发送消息，也应该只发一次，同样的短信发给用户，用户会哭的。 创建业务订单，一次业务请求只能创建一个，创建多个就会出大问题。 技术方案查询操作查询一次和查询多次，在数据不变的情况下，查询结果是一样的。select是天然的幂等操作。 删除操作删除操作也是幂等的，删除一次和多此删除都是把数据删除。（注意可能返回结果不一样，删除的数据不存在 ...

最终一致性 引用自 分布式系统原理九：CAP理论和BASE理论 作者：frank BASE理论BASE是 Basically Available（基本可用）、Soft state（软状态）和Eventually consistent（最终一致性）三个短语的简写。 BASE是对CAP中一致性和可用性权衡的结果，其来源于对大规模互联网系统分布式实践的总结，是基于CAP定理逐步演化而来的，其核心思想是即使无法做到强一致性，但每个应用都可以根据自身的业务特点，采用适当的方法来使系统达到最终一致性。接下来，我们着重对BASE中的三要素进行讲解。 基本可用基本可用是指分布式系统在出现不可预知故障的时候，允许损失部分可用性——但请注意，这绝不等价于系统不可用。以下就是两个“基本可用”的例子。 响应时间上的损失：正常情况下，一个在线搜索引擎需要在0.5秒之内返回给用户相应的查询结果，但由于出现故障（比如系统部分机房发生断电或断网故障），查询结果的响应时间增加到了1~2秒。 功能上的损失：正常情况下，在一个电子商务网站（比如淘宝）上购物，消费者几乎能够顺利地完成每一笔订单。但在一些节日大促购物高峰 ...

Dockerfile指令 引用自《Docker系列教程07-Dockerfile指令详解》- 周立 Dockerfile有十多个指令。本节我们来系统讲解这些指令，指令的一般格式为 指令名称 参数。 ADD 复制文件ADD指令用于复制文件，格式为： ADD <src>... <dest> ADD ["<src>",... "<dest>"] 从src目录复制文件到容器的dest。其中src可以是Dockerfile所在目录的相对路径，也可以是一个URL，还可以是一个压缩包 注意： ① src必须在构建的上下文内，不能使用例如：ADD ../somethine /something 这样的命令，因为 docker build 命令首先会将上下文路径和其子目录发送到docker daemon。 ② 如果src是一个URL，同时dest不以斜杠结尾，dest将会被视为文件，src对应内容文件将会被下载到dest。 ③ 如果src是一个URL，同时dest以斜杠结尾，dest将被视为目录，src对应内容 ...

Docker容器命令 引用自《Docker系列教程05-容器常用命令》- 周立 本节我们来讨论Docker容器的常用命令。 新建并启动容器[重要]使用以下 docker run 命令即可新建并启动一个容器。该命令是我们最常用的命令了，它有很多选项，下面笔者列举一些常用的选项。 ① -d选项：表示后台运行 ② -P选项：随机端口映射 ③ -p选项：指定端口映射，有以下四种格式。 ip:hostPort:containerPort ip::containerPort hostPort:containerPort containerPort ④ –network选项：指定网络模式，该选项有以下可选参数： –network=bridge： 默认选项，表示连接到默认的网桥。 –network=host：容器使用宿主机的网络。 –network=container:NAME_or_ID：告诉Docker让新建的容器使用已有容器的网络配置。 –network=none：不配置该容器的网络，用户可自定义网络配置。 示例1： 1docker run java / ...

docker-compose.yml命令 引用自《Docker系列教程22-docker-compose.yml常用命令》- 周立 docker-compose.yml是Compose的默认模板文件。该文件有多种写法，例如Version 1 file format、Version 2 file format、Version 2.1 file format、Version 3 file format等。其中，Version 1 file format将逐步被被弃用；Version 2.x及Version 3.x基本兼容，是未来的趋势。考虑到目前业界的使用情况，本节只讨论Version 2 file format下的常用命令。 (1) build配置构建时的选项，Compose会利用它自动构建镜像。build的值可以是一个路径，例如： 1build: ./dir 也可以是一个对象，用于指定Dockerfile和参数，例如： 12345build: context: ./dir dockerfile: Dockerfile-alternate args: buildno: 1 ...

docker-compose命令 引用自《Docker系列教程23-docker-compose常用命令》- 周立 和docker命令一样，docker-compose命令也有很多选项。下面我们来详细探讨docker-compose的常用命令。 build构建或重新构建服务。服务被构建后将会以project_service 的形式标记，例如：composetest_db 。 help查看指定命令的帮助文档，该命令非常实用。docker-compose所有命令的帮助文档都可通过该命令查看。 1docker-compose help COMMAND 示例： 1docker-compose help build # 查看docker-compose build的帮助 kill通过发送SIGKILL 信号停止指定服务的容器。示例： 1docker-compose kill eureka 该命令也支持通过参数来指定发送的信号，例如： 1docker-compose kill -s SIGINT logs查看服务的日志输出。 port打印绑定的公共端口。示例： 1docker-comp ...

Docker镜像命令 引用自《Docker系列教程04-Docker镜像常用命令》- 周立 搜索镜像可使用 docker search 命令搜索存放在Docker Hub中的镜像。 命令格式： 1docker search [OPTIONS] TERM 参数： 名称，缩写 默认值 描述 –automated false 只列出自动构建的镜像 –filter, -f 根据指定条件过滤结果 –limit 25 搜索结果的最大条数 –no-trunc false 不截断输出，显示完整的输出 –stars, -s 0 只展示Star不低于该数值的结果 示例1： 1docker search java 执行该命令后，Docker就会在Docker Hub中搜索含有“java”这个关键词的镜像仓库。执行该命令后，可看到类似于如下的表格： 1234567NAME DESCRIPTION STARS OFFICIAL AUTOMATEDjava ...

安装Docker 引用自《Docker系列教程02-Docker安装》- 周立 Ubuntu系统要求 Docker支持以下版本的Ubuntu，要求64位。 Bionic Beaver 18.04 (LTS) Zesty 17.04 Xenial 16.04 (LTS) Trusty 14.04 (LTS) 支持运行的平台：x86_64、armhf、s390x(IBM Z)。其中，如选择IBM Z，那么只支持Ubuntu Xenial以及Zesty。 本文使用Ubuntu 16.04 LTS，下载地址：http://cn.ubuntu.com/download/ 安装步骤 卸载老版本Docker 在Ubuntu中，老版本的软件包名称是 docker 或者 docker-engine ，而Docker CE的软件包名称是 docker-ce。因此，如已安装过老版本的Docker，需要先卸载掉。执行以下命令，即可卸载老版本的Docker及其依赖。 1sudo apt-get remove docker docker-engine docker.io 需要注意的是，执行该命令 ...

项目地址：https://github.com/jinzhu/gorm gorm文档 GORM 中文文档http://gorm.book.jasperxu.com/ Golang写的，开发人员友好的ORM库。 概述 全功能ORM（几乎） 关联（包含一个，包含多个，属于，多对多，多种包含） Callbacks（创建/保存/更新/删除/查找之前/之后） 预加载（急加载） 事务 复合主键 SQL Builder 自动迁移 日志 可扩展，编写基于GORM回调的插件 每个功能都有测试 开发人员友好 安装1go get -u github.com/jinzhu/gorm 升级到V1.0 更新日志 快速开始12345678910111213141516171819202122232425262728293031323334353637package mainimport ( "github.com/jinzhu/gorm" _ "github.com/jinzhu/gorm/dialects/sq ...

项目地址：https://github.com/gin-gonic/gin 安装要安装Gin软件包，您需要先安装Go并设置Go工作区。 下载并安装 1$ go get -u github.com/gin-gonic/gin 导入gin 1import "github.com/gin-gonic/gin" （可选）导入 net/http。可以使用 http.StatusOK 之类的一些常量 1import "net/http" 快速开始12# assume the following codes in example.go file$ cat example.go 12345678910111213package mainimport "github.com/gin-gonic/gin"func main() { r := gin.Default() r.GET("/ping", func(c *gin.Context) { c.JSON(200, gin.H ...

项目地址：https://github.com/hu17889/go_spider go-spider文档 常见问题与功能说明 中文文档简介本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块（主控），Downloader模块（下载器），PageProcesser模块（页面分析），Scheduler模块（任务队列），Pipeline模块（结果输出）； 执行过程简述： Spider模块从Scheduler模块中获取包含待抓取url的Request对象，启动一个协程，一个协程执行一次爬取过程，此处我们把协程也看成Spider，Spider把Request对象传入Downloader，Downloader下载该Request对象中url所对应的页面或者其他类型的数据，生成Page对象； Spider调用PageProcesser模块解析Page对象中的页面数据，并存入Page对象中的PageItems中（以Key-Value对的形式保存） ...

敬请期待……

搭建基于 Aria2 的下载机 参考：树莓派3B+ 远程下载服务器（Aria2） 安装 Aria2使用以下命令安装 Aria2： 1sudo apt install aria2 编辑 Aria2 配置文件创建文件夹 mkdir -p ~/.config/aria2。 添加一个 Aria2 配置文件 vim ~/.config/aria2/aria2.config。 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354#后台运行daemon=true#用户名#rpc-user=user#密码#rpc-passwd=passwd#设置加密的密钥rpc-secret=secret#允许rpcenable-rpc=true#允许所有来源，web界面跨域权限需要设置rpc-allow-origin-all=true#是否启用https加密，启用之后要设置公钥、私钥的文件路径#rpc-secure=true#启用加密设置公钥#rpc-certific ...

树莓派运行情况监控项目地址：go-pi-monitor go-pi-monitor 是在 gopsutil 的基础上挑选部分 metric 信息进行监控可视化。 编译部署在 Raspbian 上安装 GoLang 1.12.5 版本的脚本如下： 12345678910#install_go_pi.shcd $HOMEFileName='go1.12.5.linux-armv6l.tar.gz'wget https://dl.google.com/go/$FileNamesudo tar -C /usr/local -xvf $FileNamecat >> ~/.bashrc << 'EOF'export GOPATH=$HOME/goexport PATH=/usr/local/go/bin:$PATH:$GOPATH/binEOFsource ~/.bashrc 参考 Install Go Lang 1.12.5 on Raspberry Pi 3 B+。 下载 go-pi-monitor 并进行编译运行： 12345 ...

Spring知识点Spring概述什么是Spring？Spring 是个java企业级应用的开源开发框架。Spring主要用来开发Java应用，但是有些扩展是针对构建J2EE平台的web应用。Spring 框架目标是简化Java企业级应用开发，并通过POJO为基础的编程模型促进良好的编程习惯。 使用Spring框架的好处是什么？ 轻量： Spring 是轻量的，基本的版本大约2MB。 控制反转： Spring通过控制反转实现了松散耦合，对象们给出它们的依赖，而不是创建或查找依赖的对象们。 面向切面的编程(AOP)： Spring支持面向切面的编程，并且把应用业务逻辑和系统服务分开。 容器： Spring 包含并管理应用中对象的生命周期和配置。 MVC框架： Spring的WEB框架是个精心设计的框架，是Web框架的一个很好的替代品。 事务管理： Spring 提供一个持续的事务管理接口，可以扩展到上至本地事务下至全局事务（JTA）。 异常处理： Spring 提供方便的API把具体技术相关的异常（比如由JDBC，Hibernate or JDO抛出的）转化为一致的unchecked 异 ...

深入理解Spring事务原理 引用自深入理解Spring事务原理 事务的基本原理Spring事务的本质其实就是数据库对事务的支持，没有数据库的事务支持，spring是无法提供事务功能的。对于纯JDBC操作数据库，想要用到事务，可以按照以下步骤进行： 获取连接 Connection con = DriverManager.getConnection() 开启事务con.setAutoCommit(true/false); 执行CRUD 提交事务/回滚事务 con.commit() / con.rollback(); 关闭连接 conn.close(); 使用Spring的事务管理功能后，我们可以不再写步骤 2 和 4 的代码，而是由Spirng 自动完成。那么Spring是如何在我们书写的 CRUD 之前和之后开启事务和关闭事务的呢？解决这个问题，也就可以从整体上理解Spring的事务管理实现原理了。下面简单地介绍下，注解方式为例子 配置文件开启注解驱动，在相关的类和方法上通过注解@Transactional标识。 spring 在启动的时 ...

原文地址：https://kymjs.com/manager/2019/07/13/01 转载 招人那些事最近一直在招人，一直在面试，见了很多人，遇过很多事。 总的来说，在我面试别人的时候，能方便他人都会尽量去方便，面试过程中，尽量营造一个轻松的气氛，比如聊一些别人的强项，总是抓住别人薄弱点不放，把气氛搞得很尴尬，我觉得真的没意义。 可即便是这样，我发现最多的情况是，几乎所有人都不知道自己的强项在哪里——没有自我认知。 开放性问题问开放性问题可以很容易了解一个人，对于技术好的人可以很容易表现自己，对于技术不好的，一定会支支吾吾，因为根本就没有答案可背。比如通常有两个开放性的问题，是我一定会问的： 你在这家公司做的，你觉得最牛逼的事情是什么？ 你做了几年 Android 开发，你觉得哪个开源项目让你学习到的最多。 其实这两个问题通常我都是希望从宏观和细节的角度，去尝试了解你对自己项目的认知和理解。 第一个问题，我得到的答案通常是一个很小的技术点。有两三个人，都是之前做互联网金融的(可见前两年互金的泡沫多可怕)说自己做的最牛逼的是是做了一套 hybrid 框架，可以高性能浏览 ...

原文地址：“跟进”的正确方式 转载 工作中，我们常常会提到一个词叫做“跟进”，但是其实很多人并不懂得如何“跟进”，或者不知道怎么做好“跟进”。 有个问题抛出来，然后埋头苦干，一味只顾自己干，这不叫跟进。 跟进的“跟”，核心是沟通，沟通什么？沟通“进度”！ 首先要跟需求方沟通，说明问题原因、解决方案、解决时间和计划。 其实要跟执行人沟通，安排什么人去处理，要沟通好，如果是自己处理，要排好优先级。 最后要跟关注的人汇报，阶段性汇报，开始、关键过程、结束，都要汇报，不要跟到一半就不管了。 优秀的人一定要懂得，一件事情既然做了，就值得我们去做好它。日常工作中，超过一半以上的事情都是需要我们跟别人一起协作的过程，所以平时多思考自己的做事方式，不单单是提升了自己，还会提高整个团队的效率。互联网中有个共识叫做“既定事实”，优秀不是被说出来的，而是我们认真做到了，大家就一定能看到！ 谨以此共勉！

原文地址：一套摆脱疲劳的自救指南 转载 最近和朋友聊天，大家都有这么一个感触： 随着年龄增长，一方面，身体开始出现小问题。以前深夜工作是家常便饭，现在稍微睡得晚一点，第二天一定会头痛。 另一方面，精神状态也开始走下坡路。经常会时不时走神，忘了在做什么，一天下来总会精疲力尽。有时明明有大把时间，却什么都不想做，对什么事都提不起兴趣，就想静静瘫着，让时间给「消磨」掉…… 知乎有一个经典的问题，叫做：为什么那么多人开车回家，到楼下了不下车还要在车里坐好久？ 下面的回答参差百态。有描述中年男人生活压力的，有嗟叹柴米油盐、家长里短的，有倾诉家庭主妇每日忙碌烦琐的，也有身在不同行业、对目标和生涯的焦虑感……总而言之，就是一个字：累。 这似乎已经成为我们这一代人的共同感受。 无论收入高低，无论工作是否满意，家庭是否和睦，似乎很少有人，能够逃脱生活的疲劳感。 它就像一只虫子，无孔不入，蚕食着我们的效率和幸福感。 我很喜欢一个比喻：生活就像一场抛接球的杂耍。这些球，有的叫做家庭，有的叫做工作，有的叫做事业，有的叫做健康…… 你要做的，就是尽量让它们，不要落地。 这当然很不容易。一开始，你很容易手 ...

原文地址：从 0 到 200 人团队，我的成长经历分享 转载 序前段时间，我写了一个《职业成长》的系列，文章发布后有很多人加了我微信，不少人在问： 你在 UC 是怎么走上管理这条路的？从自己一个人到带 200 多人的团队，中间是怎么走过来的？能不能分享一下你这 4 年的职业成长经历？ 今天这篇文章，算是我的一个正式回答。 0 ~ 5 人：需求管理 & 文化雏形2013 年 5 月，我放弃了刚刚到手的晋升机会，从工作了 6 年的爱立信裸辞，以高级工程师的身份加入 UC 。 进入 UC 的第一个正式挑战，是团购导航产品。 接下来的一个月，我和另外一个小伙伴几乎没有一天是在晚上 11 点前下班的，好几次加班到凌晨 3 点，回家睡5、6个小时，早上起来匆匆吃完饭又继续上班。整个人就像打了鸡血一样。 可老天爷并没有因为我们不要命的加班，就眷顾我们。 项目上线后不到 2 个月，我就收到了『噩耗』：产品下线！连产品经理也静悄悄地离职了，那个时候我还在做着大卖的白日梦。 这个事情对我的打击是巨大的，我不甘心，千方百计询问原因，得到的答案是：产品需求分析没做好，很多地方没想清楚，数据很 ...