yupaits的博客

幂等操作 引用自 高并发的核心技术-幂等的实现方案 幂等性概念幂等（idempotent、idempotence）是一个数字与计算机学概念，常见于抽象代数中。 在编程中，一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数，或幂等方法，是指可以使用相同参数重复执行，并能获得相同结果的函数。这些函数不会影响系统状态，也不用担心重复执行会对系统造成改变。例如，getUsername() 和 setTrue() 函数就是幂等函数。 应用场景以下是一些常见场景： 前端重复提交选中的数据，应该后台只产生对应这个数据的一个响应结果。 我们发起一笔付款请求，应该只扣用户账户一次钱，当遇到网络重发或系统bug重发，也应该只扣一次钱。 发送消息，也应该只发一次，同样的短信发给用户，用户会哭的。 创建业务订单，一次业务请求只能创建一个，创建多个就会出大问题。 技术方案查询操作查询一次和查询多次，在数据不变的情况下，查询结果是一样的。select是天然的幂等操作。 删除操作删除操作也是幂等的，删除一次和多此删除都是把数据删除。（注意可能返回结果不一样，删除的数据不存在 ...

最终一致性 引用自 分布式系统原理九：CAP理论和BASE理论 作者：frank BASE理论BASE是 Basically Available（基本可用）、Soft state（软状态）和Eventually consistent（最终一致性）三个短语的简写。 BASE是对CAP中一致性和可用性权衡的结果，其来源于对大规模互联网系统分布式实践的总结，是基于CAP定理逐步演化而来的，其核心思想是即使无法做到强一致性，但每个应用都可以根据自身的业务特点，采用适当的方法来使系统达到最终一致性。接下来，我们着重对BASE中的三要素进行讲解。 基本可用基本可用是指分布式系统在出现不可预知故障的时候，允许损失部分可用性——但请注意，这绝不等价于系统不可用。以下就是两个“基本可用”的例子。 响应时间上的损失：正常情况下，一个在线搜索引擎需要在0.5秒之内返回给用户相应的查询结果，但由于出现故障（比如系统部分机房发生断电或断网故障），查询结果的响应时间增加到了1~2秒。 功能上的损失：正常情况下，在一个电子商务网站（比如淘宝）上购物，消费者几乎能够顺利地完成每一笔订单。但在一些节日大促购物高峰 ...

Dockerfile指令 引用自《Docker系列教程07-Dockerfile指令详解》- 周立 Dockerfile有十多个指令。本节我们来系统讲解这些指令，指令的一般格式为 指令名称 参数。 ADD 复制文件ADD指令用于复制文件，格式为： ADD <src>... <dest> ADD ["<src>",... "<dest>"] 从src目录复制文件到容器的dest。其中src可以是Dockerfile所在目录的相对路径，也可以是一个URL，还可以是一个压缩包 注意： ① src必须在构建的上下文内，不能使用例如：ADD ../somethine /something 这样的命令，因为 docker build 命令首先会将上下文路径和其子目录发送到docker daemon。 ② 如果src是一个URL，同时dest不以斜杠结尾，dest将会被视为文件，src对应内容文件将会被下载到dest。 ③ 如果src是一个URL，同时dest以斜杠结尾，dest将被视为目录，src对应内容 ...

Docker容器命令 引用自《Docker系列教程05-容器常用命令》- 周立 本节我们来讨论Docker容器的常用命令。 新建并启动容器[重要]使用以下 docker run 命令即可新建并启动一个容器。该命令是我们最常用的命令了，它有很多选项，下面笔者列举一些常用的选项。 ① -d选项：表示后台运行 ② -P选项：随机端口映射 ③ -p选项：指定端口映射，有以下四种格式。 ip:hostPort:containerPort ip::containerPort hostPort:containerPort containerPort ④ –network选项：指定网络模式，该选项有以下可选参数： –network=bridge： 默认选项，表示连接到默认的网桥。 –network=host：容器使用宿主机的网络。 –network=container:NAME_or_ID：告诉Docker让新建的容器使用已有容器的网络配置。 –network=none：不配置该容器的网络，用户可自定义网络配置。 示例1： 1docker run java / ...

docker-compose.yml命令 引用自《Docker系列教程22-docker-compose.yml常用命令》- 周立 docker-compose.yml是Compose的默认模板文件。该文件有多种写法，例如Version 1 file format、Version 2 file format、Version 2.1 file format、Version 3 file format等。其中，Version 1 file format将逐步被被弃用；Version 2.x及Version 3.x基本兼容，是未来的趋势。考虑到目前业界的使用情况，本节只讨论Version 2 file format下的常用命令。 (1) build配置构建时的选项，Compose会利用它自动构建镜像。build的值可以是一个路径，例如： 1build: ./dir 也可以是一个对象，用于指定Dockerfile和参数，例如： 12345build: context: ./dir dockerfile: Dockerfile-alternate args: buildno: 1 ...

docker-compose命令 引用自《Docker系列教程23-docker-compose常用命令》- 周立 和docker命令一样，docker-compose命令也有很多选项。下面我们来详细探讨docker-compose的常用命令。 build构建或重新构建服务。服务被构建后将会以project_service 的形式标记，例如：composetest_db 。 help查看指定命令的帮助文档，该命令非常实用。docker-compose所有命令的帮助文档都可通过该命令查看。 1docker-compose help COMMAND 示例： 1docker-compose help build # 查看docker-compose build的帮助 kill通过发送SIGKILL 信号停止指定服务的容器。示例： 1docker-compose kill eureka 该命令也支持通过参数来指定发送的信号，例如： 1docker-compose kill -s SIGINT logs查看服务的日志输出。 port打印绑定的公共端口。示例： 1docker-comp ...

Docker镜像命令 引用自《Docker系列教程04-Docker镜像常用命令》- 周立 搜索镜像可使用 docker search 命令搜索存放在Docker Hub中的镜像。 命令格式： 1docker search [OPTIONS] TERM 参数： 名称，缩写 默认值 描述 –automated false 只列出自动构建的镜像 –filter, -f 根据指定条件过滤结果 –limit 25 搜索结果的最大条数 –no-trunc false 不截断输出，显示完整的输出 –stars, -s 0 只展示Star不低于该数值的结果 示例1： 1docker search java 执行该命令后，Docker就会在Docker Hub中搜索含有“java”这个关键词的镜像仓库。执行该命令后，可看到类似于如下的表格： 1234567NAME DESCRIPTION STARS OFFICIAL AUTOMATEDjava ...

安装Docker 引用自《Docker系列教程02-Docker安装》- 周立 Ubuntu系统要求 Docker支持以下版本的Ubuntu，要求64位。 Bionic Beaver 18.04 (LTS) Zesty 17.04 Xenial 16.04 (LTS) Trusty 14.04 (LTS) 支持运行的平台：x86_64、armhf、s390x(IBM Z)。其中，如选择IBM Z，那么只支持Ubuntu Xenial以及Zesty。 本文使用Ubuntu 16.04 LTS，下载地址：http://cn.ubuntu.com/download/ 安装步骤 卸载老版本Docker 在Ubuntu中，老版本的软件包名称是 docker 或者 docker-engine ，而Docker CE的软件包名称是 docker-ce。因此，如已安装过老版本的Docker，需要先卸载掉。执行以下命令，即可卸载老版本的Docker及其依赖。 1sudo apt-get remove docker docker-engine docker.io 需要注意的是，执行该命令 ...

项目地址：https://github.com/jinzhu/gorm gorm文档 GORM 中文文档http://gorm.book.jasperxu.com/ Golang写的，开发人员友好的ORM库。 概述 全功能ORM（几乎） 关联（包含一个，包含多个，属于，多对多，多种包含） Callbacks（创建/保存/更新/删除/查找之前/之后） 预加载（急加载） 事务 复合主键 SQL Builder 自动迁移 日志 可扩展，编写基于GORM回调的插件 每个功能都有测试 开发人员友好 安装1go get -u github.com/jinzhu/gorm 升级到V1.0 更新日志 快速开始12345678910111213141516171819202122232425262728293031323334353637package mainimport ( "github.com/jinzhu/gorm" _ "github.com/jinzhu/gorm/dialects/sq ...

项目地址：https://github.com/gin-gonic/gin 安装要安装Gin软件包，您需要先安装Go并设置Go工作区。 下载并安装 1$ go get -u github.com/gin-gonic/gin 导入gin 1import "github.com/gin-gonic/gin" （可选）导入 net/http。可以使用 http.StatusOK 之类的一些常量 1import "net/http" 快速开始12# assume the following codes in example.go file$ cat example.go 12345678910111213package mainimport "github.com/gin-gonic/gin"func main() { r := gin.Default() r.GET("/ping", func(c *gin.Context) { c.JSON(200, gin.H ...

敬请期待……

原文地址：https://kymjs.com/manager/2019/07/13/01 转载 招人那些事最近一直在招人，一直在面试，见了很多人，遇过很多事。 总的来说，在我面试别人的时候，能方便他人都会尽量去方便，面试过程中，尽量营造一个轻松的气氛，比如聊一些别人的强项，总是抓住别人薄弱点不放，把气氛搞得很尴尬，我觉得真的没意义。 可即便是这样，我发现最多的情况是，几乎所有人都不知道自己的强项在哪里——没有自我认知。 开放性问题问开放性问题可以很容易了解一个人，对于技术好的人可以很容易表现自己，对于技术不好的，一定会支支吾吾，因为根本就没有答案可背。比如通常有两个开放性的问题，是我一定会问的： 你在这家公司做的，你觉得最牛逼的事情是什么？ 你做了几年 Android 开发，你觉得哪个开源项目让你学习到的最多。 其实这两个问题通常我都是希望从宏观和细节的角度，去尝试了解你对自己项目的认知和理解。 第一个问题，我得到的答案通常是一个很小的技术点。有两三个人，都是之前做互联网金融的(可见前两年互金的泡沫多可怕)说自己做的最牛逼的是是做了一套 hybrid 框架，可以高性能浏览 ...

原文地址：“跟进”的正确方式 转载 工作中，我们常常会提到一个词叫做“跟进”，但是其实很多人并不懂得如何“跟进”，或者不知道怎么做好“跟进”。 有个问题抛出来，然后埋头苦干，一味只顾自己干，这不叫跟进。 跟进的“跟”，核心是沟通，沟通什么？沟通“进度”！ 首先要跟需求方沟通，说明问题原因、解决方案、解决时间和计划。 其实要跟执行人沟通，安排什么人去处理，要沟通好，如果是自己处理，要排好优先级。 最后要跟关注的人汇报，阶段性汇报，开始、关键过程、结束，都要汇报，不要跟到一半就不管了。 优秀的人一定要懂得，一件事情既然做了，就值得我们去做好它。日常工作中，超过一半以上的事情都是需要我们跟别人一起协作的过程，所以平时多思考自己的做事方式，不单单是提升了自己，还会提高整个团队的效率。互联网中有个共识叫做“既定事实”，优秀不是被说出来的，而是我们认真做到了，大家就一定能看到！ 谨以此共勉！

原文地址：一套摆脱疲劳的自救指南 转载 最近和朋友聊天，大家都有这么一个感触： 随着年龄增长，一方面，身体开始出现小问题。以前深夜工作是家常便饭，现在稍微睡得晚一点，第二天一定会头痛。 另一方面，精神状态也开始走下坡路。经常会时不时走神，忘了在做什么，一天下来总会精疲力尽。有时明明有大把时间，却什么都不想做，对什么事都提不起兴趣，就想静静瘫着，让时间给「消磨」掉…… 知乎有一个经典的问题，叫做：为什么那么多人开车回家，到楼下了不下车还要在车里坐好久？ 下面的回答参差百态。有描述中年男人生活压力的，有嗟叹柴米油盐、家长里短的，有倾诉家庭主妇每日忙碌烦琐的，也有身在不同行业、对目标和生涯的焦虑感……总而言之，就是一个字：累。 这似乎已经成为我们这一代人的共同感受。 无论收入高低，无论工作是否满意，家庭是否和睦，似乎很少有人，能够逃脱生活的疲劳感。 它就像一只虫子，无孔不入，蚕食着我们的效率和幸福感。 我很喜欢一个比喻：生活就像一场抛接球的杂耍。这些球，有的叫做家庭，有的叫做工作，有的叫做事业，有的叫做健康…… 你要做的，就是尽量让它们，不要落地。 这当然很不容易。一开始，你很容易手 ...

项目地址：https://github.com/hu17889/go_spider go-spider文档 常见问题与功能说明 中文文档简介本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块（主控），Downloader模块（下载器），PageProcesser模块（页面分析），Scheduler模块（任务队列），Pipeline模块（结果输出）； 执行过程简述： Spider模块从Scheduler模块中获取包含待抓取url的Request对象，启动一个协程，一个协程执行一次爬取过程，此处我们把协程也看成Spider，Spider把Request对象传入Downloader，Downloader下载该Request对象中url所对应的页面或者其他类型的数据，生成Page对象； Spider调用PageProcesser模块解析Page对象中的页面数据，并存入Page对象中的PageItems中（以Key-Value对的形式保存） ...

原文地址：从 0 到 200 人团队，我的成长经历分享 转载 序前段时间，我写了一个《职业成长》的系列，文章发布后有很多人加了我微信，不少人在问： 你在 UC 是怎么走上管理这条路的？从自己一个人到带 200 多人的团队，中间是怎么走过来的？能不能分享一下你这 4 年的职业成长经历？ 今天这篇文章，算是我的一个正式回答。 0 ~ 5 人：需求管理 & 文化雏形2013 年 5 月，我放弃了刚刚到手的晋升机会，从工作了 6 年的爱立信裸辞，以高级工程师的身份加入 UC 。 进入 UC 的第一个正式挑战，是团购导航产品。 接下来的一个月，我和另外一个小伙伴几乎没有一天是在晚上 11 点前下班的，好几次加班到凌晨 3 点，回家睡5、6个小时，早上起来匆匆吃完饭又继续上班。整个人就像打了鸡血一样。 可老天爷并没有因为我们不要命的加班，就眷顾我们。 项目上线后不到 2 个月，我就收到了『噩耗』：产品下线！连产品经理也静悄悄地离职了，那个时候我还在做着大卖的白日梦。 这个事情对我的打击是巨大的，我不甘心，千方百计询问原因，得到的答案是：产品需求分析没做好，很多地方没想清楚，数据很 ...

原文地址：从这四点出发，不做 “ 空心 ” 程序员 转载 01 注重原理性知识现在的互联网环境下，注重原理性知识学习的程序员越来越少，特别是在这种培训机构大爆炸的环境下，在网上你会经常看到类似三个月从入门到精通高并发、分布式的广告，我相信培训机构有这套技术的能力，但是我不相信一个初学者有这么好的接收能力。甚至某个培训机构的讲师里，有一个1997年出生的架构师，20岁出头就当上了架构师，真的是后生可畏呀。在我的思维里，架构师不是学出来的，架构师是通过项目喂出来的。好了，我们还是言归正传吧。 为什么要注重原理型知识呢？因为原理性知识是我们的根，我列举了三个例子，对这个观点进行说明。 1、你懂设计模式，无论你是做系统架构设计还是阅读开源项目源码，你会发现，最终他们都绕不开设计模式。 2、你懂数据结构和算法，在高并发这种分秒必争、时间就是金钱的场景下，你知道List、Map 该如何取舍。 3、你懂网络通信的原理，在我们做系统架构、问题排除时都会有很大的帮助。 可以这么说，原理性知识决定了程序员的下限，原理性知识强的程序员，下限不会太低，相反，原理性知识不强的程序员，我相信上限也不会高到哪 ...

原文地址：优秀工程师必备的一项技能，你解锁了吗？ 转载 阿里妹导读：很多程序员在工作一段时间后会遇到迷茫期，虽有技术傍身，也难免会产生焦虑，反复思考怎样才能快速成长。关于如何提高自己的思考力，运用思考的力量推动能力提升，以此实现技术成长，阿里巴巴盒马产品技术部的岩动总结了一套思考方法，分享给每个正在成长的程序员。（本篇文章较长，阅读时间约30分钟，建议收藏后，找一个合适的时间慢慢品读哦） 引言我们来看一下几类在程序员成长、发展的常见问题，如果你或多或少存在一些，那么恭喜你，这篇文章值得你仔细往下看了： 你自认为付出了跟别人同样的努力，但是你的成长确实更慢一些，比如学得比别人慢，排查问题比别人慢，出方案老是有漏洞等等； 你觉得你只是在疲于应付需求，自己做的事情完全没有技术含量（很多人觉得自己做的业务开发就是没有技术含量，但我认为每个领域都有自己的技术含量，只是你有没有get到）； 你发现总是在犯同样的错误，或者做的事情不断地在同一个水平循环； 每次要晋升的时候，你发现根本讲不出来（很多人会认为是表达能力问题，但是我认为不是）； 当你换到一个新的领域，你发现自己的经验好像用不上 ...

转载 华为今日（2019-08-08）发布全球产业展望GIV@2025，提出智能世界正在加速而来，触手可及，并预测：到2025年，智能技术将渗透到每个人、每个家庭、每个组织，全球58%的人口将能享有5G网络，14%的家庭拥有“机器人管家”，97%的大企业采用AI。 戳视频，了解2025十大趋势 全球产业展望报告于2018年首次推出，初衷是打开智能世界的产业版图，为各行各业创新增长提供路径参考。 2019年，华为基于对交通、零售、金融、制造、航空等17个重点行业的案例研究，并结合定量数据预测，进一步提出了面向2025的十大趋势，它们分别是： 趋势一：是机器，更是家人随着材料科学、感知人工智能以及5G、云等网络技术的不断进步，将出现护理机器人、仿生机器人、社交机器人、管家机器人等形态丰富的机器人，涌现在家政、教育、健康服务业，带给人类新的生活方式。 GIV预测：2025年，全球14%的家庭将拥有自己的机器人管家。 趋势二：超级视野以5G、AR/VR、机器学习等新技术使能的超级视野，将帮助我们突破空间、表象、时间的局限，见所未见，赋予人类新的能力。 GIV预测：2025年，采用 ...

原文地址：如何判断自己有没有管理的潜力？ 转载 多数人都面临过做管理还是做业务的选择。很多人都想在管理上有所尝试，有的人进入了管理通道，但发展并不顺利。企业为了扩张发展而绞尽脑汁、不惜代价地培养管理者，可他们面临的最大困惑是，芸芸众生谁更有管理的潜力呢? 本人从事人才评价工作三十年，可以说阅人无数，其中不乏优秀杰出的管理者，也有表现一般的管理者，还有一些不合格的管理者。我一直在观察和总结，如何判断一个人是否具有管理的潜力? 一、如何判断一个人具有管理的潜力？1、看一个人是否具有抓住工作重点的能力，是否有明确的工作思路抓重点是指能快速地将纷繁复杂的各种表面现象归纳总结为结构清晰的事物特征，抓住事物的根本、问题的关键，并确定工作重心的能力。管理工作涉及到的环境和对象很复杂，范围越广规模越大，复杂度就成几何级数上升。 所以“抓重点”是管理者必须具有的第一项能力。 1）“抓重点”为什么重要？抓重点能力弱的管理人员，在工作上表现上往往是没有主见和工作思路，左右摇摆，拿不定主意，力气使不到点上，他可能很努力、很辛苦，团队成员跟着他不停地东奔西跑，但基本上是瞎忙活，因为没有结果和成绩。 古人说 ...