最新版:WP搜索引擎优化插件专业版Yoast SEO Premium
　　主要功能
　　标题和元描述模板在搜索结果中提供更好的品牌和一致的片段。
　　最新的 Schema 实现有助于搜索引擎了解您的 网站 并增加获得令人垂涎的丰富结果的机会。
　　只需按一下按钮，即可获得最先进的 XML 站点地图功能。
　　完全控制您的 网站 面包屑。
　　自动设置规范 URL 以避免重复内容。
　　[Premium] 支持我们的 Yoast SEO Premium 用户。
　　[Premium] Yoast SEO 可以通过新闻 SEO、视频 SEO、本地 SEO 和 WooCommerce SEO 扩展进行扩展。
　　我们知道内容为王，这就是为什么 Yoast SEO 以其可读性分析和 SEO 分析而闻名的原因。Yoast SEO 为您提供：
　　
　　SEO 分析：一个非常有价值的工具，可以在编写具有 SEO 友好性的文本时牢记正确（重点突出）的关键字。
　　可读性分析：确保为访问者和搜索引擎编写易于理解、引人入胜的内容。
　　我们的片段预览显示您的帖子或页面在搜索结果中的外观。即使在手机上！
　　WordPress 编辑器的 FAQ 和 HowTo 块，以便搜索引擎知道您何时有 FAQ 页面或 HowTo 指南可用。
　　[高级] 社交预览，向您展示您的内容在 Twitter 和 Facebook 上的显示方式。
　　[高级] 显示文本高亮显示的洞察工具。这样，您可以将 文章 与 关键词 对齐。
　　[高级] 能够针对同义词和相关关键字词组优化 文章。
　　【进阶】我们现在可以识别你的关键短语的不同词形，例如单复数，以及动词的不同时态（目前只有英文）。它可以帮助您以更自然的方式改进您的文本。
　　[高级] 自动内部链接建议：写下你的 文章 并自动获取链接建议帖子！
　　无论您是企业主还是博主、内容创建者、开发人员还是 SEO 专家：Yoast SEO 都可以帮助您保持网站完美：
　　
　　调整 网站 的引擎，以便您可以专注于创建出色的内容。
　　为您提供基础内容和内部链接功能，帮助您在正确的页面上为正确的关键字排名。
　　帮助您管理团队的 WordPress SEO 工作：通过我们的 SEO 角色，您可以让同事访问 Yoast SEO 插件的特定部分。
　　有一个批量编辑器，因此您可以对 网站 的标题和元描述进行批量编辑。
　　尽可能将您的内容转换为结构化数据，以帮助搜索引擎了解您的 网站。
　　[高级] 为您提供社交预览，以管理您的页面在 Facebook 和 Twitter 等社交网络上的共享方式。
　　[高级] 具有完整的重定向管理器，可通过轻松重定向已删除的页面和更改的 URL 来保持 网站 的健康。
　　Duplicator Pro 是 Snap Creek 开发人员提供的用于迁移和备份的 WordPress 插件。它从其他类似的插件中脱颖而出，因为它有计划的备份，能够立即备份或计划它。在几分钟内从故障中恢复；轻松移动 WordPress，因此您可以将 网站 捆绑到一个包中，将包复制到新主机/域，浏览到安装向导；云备份以备份到 Dropbox、FTP、Google Drive 或 Amazon S3 以实现安全存储。该插件还消除了返工，因此如果您在所有 WordPress 网站 上安装相同的主题、插件或内容，那么 Duplicator 可以为您节省大量时间。无需一遍又一遍地手动配置相同的主题和插件，只需配置一个站点并将其捆绑到一个 Duplicator 包中。安装此软件包以在任意数量的位置创建预配置站点。
　　SEO（搜索引擎优化）专业术语有哪些？
　　[Alexa排名]网上最常用、历史最悠久的网站流量排名工具，由亚马逊书店所拥有。在ALEXA网站输入域名后，ALEXA会以曲线形式显示网站流量趋势以及按流量所计算的世界排名。也可以输入多个域名，ALEXA会把几个域名的流量曲线显示在一起利用比较。
　　[垂直搜索]指的是专注于某个行业领域的搜索。垂直领域即可能是不同的主题，如生活搜索、购物搜索、交通搜索，也可能时不同的媒介形式，如视频、图片。
　　[蜘蛛陷阱]“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍，如果消除这些蜘蛛陷阱，可以使蜘蛛程序收录更多的网页。
　　[抓取频次]抓取频次是搜索引擎在单位时间内(天级)对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，Baiduspider 会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。
　　[索引]俗称“预处理”。蜘蛛抓取的页面文件分解、分析，并以巨大表格的形式存入数据库，这个过程即是索引。在索引数据库中，网页文字内容，关键词出现的位置、字体、颜色、加粗、斜体等相关信息都有相应记录
　　[K站]所谓百度 K 站便是封杀了你的网站，你的收录会是 0，从百度搜刮引擎上基础就找不到你的网站痕迹。K 站可以说是给百度冻结了，通常需要很长时间才能恢复。
　　[Robots 协议](也称为爬虫协议、机器人协议等)全称是“网络爬虫排除标准”(RobotsExclusion Protocol)，网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取.
　　[沙盒效应]由最主要的搜索引擎 Google 所决定的搜索引擎结果页面(搜索结果)中，新发布的网站排名越来越低。这一现象被称为“沙盒效应”。它们会对那些链接流行度迅速攀升的网站进行冷处理以防止SEOer过度优化。
　　[静态页面(static page)]HTML格式的网页通常被称为“静态页面”，早期的网站一般都是由静态页面制作的。静态页面是相对于动态页面而言，是指没有后台数据库、不含程序和不可交互的网页。静态页面相对更新起来比较麻烦，适用于一般更新较少的展示型网站。
　　[动态页面(dynamic page)]动态页面是指跟静态网页相对的一种网页编程技术。网址特别长，而且还带有“?”的链接一般是动态链接，其所对应的页面就是动态页面。动态页面代码显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。
　　
　　[PageRank(PR值)]PageRank是迷恋Google的人们用来测试其站点在Google中的排名的一种度量标准，SEO和搜索引擎营销(SEM)专家也使用这个术语描述网页在SERP中的排名以及Google根据排名算法给予站点的分数，无论如何定义，PageRank都是SEO的重要部分。
　　[百度权重]百度权重并不是像谷歌的PR、搜狗的SR、IBM hits等那样的算法，是对网站的综合评级。百度权重只是针对关键词排名方面给网站带来的欢迎度进行评级。百度权重是爱站、站长工具等网站推出的针对网站关键词排名预计给网站带来流量，划分等级0-10的第三方网站欢迎度评估数据，百度官方明确表示不承认百度权重。
　　[隐藏文本(hidden text)]一种作弊技术，通过这种技术，网页上的文字被设计来被蜘蛛程序而不是人看到，文本可以通过用极小的的字号显颜色，或者将关键词被图形或者其他网页元素覆盖等，作弊者在网页上堆积关键词来得到高的搜索排名。
　　[页面劫持(Page Hijacking)]页面劫持是一种SEO作弊手法，指的是黑帽SEO使用各种手段，将本来应该访问的页面A的用户转向到另一个页面B，302转向经常被用来实现页面劫持的手段，作弊者在自己的网站页面A上做302转向到其他网站上的页面B，由于某种万年历，搜索引擎把页面A当做原始页面，在搜索引擎排名中出现，用户点击结果A后，作弊者在A网站上通过程序把用户转向到完全无关的页面上。所以说页面劫持实际上是利用了其他网站上的高质量内容，用户却被劫持到自己的作弊网站之上。
　　[反向链接(back links)]就是所说的向内链接(inbound link)，指的是从一个网页到你网页的超级链接，从你站点外链到网页的向内链接，在搜索引擎做链接分析、并根据相关性来对搜索结果排序的时候有很高的价值(具体可查看马海祥博客《反向链接是什么意思》的相关介绍)。
　　[双向链接(tow-way link)]也被称作相互链接，是对一个网页有超文本链接，同时目标网在链接回来原来的网页。
　　[内部链接(internal link)]在你网站内部深层的超文本，从网站上一个网页到另一个另网页的链接，使得访客转到新的网页上，搜索引擎不看重这些链接。
　　[META标签]在网页的HTML源代码中一个重要的代码(即通常所说的META标签)，META标签用来描述一个HTML网页文档的属性，例如作者、日期和时间、网页描述、关键词、页面刷新等(具体可查看马海祥博客《如何做好网页中meta标签的SEO优化设置》的相关介绍)。
　　[流量(traffic)]网站评测属术语，被用来描述网站的访问数量，网站评测会频繁地分析流量的增减，并且它们通常会评估搜索营销通过搜索引擎来访问的成功。
　　[CMS内容管理系统]英文Content Management System的缩写，指的是用来创建和管理网站软件，目前大部分网站都是CMS系统管理、数据库驱动的动态页面。
　　
　　[CSS(Cascading Style Sheet)]串联样式表，也称为层叠样式表，级联样式表，是对一个HTML文件每个标签的一套格式指令，它能够被定制，这样同样的标签文件能够被不同的样式表来按照不同的方式排版。
　　[Cookie]浏览器用来存储网页需要记住信息的方法，例如，一个网页能够存储你访客名字在Cookie中，这样每次当他们再来的时候，他们的名字就能够出现在他们浏览器中你网站的首页上。
　　[HTTP状态码]当服务器收到某项请求时，例如，用户通过浏览器访问你的网页，服务器会向这个浏览器返回一个代码以响应请求，一个代码就称为：HTTP状态码，同样道理，当搜索引擎的Robot(机器人)或Crawler(爬行器)抓取你的网页时，服务器也会返回HTTP状态码相应请求。此HTTP状态码提供关于请求状态的信息，告诉访问的浏览器、搜索引擎机器人：baiduspider、Googlebot等关于你的网站和请求的网页的信息。
　　[World Wide Web]也称为全球网或者万维网或者简单成为“彼此相互链接的网页所形成的网络，这些网页展示内容或者允许网络访客和拥有网站的组织之间彼此发生互动。
　　[网站关键字过度优化]过度优化是指网站SEO优化太明显了，让搜索引擎认为你的站是一个垃圾站点，认为你是在作弊，这样你是为了做站而做站，做的站是给搜索引擎看的，而不是给浏览者看的!这样的站点用户体验自然不好，用户自然不喜欢，用户不喜欢了搜索引擎自然也不会喜欢，所以这类站点是搜索引擎所讨厌的站点。
　　[KPI]“关键绩效指标”是可衡量的值，表明一项活动实现目标的程度。
　　[查询]在搜索栏中输入的单词。
　　[URL]统一资源定位符是网络上各个内容的位置或地址。
　　[高级搜索运算符]您可以在搜索栏中键入特殊字符和命令，以进一步指定查询。
　　【有搜索的地方就有优化，海量数据的今天想要出圈，需要优化的方面有很多，但无论是知乎、百度、头条、谷歌、腾讯...,只要还有搜索框就离不开SEO技术！】 查看全部

　　搜索引擎优化高级编程题海战术，你的脑力一定要好
　　
　　搜索引擎优化高级编程题海战术，你的脑力一定要好。特别是seo基础和搜索引擎优化方面的专业知识要学扎实，建议好好备考计算机专业考试，因为作为一个搜索引擎优化师，除了搜索引擎的前端知识，你还需要网络基础（蜘蛛爬行和爬虫知识），数据库系统（数据库系统知识），html和css，数据库基础架构（数据库安全等），数据库网络相关知识，优化后的网站基础架构等。
　　
　　这些方面要特别熟练，这是通过第一轮简历关的前提，第二轮就是看你做过什么项目，在项目中学到了什么新的技术，业务熟练度，工作实践经验，带团队配合能力等等，最后一轮考查就是关于职业道德和沟通能力的，有一定的业务能力是基础。你在写简历的时候，一定要特别突出你的工作经验和技术能力，用具体的实践经验让招聘的人看到你在做事情很有决心并且很认真，能力不是第一位的，但是一定要保证你的工作经验和技术能力在某些方面的优秀。这就是传说中的持之以恒吧。
　　不用考什么高级语言，语言只是能实现一些功能模块而已，仅此而已，前端后端我觉得互联网比较多的是java和c++,数据库也是.net的，jsp和asp也不会很重要，第一步，大学肯定是要学好英语，第二步多下苦功夫，多实践，或者自己买书自学，多写代码。 查看全部

　　谷歌优化助理→技术+操作=谷歌排名资源04技术问题
　　搜索引擎优化高级编程师专栏《aaa教你搜索引擎优化》给你参考，关注我，一起学习，一起进步！计算机网络，seo，搜索引擎优化师-最具性价比的专业职业发展路线高级工程师→专家工程师→经理→总监→ceo01思路相同但步骤不同谷歌优化助理→思路和编程一样→从国内外各种站长和普通网站主→业务发展需要→即插即用谷歌自己做服务器，可以独立操作，基本上做一个空间就可以了。
　　
　　国内很多外贸公司，新兴外贸公司，都是找别人服务器，买完后，直接用。更不用提谷歌的站群了。02技术性广泛性强谷歌优化，可以渗透到各个行业和产品领域，不仅限于传统的seo、sem、seo+自然排名，也包括站群、seo联盟、seo谷歌广告等等。因为谷歌资源广泛，很多只是想要一个免费自然排名，结果就直接从谷歌挖其他产品的排名到自己的网站。
　　
　　目前利用谷歌优化，能挖到的产品，都是价值非常高的产品。企业如果真正挖到了顶级的谷歌红利，进入谷歌广告联盟，联盟就可以直接联系你，让你做谷歌联盟推广，你的产品就可以达到别人无法企及的排名。03收益对等谷歌优化助理→技术+操作=谷歌竞价排名谷歌优化方案→谷歌排名资源04技术问题谷歌优化方案→技术→店铺→系统→客户管理--seo团队+seo+谷歌排名管理阿里站群为啥不一样--seo+订单管理+系统部署chinaz站群为啥不一样--seo+ab测试+站点全部重新建站05优化经验感悟谷歌优化助理→基础专业知识（一般由有经验的chinaz站长基础优化专家负责）→针对行业寻找b2bb2c网站→挑选合适的上线发布。
　　建议底部标题写2-3个产品关键词，标题全部加粗，关键词不限。06其他目前，想找一个站群价值非常高的产品，通常意味着比较适合资源广泛的行业。比如一个价值100万的网站，全部在最适合放香港企业的类目中。 查看全部

　　google文字广告竞价广告投放方案(三)(图)
　　
　　搜索引擎优化高级编程课程，这个编程包括做搜索引擎站点整体设计，google文字广告竞价广告投放，搜索引擎优化策略方法优化等知识，更是培养搜索引擎优化人员的基本能力，并提供搜索引擎营销实战知识分享，如做站点整体设计可以向文案、dom、driver、tag等多方面进行学习，google文字广告竞价广告投放可以学习站点定位与googleadsence&adsense的投放及高流量提升思路及方法，关键词筛选等知识，如投放dom知识，如关键词排名优化，如站点定位文案，google可以给关键词提供大量投放机会，当然googleadsence&adsense投放也可以查询google每天带来多少流量来自搜索。
　　
　　我可以给你们三个方案，你们来选择吧1，根据自己的目标来进行，第一份定位设计自己的站点设计，关键词设计，文案设计，dom设计，google广告位设计等，都需要根据自己目标来进行。2，根据自己目标和词来分析，并找出关键词进行设计。3，根据自己目标，找出一部分关键词并规划几个广告位，然后如果做站点，这部分关键词成交时首页，因为可以用以少量的广告费进行建设和宣传推广，如果是做站点，那么后端dom建设也是需要核心的，如：站点词和权重影响到搜索引擎优化的seo权重，文字广告语等，进行内容优化。
　　搜索引擎营销知识，市场知识，利用关键词进行高权重进行搜索。整体站点设计（可以从简单入手）根据目标来设计。 查看全部

　　搜索引擎优化高级编程实例重装系统教程网上资料太多了
　　搜索引擎优化高级编程实例重装系统教程网上资料太多了，大家都看的得心应手，却还是觉得重装系统多一事不如少一事，自己装个系统还麻烦，所以只能电脑不怎么重要的配置用linux，电脑配置比较好一点的直接windows。装系统真的是一门大学问，里面的学问太多了，我写了一个教程，关注微信公众号：车头技术生活，回复关键字“重装系统”即可获得哦。
　　一般建议关注下开机启动项，启动信息还是可以解决的。
　　优化启动项。apt命令可以很方便的做这些事情。
　　貌似卸载某软件就会有启动项之类的，
　　
　　在开机启动项选项里把系统变量改掉，
　　你找一下win10开机启动项里面有没有个apt驱动注册表，
　　你可以在服务里面搜索intelhomeversion看看有没有，
　　apt一下就行了
　　
　　我也想知道
　　查看activex控件，确保不含此类启动项才行，
　　上面说的都是方法都用过了，就是没用这个方法！一样的硬件配置，同样的系统，就是无法安装win10！！，安装了之后，
　　我也是这个问题，只有显示和键盘了，
　　装完linux,或者什么，然后用官方驱动人生官方windbg在下驱动（如果是win7， 查看全部

　　收藏级：C#编程的最佳工具
　　C#是企业中广泛使用的编程语言，特别是那些依赖微软的程序语言。如果您使用C#构建应用程序，则最有可能使用Visual Studio，并且已经寻找了一些扩展来对您的开发进行管理。但是，这个工具列表可能会改变您编写C#代码的方式。
　　C#编程的最佳工具有以下几类：
　　使用上面的链接直接跳转到特定工具，或继续阅读以浏览完整列表。
　　IDE1.Visual Studio Code
　　
　　Visual Studio Code是C#开发人员最受欢迎的代码编辑器。您可以使用Visual Studio Code与C#扩展功能实现强大的编辑功能，并完全支持C# IntelliSense和调试。
　　主要特征：
　　2.MonoDevelop
　　
　　由Xamarin开发，MonoDevelop具有许多与VS Code相似的功能，也是跨平台的。使用MonoDevelop，您可以在Windows，Linux和Mac OS X上快速编写桌面和Web应用程序。
　　主要特征：
　　3.SharpDevelop
　　
　　一个用于C#、和Boo项目的免费开源IDE，#develop（SharpDevelop）是VS Code的轻量级替代品。
　　主要特征：
　　4.Rider
　　
　　Jet Brains产品套件中一个成员，Rider是基于IntelliJ平台和ReSharper的跨平台.NET IDE。
　　主要特征：
　　Visual Studio 扩展5.Productivity Power Tools 2017
　　
　　由Microsoft提供，这是一个很好的扩展，以加快Visual Studio的开发。
　　主要特征：
　　6.jQuery Code Snippets
　　
　　简化jQuery框架编码，jQuery Code Snippets为Visual Studio 2012，2013，2015和2017提供了超过130个代码段。
　　主要特征：
　　7.CodeMaid
　　
　　CodeMaid是一个开源的VS扩展，可以帮助您清理和简化除C#之外各种支持语言的代码。
　　主要特征：
　　8.Refactoring Essentials
　　
　　使用Refactoring Essentials，一个具有内置的C#和VB代码转换器的VS扩展，使您的C#代码更容易阅读和修复常见错误。
　　主要特征：
　　编译器、编辑器和序列化9.SlickEdit
　　
　　SlickEdit是一个代码编辑工具，可以提高生产力并提高代码质量。它是一个跨平台的代码编辑器，可在九个平台上支持超过60种语言（包括C#）。
　　主要特征：
　　10.Rextester
　　
　　Rextester（代表正则表达式测试器）是C#的简单在线编译器。
　　主要特征：
　　11.C# Pad
　　
　　C# Pad是C#的一个方便的REPL工具。使用起来很简单：输入代码，点击“Go”执行。
　　主要特征：
　　12.Jdoodle
　　
　　另一个轻量级代码编译器，Jdoodle支持63种语言（包括C#），并允许您保存程序并与其他人共享URL。您可以将Jdoodle中创建的代码嵌入到您的网站，用于协作，在线访问等。
　　主要特征：
　　13..NET Fiddle
　　
　　C#的一个流行的调试工具，.NET Fiddle的灵感来自于，旨在快速，简单的代码测试，而无需打开Visual Studio并创建一个新的项目。
　　主要特征：
　　14.Telerik Fiddler
　　
　　Telerik Fiddler允许您在线执行代码。它提供了一系列功能，包括Web调试、Web会话操作、性能测试、安全测试等。
　　主要特征：
　　15.Json.NET
　　
　　Json.NET是一个流行的JSON框架。使用它，您可以在任何地方（Windows，Windows Store，Windows Phone，Mono和Xamarin）运行它时，创建、解析、查询和修改JSON，在XML和JSON之间进行转换。
　　主要特征：
　　16.Scriptcs
　　
　　一个简单的在线编辑器，编写和执行C#代码，Scriptcs被设计为非常简单，以避免使用过于复杂的工具和解决方案阻碍您的工作效率。
　　主要特征：
　　反编译和代码转换工具17.dotPeek
　　
　　dotPeek允许您将.NET程序集反编译为C#。dotBeek是JetBrains提供的免费独立工具，基于ReSharper捆绑的反编译器。
　　主要特征：
　　18.Ilspy
　　
　　基于Red Gate的.NET Reflector开源反编译器，在2011年停止维护，Ilspy需要.NET Framework 4.0。
　　主要特征：
　　19.JustDecompile
　　一个来自Telerik的反编译器，JustDecompile是一个免费的开源反编译引擎。
　　主要特征：
　　20.Telerik Code Converter
　　
　　Telerik代码转换器将VB代码转换为C#，反之亦然。一个简单而强大的工具，Telerik代码转换器易于使用，具有直观的界面。
　　主要特征：
　　构建自动化和合并工具21.Cake Build
　　
　　Cake（C#Make）是C#版的开源Make Build自动化工具。一个跨平台构建自动化系统，Cake使用C# DSL来编写代码，运行单元测试，复制文件和文件夹，压缩文件和构建NuGet软件包等任务。
　　主要特征：
　　22.MSBuild
　　
　　MSBuild是由Microsoft于2008年推出的。它不是Visual Studio平台的一部分，但它是您的C#开发工具包的一个很好的资源，例如在您构建代码项目时，除了解决方案之外。
　　主要特征：
　　23.FinalBuilder
　　
　　FinalBuilder是构建自动化工具的一个很好的商业选择。使用FinalBuilder，您不需要编辑XML或编写脚本来自动完成构建过程。
　　主要特征：
　　24.SemanticMerge
　　
　　SemanticMerge分析您的代码，旨在处理已被移动或修改的代码，使其成为团队协作的强大工具。
　　主要特征：
　　版本控制25.Git
　　
　　Git就不需要介绍了。这是一个免费的开源版本控制系统，也是当今最流行的版本控制系统。
　　主要特征：
　　26.Team Foundation Version Control
　　
　　TFS版本控制是Microsoft替代Git的一种，它集成到Visual Studio中。它是企业准备的，所以对于使用VS项目的任何规模的团队来说，这是一个不错的选择。
　　主要特征：
　　27.BitBucket
　　
　　BitBucket是Jira的Git替代品，也是一个有能力的版本控制工具——“唯一一个大规模的协作的Git解决方案。”
　　主要特征：
　　28.SourceTree
　　
　　SourceTree是另一个Jira产品，一个用于Windows和Mac的免费Git客户端，具有简单的Git GUI来管理您的仓库。
　　主要特征：
　　测试工具和VS扩展29.LINQPad
　　
　　一个用于即时测试C#，F#和VB中的代码片段的工具，LINQPad可以让您以交互方式查询数据库。
　　主要特征：
　　30.Selenium
　　
　　Selenium是目前最流行的测试工具之一。它可以自动化Web浏览器，以便您可以在规模和精度上运行测试。
　　主要特征：
　　31.ReSharper
　　
　　由JetBrains创建的，ReSharper是.NET开发人员的Visual Studio扩展。使用它来即时分析代码质量，消除错误，安全地更改代码库等。
　　主要特征：
　　32.OzCode
　　
　　OzCode是C#的Visual Studio扩展，提供强大的调试工具，因此您可以花更多的时间开发和更少的时间调试。
　　主要特征：
　　33.CodeRush
　　
　　CodeRush可以帮助您轻松找到并修复问题，像本节中的其它测试工具一样，是一个VS扩展。
　　主要特征：
　　性能分析34.Prefix
　　
　　一个用于.NET和Java的轻量级开发工具，Prefix会实时显示日志、错误、查询等。它可以在您现有的工作站内使用 - 它是免费的。
　　主要特征：
　　35.dotTrace
　　
　　来自JetBrains，dotTrace是一个分析器，可帮助排除性能问题并加快应用程序的速度。
　　主要特征：
　　36.ANTS Performance Profiler
　　
　　ANTS性能分析器是.NET代码的分析工具，包括提供逐行分析统计信息。
　　主要特征：
　　37.N Profiler
　　
　　一个分析工具声称比任何其培训分析器更快，N Profiler提供丰富的.NET性能数据，可以节省90%的优化时间。
　　主要特征：
　　APM38.Retrace
　　
　　Retrace是唯一将APM、日志、错误、指标和监控结合在一个平台上的开发者工具，可帮助您更好地构建。它专为生产和预生产服务器而设计，每月只需10美元。
　　主要特征：
　　部署自动化39.Octopus
　　C#主要部署自动化工具，这使得自动化复杂的应用程序部署成为可能。
　　主要特征：
　　40.Appveyor
　　
　　一个CI构建服务器，不仅可以处理构建，而且还可以进行部署，Appveyor非常强大，安全，并且无需设置即可开始使用。
　　主要特征：
　　41.AppHarbor
　　
　　AppHarbor不仅仅是部署：它是一个完全托管的.NET 平台服务。它用于托管从个人博客到高流量网络应用程序的所有内容。
　　主要特征：
　　42.Jenkins
　　
　　Jenkins不仅仅是部署自动化工具，也是最受欢迎的CI服务器，它将其覆盖面扩展到部署和交付阶段。
　　主要特征：
　　容器43.Docker.DotNet
　　Docker.DotNet是Docker API的C#客户端库。通过它，您可以通过编程方式与Docker Remote API进行交互。
　　主要特征：
　　44.Distelli
　　
　　一个强大的工具来集中化C#应用程序，Distelli帮助您从头到尾自动化您的容器工作流程。有关如何使用Distelli构建和部署C#应用程序，请参阅此有用的教程。本教程提供了构建和部署Docker C#应用程序的分步说明。
　　主要特征：
　　C#和.NET Core 将在2018年及以后的得到巨大的发展，磨练C#技能将在未来几年内为您服务。我们希望您已经找到了一两种可以使用的工具，并提高了C#开发的质量和生产力。如果有什么工具我们遗漏了，请告诉我们，这个工具应该在这个工具包中有一席之地。
　　原文：《The Ultimate List of C# Tools: IDEs, Profilers, Automation Tools, and More》
　　翻译：Sweet Tang 查看全部

　　数百种编程语言，我为什么只学Python？
　　“
　　如果让你从数百种的编程语言中选择一个入门语言？你会选择哪一个？
　　
　　是应用率最高、长期霸占排行榜的常青藤 Java？是易于上手，难以精通的 C？还是在游戏和工具领域仍占主流地位的 C++？亦或是占据 Windows 桌面应用程序半壁江山的 C#？......
　　我想，每个人可能会根据工作要求的必然条件、兴趣爱好的充分条件，做出相应不同的选择。
　　也有很多工程师在学习一门新的技术时，会担心自己所学的技术是否会越来越流行，尽量去避免学习了一个非常小众和冷门的技术。
　　这种担忧是可以理解的，毕竟，一门技术使用的人越多，对于早期学习这门技术的工程师来说，就有越多的好处和优势。
　　与此同时，如果学习了一门冷门的技术，不但英雄无用武之地，而且，在求职市场上也没有什么优势。
　　要问我的入门编程语言选择，我首选一定是 Python，其具体原因可以引用一位网友的回答，「学完 Python，可以上天」。
　　
　　Python 流行度
　　如果大家身处互联网，一定能够切身地感受到 Python 语言的流行程度。Python 语言由于其简单易学、语法优美、应用领域广泛等诸多优点，俘获了大批的粉丝。
　　但是，拿不出确切的证据，很多开发者也无法说服自己静下心来学习，接下来我们就用数据来说话。
　　编程语言排行榜
　　首先，我们了解一下近期编程语言排行榜中，Python 语言排名的变化。TIOBE 每个月发布的编程语言排行榜是编程语言流行趋势的一个指标，每个月更新。
　　这份排行榜排名基于互联网上有经验的工程师、课程和第三方厂商的数量，使用搜索引擎进行计算而得，一定程度上反映了编程语言的热度。
　　
　　2017 年 9 月 TIOBE 编程语言排行榜
　　
　　2017 年 10 月 TIOBE 编程语言排行榜
　　
　　2017 年 11 月 TIOBE 编程语言排行榜
　　从近三个月的排行看，Python 一直稳定在排行榜的前五名。但编程语言排行榜仅能反应 Python 语言当下的流行程度，并不能回答 Python 是否越来越流行这个问题。
　　不过，我们可以从 TIOBE 发布的历史数据中找到一些线索。在 2015 年 2 月份发布的 TIOBE 编程语言排行榜中，Python 还排在第 8 名的位置，短短两年半的时间，Python 语言已经蹿升到第 4 名，其上升速度不可谓不快。
　　Google trends
　　既然 TIOBE 的编程语言排行榜是根据搜索引擎得到的数据，那么，我们也可以通过搜索引擎得到 Python 的搜索指数，通过搜索指数来查看 Python 语言热度的变化。图1.1 给出了最近 4 年，Python 这个关键词的 Google 搜索指数。
　　图 1.1 Python 的 Google 搜索指数
　　图 1.1 中可以看到，从全球范围来看，Python 语言是越来越流行的，其热度超过了以往任何时候。
　　从中国的搜索指数来看，Python 语言已经不是越来越流行这么简单了，而是出现了爆发式的增长。2014 年以前，Python 在中国都属于小众语言，从 2014 年开始，Python 在中国越来越火爆。
　　一个有趣的事实是，在图 1.1 给出的 Python 搜索指数中，Python 在中国的搜索每年都会有一个非常明显的、向下的尖刺。
　　这个尖刺所在的时间正好与春节的时间吻合，说明春节对所有中国人都是一个重要的节日，在春节期间，很少有人还在钻研技术了。
　　微信搜索指数
　　我们再来看一下最新发布的微信搜索指数中，Python 语言的热度如何。图 1.2 给出了Python、Java、PHP 和 Ruby 的微信搜索指数对比图。
　　图 1.2 Python的微信搜索指数
　　由于微信最多支持 4 个关键词进行比较，因此，我们选择了 Java、PHP、Ruby 与 Python 进行比较。
　　选择 Java 是因为它是一门比 Python 使用更加广泛的编程语言；选择 PHP 是因为它被认为是“世界上最好的”编程语言；选择 Ruby 是因为，它是所有编程语言中，与 Python 定位最接近的编程语言。
　　从图中可以看出，Python 语言和 Java 语言的微信搜索指数遥遥领先，并且，Python 语言的微信搜索指数比 Java 语言还要略高一点。
　　基于以上的编程语言排行榜、Google 搜索指数和微信搜索指数这几个不同的数据来源，检视了 Python 语言的流行程度。
　　现在，我们可以非常明确的得出一个结论——Python 语言越来越流行，而且现在非常火。
　　为什么 Python 语言会越来越流行
　　原因诸多，例如：
　　但是，笔者认为，Python 语言之所以越来越流行，使用越来越广泛，主要还是得益于其自身的诸多优点。对 Python 的爱与恨，可以归集到那些不得不说的优缺点：
　　显著的优点
　　Python 语言拥有诸多的优点，以下几个优点特别显著：
　　不可忽视的缺点
　　Python 并不是没有缺点的，最主要的缺点有以下几个：
　　Python 如何上手？
　　了解了 Python 的整体趋势及优缺点，接下来自然是如何学习 Python？
　　在此笔者的建议是：
　　
　　运维要不要追赶 Python 的热潮？
　　Python 这么热，运维要不要追赶 Python 的热潮？现阶段，掌握一门开发语言已经成为高级运维工程师的必备技能。
　　不会开发，你就不能充分理解你们系统的业务流程，你就不能帮助调试、优化开发人员开发的程序，因为开发人员有的时候很少关注性能的问题。
　　这些问题就得运维人员来做，一个业务上线了，导致 CPU 使用过高，内存占用过大，如果你不会开发，你可能只能查到进程级别，也就是哪个进程占用这么多，然后呢? 然后就交给开发人员处理了，这样怎么体现你的价值?
　　其次，不会一门开发语言的运维，你就不能自己写运维平台复杂的运维工具，一切要借助于找一些开源软件拼拼凑凑。
　　如果是这样，那就请不要抱怨你的工资低，你的工作不受重视了，话说人家 FaceBook 一个运维工程师管 2 万台机器，运维工程师年薪十几万 USD，你以为人家是盖的呢? 哪个不是身怀绝技，开发运维兼备?
　　Python 可以用来做什么
　　在我看来，基本上可以不负责任地认为，Python 可以做任何事情。无论是从入门级选手到专业级选手都在做的爬虫，还是 Web 程序开发、桌面程序开发还是科学计算、图像处理，Python 都可以胜任。
　　或许是因为这种万能属性，周围好更多的小伙伴都开始学习 Python。Python 现在到底有多热呢？我觉得我们可以看以下的这 2 组数据。
　　Python 排名稳居前五
　　如上文的 Python 排行，不多说，得益于 Python 在多个领域的应用都在逐渐变热，Python 在 TIOBE 榜上已经是稳居前 5 了。
　　越来越多的公司在用 Python 做网站
　　除了大家熟悉的知乎、豆瓣，已经有越来越多的公司开始用 Python 来快速搭建网站产品。相应的，也有越来越多的公司开设了 Python Web 的职位。
　　
　　根据我们的统计，目前在招的 Python Web 职位，所需技能按优先级中，Python 基础和 Django 的优先级是最高的。
　　具体的排序，大致可以参考以下的这张图表：
　　
　　运维为什么要用 Python
　　Good question！！！为什么不用 PHP，JAVA， C++，Ruby？
　　这里我只能说，见人见智， 如果你碰巧已经掌握了除 Python 之外的其他语言，那你爱用啥用啥，如果你是一个连 Shell 都还没写明白的新手，想学个语言的话，请用 Python，为什么呢？
　　首先，PHP 是跟 Python 比的最多的，其实他俩根本就不用比，为什么呢? 两个语言适用性不同，PHP 主要适用于 Web 开发，可以迅速的做出中小型，轻量级的 Web网站。
　　但后端嘛，基本还是要借助其它语言，借助什么语言呢？Shell？Python？呵呵。而 Python 呢，是个综合语言，前后端都可以，单拿出来比 Web，也一点不比 PHP 差，但为什么 Web 方向上 PHP 比 Python 要火？
　　先入为主嘛，PHP 90 年代诞生就是做 Web 的，Python 2000 年后才出现 Web 框架，但论优秀程度上，Python 的 Web 框架基本上出其无左，至少是跟 PHP 比。
　　搞个运维小平台，用 Java真心没啥必要，在我看来，Java就是稳定的中年男人，稳定、成熟、秃顶，而 Python 代表的就是青春，简洁、快、干净、帅!
　　C++/C，这个嘛，我只能说，如果你会了 Python，又会 C 的话，那你会更吃香，但是不会 C 的话，其实也无大碍。但对新手来讲，不建议把 C 做为第一门语言开始学习，为什么呢？打击自信心…呵呵，你懂的。
　　Ruby，日本开发的，还不错，风格跟 Python 有点像，因为 Ruby on rails 出了名，国外用的比较多，国内，放心吧！没戏，Python 已经把它的想象空间都占死了。
　　当然还有新的语言 GO，有些搞运维的看见做开发的人员搞 GO，也想凑热闹，觉得是未来，我想说，别没事跟风，GO 再成功，也不会变成运维开发语言。
　　一个博士讲过一句话，他说：程序效率高低，80% 都是写程序的人决定了，语言本身就占 20%。
　　所以下次有人再说 Python 效率低的时候，请让他先回去自己检查下自己的程序多了多少无用的逻辑、循环等等。
　　这个博士自己用 Python 写的 Web程序，一台服务器每天能处理上亿请求，一秒并发近两万，什么 Web框架这么牛 B？别问它是谁，它叫 tornado。
　　在选择使用哪一门编程语言之前，我还想提醒读者的是——“世界上只有两种编程语言，一种是天天被人吐槽但却被广泛使用的编程语言，一种则是无人问津没有存在感的编程语言”。
　　Python 语言作为排名第一的动态类型语言，自然有它的道理。如果我们充分了解它的优缺点，在使用的时候，取其精华去其糟粕，那么，Python 一定是工程师解决问题的一把利剑。
　　最后给大家推荐 51CTO 学院为您精选的Python免费试学课程 查看全部

　　年薪40万+的高级Java开发程序员需要掌握哪些技能？
　　金九银十的跳槽面试季已经到来，最近跟朋友在一起聚会的时候，提了一个问题，说1-5年的Java程序员，薪资区间大致是在15-25K左右，那有没有可能提前达到30K的薪资呢？有人说这只能是大企业或者互联网企业工程师才能拿到。也许是的，小公司或者非互联网企业拿30K的不太可能是初级开发或者码农了，应该已经转管理。还有区域问题，这个是不在我的考虑范围内 因为除了北上广深杭，其他地方也很难达到。
　　首先：30K对应的层级分别是什么？
　　30K的月薪在BAT等一线大厂实在太普遍了，一般是高级工程师和资深工程师的职位，在阿里是p6~p7左右，在百度是t5左右，腾讯是t2-3左右，在京东是t3-1，美团是p6左右，其他的我不了解。
　　其次：掌握的技能树主要包含哪几个方面：
　　第一个是基础。比如对集合类，并发包，IO/NIO，JVM，内存模型，泛型，异常，反射，等有深入了解，最好是看过源码了解底层的设计。比如一般面试都会问ConcurrentHashMap，CopyOnWrite，线程池，CAS，AQS，虚拟机优化等知识点，因为这些对互联网的企业是绝对重要的。而且一般人这关都过不了，还发闹骚说这些没什么用，为什么要面试。举一例子，在使用线程池时候，因为使用了无界队列，在远程服务异常情况下导致内层飙升，怎么去解决？你要是连线程池都不清楚，你怎么去玩？再举一例，由于对ThreadLocal理解出错，使用它做线程安全的控制，导致没能实现真的线程安全。所以作为一个拿三万的JAVA程序员这点基础是要有的。
　　第二你需要有全面的互联网主流技术相关知识。从底层说起，你起码得深入了解mysql，redis，mongodb，nginx，tomcat，rpc，jms等方面的知识。你要问需要了解到什么程度，我可以给你说个大慨。首先对于MySQL，你要知道常见的参数设置，存储引擎怎么去选择，还需要了解常见的索引引擎，知道怎么去选择。知道怎么去设计表，怎么优化sql，怎么根据执行计划去调优。
　　高级的你需要去做分库分表的设计和优化，一般互联网企业的数据库都是读写分离，还会垂直与水平拆分，所以这个也有经验的成分在里面。然后redis，mongodb都是需要了解原理，需要会调整参数的，而nginx和tomcat几乎都是JAVA互联网方面必配，其实很阿里的技术栈选择有点关系。至于rpc相关的就多的去，必须各种网络协议，序列化技术，SOA等等，你要有一个深入的理解。现在应用比较广的rpc框架，在国内就是dubbo了，可以自行搜索。至于jms相关的起码得了解原理吧，一般情况下不是专门开发中间件系统和支撑系统的不需要了解太多细节，国内企业常用的主要是activeMQ和kafka。你能对我说的都研究的比较深入，阿里p7都不是太大问题的，当然这个还需要看你的架构能力方面的面试表现了。
　　第三就是编程能力，编程思想，算法能力，架构能力。首先30K程序员对算法的要求我觉得还是比较低，再高级也最多红黑树吧，但是排序和查询的基本算法得会。编程思想是必须的，问你个AOP和IOC你起码的清清楚楚，设计模式不说每种都用过，但也能了解个几种吧。编程能力这个我觉得不好去评价，但是拿一个2000W用户根据姓名年龄排序这种题目也能信手拈来。最后就是架构能力，这种不是说要你设计个多牛逼多高并发的系统，起码让你做一个秒杀系统，防重请求的设计能快速搞定而没有坑吧。
　　因此在这里我也给那些技术想达到这个高度甚至想往架构师发展的Java程序员提供一份详细的进阶路线图，主要针对1-5年及以上工作经验的Java开发人员，从广度到深度架构图还比较全面的，里面的技术包涵了Java高并发、微服务、源码分析、源码分析、高性能、分布式等内容，这些也是目前互联网企业比较常用的技术，那么来详细看看。（图片可以保存）
　　1
　　底层源码分析
　　学习Java技术体系，设计模式，流行的框架与组件，常见的设计模式，编码必备，Spring5，做应用必不可少的最新框架，MyBatis，玩数据库必不可少的组件......
　　
　　2
　　分布式架构
　　高并发，高可用，海量数据，没有分布式的架构知识肯定是玩不转的，要了解分布式中的，分布式架构原理，分布式架构策略，分布式中间件，分布式架构实战等等内容
　　
　　3
　　微服务架构
　　业务越来越复杂，服务分层，微服务架构是架构升级的必由之路。比如：微服务框架，Spring Cloud，Docker与虚拟化，微服务架构
　　
　　4
　　性能优化
　　任何脱离细节的ppt架构师都是耍流氓，向上能运筹帷幄，向下能解决一线性能问题，比如：性能指标体系，JVM调优，Web调优，DB调优等等....
　　
　　5
　　多线程并发
　　从架构设计，到应用层调优，再深入了解底层原理，扎实的Java基本功才能让自己变为扫地神僧：内存模型，并发模式，线程模型，锁细节等等.....
　　
　　上面包含的技术不是让你全部掌握，但是很多东西是面试官必问的，所以你不能不知道，其次我更希望给那些需要这些信息的人帮助。那些质疑我的人去面试一下就明白我说的对不对，如果有机会可以再分享一次，我们来谈谈互联网的JAVA面试题，我可以把90%的题目全部给你列出来。我其实不怀疑我说的这些技能树能拿到30K或者40K+的可能，但现在互联网相对来说还是比较泡沫。
　　如何一起学习，有没有免费资料？
　　最近我也根据上述的技术体系图搜集了几十套阿里、头条、蚂蚁金服等公司19年的面试题，把技术点整理成了视频（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，这里以图片的形式给大家展示一部分。
　　这份资料尤其适合：
　　最近要参加面试的Java程序员，查漏补缺，以便尽快弥补短板；
　　想了解“一线互联网公司”最新招聘需求/技术要求，对比找出自身的长处和弱点所在，评估自己在现有市场上的竞争力如何；
　　做了几年Java开发，但还没形成系统的Java知识体系，缺乏清晰的提升方向和学习路径的程序员。
　　相信它会给大家带来很多收获。（更全的内容和资料，在文末获取）
　　Java架构进阶资源
　　
　　分析源码
　　
　　分布式架构
　　
　　性能优化
　　
　　Java面试避坑指南
　　
　　Java面试题集锦
　　
　　扫描下方二维码，免费领取资料
　　长按扫码加群：142019080，免费领取资料
　　（资料的价值取决于你领完后的行动， 查看全部

　　有赞搜索引擎实践(工程篇)
　　架构师（JiaGouX）我们都是架构师！
　　随着互联网数据规模的爆炸式增长, 如何从海量的历史, 实时数据中快速获取有用的信息, 变得越来越有挑战性. 一个中等的电商平台, 每天都要产生百万条原始数据, 上亿条用户行为数据. 一般来说, 电商数据一般有3种主要类型的数据系统:
　　关系型数据库, 大多数互联网公司会选用mysql作为关数据库的主选, 用于存储商品, 用户信息等数据. 关系型数据库对于事务性非常高的OLTP操作(比如订单, 结算等)支持良好.
　　hadoop生态, hadoop是数据仓库主要的载体, 除了备份关系型数据库的所有版本, 还存储用户行为, 点击, 曝光, 互动等海量日志数据, hadoop对于数据分析, 数据挖掘等OLAP支持比关系型数据库更加具有扩展性和稳定性.
　　搜索引擎, 以elasticsearch和solr为代表. 搜索引擎是获取信息最高效的途径, 几乎成为各类网站, 应用的基础标配设施(地位仅次于数据库).
　　目前搜索引擎技术已经有非常成熟的开源解决方案, 最出名的ElasticSearch和Solr都是基于lucence的. 很多中小型互联网公司搜索引擎都是基于这两个开源系统搭建的, 但是即便如此, 一个搜索引擎团队想把搜索引擎质量做到商用标准, 从系统熟悉, 服务搭建, 功能定制, 通常需要花费较长时间. 通用搜索引擎应用在互联网商用搜索通常会遇到如下几个问题:
　　搜索引擎与公司现有数据系统的集成. mysql 和 hadoop是电商的两个主要数据载体, 搜索引擎在全量和增量建索引过程中必须和mysql或hadoop无缝集成, 才能发挥搜索引擎自身的实时性, 水平扩展性(性能与容量和机器数量成正比)等优势.
　　商用搜索高度定制化与通用搜索引擎的矛盾. 商用搜索的问题有时候超越了搜索引擎本身解决的范围, 比如商品的去重, 店铺的去重需要很专业的搜索引擎使用技巧; 商品的权重, 用户意图的识别需要算法和模型的支持.
　　在不了解搜索引擎专业知识的前提下, 很难创建对性能友好的索引. 结果造成了通用搜索性能很差的假象.
　　笔者是有赞大数据架构师, 从自身的搜索实践出发, 分享搜索引擎实际的架构和解决的问题.
　　有赞搜索引擎实践分2篇, 第一篇是工程篇, 主要介绍搜索引擎的架构和性能优化方面的经验; 第二篇是算法篇, 介绍有赞实际需要的搜索算法的问题和解决方案. 文章仅仅介绍一个中型电商公司实际的使用现状和笔者个人的经验, 不代表搜索引擎最佳实践方法, 也不代表可以适用所有的场景. 如果读者有问题可以和笔者联系, 共同探讨.
　　1. 技术架构
　　有赞搜索引擎基于分布式实时引擎elasticsearch(ES). ES构建在开源社区最稳定成熟的索引库lucence上, 支持多用户租用, 高可用, 可水平扩展; 并有自动容错和自动伸缩的机制. 我们同事还实现了es与mysql和hadoop的无缝集成; 我们自主开发了高级搜索模块提供灵活的相关性计算框架等功能.
　　
　　2. 索引构建
　　互联网索引的特点是实时性高, 数据量大. 时效性要求用户和客户的各种行为能够第一时间进入索引; 数据量大要求一个有效分布式方案可以在常数时间内创建不断增长的TB数量级索引.
　　实时索引我们采用面向队列的架构, 数据首先写入DB(或文件), 然后通过数据库同步机制将数据流写入kafka队列. 这种同步机制和数据库主从同步的原理相同, 主要的开源产品有mypipe和阿里推出的canal. es通过订阅相应的topic实现实时建立索引.
　　如果数据源是文件, 则使用flume实时写入Kafka.
　　另外一个索引问题是全量索引. 有如下几个场景让全量索引是一个必要过程: 1. 实时更新有可能会丢数据, 每次很少的丢失时间长了降低搜索引擎的质量. 周期性的全量更新是解决这个问题的最直接的方法;
　　2. 即使能够保证实时更新, 业务的发展有可能有重新建索引的需求(比如增加字段, 修改属性, 修改分词算法等).
　　3. 很多搜索引擎是在业务开始后很久才搭建的, 冷启动必须全量创建索引.
　　我们采用Hadoop-es利用hadoop分布式的特性来创建索引. hadoop-es让分布式索引对用户透明, 就像单机更新索引一样. 一个是分布式的数据平台, 一个是分布式搜索引擎, 如果能把这两个结合就能够实现分布式的全量索引过程. Hadoop-es正式我们想要的工具.
　　
　　我们给出一个通过Hive sql创建索引的例子:
　　
　　系统把es映射成hive的一个外部表, 更新索引就像是写入一个hive表一样. 实际上所有分布式问题都被系统透明了.
　　不建议从数据库或文件系统来全量索引. 一方面这会对业务系统造成很大的压力, 另一方面因为数据库和文件系统都不是真正分布式系统, 自己写程序保证全量索引的水平扩展性很容易出问题, 也没有必要这么做.
　　全量索引和增量索引的架构如下图所示. 另外一点是hadoop也是订阅kafka备份数据库和日志的. 我个人建议一个公司所有DB和文件都存储在hadoop上, 这样做起码有2个好处: 1. hadoop上使用hive或者spark创建的数据仓库为大数据提供统一的操作接口.
　　2. hadoop数据相对于线上更加稳定, 可以作为数据恢复的最后一个防线.
　　数据仓库的话题不在本篇文章的讨论范围, 这里只是简单提一下.
　　
　　为什么我们选择Kafka? Kafka 是一个以高吞吐著名的消息系统. Kafka开启了日志合并(log compaction)功能后, 可以永久保存每条消息. 每一条消息都有一个key, 正好对应数据库的主键, kafka始终保存一个key最新的一条消息, 历史版本会被垃圾回收掉. 有了这个特性, kafka不仅可以保存数据库最新的快照, 而且可以实现实时更新的消息系统. 第一次同步的时候, 数据表中每行记录都转化成以主键为key的消息进入kafka, 并且可以被任意数量的broker消费. 之后数据库的每次更新(insert, updated, delete)都会被转化成kafka的消息. 如果一行记录频繁被更改, kafka会识别这些重复的消息, 把旧的消息回收掉.
　　Kafka既保存数据库最新的全量数据, 又提供实时数据流的这个特性为架构的可维护性提供极大便捷. 如果你想从零扫描整个数据库, 你只需要从开始消费这个kafka的topic即可完成, 当读到topic末端, 自动获得实时更新的特性.
　　Kakfa的另一个特性是支持从任意断点读取数据, 比如我们全量索引是从HDFS中读取, 我们可以根据HDFS保存的数据的最后一条的时间戳, 直接切换到Kafka读取之后的数据.
　　3. 高级搜索: 超越ES功能限制
　　高级搜索模块(AS)在商业搜索引擎起到至关重要的作用. 在各大商业搜索引擎公司里面AS已经成为标配, 也是变更最为频繁的模块.
　　AS在商业搜索引擎中主要起到如下作用:
　　1. 反向代理, 实现基于分片的分布式搜索(实际上es有这个功能); 提供必要的容灾支持
　　2. 提供插件化的相关性计算框架
　　3. 提供丰富的相关性库, 比如query分析库, query改写库, 排序库, 过滤库等.
　　4. 管理不同的搜索业务
　　
　　AS一个主要的功能是通过一个个业务插件来代表相应的搜索. 一个最简单的插件只需要包含对应的ES search API, 它实际上就是一个配置项, 说明es的地址. 这样AS就是一个纯代理. 但是商业搜索的需求都是不是ES本身能够支持的, 所以就需要根据需求写相应的Query rewriter, rerank等算法插件. 这样就实现了框架和业务分离, AS具有极强的扩展性和复用性.
　　AS另一个功能是提供通用算法库, 实际上它只为每种算法提供编程框架. 算法也是通过插件的方式加入算法库的. 这种方法可以让算法工程师抽象公共算法库供业务方使用, 避免重新造轮子. 一个具体业务要么使用已经存在的算法(并修改参数), 要么自己实现算法.
　　
　　上图是一个实例. 商品搜索和分销搜索各自实现一个rerank的的算法, 同时都调用了系统提供的rerank1的算法库, 并加入了自己特有的逻辑.
　　AS除了基本proxy功能外, 还提供基于query的cache功能用于应用级别的缓存. 内部有一个缓冲队列, 防止出现雪崩现象. 下一节性能优化中会详细说明.
　　4. ES性能优化
　　下面几个小结, 我们写了几个我们遇到的性能优化场景.
　　4.1 使用应用级队列防止雪崩
　　ES一个问题是在高峰期时候极容易发生雪崩. ES有健全的线程池系统来保证并发与稳定性问题. 但是在流量突变的情况下(比如双十一秒杀)还是很容易发生瘫痪的现象, 主要的原因如下:
　　ES几乎为每类操作配置一个线程池; 只能保证每个线程池的资源使用时合理的, 当2个以上的线程池竞争资源时容易造成资源响应不过来.
　　ES没有考虑网络负载导致稳定的问题.
　　在AS里我们实现了面向请求的全局队列来保证稳定性. 它主要做了3件事情.
　　
　　根据业务把请求分成一个个slide, 每个slide对应一个队列. 默认一个应用就是一个slide, 一个应用也可以区分不同的slide, 这样可以保护一个应用内重要的查询.
　　每个队列配置一个队列长度, 默认为50.
　　每个队列计算这个队列的平均响应时间. 当队列平均响应时间超过200ms, 停止工作1s, 如果请求溢出就写入溢出日志留数据恢复使用. 如果连续10次队列平均响应时间超过500ms就报警, 以便工程师第一时间处理.
　　4.2 自动降级
　　应用级队列解决雪崩问题有点粗暴, 如果一个应用本身查询就非常慢, 很容易让一个应用持续超时很久. 我们根据搜索引擎的特点编写了自动降级功能.
　　比如商品搜索的例子, 商品搜索最基本的功能是布尔查询, 但是还需要按照相关性分数和质量度排序等功能, 甚至还有个性化需求. 完成简单的布尔查询, ES使用bitsets操作就可以做到, 但是如果如果需要相关性分, 就必须使用倒排索引, 并有大量CPU消耗来计算分数. ES的bitsets比倒排索引快50倍左右.
　　对于有降级方案的slide, AS在队列响应过慢时候直接使用降级query代替正常query. 这种方法让我们在不扩容的情况下成功度过了双十一的流量陡增.
　　4.3 善用filtered query
　　理解lucence filter工作原理对于写出高性能查询语句至关重要. 许多搜索性能优化都和filter的使用有关. filter使用bitsets进行布尔运算, quey使用倒排索引进行计算, 这是filter比query快的原因. bitsets的优势主要体现在:
　　1. bitsetcache在内存里面, 永不消失(除非被LRU).
　　2. bitsets利用CPU原生支持的位运算操作, 比倒排索引快个数量级
　　3. 多个bitsets的与运算也是非常的快(一个64位CPU可以同时计算64个DOC的与运算)
　　4. bitsets 在内存的存储是独立于query的, 有很强的复用性
　　5. 如果一个bitset片段全是0, 计算会自动跳过这些片段, 让bitsets在数据稀疏情况下同样表现优于倒排索引.
　　举个例子:
　　
　　lucence处理这个query的方式是在倒排索引中寻找这三个term的倒排链 ,并使用跳指针技术求交, 在运算过程中需要对每个doc进行算分. 实际上tag和region对于算分并没有作用, 他们充当是过滤器的作用.
　　这就是过滤器使用场景, 它只存储存在和不存在两种状态. 如果我们把tag和region使用bitsets进行存储, 这样这两个过滤器可以一直都被缓存在内存里面, 这样会快很多. 另外tag和region之间的求交非常迅速, 因为64位机器可以时间一个CPU周期同时处理64个doc的位运算.
　　一个lucence金科玉律是: 能用filter就用filter, 除非必须使用query(当且仅当你需要算分的时候).
　　正确的写法为:
　　
　　lucence的filtered query会智能的先计算filter语句, 然后才计算query语句, 尽可能在进行复杂的倒排算法前减少计算空间.
　　4.3 其他性能优化
　　线上集群关闭分片自动均衡. 分片的自动均衡主要目的防止更新造成各个分片数据分布不均匀. 但是如果线上一个节点挂掉后, 很容易触发自动均衡, 一时间集群内部的数据移动占用所有带宽. 建议采用闲时定时均衡策略来保证数据的均匀.
　　尽可能延长refresh时间间隔. 为了确保实时索引es索引刷新时间间隔默认为1秒, 索引刷新会导致查询性能受影响, 在确保业务时效性保证的基础上可以适当延长refresh时间间隔保证查询的性能.
　　除非有必要把all字段去掉. 索引默认除了索引每个字段外, 还有额外创建一个all的字段, 保存所有文本, 去掉这个字段可以把索引大小降低50%.
　　创建索引时候, 尽可能把查询比较慢的索引和快的索引物理分离.
　　5. 小结
　　本文介绍了有赞搜索引擎的架构, 重点对索引创建机制, 高级搜索模块的功能做了阐述, 最后列举了几个常见的性能优化的场景. 本文对es本身的优化写的不多, 因为es官网和其他的博客有很多es优化的意见, 本文就不在一一枚举. 本文的主要目的是能够对搭建商用电商搜索引擎给读者一个一般性的建议. 另外, 困扰商用搜索引擎的最常见的问题是排序和算法问题, 如果读者有兴趣可以关注笔者另一篇文章"有赞搜索引擎实践(算法篇)". 查看全部

　　2020年你应该学习的编程语言
　　编程语言和计算机编程使我们的生活更简单。无论是汽车、银行、家用电器还是医院，我们生活的方方面面都取决于编程。难怪，编程是当今大多数高薪工作所需要的核心技能之一。编程技能在IT、数据分析、研究、web设计和工程领域尤其有价值。
　　那么，2020年及以后，哪些编程语言将继续受到需求？你应该知道多少种语言才能实现你的梦想？我们将试图在这篇文章中回答这些的问题。
　　越来越多的编程语言和协议使得程序员和开发人员很难选择任何一种最适合他们工作或手头项目的语言。理想情况下，每个程序员都应该有一种接近系统的语言（C，GO，C++），一种面向对象的语言（java或Python），一种函数式编程语言（Scala），一种强大的脚本语言（Python和JavaScript）。
　　无论你的目标是加入一家财富500强公司，还是希望从事远程变成工作，了解这个行业的热点是很重要的。下面是一些我们推荐给那些希望在2020年大展宏图的程序员的编程语言。
　　01
　　Python
　　Python仍然是今年每个开发人员都应该学习的最好的编程语言之一。该语言易于学习，并提供了干净、结构良好的代码，使其功能强大，足以构建良好的web应用程序。
　　Python可以用于web和桌面应用程序、基于GUI的桌面应用程序、机器学习、数据科学和网络服务器。这种编程语言获得了社区的巨大支持，并提供了一些开源的库、框架和模块，使应用程序开发变得轻而易举。
　　例如，Python提供了Django和Flask、用于web开发的流行开源库以及用于数据科学应用程序的TensorFlow、Keras和SciPy。
　　虽然Python已经存在了一段时间，但是在2020年学习这种语言是有意义的，因为它可以帮助你快速找到工作或自由职业者项目，从而加速你的职业发展。
　　02
　　Kotlin
　　Kotlin是一个用于现代多平台应用的静态编程语言。它被设计成可以与Java完全互操作。此外，从Android宣布其为第一语言时起，Kotlin就提供了开发人员要求的功能。它毫不费力地将面向对象和函数式编程特性结合在一起。
　　
　　Java和Kotlin之间的轻松互操作使Android开发更快、更有趣。由于Kotlin解决了Java中出现的主要问题，因此在Kotlin中重写了多个Java应用程序。例如，由于强大的工具支持，Coursera和Pinterest等品牌已经搬到Kotlin。
　　随着大多数企业转向Kotlin，谷歌肯定会推广这种语言，而不是Java。因此，Kotlin在Android应用程序开发生态系统中有着强大的未来。
　　Kotlin是用于Android应用程序开发的易于学习、开源且快速的语言，它消除了任何与采用相关的障碍。您可以将它用于Android开发、web开发、桌面开发和服务器端开发。因此，它是2020年程序员和Android应用程序开发人员必须学习的语言。
　　03
　　Java
　　Java今年将迎来它的24岁生日，它是用于开发服务器端应用程序的最流行的编程语言之一。Java是开发Android应用程序的实用选择，因为它可以用来创建功能强大的程序和平台。
　　这种面向对象的编程语言不需要特定的硬件基础设施，易于管理，并且具有良好的安全性。此外，与C语言和C++语言相比，学习Java更容易。难怪，近90%的财富500强公司的桌面应用程序和后端开发项目都依赖Java。
　　
　　尽管Java已经进入了工业时代，但它的稳定性令人难以置信，而且不会很快退休。这使得Java成为2020年程序员最希望使用的语言之一。
　　04
　　JavaScript/NodeJS
　　JavaScript（也称为NodeJS）是需要进行服务器端和客户端编程的开发人员中流行的语言。它与其他几种编程语言兼容，允许您创建动画、设置按钮和管理多媒体。
　　由于JavaScript的高速和定期的年度更新，它在IT领域是一个终极热门。像Netflix、Uber、PayPal等知名公司和一些初创公司使用JavaScript创建安全快速的动态网页。事实上，HackerRank发布的《2018年开发者技能报告》（2018 Developer Skills Report）认为，JavaScript是当今企业所需的顶级编程技能。
　　
　　JavaScript在当今的数字环境中无处不在。因此，学习这门语言是完全有意义的。
　　05
　　TypeScript
　　TypeScript是JavaScript的超集，是一种面向对象的语言，它是为了扩展JS的功能而引入的。这种语言使开发人员很容易编写和维护代码。TypeScript提供了对代码每个组件的完整描述，可用于开发语法严格、错误较少的大型应用程序。
　　此外，它结构良好，易于学习。它的扩展工具箱使应用程序开发迅速。由于TypeScript提供的好处，它有望在2020年取代JS，成为未来最受欢迎的编程语言之一。
　　06
　　Go
　　Go是近年来问世的系统级编程语言。它融合了函数式编程和面向对象样式的最佳方面。Go是Github上增长最快的语言，旨在替代Java和C++语言。
　　一项Stack Overflow survey显示，Go是当今开发人员最喜欢的第五种语言。这是因为，Go解决了大型分布式软件系统中编译和执行速度慢的问题。
　　
　　这种速度优势使Go成为云基础设施的关键组件。因此，如果您打算在一个无服务器的生态系统中工作，Go当仁不让。
　　07
　　Swift
　　Swift是一种由苹果公司开发的通用编译语言，它为开发人员提供了一种简单而紧密的语法。它快速、安全、易学，深受Python和Ruby的影响。Swift以其通用性和实用性取代Objective-C成为苹果相关应用程序的主要语言。
　　此外，由于Swift是由苹果公司推广的，它的知名度和社区支持度都在不断提高。事实上，一项对应用商店前110个应用的调查显示，42%的应用已经在使用Swift。
　　
　　经验很少或没有经验的程序员可以使用Swift Playgrounds来学习语言，尝试复杂的代码，并在本地iOS和macOS应用程序上工作。Swift是第一个帮助开发者在短时间内创建iOS应用程序的编码语言。这种编程语言为新的程序员打开了许多机会，使他们能够在应用程序开发的世界中大展拳脚。
　　iOS有一个巨大的市场，你肯定想参与其中。如果你正着眼于这个蓬勃发展的市场，Swift是你应该在2020年学习的语言。
　　总结
　　几乎所有的程序员都渴望学习新的语言。然而，知道哪些语言越来越受欢迎，并能确保更好的职业发展，将有助于你优先学习这些语言。利用本文中共享的信息，对此事做出明智的决定。
　　关于作者
　　Gaurav Belani是The 20 Media的高级搜索引擎优化和内容营销分析师，The 20 Media是一家专门从事数据驱动搜索引擎优化的内容营销机构。他有超过七年的数字营销经验，喜欢撰写教育技术、人工智能、机器学习、数据科学和其他新兴技术。业余时间，他喜欢看电影和听音乐。在Linkedin和Twitter@belanigaurav联系他。
　　Linkedin主页
　　相关链接：
　　Stack Overflow survey #most-loved-dreaded-and-wanted
　　2018 Developer Skills Report
　　#skills2 查看全部

　　编程入门：编程语言(Java、C++)先学那个好？
　　这个问题在入门阶段一直是争议十分大的问题，反正学长每次去网上找新手应该学什么编程语言的时候，就会出现五花八门的推荐，n多语言，n多推荐，搞的新手一会听说这种语言适合新手，于是学习这种语言。
　　一会又有人说xx语言是垃圾、弱爆了，学了也没用，之类的话，开始推荐你xxx语言，于是新手们又开始学习这种语言，什么语言都没搞懂，时间大把大把的流失，热情消耗殆尽，啥也没学成，还开始对编程各种不满。
　　
　　要解决这个问题,首先要明白一个根本问题,怎样挑选适合入门的编程语言?
　　本人推荐从难度这个角度来考虑,这门语言要简单易学,有趣,而且要有一定的热度,有热度才能有更多的人一起交流讨论，对你的学习之路也会有一定帮助，减轻你的学习难点。
　　先来大致分析一下这两者的易难点
　　一、JAVA
　　难度：★ ★ ★
　　欢迎度：★ ★ ★ ★ ★
　　创始于：1995年
　　Java可以做什么：安卓和IOS的应用开发、视频游戏开发、桌面GUI、软件开发等等;
　　就业薪资：小编从各大招聘平台了解到北京java开发工程师平均工资为：18690/月，本数据取自40524份样本。
　　Java是老牌语言，但是由于市场上相关开发人才较多，竞争激烈，薪资趋于平稳。
　　
　　1.1、Java的优点
　　Java开发人员需求量大：这个是根据统计得出的。JAVA在很多语言当中，是需求量最大的;
　　进化语言：首先C++是基于C语言优化的，Java是被优化过来的。而且在这人平台是增加了很多的功能，lambda等功能。
　　安卓应用开发：谷歌的安卓移动平台是世界第一的移动平台，编写安卓应用开发者使用的主要语言是Java;
　　1.2、Java的缺点
　　使用大量的内存：Java和C++相比使用更多的内存所以占用的内存就更大。
　　学习曲线：这边指的是Java虽然不是最简单的入门语言，但是也不是最难。
　　启动时间慢：用java写过安卓的应用的人应该都知道。同样的代码在模拟器中启动是非常缓慢的事情。
　　
　　二、C++
　　难度：★★★★★
　　受欢迎度：★★★★★
　　创始于：1983年
　　C++目前是被看做编写大型程序应用最好的面向对象编程语言。C++是C语言的升级版本;
　　C++用来做什么：搜索引擎、软件开发、操作系统、视频游戏等
　　就业薪资：C++开发工程师的起薪一般在一万元左右，高级工程师的薪资能够达到2万以上。
　　2.1、C++的优点
　　在熟练掌握了C++之后，处在各个位置当中都能成为佼佼者。使用C/C++的话，帮助我们更理解其他编程语言。比如说是Java或者是Python是如何进行内存管理以及如何处理缺陷;
　　能调整性能：C++能允许调整你的应用性能以及影响所有计算机性能，它写起来的话比Java来说就并不是很友善，但是我们也可以利用C++做很多事情;
　　2.2、C++的缺点
　　学习困难：C++相对来说学习难度很大，但是如果我们可以流畅使用的话，会远远超过其他的程序员;
　　尺寸很大：C++可以称为巨大，它的大部分功能互相影响是机器复杂的方式。没有开发者是可以使用全部提供的组成部件。但是会发挥大量的时间来挑选你的程序的子部件的。
　　
　　三、结论
　　如果是都要学，那么可以先学习c++，c++可以说是Java的前身，但相比之下c++更难，建议从C语言入手，之后再学Java要简单一点。
　　如果你不走C/C++方向，直接学习Java就可以了，相同的待遇下，选择简单的更好，没有必要去掉那些头发。当然，如果你以后的目标不是普通的码农，那么你还是要回头来学好C++，这对你未来的开发之路意义巨大。
　　对于编程方面，学习C/C++编程或者工作想提升的伙伴，如果你想更好的提升你的编程能力帮助你提升水平！笔者这里或许可以帮到你~
　　分享（源码、项目实战视频、项目笔记，基础入门教程）
　　欢迎转行和学习编程的伙伴，利用更多的资料学习成长比自己琢磨更快哦！
　　 查看全部

　　什么才算是“真正的”编程能力？
　　▲
　　点击关注| 2017过不一样的程序人生
　　真正的编程能力，两个词概括
　　建模+实现
　　
　　建模能力如何提高？关键在于分析问题
　　理解越深，预测能力越强，自己的智慧才越好发挥。这就是学习软件编程最快的方式之一 “造轮子” ——造轮子就是为了深刻理解轮子、预测轮子的行为。
　　实现能力如何提高？关键在于工具的使用
　　（数据结构，算法基础，语言，框架，工具，软件）
　　把目标转化成指挥方案，这种 “做应用题” 的能力你造吗？不会告诉你建模的知识点，也不会透露全部必要条件，增强这个能力你需要 “理解垂直行业的业务逻辑”。
　　当用户觉得我们的东西功能齐全、用起来得心应手，恭喜你，你已经成功了！
　　1编程能力是一种解决问题的能力
　　如果问题没能很好地解决，知道再多也没用。
　　
　　2编程能力是一种运用机器解决问题的能力
　　什么问题可以被机器解决？如何让机器更好地理解问题？不同的问题适用不同的编程语言。让机器更高效率地解决问题吧！
　　
　　3编程能力是一种抽象问题的能力
　　借用轮子省力省时间，而想要高效地借用轮子，就需要将问题分解再分解，抽象再抽象。任何一个实用的系统都需要进行大量的分拆和组合。
　　所以系统设计是编程能力里的高级技能，合理的假设、简化问题尤其有难度。
　　高手和新手的区别在于：新手往往不知道轮子的适用范围，而高手不仅轮子多且熟知轮子间的差异，不同的问题用不同的轮子，及时找不到合适的，也可以自己动手改造。
　　当然能知道怎样快速在搜索引擎里搜出轮子也是一种能力。
　　
　　4编程能力是一种需要考虑扩展性的能力
　　算法竞赛中的很多算法考虑的是单机的内存算法。计算模型经过高度抽象，在实践中机器的模型更为复杂。比如单机的多级结构带来的各种时间空间复杂度的取舍平衡，多机网络中如何能在提高单机性能外进一步优化整体性能。
　　除了在机器端的扩展，在程序员一端的扩展也很重要。复杂的问题和工程往往意味着团队协同以及更长时间的开发维护。
　　
　　5编程能力是一种取舍的能力
　　局部的最优解未必是全局的最优解。如果一个美妙的解决方案需要将完工时间向后推迟一两个月，那么你就需要考虑是否先使用平凡方案解决问题，之后再进行优化。
　　当你的工作延后会阻碍别人的工作时尤其如此，不要为了追求心理满足而花很多时间放在一个漂亮的轮子上去（参考 Amdahl 定律）。
　　
　　6编程能力是一种预见未来的能力
　　目前的方案有哪些假设和局限性，在何种情形下会遇到问题甚至崩溃。在未来出现问题时问题是否需要重新定义，系统是否需要重新设计，代码是否需要重构或优化等等都需要未雨绸缪。
　　7编程能力是一种工程能力
　　无它，唯手熟尔。
　　如何去提升编程能力？在约定的条件下，对自己的模型和实现能够知道（how），和为什么（why）的情况下，选择最合适的方案建模并有能力实现设计来满足需求。提高编程能力的方法：学习 + 建模 + 实现（造轮子或者仿造别人造轮子）
　　拿起你的武器，建立你的 “国度” 吧
　　
　　部分内容选自： 查看全部

　　搜索引擎优化高级编程解决网站内容建设的问题，看看你要不要交钱
　　搜索引擎优化高级编程，根据您的行业来选择。可以解决关键词排名提升、词组排名提升、seo网站内容建设、行业关键词布局、搜索引擎友情链接交换、网站权重累积提升，网站稳定加速、seo营销扩大品牌等各方面的问题。
　　搜索引擎优化高级编程
　　我们公司现在就用的这个教程，解决网站的内容建设的问题，帮助网站持续提升，
　　搜索引擎优化高级编程，很多培训机构这么做，有些本来就是骗子，是来圈钱的，看看你要不要交钱，
　　搜索引擎优化高级编程很不错啊，这个是目前互联网企业一些搜索引擎优化、seo高级的培训机构，而且课程也没啥骗子的意思。
　　不错的课程。
　　我们公司要做seo推广，交定金，确定你的课程比较牛。
　　讲的很好的一个课程，而且是独立研发的。
　　我要交钱，他们能不能打包赠送我，
　　老板说你先看看，先交定金，确定你的课程比较牛。才会和你付款。我们要做网站营销，交定金，
　　是不是忽悠你不清楚，不过应该有很多不给你学费的。 查看全部

　　搜索引擎优化高级编程人工智能编程语言如何选择？
　　搜索引擎优化高级编程人工智能编程语言
　　泻药，一般一个团队都有比较固定的编程语言，基本上会也好，不会也好，新手大多数在成长的阶段选择类似于ruby,python这种语言来学习。如果是职场上的话，建议从编程的基础语法学起，语言只是个工具，能独立完成项目，能为团队创造价值就行了。
　　可以先学java或者c#，
　　我想说python已经很简单了，不要一开始就拿java。先学一门hadoop-groovy语言，
　　javapythoncc#hadoopphpscalago，
　　ai+你可以学一学shell。
　　看你是不是已经就业了，如果你是还没就业又非得先学哪一种，现在c#是下一代的选择，但是的java也要学一下。个人认为前端就算了，而且前端不适合，太累，你学完vuejs，前端学完angularjs，java就上来了。
　　看你就业目标是什么了如果是游戏公司，可以考虑c#如果是互联网公司，特别是it公司，java是首选python也有，但是python可以跨平台，java的话很困难如果说未来是工业互联网的时代，那么就是将来的下一代语言python，python可以做数据分析，但是中小企业没有那么大的数据量，如果数据量不大的情况下，很少有公司会用python做这个工作，所以python是下一代语言。 查看全部

　　搜索引擎优化高级编程（python）：用于创建爬虫和连接
　　搜索引擎优化高级编程（python）：用于创建爬虫和连接，但不需要执行非python的代码。该编程是单独使用的：从solomorph到postgis，再到nodejs，甚至nul.js。用于寻找、比较、修改、合并和维护数据，并对改进的结果生成定期报告，并包括交易日志。以下是本书介绍的内容：·基础知识介绍：·python编程语言：从基础概念开始·使用工具和工具：·中级课程·tornado框架：·requests库和请求服务器：·分步处理。
　　python是通用编程语言，用于开发软件，以及许多服务（如apache、apachestreaming）。在嵌入式应用程序方面，apache在众多语言中脱颖而出，因为它简单、易于移植。python本身与通用编程语言有一些不同，例如它可以构建具有许多不同目标的系统。在这里，我们将设计一个任务驱动框架，基于更简单的api构建，而不是那些在复杂的实际应用程序中广泛使用的语言。
　　非python编程师可以使用非python编程工具如jquery、d3、iromo等。simplify是一个tag和编程语言转换工具。此外，oi-python可在编程过程中使用python，但python与python的替代品如socket编程等在功能和性能上也有差距。我将分享python编程学习和python-scientific方面的建议，最后使用python-scientific构建oracle+hive开发计划。
　　完整的python教程需要在github上获取，或直接在本文的文章末尾获取。python可以编写一些难以读懂和难以维护的程序，但是，你不应当专注于此，因为它们可以变得更快，更好，更有用。下载本书的文件，使用mac电脑，右键这个文件，然后选择copy此文件夹。这是mac上macosos的的office2016操作系统的下载地址。学习电子版pdf预览：-week1-thesis-1.1rc-ms提取码:cfpz。 查看全部

　　七月编程语言榜：C语言，YYDS！
　　如果想让程序员之间吵起来，怎么办呢？
　　很简单，你只需要大喊一声：”PHP是最好的语言！“
　　但是感觉网上那些语言争论和鄙视链完全没必要，做底层的看不起应用层的，做后台的看不起前端，做算法的看不起纯开发......
　　其实没有一种编程语言能胜任所有领域，软件开发也没银弹。
　　比如操作系统、数据库、Web 服务器、驱动、高频交易、游戏、搜索引擎等场景则是 C/C++ 更加适合。
　　而机器学习、数据分析、爬虫等则 Python 更加适合。
　　后台业务开发、大数据开发等则是 Java、Go 、PHP等语言的天下。
　　前端开发则是 JavaScript 。
　　从 TIOBE 编程语言榜单可以看到，C、Python、Java、C++ 基本上是稳居前四名，尤其是 C ，作为偏底层的语言还能常年稳居前三，可见其影响力：
　　
　　我们可以对不同的编程语言进行不同维度的分类，比如通过执行方式来划分：
　　我们可以分为：
　　1、汇编执行型
　　这种方式一般指汇编语言，汇编语言（assembly）的源文件由汇编器（assembler）转换为 CPU 可直接执行的二进制程序文件，并且多个二进制文件通过链接器(linker)，链接为一个二进制程序。
　　当然，现在大多数人可能都不会再学习汇编了，这玩意吃力不讨好，但是我还是建议有时间的话可以学一下汇编。
　　倒不是说汇编多底层多多牛逼，主要是汇编其实是离计算机最近的一种语言，学汇编有助于让我们理解计算机执行的方式，比如各种指令其实就是对应计算机在存储、计算的特征。
　　另外就是，不管 C/C++ 还是 Java 等语言，出问题了可能都要单步调试，就算是 Java 这种虚拟机型的语言也有类似汇编的指令集，遇到程序崩溃的时候也许查看汇编代码，一步步 debug 汇编是你唯一的选择。
　　2、编译汇编执行型
　　对于现在很多高级语言来说是这种方式，比如 C、C++、Go、Rust 等。
　　他们的源文件一般由编译器（compiler）先编译为汇编指令，再由汇编器生成 CPU 可直接执行的二进制程序文件。
　　当然我们有时候也将编译、汇编整个过程合并说为：编译。
　　但是一般这里的编译又分为前端和后端，前端是指通过语法分析、语义分析生成中间代码的过程。
　　语法分析就是解析 Token（符号）并且建立抽象语法树（AST) 的过程，本质上编程语言执行过程，就是遍历这颗语法树的过程。
　　
　　比如对于这段代码:
　　var a = 42;<br />var b = 5;<br />function addA(d) {<br />    return a + d;<br />}<br />var c = addA(2) + b;<br />
　　生成的语法树如下：
　　
　　当然了，现在编译器不特殊指定的情况下，一般不会把编译出来的汇编指令输出到文件，在内存中直接交给内置的汇编器进行处理，所以我们会看到这些编程语言的编译器直接就输出一个可执行的程序文件。
　　比如
　　gcc hello.c<br />
　　就会直接输出 a.out 可执行文件，但是如果你想看到编译、汇编这个过程的话，可以这样：
　　gcc -s hello.c -o hello.s<br />
　　它会在当前目录生成 hello.s 汇编文件，
　　汇编过程则将上一步的汇编代码转换成机器码，这一步产生的文件叫做目标文件，是二进制格式。
　　编译的命令为：
　　gcc -c hello.s -o hello.o<br />
　　接下来我们还需要链接才能成为可执行文件，链接过程使用链接器将该目标文件与其他目标文件、库文件、启动文件等链接起来生成可执行文件。
　　附加的目标文件包括静态连接库和动态连接库，包括我们常见的 stdlib、stdio 等库。
　　链接过程的命令为：
　　gcc hello.o -o hello<br />
　　基于 AST 我们甚至可以做到语言间转化，也就是从一门编程语言转化为另外一门语言。
　　3.编译解释执行型
　　这种对于 Java、Scala 等编译型虚拟机语言比较常见，通常是由 Java 编译器编译为 class 文件（字节码文件），我们可以把 class 文件和 C 语言编译后的二进制格式文件类比，只不过各自语法不同罢了。
　　class 文件由 Java 虚拟机（Java virtual machine ，简称 JVM）解释执行。
　　C#、VB 等语言则由其编译器编译为二进制的 exe 或 dll（动态链接库） 文件，由 .net 运行时（runtime）程序解释执行。
　　显然这类语言没有编译汇编型高效，因为需要去解释执行，这个过程是逐条翻译、效率相对低下。
　　但是 JVM 为了解决这个问题引入了 JIT（Just In Time），简单来说就是：
　　首先我们的 Java 代码由 javac 等编译器 编译为JVM 可执行的字节码（ByteCode），然后JVM 会判断这段代码是否为热点代码，如果是那么使用 JIT 技术，如果不是那么解释执行，最后变成机器码，由操作系统分配然后 CPU 具体执行：
　　
　　4. 解释执行型
　　解释执行型语言通常又被称为脚本（script）语言。
　　典型的比如 shell、Powershell、JavaScript、Python、PHP、Ruby 等。
　　它们的源文件由相应的运行时程序直接读取并解释执行。
　　当然了，到底是编译执行还是解释执行其实不是编程语言本身的特点，比如你要是愿意也可以写个解释器去解释执行 C 语言。
　　也可以写个编译器去编译脚本语言，比如谷歌的 V8 执行 JS 高效的一个重要原因就是会类似 JVM 一样，对热点代码进行标记为HotSpot，然后将其编译为更高效的机器码，下次执行到的时候直接使用机器码代替字节码执行。
　　5、编译转换、解释执行型语言
　　这种其实和上面几种差别不大，就是多了一个编译转化的过程，比如 TypeScript、JSX、CoffeeScript 等语言通常是先由编译转换程序转换为 JavaScript，再由 JavaScript 运行时解释执行。
　　因为浏览器引擎、NodeJS 等环境只能执行 JavaScript，所以 TS、CS 等语言就只能先通过编译器转化为 JS。
　　现在有很多成熟的工具都能提供这样的能力，可以去试下，比如将源语言先编译为 AST，将语法树输出为 XML 格式，再转化为 目标语言。
　　已经有可用的了，GCC-XML：
　　6、执行效率
　　很显然，编译得越彻底的语言执行起来越高效，比如 C、C++ 这类都是直接编译为了二进制，是 CPU 可以直接识别、执行的指令。
　　而 Java 则是编译为 class 格式文件，由虚拟机在运行时将其转化为不同平台上的 CPU 指令执行，不需要再对源代码进行语法分析、词法分析等过程，会比解释执行型的脚本效率要高很多。
　　但是编译、解释执行型语言在执行时又比汇编 / 编译执行型语言多一个将虚拟机指令转换为 CPU 指令的过程，所以它们运行效率通常又比汇编 / 编译执行型语言的低。
　　因此，在对执行效率要求高的场景（例如高频交易、数据库、搜索引擎），通常不采用解释执行型语言，而是采用编译执行型语言来开发。
　　尤其是高频交易，它们为了提升一点点延时，做了极致的优化，甚至会尽可能的利用编译器完成计算（C++模板元编程）：
　　尽量避免系统调用（例如做内核旁路）；
　　2）尽量避免运行时动态内存分配；
　　3）会自己做超低延时的通讯协议；
　　4）会做大量的 benchmark以及特定场景的优化；
　　5）会尽量在编译期解决问题（模板元编程），少用多态；
　　7、系统级编程语言
　　我个人对系统编程比较感兴趣，而以前系统编程基本上就是 C/C++ 编程，所有的系统级软件几乎毫无例外都是 C/C++ 编写。
　　因为编译解释型语言或者脚本语言的运行效率不如编译执行型语言，而且需要虚拟机或者解释器才能运行，因此在操作系统或者驱动程序的编程中通常使用的是编译执行型的语言。
　　前两天我推荐了一门系统语言：Rust。
　　因为 Rust 优点很多，比如 足够底层、极高的内存利用率、高性能、可靠性，Rust 本身设计机制和所有权模型就能保证内存安全和线程安全，尽可能把错误在编译期暴露出来了。
　　总的来说，Rust 是一门可靠的系统编程语言，拥有 C++ 一样的高性能、底层和抽象层次，但是又比 C++ 安全。
　　在系统编程之下就是更加底层的场景，比如和 CPU 架构密切相关的地方，例如操作系统的内存管理模块的设置页表地址的程序，或者需要使用 CPU 的 IO / 中断等指令的时候，基本上只能使用汇编语言。
　　或者是 C 语言 + 内联汇编等。
　　8、到底学什么语言呢？
　　说了这么多，那么到底学什么语言呢？
　　说实话当你入门之后，我觉得这个问题就不是问题了，因为你需要用到什么语言就去学什么，而且基本上都会很快学会。
　　但是入门的话， Python、C 都可以，如果是非科班的我觉得先学 Python 比较好，Python上手快、简单一些，先用 Python 养成编程思维、喜欢上编程，再去学其它的。
　　当然科班的依然可以先学 Python，并且国外不少高校第一门语言现在比较喜欢教 Python、Schema 这类。
　　但是我个人更建议科班大一的同学可以先学 C，先把难啃的啃下来，之后学其它语言就很快了。
　　入门之后，我个人建议的配置是：
　　1-2 门编译执行型 + 1-2 门解释执行型 + 1 门函数式编程语言。
　　比如 C/C++ + Python + Haskell
　　或者 Java + Python、Shell + Haskell、Erlang 等
　　这样可以让我们学习掌握多种编程范式，尤其是函数式编程语言，和我们常规的编程思维截然不同。
　　好了，这期就到这里吧，下期我们再来从其它维度来看编程语言，以及各种编程语言的适合领域和就业前景~
　　 查看全部

　　有赞搜索引擎实践（工程篇）
　　随着互联网数据规模的爆炸式增长, 如何从海量的历史, 实时数据中快速获取有用的信息, 变得越来越有挑战性. 一个中等的电商平台, 每天都要产生百万条原始数据, 上亿条用户行为数据. 一般来说, 电商数据一般有3种主要类型的数据系统:
　　关系型数据库, 大多数互联网公司会选用mysql作为关数据库的主选, 用于存储商品, 用户信息等数据. 关系型数据库对于事务性非常高的OLTP操作(比如订单, 结算等)支持良好.
　　hadoop生态, hadoop是数据仓库主要的载体, 除了备份关系型数据库的所有版本, 还存储用户行为, 点击, 曝光, 互动等海量日志数据, hadoop对于数据分析, 数据挖掘等OLAP支持比关系型数据库更加具有扩展性和稳定性.
　　搜索引擎, 以elasticsearch和solr为代表. 搜索引擎是获取信息最高效的途径, 几乎成为各类网站, 应用的基础标配设施(地位仅次于数据库).
　　目前搜索引擎技术已经有非常成熟的开源解决方案, 最出名的ElasticSearch和Solr都是基于lucence的. 很多中小型互联网公司搜索引擎都是基于这两个开源系统搭建的, 但是即便如此, 一个搜索引擎团队想把搜索引擎质量做到商用标准, 从系统熟悉, 服务搭建, 功能定制, 通常需要花费较长时间. 通用搜索引擎应用在互联网商用搜索通常会遇到如下几个问题:
　　搜索引擎与公司现有数据系统的集成. mysql 和 hadoop是电商的两个主要数据载体, 搜索引擎在全量和增量建索引过程中必须和mysql或hadoop无缝集成, 才能发挥搜索引擎自身的实时性, 水平扩展性(性能与容量和机器数量成正比)等优势.
　　商用搜索高度定制化与通用搜索引擎的矛盾. 商用搜索的问题有时候超越了搜索引擎本身解决的范围, 比如商品的去重, 店铺的去重需要很专业的搜索引擎使用技巧; 商品的权重, 用户意图的识别需要算法和模型的支持.
　　在不了解搜索引擎专业知识的前提下, 很难创建对性能友好的索引. 结果造成了通用搜索性能很差的假象.
　　笔者是有赞大数据架构师, 从自身的搜索实践出发, 分享搜索引擎实际的架构和解决的问题.
　　有赞搜索引擎实践分2篇, 第一篇是工程篇, 主要介绍搜索引擎的架构和性能优化方面的经验; 第二篇是算法篇, 介绍有赞实际需要的搜索算法的问题和解决方案. 文章仅仅介绍一个中型电商公司实际的使用现状和笔者个人的经验, 不代表搜索引擎最佳实践方法, 也不代表可以适用所有的场景. 如果读者有问题可以和笔者联系, 共同探讨.
　　1. 技术架构
　　有赞搜索引擎基于分布式实时引擎elasticsearch(ES). ES构建在开源社区最稳定成熟的索引库lucence上, 支持多用户租用, 高可用, 可水平扩展; 并有自动容错和自动伸缩的机制. 我们同事还实现了es与mysql和hadoop的无缝集成; 我们自主开发了高级搜索模块提供灵活的相关性计算框架等功能.
　　
　　2. 索引构建
　　互联网索引的特点是实时性高, 数据量大. 时效性要求用户和客户的各种行为能够第一时间进入索引; 数据量大要求一个有效分布式方案可以在常数时间内创建不断增长的TB数量级索引.
　　实时索引我们采用面向队列的架构, 数据首先写入DB(或文件), 然后通过数据库同步机制将数据流写入kafka队列. 这种同步机制和数据库主从同步的原理相同, 主要的开源产品有mypipe和阿里推出的canal. es通过订阅相应的topic实现实时建立索引.
　　如果数据源是文件, 则使用flume实时写入Kafka.
　　另外一个索引问题是全量索引. 有如下几个场景让全量索引是一个必要过程: 1. 实时更新有可能会丢数据, 每次很少的丢失时间长了降低搜索引擎的质量. 周期性的全量更新是解决这个问题的最直接的方法;
　　2. 即使能够保证实时更新, 业务的发展有可能有重新建索引的需求(比如增加字段, 修改属性, 修改分词算法等).
　　3. 很多搜索引擎是在业务开始后很久才搭建的, 冷启动必须全量创建索引.
　　我们采用Hadoop-es利用hadoop分布式的特性来创建索引. hadoop-es让分布式索引对用户透明, 就像单机更新索引一样. 一个是分布式的数据平台, 一个是分布式搜索引擎, 如果能把这两个结合就能够实现分布式的全量索引过程. Hadoop-es正式我们想要的工具.
　　
　　我们给出一个通过Hive sql创建索引的例子:
　　drop table search.goods_index;
CREATE EXTERNAL TABLE search.goods_index (
is_virtual int,
created_time string,
update_time string,
title string,
tag_ids array
) STORED BY &#39;org.elasticsearch.hadoop.hive.EsStorageHandler&#39; TBLPROPERTIES (
&#39;es.batch.size.bytes&#39;=&#39;1mb&#39;,
&#39;es.batch.size.entries&#39;=&#39;0&#39;,
&#39;es.batch.write.refresh&#39;=&#39;false&#39;,
&#39;es.batch.write.retry.count&#39;=&#39;3&#39;,
&#39;es.mapping.id&#39;=&#39;id&#39;,
&#39;es.write.operation&#39;=&#39;index&#39;,
&#39;es.nodes&#39;=&#39;192.168.1.10:9200&#39;,
&#39;es.resource&#39;=&#39;goods/goods&#39;);
　　系统把es映射成hive的一个外部表, 更新索引就像是写入一个hive表一样. 实际上所有分布式问题都被系统透明了.
　　不建议从数据库或文件系统来全量索引. 一方面这会对业务系统造成很大的压力, 另一方面因为数据库和文件系统都不是真正分布式系统, 自己写程序保证全量索引的水平扩展性很容易出问题, 也没有必要这么做.
　　全量索引和增量索引的架构如下图所示. 另外一点是hadoop也是订阅kafka备份数据库和日志的. 我个人建议一个公司所有DB和文件都存储在hadoop上, 这样做起码有2个好处: 1. hadoop上使用hive或者spark创建的数据仓库为大数据提供统一的操作接口.
　　2. hadoop数据相对于线上更加稳定, 可以作为数据恢复的最后一个防线.
　　数据仓库的话题不在本篇文章的讨论范围, 这里只是简单提一下.
　　
　　为什么我们选择Kafka? Kafka 是一个以高吞吐著名的消息系统. Kafka开启了日志合并(log compaction)功能后, 可以永久保存每条消息. 每一条消息都有一个key, 正好对应数据库的主键, kafka始终保存一个key最新的一条消息, 历史版本会被垃圾回收掉. 有了这个特性, kafka不仅可以保存数据库最新的快照, 而且可以实现实时更新的消息系统. 第一次同步的时候, 数据表中每行记录都转化成以主键为key的消息进入kafka, 并且可以被任意数量的broker消费. 之后数据库的每次更新(insert, updated, delete)都会被转化成kafka的消息. 如果一行记录频繁被更改, kafka会识别这些重复的消息, 把旧的消息回收掉.
　　Kafka既保存数据库最新的全量数据, 又提供实时数据流的这个特性为架构的可维护性提供极大便捷. 如果你想从零扫描整个数据库, 你只需要从开始消费这个kafka的topic即可完成, 当读到topic末端, 自动获得实时更新的特性.
　　Kakfa的另一个特性是支持从任意断点读取数据, 比如我们全量索引是从HDFS中读取, 我们可以根据HDFS保存的数据的最后一条的时间戳, 直接切换到Kafka读取之后的数据.
　　3. 高级搜索: 超越ES功能限制
　　高级搜索模块(AS)在商业搜索引擎起到至关重要的作用. 在各大商业搜索引擎公司里面AS已经成为标配, 也是变更最为频繁的模块.
　　AS在商业搜索引擎中主要起到如下作用:
　　1. 反向代理, 实现基于分片的分布式搜索(实际上es有这个功能); 提供必要的容灾支持
　　2. 提供插件化的相关性计算框架
　　3. 提供丰富的相关性库, 比如query分析库, query改写库, 排序库, 过滤库等.
　　4. 管理不同的搜索业务
　　
　　AS一个主要的功能是通过一个个业务插件来代表相应的搜索. 一个最简单的插件只需要包含对应的ES search API, 它实际上就是一个配置项, 说明es的地址. 这样AS就是一个纯代理. 但是商业搜索的需求都是不是ES本身能够支持的, 所以就需要根据需求写相应的Query rewriter, rerank等算法插件. 这样就实现了框架和业务分离, AS具有极强的扩展性和复用性.
　　AS另一个功能是提供通用算法库, 实际上它只为每种算法提供编程框架. 算法也是通过插件的方式加入算法库的. 这种方法可以让算法工程师抽象公共算法库供业务方使用, 避免重新造轮子. 一个具体业务要么使用已经存在的算法(并修改参数), 要么自己实现算法.
　　
　　上图是一个实例. 商品搜索和分销搜索各自实现一个rerank的的算法, 同时都调用了系统提供的rerank1的算法库, 并加入了自己特有的逻辑.
　　AS除了基本proxy功能外, 还提供基于query的cache功能用于应用级别的缓存. 内部有一个缓冲队列, 防止出现雪崩现象. 下一节性能优化中会详细说明.
　　4. ES性能优化
　　下面几个小结, 我们写了几个我们遇到的性能优化场景.
　　4.1 使用应用级队列防止雪崩
　　ES一个问题是在高峰期时候极容易发生雪崩. ES有健全的线程池系统来保证并发与稳定性问题. 但是在流量突变的情况下(比如双十一秒杀)还是很容易发生瘫痪的现象, 主要的原因如下:
　　ES几乎为每类操作配置一个线程池; 只能保证每个线程池的资源使用时合理的, 当2个以上的线程池竞争资源时容易造成资源响应不过来.
　　ES没有考虑网络负载导致稳定的问题.
　　在AS里我们实现了面向请求的全局队列来保证稳定性. 它主要做了3件事情.
　　
　　根据业务把请求分成一个个slide, 每个slide对应一个队列. 默认一个应用就是一个slide, 一个应用也可以区分不同的slide, 这样可以保护一个应用内重要的查询.
　　每个队列配置一个队列长度, 默认为50.
　　每个队列计算这个队列的平均响应时间. 当队列平均响应时间超过200ms, 停止工作1s, 如果请求溢出就写入溢出日志留数据恢复使用. 如果连续10次队列平均响应时间超过500ms就报警, 以便工程师第一时间处理.
　　4.2 自动降级
　　应用级队列解决雪崩问题有点粗暴, 如果一个应用本身查询就非常慢, 很容易让一个应用持续超时很久. 我们根据搜索引擎的特点编写了自动降级功能.
　　比如商品搜索的例子, 商品搜索最基本的功能是布尔查询, 但是还需要按照相关性分数和质量度排序等功能, 甚至还有个性化需求. 完成简单的布尔查询, ES使用bitsets操作就可以做到, 但是如果如果需要相关性分, 就必须使用倒排索引, 并有大量CPU消耗来计算分数. ES的bitsets比倒排索引快50倍左右.
　　对于有降级方案的slide, AS在队列响应过慢时候直接使用降级query代替正常query. 这种方法让我们在不扩容的情况下成功度过了双十一的流量陡增.
　　4.3 善用filtered query
　　理解lucence filter工作原理对于写出高性能查询语句至关重要. 许多搜索性能优化都和filter的使用有关. filter使用bitsets进行布尔运算, quey使用倒排索引进行计算, 这是filter比query快的原因. bitsets的优势主要体现在: 1. bitsetcache在内存里面, 永不消失(除非被LRU).
　　2. bitsets利用CPU原生支持的位运算操作, 比倒排索引快个数量级
　　3. 多个bitsets的与运算也是非常的快(一个64位CPU可以同时计算64个DOC的与运算)
　　4. bitsets 在内存的存储是独立于query的, 有很强的复用性
　　5. 如果一个bitset片段全是0, 计算会自动跳过这些片段, 让bitsets在数据稀疏情况下同样表现优于倒排索引.
　　举个例子:
　　query:bool:
tag:&#39;mac&#39;
region:&#39;beijing&#39;
title: "apple"
　　lucence处理这个query的方式是在倒排索引中寻找这三个term的倒排链 ,并使用跳指针技术求交, 在运算过程中需要对每个doc进行算分. 实际上tag和region对于算分并没有作用, 他们充当是过滤器的作用.
　　这就是过滤器使用场景, 它只存储存在和不存在两种状态. 如果我们把tag和region使用bitsets进行存储, 这样这两个过滤器可以一直都被缓存在内存里面, 这样会快很多. 另外tag和region之间的求交非常迅速, 因为64位机器可以时间一个CPU周期同时处理64个doc的位运算.
　　一个lucence金科玉律是: 能用filter就用filter, 除非必须使用query(当且仅当你需要算分的时候).
　　正确的写法为:
　　query:
filtered:
query:
title: "apple"
filter:
tag:"mac"
region:"beijing"
　　lucence的filtered query会智能的先计算filter语句, 然后才计算query语句, 尽可能在进行复杂的倒排算法前减少计算空间.
　　4.3 其他性能优化
　　线上集群关闭分片自动均衡. 分片的自动均衡主要目的防止更新造成各个分片数据分布不均匀. 但是如果线上一个节点挂掉后, 很容易触发自动均衡, 一时间集群内部的数据移动占用所有带宽. 建议采用闲时定时均衡策略来保证数据的均匀.
　　尽可能延长refresh时间间隔. 为了确保实时索引es索引刷新时间间隔默认为1秒, 索引刷新会导致查询性能受影响, 在确保业务时效性保证的基础上可以适当延长refresh时间间隔保证查询的性能.
　　除非有必要把all字段去掉. 索引默认除了索引每个字段外, 还有额外创建一个all的字段, 保存所有文本, 去掉这个字段可以把索引大小降低50%.
　　创建索引时候, 尽可能把查询比较慢的索引和快的索引物理分离.
　　5. 小结
　　本文介绍了有赞搜索引擎的架构, 重点对索引创建机制, 高级搜索模块的功能做了阐述, 最后列举了几个常见的性能优化的场景. 本文对es本身的优化写的不多, 因为es官网和其他的博客有很多es优化的意见, 本文就不在一一枚举. 本文的主要目的是能够对搭建商用电商搜索引擎给读者一个一般性的建议. 另外, 困扰商用搜索引擎的最常见的问题是排序和算法问题, 如果读者有兴趣可以关注笔者另一篇文章"有赞搜索引擎实践(算法篇)".
　　如无特殊说明，本文版权归本文作者及有赞技术团队所有，采用署名-非商业性使用 4.0 国际许可协议进行许可。 查看全部

　　技术百科全书，细说 MongoDB 发家历史！
　　技术百科全书，细说 MongoDB 发家历史！
　　本文翻译自：。
　　说到现代 Web 应用程序开发，不得不提到 MongoDB。如果你是一名全栈程序员，每天都会跟 MERN 打交道，其中 M 指的就是 MongoDB。MongoDB 开源社区版为大量的 Web 应用程序提供支持。从 2007 年开始，MongoDB 走过了漫长的道路。它是 MongoDB 公司的主要产品，这家公司市值已经超过 100 亿美元。与很多产品一样，在线广告是推动 MongoDB 愿景和发展的关键催化剂。MongoDB 的故事很有趣，在本文中，我将带你一起探索 MongoDB 的发展之旅。
　　mern 堆栈由 Mongodb、Express、React/Redux 和 Node.js，javaScript 技术栈。
　　开端：大型数据库想法的萌芽
　　MongoDB 的故事开始于 2007 年。1995 年，Dwight Merriman 和 Kevin O'Connor 创办了著名的在线广告公司 DoubleClick。不久后，Kevin Ryan 也加入了这个团队 (Dwight 和 Kevin 后来共同创办了 5 家公司——Gilt、10gen、Panther Express、ShopWiki和Business Insider)。DoubleClick 很快就大获成功，几年之内，它的广告流量达到了每秒 40 万条。当时的关系型数据库技术还没有预料到会有如此大规模的流量。配备如此规模的关系数据库需要大量的资金和硬件资源。因此，Dwight(他是当时的 CTO) 和他的团队开发了自定义数据库实现来扩展 DoubleClick，以应对流量的激增。
　　
　　MongoDB的萌芽
　　2003 年，Eliot Horowitz 在大学毕业之后加入 DoubleClick 的研发部门，成为一名软件工程师。两年后，他离开了 DoubleClick，和 Dwight 一起创办了 ShopWiki。他们都意识到，他们在一次又一次地解决同样的水平伸缩性问题。因此，2007 年，Dwight、Eliot 和 Kevin Ryan 一起创办了一家叫作 10gen 的新公司。10gen 专注于提供一个带有自有应用程序和数据库栈的 PaaS 托管解决方案。10gen 很快引起了风险投资人 Albert Wenger(Union Square Ventures) 的注意，他向 10gen 投资了 150 万美元。以下是 Albert Wenger 在 2008 年写的有关 10gen 投资的文字：
　　❝
　　今天，我们很高兴地宣布，我们将为一支特立独行的团队提供支持，也就是 10gen 的一班天才们。他们汇聚了构建互联网规模系统的经验，比如 DART、Panther Express CDN，广泛参与了开源活动，包括 Apache 软件基金会。他们正在为云计算构建一个开源技术栈，包括一个应用服务器和一个数据库，它们都是基于现代硬件能力和构建 Web 站点或服务的经验从头开始开发的。应用服务器最初支持服务器端 Java 和 Ruby(实验性的)。数据库采用了一种有趣的设计来存储对象，这种设计在快速随机访问和高效的集合扫描之间做出了平衡。
　　❞
　　Albert 所说的“采用了有趣的设计的数据库”实际上指的就是 MongoDB。从 2007 年到 2009 年，这个新数据库迅速发展。Dwight 第一次提交的 MongoDB 代码可以在这里看到。。
　　MongoDB 的核心引擎是用 C++ 开发的。之所以把这个数据库叫作 MongoDB，是因为他们想用它来为一些典型的应用场景 (如内容服务) 提供海量数据的存储服务。最初，这个团队只有 4 名工程师 (包括 Dwight 和 Eliot)，并只专注于 MongoDB 数据库。他们的商业理念是通过开源免费下载的方式来发布数据库，并在这个基础上提供商业支持和培训服务。
　　MongoDB 1.0 于 2009 年 2 月发布。最初的版本提供了一种具有文档模型、索引和基本复制功能的查询语言，还提供了实验版的分片功能，但生产版本的分片集群功能在一年后发布的 1.6 版本中才有。
　　以下是 Dwight 对于“Mongo 是否适用于高度可伸缩系统”的问题的回答：
　　❝
　　在水平伸缩方面，可以使用自动分片功能来构建大型的 MongoDB 集群。现在是 alpha 版，但如果你的项目才刚刚启动，那么当你需要它的时候，它可能已经生产就绪了。
　　❞Mongodb 早期的设计哲学
　　在早期，MongoDB 的基本设计原则如下：
　　在 2011 年的一次“NoSQL 以及为什么我们要开发 MongoDB”的 ZendCon 演讲中，Dwight 详细介绍了这些原则。大约在 42 分钟的时候，还出现了一个有关复制和分片之间区别的讨论。随着代码的成熟和 MongoDB 成为主流，这些原则当中有很多都被明显淡化了。最新的 MongoDB（从 4.2 开始）可以在一定程度上支持连接，甚至是支持分布式事务！
　　什么是mongodb
　　MongoDB 是一个基于文档的 NoSQL 数据库。它可以在所有主流平台上运行 (Windows、Linux、Mac)，并且可以免费下载它的开源版本。MongoDB 将数据实体存储在集合中，存储的每一个数据块都是 JSON 格式。例如，如果一个用户提交了一个在线订单，该订单的全部细节 (订单号、订单项、收获地址等) 将保存在一个 JSON 文档中，然后将其保存到“customer_order”集合中。
　　MongoDB 还附带了一个控制台客户端，这是一个功能齐全的 Java 环境，你可以用它添加、删除、编辑或查询数据库中的文档数据。
　　MongoDB架构
　　1、下面是 MongoDB 服务器主要组件的架构视图：
　　
　　MongoDB 主要组件的架构视图
　　MongoDB 的美妙之处在于它的开源免费社区版为你提供了这些能力：
　　下面的这些图表演示了各种运行 MongoDB 实例的方式。
　　单服务器/容错设置
　　对于小型应用程序，单台服务器就足以满足频繁的数据备份需求了。如果需要容错，可以使用副本集。在容错配置中，通常有 3 个或更多的 MongoDB 实例。这些实例当中只有一个作为主实例，如果它发生故障，其他两个辅助实例中的一个将成为主实例。这些实例中的数据都是一样的。
　　
　　单服务器/容错设置具有水平伸缩能力的分片集群
　　对于同时要求具备水平伸缩能力和容错能力的大型数据库，需要使用 MongoDB 分片集群。从下图可以看出，一个容错分片集群推荐的最小机器数量是 14 台！每一个容错副本集只处理数据的一个子集，数据分区是由 MongoDB 引擎自动完成的。
　　
　　具有水平伸缩能力的分片集群
　　在下载最新版本的 MongoDB(4.4) 并解压缩之后，你会发现它只包含以下三个主要文件：
　　
　　MongoDB
　　在 Mac 上，这 3 个可执行文件的总大小约为 150MB。对于任意类型的 MongoDB 部署，都只需要这几个组件！在一个软件膨胀的世界里，这是一种很受欢迎的变革！这种简单和优雅让 MongoDB 变得强大而可靠。
　　MongoDB的演化史
　　到了 2013 年，10gen 拥有 250 多名员工和 1000 多名客户。为了挖掘商业潜力，10gen 更名为 MongoDB 公司，专注于数据库产品。MongoDB 2.4 版本 (2013 年 3 月) 在 Mongo Shell 中引入了文本搜索和谷歌的 V8 JS 引擎等增强功能。除了 2.4 之外，还发布了 MongoDB 企业版，提供了监控和安全集成等附加功能。
　　
　　MongoDB 早期版本的一个主要问题是它用来保存和管理磁盘数据的存储引擎相对较弱。
　　于是，MongoDB 公司进行了第一笔收购，收购了 WiredTiger 公司。这家公司有超级稳定的存储引擎产品 WiredTiger。
　　MongoDB 拿下了这家公司的开发团队和产品，以及首席架构师 Michael Cahill(也是 Berkeley DB 的架构师之一)，让他担任存储工程总监一职。WiredTiger 是一个高效的存储引擎，使用了各种编程技术，如风险指针（hazard pointer）、无锁算法、快速锁存（fast latch）和消息传递，与其他引擎相比，WiredTiger 可以在每个 CPU 内核上执行更多的任务。为了最小化磁盘开销和 I/O，WiredTiger 使用了紧凑的文件格式和压缩（可选）。
　　MongoDB 的下一个主要版本是 3.0(2015 年 3 月)，其中包含了新的 WiredTiger 存储引擎、可插拔存储引擎 API、增加了 50 个副本集限制和安全改进。同年，Glassdoor 将 MongoDB 公司列为最佳的雇主之一。同年晚些时候又发布了 3.2 版本，支持文档验证、部分索引和一些主要的聚合增强。
　　2017 年，微软发布了多模型 NoSQL 数据库服务 CosmosDB，作为微软 Azure 云平台的一部分。它提供了与 MongoDB 3.2 的协议兼容性，针对 MongoDB 3.2 的查询也可以在 CosmosDB 上运行，这加快了开发人员采用 CosmosDB 的速度。
　　截止 2016 年，MongoDB 公司拥有 500 多名员工，数据库的下载量超过 2000 万次。2017 年 10 月，MongoDB 公司上市，市值超过 10 亿美元。
　　MongoDB 3.6 在一个月后 (2017 年 11 月) 发布，为多集合连接查询、变更流和使用 JSON 模式进行文档验证提供了更好的支持。MongoDB 3.6 是微软 Azure CosmosDB 截至 2020 年 8 月能够支持的最新版本。
　　
　　2018 年，MongoDB 公司斥资 6800 万美元收购了 mLab，这是 MongoDB 公司的第二笔收购。当时，mLab 在云端提供 MongoDB 服务 (DBaaS)，并拥有大量的客户。云计算是未来，MongoDB 公司迅速收购并集成了 mLab，将其作为 MongoDB Atlas 云平台的一部分。然后，他们通过改变开源版本的许可条款来限制更多的 DBaaS 竞争者出现！
　　MongoDB 开源社区版和高级企业版都使用了相同的底层引擎。这意味着任何人都可以使用社区版，然后基于社区版提供付费的云服务。对于 MongoDB 公司来说，它们的云产品 MongoDB Atlas 就多了很多直接竞争者。因此，在 2018 年 10 月，MongoDB 公司将社区版的许可从 GNU AGPLv3 (AGPL) 更改为服务器端公共许可 (SSPL)。许可中有一个条款用来防止未来 SaaS 竞争对手使用 MongoDB 并提供他们自己的 SaaS 版本：
　　❝
　　如果您将本程序的功能或修改版本作为服务提供给第三方，必须将服务源代码通过网络下载的方式免费提供给所有人。
　　❞
　　这是一个由 MongoDB 公司自己提出的许可条款，并声称兼容 OSI。不过，该条款后来在开放源码计划 (OSI) 的审批过程中被撤回，不过开源版本的 MongoDB 仍然采用 SSPL 许可。
　　到了 2018 年，MongoDB 公司拥有 1000 多名员工。
　　下一个主要版本 MongoDB 4.0(2018 年 6 月) 提供了跨文档事务处理能力。
　　这是一个重要的里程碑，MongoDB 已经为高数据完整性需求做好了准备。
　　云生态系统在快速增长，不久后，MongoDB 公司意识到他们需要发展成一个成熟的云平台，而不只是提供数据库服务。
　　2019 年，MongoDB 公司进行了第三笔收购，以 3900 万美元收购了云计算移动数据库公司 Realm。有意思的是，MongoDB 最初也是一种 PaaS 托管解决方案，而 12 年之后，它又回到了同样的方向。
　　同年，MongoDB 公司发布了带有分布式事务支持的 MongoDB 4.2。
　　截至 2020 年 8 月，MongoDB 社区版版本是 4.4。
　　值得注意的是，MongoDB 数据库工具可以单独下载。
　　MongoDB 4.4 包含了一些主要的特性增强，比如多集合联合聚合、复合哈希分片键和对冲读（Hedged Read）/ 镜像读。
　　❝
　　MongoDB 企业版 (每个服务器每年的费用在 1 万美元左右) 提供了以下这些附加功能：
　　❞
　　内存存储引擎——适用于需要快速数据访问而不需要持久存储的场景。
　　审计——数据库管理员在部署时跟踪系统活动。
　　身份验证和授权——支持 Kerberos 身份验证和 LDAP 身份验证和授权。
　　加密——WiredTiger 引擎提供了一个原生加密选项。默认是 AES256，使用 OpenSSL。
　　❝
　　除了社区版，MongoDB 公司还提供了以下这些产品：
　　❞现在的MongoDB
　　截至 2020 年，MongoDB 的全球下载量达到了 1.1 亿次。MongoDB 公司目前有 2000 多名员工，有超过 18000 名付费客户，其中有很多客户同时使用 MongoDB Atlas 和 MongoDB 企业版。截至 2020 年 8 月，MongoDB 社区版版本是 4.4。大多数大公司在内部的一些场景中使用社区版。MongoDB 社区版仍然是开源的，除了一些关键特性外，它与 MongoDB 企业版差不多。
　　前方的路
　　由于在 SSPL 许可方面存在争议，开发者社区中有一些人对 MongoDB 生态系统持谨慎态度。
　　投资者还面临着围绕生态系统创收的压力。如果你把 2008 年版和 2020 年版的 MongoDB 主页放在一起看，这一点就显而易见 (见下图)。MongoDB 社区版下载页面实际上也列出了企业版中才有的特性！
　　
　　另外，MongoDB 公司还面临来自云供应商的激烈竞争。
　　MongoDB 公司面临的主要问题是数据存储只是企业应用程序的一部分，如果没有一个令人信服的全栈云服务，在未来可能很难与云供应商竞争。
　　Eliot Horowitz (MongoDB 的关键人物) 于 2020 年 7 月离开了公司。
　　尽管他还在担任顾问的角色，但 MongoDB 的产品仍存在一些风险，比如焦点被弱化、减少对免费社区版的支持或进一步修改许可条款。
　　写在最后
　　MongoDB 是一个围绕开源技术产品成功创办一家公司的完美案例，也是在产品生命周期中如何选择正确时机转向的绝佳例子。MongoDB 的简单性和较小的安装体积可以在不增加很多开销的情况下构建复杂的系统。我希望 MongoDB 公司在未来几年继续为社区版提供支持。
　　 查看全部

　　搜索引擎优化高级编程(MyIsam和InooDB两种引擎的区别适合哪种引擎？适合干什么)
　　前面我们了解了 MyIsam 和 InooDB 引擎的锁。下面我们就来说说这两种引擎的区别，分别适用于什么？
　　MyIsam 引擎适用于：
　　（不支持事务，也不支持外键，尤其是访问速度快，对事务完整性没有要求，或者基于SELECT和INSERT的应用基本可以用这个引擎建表）
　　其他信息说明：
　　1.选择密集表。MyISAM 存储引擎在筛选大量数据时速度非常快，这是它最突出的优势。
　　2.插入密集型表。MyISAM 的并发插入功能允许同时选择和插入数据。例如：MyISAM 存储引擎非常适合管理邮件或 Web 服务器日志数据。
　　InooDB 引擎适用于什么：
　　InnoDB 存储引擎通过提交、回滚和崩溃恢复功能提供事务安全。但与 MyISAM 存储引擎相比，InnoDB 写入效率较低，并且占用更多磁盘空间来保留数据和索引。
　　其他信息说明：
　　1.更新密集表。InnoDB 存储引擎特别适合处理多个并发更新请求。
　　2.事务。InnoDB 存储引擎是支持事务的标准 MySQL 存储引擎。
　　3.自动灾难恢复。与其他存储引擎不同，InnoDB 表可以自动从灾难中恢复。
　　4.外键约束。MySQL 中唯一支持外键的存储引擎是 InnoDB。
　　5.支持自动增加列AUTO_INCREMENT属性
　　mysql性能下降的原因？
　　从根本上说：缓慢的 SQL 执行要么是 CPU 计算复杂，要么是频繁的 IO 开销
　　1.先进入linux打top看看是不是内存不够，CPU满了，磁盘满了，还是其他硬件原因！这些排除了再去sql的原因！
　　2.假设上述原因真的排除了，那我们就找sql的原因
　　一般SQL性能慢的原因：
　　执行时间长或等待时间长
　　执行时间或查询时间长的原因有：
　　一种。查询语句写得不好（解释：各种子查询和各种join函数等，如果根本没有建立索引会导致索引失败或者运行很慢）
　　湾。索引失效 (
　　说明：已建立但未使用
　　指数分为单值指数和复合指数：
　　单值指数：
　　假设表中有100万条数据，我们从中查询一条。我们可以为名称字段创建索引。创建索引，也就是标记查询，会很快；
　　select * from users where name = '';
　　在这种情况下，我们可以为 name 字段创建索引：
　　//index 表示索引
　　//idx_users_name 索引名通常定义如下： idx前缀表示索引users的哪个表名是这个表的哪个字段，当然我们也可以改名，不过这样更规范
　　//on users(name) 表示表中的哪个字段被索引
　　create index idx_users_name on users(name);//关键词: 创建索引
　　复合指数：
　　假设我们现在要搜索两个字段
　　select * from users where name='' and password='';
　　经常有组合字段需要查询，此时我们可以创建组合索引
　　create index idx_users_namepassword on users(name,password);//关键词: 创建索引
　　这样，就创建了一个复合索引。当同时检查名称和密码时，将使用我们创建的复合索引。
　　)
　　C。关联的查询加入过多（
　　说明：设计缺陷或不可避免的要求
　　太多的表连接和嵌套的子查询会导致查询缓慢！
　　)
　　d。服务器调优和各种参数的配置（缓冲线程数等）
　　sql的执行顺序： sql的执行顺序：
　　用户手写的sql序列：
　　
　　SQL自己的内部执行顺序：
　　
　　
　　指数：
　　什么是索引？
　　MySQL官方定义索引：索引是帮助MySQL高效获取数据的数据结构
　　要点：索引是一种数据结构
　　索引的目的：提高查询效率，可以比作字典
　　排序的快速查找数据结构是索引！
　　索引两个函数：
　　搜索和排序意味着会影响where后面的条件搜索是否可以使用上层索引进行快速搜索，也会影响排序的顺序。
　　索引的优缺点：
　　
　　索引是一个删除、建立、建立和删除的过程。我们要根据用户的搜索习惯更新索引！它不是一个恒定的层。
　　索引的分类和创建：
　　一般建议创建复合索引。当然，这也取决于情况。如果一个字段被搜索的次数很多，而且频率很高，那么我们也可以为它创建一个单值索引；
　　（创建复合索引也是可行且有效的，但我们在搜索时只使用其中一个索引！）
　　一个表的索引数最多不超过 5 个。这是正常的做法！
　　
　　
　　什么时候适合建索引，什么时候不适合建索引：
　　
　　注意：
　　如果表中只有几万条记录，就不要创建索引，因为mysql数据库中的数据量还在咆哮！
　　如果一个字段有很多重复值，不要建索引，因为它没用！
　　mysql
　　本作品采用《CC协议》，转载须注明作者及本文链接
　　胡军 查看全部

　　搜索引擎优化高级编程(
标签中alt属性对SEO的作用包括哪些？-八维教育)
　　
　　搜索引擎seo重视的标签有哪些（seo网站标签有什么神奇用途）
　　SEO常用的代码标签主要有：
　　1、：代表网页的标题，出现在 HTML 文档的头部。它开始于，结束于，中间是页面标题。
　　2、：用于提供网页信息，出现在HTML文档的头部。标签中收录三个属性：字符集、关键字和描述。charset表示字符集，也叫encoding，是词和符号的总称；关键字用于设置网页的关键词，以便搜索引擎了解网页的主要内容，并在相应的搜索结果中显示该网页；escription，描述关于 网站 的信息。
　　3、：用于定义文档的标题，#可以用数字1-6代替。数字越小，等级越高。在标题的默认外观中，级别越高的标题会越大越突出，应用在正文部分。和标签非常适合突出重要的页面标题并提高 关键词 与页面的相关性。或者标签只在页面上出现一次；, , 和标签对SEO的影响不大，建议不要乱用；它们可以用在主页友好链接中，以减少友好链接对页面目标关键词的影响。
　　4、
　　：用于定义一个新段落，应用于正文部分，以
　　开始，
　　结束。
　　5、
　　：
　　用于换行，应用于身体部位，逐渐演变为
　　, 在要换行的文本之后。
　　6、：表示强调，意为加强语气，在浏览器中以粗体显示。标签对SEO的作用是突出页面内的关键词，提高关键词与页面的相关性。
　　7、
　　：
　　用于定义图像并通过相关属性设置图像，应用于身体部位。
　　seo标签中alt属性的作用包括让百度更好的识别图片信息，让图片有收录和排名，可以用来调整关键词的密度。
　　8、：也称为超链接标签，本质上是网页的一部分，允许同一个网站的网页之间，或不同网站@的网页之间建立联系的元素&gt;。
　　开始，结束。标签中的两个重要属性是目标属性和标题属性。target属性定义了链接的网页在哪里显示，可以是新窗口也可以是本窗口，target="_blank"是在新窗口中打开，target="_self"是在本窗口中显示。title 属性为链接添加描述性文本，提高 关键词 与页面的相关性，并调整 关键词 密度。
　　以下是标签的一些有用用途。
　　1.标题标签。在网页的 HTML 代码中，标签是定义最多的标题。
　　标签建议在整个页面中仅出现一次。- 可以定义标题，权重从大到大依次递减。除标签外，其他标签可以重复。
　　2. 内容标签。标签用于强调文本，浏览器通常以粗体显示标签的内容。
　　3. 正是标签的 alt 属性。在 网站 上，可以显示当用户将鼠标移到图像上时，浏览器会在文本框中显示描述性文本。
　　
　　搜索引擎seo重视的标签有哪些（seo网站标签有什么神奇用途）
　　众所周知，搜索引擎蜘蛛无法识别网页中的图片，但是当在图片代码后添加时，搜索引擎蜘蛛会在一定程度上识别图片，可以理解为对图片的解释，所以搜索引擎蜘蛛可以理解图片的含义。当然，在关键词这个级别，添加它可以增加整个页面的关键词密度。
　　4. nofollow 标签。nofollow 标签是 SEO 中非常重要的标签，它告诉搜索引擎蜘蛛“不要关注此页面上的链接或不要关注此特定链接”。它通常用于不在本站的 网站 链接。打个比方：一个页面可以看成一个桶，桶中的洞是相连的。水桶没有洞时，水桶能装下所有的水，而水桶洞太多时，水桶里的水会严重流失。在链接中添加nofollow标签是为了弥补。
　　
　　搜索引擎seo重视的标签有哪些（seo网站标签有什么神奇用途）
　　桶中的洞可防止搜索引擎蜘蛛跟踪和更改链接。在链接中加入nofollow可以集中页面权重，提高页面评分。 查看全部