网络数据采集（AngleSharp）-使用AngleSharp做html解析
　　 public static async Task GetHtmlSourceCodeAsync(string uri)<br /> {<br /> var httpClient = new HttpClient();<br /> try<br /> {<br /> var htmlSource = await httpClient.GetStringAsync(uri);<br /> return htmlSource;<br /> }<br /> catch (HttpRequestException e)<br /> {<br /> Console.ForegroundColor = ConsoleColor.Red;<br /> Console.WriteLine($"{nameof(HttpRequestException)}: {e.Message}");<br /> return null;<br /> }<br /> }
　　CSS是网络爬虫的福音, 下面这两个元素在页面中可能会出现很多次:
　　
　　
　　我们可以使用AngleSharp里面的QuerySelectorAll()方法把所有符合条件的元素都找出来, 返回到一个结果集合里.
　　 public static async Task FindGreenClassAsync()<br /> {<br /> const string url = "http://www.pythonscraping.com/ ... %3Bbr /> var html = await GetHtmlSourceCodeAsync(url);<br /> if (!string.IsNullOrWhiteSpace(html))<br /> {<br /> var parser = new HtmlParser();<br /> var document = await parser.ParseAsync(html);<br /> var nameList = document.QuerySelectorAll("span > .green");<br /><br /> Console.WriteLine("Green names are:");<br /> Console.ForegroundColor = ConsoleColor.Green;<br /> foreach (var item in nameList)<br /> {<br /> Console.WriteLine(item.TextContent);<br /> }<br /> }<br /> else<br /> {<br /> Console.WriteLine("No html source code returned.");<br /> }<br /> }
　　
　　非常简单, 和DOM的标准操作是一样的.
　　如果只需要元素的文字部分, 那么就是用其TextContent属性即可.
　　再看个例子
　　1. 找出页面中所有的h1, h2, h3, h4, h5, h6元素
　　2. 找出class为green或red的span元素.
　　 public static async Task FindByAttributeAsync()<br /> {<br /> const string url = "http://www.pythonscraping.com/ ... %3Bbr /> var html = await GetHtmlSourceCodeAsync(url);<br /> if (!string.IsNullOrWhiteSpace(html))<br /> {<br /> var parser = new HtmlParser();<br /> var document = await parser.ParseAsync(html);<br /><br /> var headers = document.QuerySelectorAll("*")<br /> .Where(x => new[] { "h1", "h2", "h3", "h4", "h5", "h6" }.Contains(x.TagName.ToLower()));<br /> Console.WriteLine("Headers are:");<br /> PrintItemsText(headers);<br /><br /> var greenAndRed = document.All<br /> .Where(x => x.TagName == "span" && (x.ClassList.Contains("green") || x.ClassList.Contains("red")));<br /> Console.WriteLine("Green and Red spans are:");<br /> PrintItemsText(greenAndRed);<br /><br /> var thePrinces = document.QuerySelectorAll("*").Where(x => x.TextContent == "the prince");<br /> Console.WriteLine(thePrinces.Count());<br /> }<br /> else<br /> {<br /> Console.WriteLine("No html source code returned.");<br /> }<br /><br /> void PrintItemsText(IEnumerable elements)<br /> {<br /> foreach (var item in elements)<br /> {<br /> Console.WriteLine(item.TextContent);<br /> }<br /> }<br /> }
　　
　　这里我们可以看到QuerySelectorAll()的返回结果可以使用Linq的Where方法进行过滤, 这样就很强大了.
　　TagName属性就是元素的标签名.
　　此外, 还有一个document.All,All属性是该Document所有元素的集合, 它同样也支持Linq.
　　(该方法中使用了一个本地方法).
　　由于同时支持CSS选择器和Linq, 所以抽取元素的工作简单多了.
　　导航树
　　一个页面, 它的结构可以是这样的:
　　
　　这里面有几个概念:
　　子标签和后代标签.
　　子标签是父标签的下一级, 而后代标签则是指父标签下面所有级别的标签.
　　tr是table的子标签, tr, th, td, img都是table的后代标签.
　　使用AngleSharp, 找出子标签可以使用.Children属性.而找出后代标签, 可以使用CSS选择器.
　　兄弟标签
　　找到前一个兄弟标签使用.PreviousElementSibling属性, 后一个兄弟标签是.NextElementSibling属性.
　　父标签
　　.ParentElement属性就是父标签.
　　 public static async Task FindDescendantAsync()<br /> {<br /> const string url = "http://www.pythonscraping.com/ ... %3Bbr /> var html = await GetHtmlSourceCodeAsync(url);<br /> if (!string.IsNullOrWhiteSpace(html))<br /> {<br /> var parser = new HtmlParser();<br /> var document = await parser.ParseAsync(html);<br /><br /> var tableChildren = document.QuerySelector("table#giftList > tbody").Children;<br /> Console.WriteLine("Table's children are:");<br /> foreach (var child in tableChildren)<br /> {<br /> System.Console.WriteLine(child.LocalName);<br /> }<br /><br /> var descendants = document.QuerySelectorAll("table#giftList > tbody *");<br /> Console.WriteLine("Table's descendants are:");<br /> foreach (var item in descendants)<br /> {<br /> Console.WriteLine(item.LocalName);<br /> }<br /><br /> var siblings = document.QuerySelectorAll("table#giftList > tbody > tr").Select(x => x.NextElementSibling);<br /> Console.WriteLine("Table's descendants are:");<br /> foreach (var item in siblings)<br /> {<br /> Console.WriteLine(item?.LocalName);<br /> }<br /><br /> var parentSibling = document.All.SingleOrDefault(x => x.HasAttribute("src") && x.GetAttribute("src") == "../img/gifts/img1.jpg")<br /> ?.ParentElement.PreviousElementSibling;<br /> if (parentSibling != null)<br /> {<br /> Console.WriteLine($"Parent's previous sibling is: {parentSibling.TextContent}");<br /> }<br /> }<br /> else<br /> {<br /> Console.WriteLine("No html source code returned.");<br /> }<br /> }
　　结果:
　　
　　
　　使用正则表达式
　　"如果你有一个问题打算使用正则表达式来解决, 那么现在你有两个问题了".
　　这里有一个测试正则表达式的网站:
　　目前, AngleSharp支持通过CSS选择器来查找元素, 也可以使用Linq来过滤元素, 当然也可以通过多种方式使用正则表达式进行更复杂的查找动作.
　　关于正则表达式我就不介绍了. 直接看例子.
　　我想找到页面中所有的满足下列要求的图片, 其src的值以../img/gifts/img开头并且随后跟着数字, 然后格式为.jpg的图标.
　　 public static async Task FindByRegexAsync()<br /> {<br /> const string url = "http://www.pythonscraping.com/ ... %3Bbr /> var html = await GetHtmlSourceCodeAsync(url);<br /> if (!string.IsNullOrWhiteSpace(html))<br /> {<br /> var parser = new HtmlParser();<br /> var document = await parser.ParseAsync(html);<br /><br /> var images = document.QuerySelectorAll("img")<br /> .Where(x => x.HasAttribute("src") && Regex.Match(x.Attributes["src"].Value, @"\.\.\/img\/gifts/img.*\.jpg").Success);<br /> foreach (var item in images)<br /> {<br /> Console.WriteLine(item.Attributes["src"].Value);<br /> }<br /><br /> var elementsWith2Attributes = document.All.Where(x => x.Attributes.Length == 2);<br /> foreach (var item in elementsWith2Attributes)<br /> {<br /> Console.WriteLine(item.LocalName);<br /> foreach (var attr in item.Attributes)<br /> {<br /> Console.WriteLine($"\t{attr.Name} - {attr.Value}");<br /> }<br /> }<br /> }<br /> else<br /> {<br /> Console.WriteLine("No html source code returned.");<br /> }<br /> }
　　
　　这个其实没有任何难度.
　　但从本例可以看到, 判断元素有没有一个属性可以使用HasAttribute("xxx")方法, 可以通过.Attributes索引来获取属性, 其属性值就是.Attributes["xxx"].Value.
　　如果不会正则表达式, 我相信多写的Linq的过滤代码也差不多能达到要求.
　　遍历单个域名
　　就是几个应用的例子, 直接贴代码吧.
　　打印出一个页面内所有的超链接地址:
　　 public static async Task TraversingASingleDomainAsync()<br /> {<br /> var httpClient = new HttpClient();<br /> var htmlSource = await httpClient.GetStringAsync("http://en.wikipedia.org/wiki/Kevin_Bacon");<br /><br /> var parser = new HtmlParser();<br /> var document = await parser.ParseAsync(htmlSource);<br /> var links = document.QuerySelectorAll("a");<br /> foreach (var link in links)<br /> {<br /> Console.WriteLine(link.Attributes["href"]?.Value);<br /> }<br /> }
　　找出满足下列条件的超链接:
　　 public static async Task FindSpecificLinksAsync()<br /> {<br /> var httpClient = new HttpClient();<br /> var htmlSource = await httpClient.GetStringAsync("http://en.wikipedia.org/wiki/Kevin_Bacon");<br /><br /> var parser = new HtmlParser();<br /> var document = await parser.ParseAsync(htmlSource);<br /> var links = document.QuerySelector("div#bodyContent").QuerySelectorAll("a")<br /> .Where(x => x.HasAttribute("href") && Regex.Match(x.Attributes["href"].Value, @"^(/wiki/)((?!:).)*$").Success);<br /> foreach (var link in links)<br /> {<br /> Console.WriteLine(link.Attributes["href"]?.Value);<br /> }<br /> }
　　
　　随机找到页面里面一个连接, 然后递归调用自己的方法, 直到主动停止:
　　 private static async Task GetLinksAsync(string uri)<br /> {<br /> var httpClient = new HttpClient();<br /> var htmlSource = await httpClient.GetStringAsync($"http://en.wikipedia.org{uri}");<br /> var parser = new HtmlParser();<br /> var document = await parser.ParseAsync(htmlSource);<br /><br /> var links = document.QuerySelector("div#bodyContent").QuerySelectorAll("a")<br /> .Where(x => x.HasAttribute("href") && Regex.Match(x.Attributes["href"].Value, @"^(/wiki/)((?!:).)*$").Success);<br /> return links;<br /> }<br /><br /> public static async Task GetRandomNestedLinksAsync()<br /> {<br /> var random = new Random();<br /> var links = (await GetLinksAsync("/wiki/Kevin_Bacon")).ToList();<br /> while (links.Any())<br /> {<br /> var newArticle = links[random.Next(0, links.Count)].Attributes["href"].Value;<br /> Console.WriteLine(newArticle);<br /> links = (await GetLinksAsync(newArticle)).ToList();<br /> }<br /> }
　　
　　采集整个网站
　　首先要了解几个概念:
　　浅网 surface web: 是互联网上搜索引擎可以直接抓取到的那部分网络.
　　与浅网对立的就是深网 deep web: 互联网中90%都是深网.
　　暗网Darknet / dark web / dark internet: 它完全是另外一种怪兽. 它们也建立在已有的网络基础上, 但是使用Tor客户端, 带有运行在HTTP之上的新协议, 提供了一个信息交换的安全隧道. 这类网也可以采集, 但是超出了本书的范围.....
　　深网相对暗网还是比较容易采集的.
　　采集整个网站的两个好处:
　　由于网站的规模和深度, 所以采集到的超链接很多可能是重复的, 这时我们就需要链接去重, 可以使用Set类型的集合:
　　 private static readonly HashSet LinkSet = new HashSet();<br /> private static readonly HttpClient HttpClient = new HttpClient();<br /> private static readonly HtmlParser Parser = new HtmlParser();<br /><br /> public static async Task GetUniqueLinksAsync(string uri = "")<br /> {<br /> var htmlSource = await HttpClient.GetStringAsync($"http://en.wikipedia.org{uri}");<br /> var document = await Parser.ParseAsync(htmlSource);<br /><br /> var links = document.QuerySelectorAll("a")<br /> .Where(x => x.HasAttribute("href") && Regex.Match(x.Attributes["href"].Value, @"^(/wiki/)").Success);<br /><br /> foreach (var link in links)<br /> {<br /> if (!LinkSet.Contains(link.Attributes["href"].Value))<br /> {<br /> var newPage = link.Attributes["href"].Value;<br /> Console.WriteLine(newPage);<br /> LinkSet.Add(newPage);<br /> await GetUniqueLinksAsync(newPage);<br /> }<br /> }<br /> }
　　
　　(递归调用的深度需要注意一下, 不然有时候能崩溃).
　　收集整个网站数据
　　这个例子相对网站, 包括收集相关文字和异常处理等:
　　 private static readonly HashSet LinkSet = new HashSet();<br /> private static readonly HttpClient HttpClient = new HttpClient();<br /> private static readonly HtmlParser Parser = new HtmlParser();<br /><br /> public static async Task GetLinksWithInfoAsync(string uri = "")<br /> {<br /> var htmlSource = await HttpClient.GetStringAsync($"http://en.wikipedia.org{uri}");<br /> var document = await Parser.ParseAsync(htmlSource);<br /><br /> try<br /> {<br /> var title = document.QuerySelector("h1").TextContent;<br /> Console.ForegroundColor = ConsoleColor.Green;<br /> Console.WriteLine(title);<br /><br /> var contentElement = document.QuerySelector("#mw-content-text").QuerySelectorAll("p").FirstOrDefault();<br /> if (contentElement != null)<br /> {<br /> Console.WriteLine(contentElement.TextContent);<br /> }<br /><br /> var alink = document.QuerySelector("#ca-edit").QuerySelectorAll("span a").SingleOrDefault(x => x.HasAttribute("href"))?.Attributes["href"].Value;<br /> Console.WriteLine(alink);<br /> }<br /> catch (NullReferenceException)<br /> {<br /> Console.ForegroundColor = ConsoleColor.Red;<br /> Console.WriteLine("Cannot find the tag!");<br /> }<br /><br /> var links = document.QuerySelectorAll("a")<br /> .Where(x => x.HasAttribute("href") && Regex.Match(x.Attributes["href"].Value, @"^(/wiki/)").Success).ToList();<br /> foreach (var link in links)<br /> {<br /> if (!LinkSet.Contains(link.Attributes["href"].Value))<br /> {<br /> var newPage = link.Attributes["href"].Value;<br /> Console.WriteLine(newPage);<br /> LinkSet.Add(newPage);<br /> await GetLinksWithInfoAsync(newPage);<br /> }<br /> }<br /> }
　　
　　不知前方水深的例子
　　第一个例子, 寻找随机外链:
　　using System;<br />using System.Collections.Generic;<br />using System.Linq;<br />using System.Net.Http;<br />using System.Text.RegularExpressions;<br />using System.Threading.Tasks;<br />using AngleSharp.Parser.Html;<br /><br />namespace WebScrapingWithDotNetCore.Chapter03<br />{<br /> public class CrawlingAcrossInternet<br /> {<br /> private static readonly Random Random = new Random();<br /> private static readonly HttpClient HttpClient = new HttpClient();<br /> private static readonly HashSet InternalLinks = new HashSet();<br /> private static readonly HashSet ExternalLinks = new HashSet();<br /> private static readonly HtmlParser Parser = new HtmlParser();<br /><br /> public static async Task FollowExternalOnlyAsync(string startingSite)<br /> {<br /> var externalLink = await GetRandomExternalLinkAsync(startingSite);<br /> if (externalLink != null)<br /> {<br /> Console.WriteLine($"External Links is: {externalLink}");<br /> await FollowExternalOnlyAsync(externalLink);<br /> }<br /> else<br /> {<br /> Console.WriteLine("Random External link is null, Crawling terminated.");<br /> }<br /> }<br /><br /> private static async Task GetRandomExternalLinkAsync(string startingPage)<br /> {<br /> try<br /> {<br /> var htmlSource = await HttpClient.GetStringAsync(startingPage);<br /> var externalLinks = (await GetExternalLinksAsync(htmlSource, SplitAddress(startingPage)[0])).ToList();<br /> if (externalLinks.Any())<br /> {<br /> return externalLinks[Random.Next(0, externalLinks.Count)];<br /> }<br /><br /> var internalLinks = (await GetInternalLinksAsync(htmlSource, startingPage)).ToList();<br /> if (internalLinks.Any())<br /> {<br /> return await GetRandomExternalLinkAsync(internalLinks[Random.Next(0, internalLinks.Count)]);<br /> }<br /><br /> return null;<br /> }<br /> catch (HttpRequestException e)<br /> {<br /> Console.WriteLine($"Error requesting: {e.Message}");<br /> return null;<br /> }<br /> }<br /><br /> private static string[] SplitAddress(string address)<br /> {<br /> var addressParts = address.Replace("http://", "").Replace("https://", "").Split("/");<br /> return addressParts;<br /> }<br /><br /> private static async Task GetInternalLinksAsync(string htmlSource, string includeUrl)<br /> {<br /> var document = await Parser.ParseAsync(htmlSource);<br /> var links = document.QuerySelectorAll("a")<br /> .Where(x => x.HasAttribute("href") && Regex.Match(x.Attributes["href"].Value, $@"^(/|.*{includeUrl})").Success)<br /> .Select(x => x.Attributes["href"].Value);<br /> foreach (var link in links)<br /> {<br /> if (!string.IsNullOrEmpty(link) && !InternalLinks.Contains(link))<br /> {<br /> InternalLinks.Add(link);<br /> }<br /> }<br /> return InternalLinks;<br /> }<br /><br /> private static async Task GetExternalLinksAsync(string htmlSource, string excludeUrl)<br /> {<br /> var document = await Parser.ParseAsync(htmlSource);<br /><br /> var links = document.QuerySelectorAll("a")<br /> .Where(x => x.HasAttribute("href") && Regex.Match(x.Attributes["href"].Value, $@"^(http|www)((?!{excludeUrl}).)*$").Success)<br /> .Select(x => x.Attributes["href"].Value);<br /> foreach (var link in links)<br /> {<br /> if (!string.IsNullOrEmpty(link) && !ExternalLinks.Contains(link))<br /> {<br /> ExternalLinks.Add(link);<br /> }<br /> }<br /> return ExternalLinks;<br /> }<br /><br /> private static readonly HashSet AllExternalLinks = new HashSet();<br /> private static readonly HashSet AllInternalLinks = new HashSet();<br /><br /> public static async Task GetAllExternalLinksAsync(string siteUrl)<br /> {<br /> try<br /> {<br /> var htmlSource = await HttpClient.GetStringAsync(siteUrl);<br /> var internalLinks = await GetInternalLinksAsync(htmlSource, SplitAddress(siteUrl)[0]);<br /> var externalLinks = await GetExternalLinksAsync(htmlSource, SplitAddress(siteUrl)[0]);<br /> foreach (var link in externalLinks)<br /> {<br /> if (!AllExternalLinks.Contains(link))<br /> {<br /> AllExternalLinks.Add(link);<br /> Console.WriteLine(link);<br /> }<br /> }<br /><br /> foreach (var link in internalLinks)<br /> {<br /> if (!AllInternalLinks.Contains(link))<br /> {<br /> Console.WriteLine($"The link is: {link}");<br /> AllInternalLinks.Add(link);<br /> await GetAllExternalLinksAsync(link);<br /> }<br /> }<br /> }<br /> catch (HttpRequestException e)<br /> {<br /> Console.WriteLine(e);<br /> Console.WriteLine($"Request error: {e.Message}");<br /> }<br /> }<br /> }<br />}
　　程序有Bug, 您可以给解决下......
　　第一部分先到这....主要用的是AngleSharp. AngleSharp不止这些功能, 很强大的, 具体请看文档.
　　由于该书下一部分使用的是Python的Scrapy, 所以下篇文章我也许应该使用DotNetSpider了, 这是一个国产的库....
　　项目的代码在: 查看全部

　　c#抓取网页数据 Python到底牛在哪？现在就业薪资高吗？
　　
　　
　　Python是什么呢？
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述,Python有哪些作用呢？
　　据我多年Python经验总结，Python主要有以下四大主要应用：
　　接下来和大家聊聊这几个方面：
　　1网络爬虫
　　什么叫网络爬虫？
　　网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。
　　爬虫有什么用？
　　做垂直搜索引擎（google,baidu等）.
　　科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。
　　偷窥，hacking，发垃圾邮件……
　　爬虫是搜索引擎的第一步也是最容易的一步。
　　用什么语言写爬虫？
　　C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长，例如：天网搜索源代码。
　　脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
　　C#？
　　为什么眼下最火的是Python？
　　个人用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的，于是便一发不可收拾。
　　Python优势很多，总结两个要点：
　　1）抓取网页本身的接口
　　相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
　　2）网页抓取后的处理
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
　　2网站开发
　　那开发网站需要用到哪些知识呢？
　　1、python基础，因为用python开发的，所以python指定要会，最起码你也得会条件判断，循环，函数，类这些知识；
　　2、html、css的基础知识，因为要开发网站，网页都html和css写的，最起码这些知识你得会，就算不会写前端，开发不出来特别漂亮的页面，网站，最起码要能看懂html标签是；
　　3、数据库基础知识，因为开发一个网站的话，数据存在哪里，就是在数据库里，那你最起码要会数据库的增删改查吧，要不然怎么存数据，取数据呢
　　上面这些知识会的话，开发一个简单的小站就没有问题了，如果想开发比较大型的网站，业务逻辑比较复杂的，那就得用到其他的知识了，比如说redis、MQ等等。
　　3人工智能
　　人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
　　人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
　　人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”，也可能超过人的智能。
　　Python正在成为机器学习的语言。大多数机器语言课程都是使用Python语言编写的，大量大公司使用的也是Python，让许多人认为它是未来的主要编程语言。
　　有些人觉得PYTHON效率底，说他不能支持多线程，好吧，这个还有点说对了，但是我想问，看这篇文章的人有几个做过搜索引擎开发？有几个做个上亿PV的并发网站开发？有几个看过LINUX内核源码？如果没有，乖乖先把入门语言学会吧~
　　4自动化运维
　　Python能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的WEB界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来。
　　Python国内薪资高吗？
　　那么，既然Python这么牛，Python现在在国内的就业薪资高吗？
　　在职友集上搜索Python相关岗位，可以看到，北京python平均工资：¥ 20690/月，取自9391份样本。
　　
　　而相关的人工智能、机器学习等岗位，薪资更是高达3万元以上。
　　
　　随着国内各大互联网公司纷纷开始用Python做后台开发、大数据分析、运维测试、人工智能，Python的岗位在今年将更高。
　　不仅是在一线城市，二线城市如武汉、西安等地Python工程师的薪资也都超过11000元。
　　
　　所以，你准备好学Python了吗？
　　如果如果你担心自学学不会，希望能够学习完整的课程体系，快速的实现从0到入行，并且顺利高薪就业，欢迎你来到达内学习。
　　Python 课程0基础免费训练营已经开始报名了，8月23日-8月30日开课 共6天。全国45个城市129个校区就近试听，也可在线试听。扫描下方二维码即可报名！先到先得！
　　<p style="margin: 5px 8px;padding-right: 0em;padding-left: 0em;white-space: normal;letter-spacing: 0.544px;text-align: center;widows: 1;color: rgb(62, 62, 62);line-height: 1.75em;font-family: Optima-Regular, PingFangTC-light, 微软雅黑;">-THE END-
　　●动辄一两万学费的 IT 培训班值不值得报名？
　　●三字节跳动30K-60K，大数据岗位要求曝光！DT时代又一个风口来了？
　　●北大女生痛斥男友：996是给年轻人上升的机会！
　　●这是你想要的工作吗？灵隐寺招聘：没有KPI,佛系上班
　　<br />
　　<br />点击下方“阅读原文”抢26大互联网技术课免费试听机会。
　　点在看的人都升职加薪！</p> 查看全部

　　c#抓取网页数据 学完Python后，都能干点什么？
　　
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述，Python有哪些作用呢？
　　
　　相比其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize。
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。
　　就目前Python发展而言，Python主要有以下五大主要应用：
　　接下来和大家一一聊聊学完python之后可以从事哪些方面的工作：
　　Python Web开发工程师：我们都知道Web网站开发一直都是所有互联网公司开发的重点之一，我们离不开互联网，离不开Web技术，利用Python的Web框架可以迅速开发Web应用。
　　Python爬虫开发工程师：在当前信息大爆炸时代，大量的信息都通过Web来展示，为了获取这些数据，网络爬虫工程师就应运而生，除了日常的抓取数据和解析数据的需求，还能够突破普通网站常见的反爬虫机制，以及更深层次的爬虫采集算法的编写。
　　Python大数据工程师：在大数据时代，数据是公司的核心资产，从杂乱无章的数据中提取有价值的信息或者规律，成为了数据分析师的首要任务，而Python的工具链为这项繁重的工作提供了极高的效率支持。
　　Python人工智能工程师：人工智能的迅速发展将深刻改变人类社会生活、改变世界。为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，当前人工智能发展进入新阶段。
　　
　　Python拥有强大的脚本处理功能，它在操作Linux系统方面具有先天的优势，许多云平台、运维监控管理工具都是使用Python开发的，Python自动化运维让运维工程师的工作量减少效率提高！
　　当然也不是说让所有人都去追逐新技术，什么流行学什么。工作或者学习之余，学些热门技术，可以让自己保持敏锐度和竞争力，因为说不好什么时候这些热门技术就成了你的饭碗。 查看全部

　　c#抓取网页数据 最火的 Python 到底牛在哪？就业薪资高吗？

　　
　　Python是什么呢？
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述,Python有哪些作用呢？
　　据我多年Python经验总结，Python主要有以下四大主要应用：
　　接下来和大家聊聊这几个方面：
　　1网络爬虫
　　什么叫网络爬虫？
　　网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。
　　爬虫有什么用？
　　做垂直搜索引擎（google,baidu等）.
　　科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。
　　偷窥，hacking，发垃圾邮件……
　　爬虫是搜索引擎的第一步也是最容易的一步。
　　用什么语言写爬虫？
　　C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长，例如：天网搜索源代码。
　　脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
　　C#？
　　为什么眼下最火的是Python？
　　个人用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的，于是便一发不可收拾。
　　Python优势很多，总结两个要点：
　　1）抓取网页本身的接口
　　相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
　　2）网页抓取后的处理
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
　　2二、网站开发
　　那开发网站需要用到哪些知识呢？
　　1、python基础，因为用python开发的，所以python指定要会，最起码你也得会条件判断，循环，函数，类这些知识；
　　2、html、css的基础知识，因为要开发网站，网页都html和css写的，最起码这些知识你得会，就算不会写前端，开发不出来特别漂亮的页面，网站，最起码要能看懂html标签是；
　　3、数据库基础知识，因为开发一个网站的话，数据存在哪里，就是在数据库里，那你最起码要会数据库的增删改查吧，要不然怎么存数据，取数据呢
　　上面这些知识会的话，开发一个简单的小站就没有问题了，如果想开发比较大型的网站，业务逻辑比较复杂的，那就得用到其他的知识了，比如说redis、MQ等等。
　　3人工智能
　　人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
　　人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
　　人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”，也可能超过人的智能。
　　Python正在成为机器学习的语言。大多数机器语言课程都是使用Python语言编写的，大量大公司使用的也是Python，让许多人认为它是未来的主要编程语言。
　　有些人觉得PYTHON效率底，说他不能支持多线程，好吧，这个还有点说对了，但是我想问，看这篇文章的人有几个做过搜索引擎开发？有几个做个上亿PV的并发网站开发？有几个看过LINUX内核源码？如果没有，乖乖先把入门语言学会吧~
　　4自动化运维
　　Python能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的WEB界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来。
　　Python国内薪资高吗？
　　那么，既然Python这么牛，Python现在在国内的就业薪资高吗？
　　在职友集上搜索Python相关岗位，可以看到，北京python平均工资：¥ 20690/月，取自9391份样本。
　　
　　而相关的人工智能、机器学习等岗位，薪资更是高达3万元以上。
　　
　　随着国内各大互联网公司纷纷开始用Python做后台开发、大数据分析、运维测试、人工智能，Python的岗位在今年将更高。
　　不仅是在一线城市，二线城市如武汉、西安等地Python工程师的薪资也都超过11000元。
　　
　　所以，你准备好学Python了吗？ 查看全部

　　c#抓取网页数据 Python到底牛在哪？现在就业薪资高吗？

　　
　　
　　Python是什么呢？
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述,Python有哪些作用呢？
　　据我多年Python经验总结，Python主要有以下四大主要应用：
　　接下来和大家聊聊这几个方面：
　　1网络爬虫
　　什么叫网络爬虫？
　　网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。
　　爬虫有什么用？
　　做垂直搜索引擎（google,baidu等）.
　　科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。
　　偷窥，hacking，发垃圾邮件……
　　爬虫是搜索引擎的第一步也是最容易的一步。
　　用什么语言写爬虫？
　　C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长，例如：天网搜索源代码。
　　脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
　　C#？
　　为什么眼下最火的是Python？
　　个人用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的，于是便一发不可收拾。
　　Python优势很多，总结两个要点：
　　1）抓取网页本身的接口
　　相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
　　2）网页抓取后的处理
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
　　2网站开发
　　那开发网站需要用到哪些知识呢？
　　1、python基础，因为用python开发的，所以python指定要会，最起码你也得会条件判断，循环，函数，类这些知识；
　　2、html、css的基础知识，因为要开发网站，网页都html和css写的，最起码这些知识你得会，就算不会写前端，开发不出来特别漂亮的页面，网站，最起码要能看懂html标签是；
　　3、数据库基础知识，因为开发一个网站的话，数据存在哪里，就是在数据库里，那你最起码要会数据库的增删改查吧，要不然怎么存数据，取数据呢
　　上面这些知识会的话，开发一个简单的小站就没有问题了，如果想开发比较大型的网站，业务逻辑比较复杂的，那就得用到其他的知识了，比如说redis、MQ等等。
　　3人工智能
　　人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
　　人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
　　人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”，也可能超过人的智能。
　　Python正在成为机器学习的语言。大多数机器语言课程都是使用Python语言编写的，大量大公司使用的也是Python，让许多人认为它是未来的主要编程语言。
　　有些人觉得PYTHON效率底，说他不能支持多线程，好吧，这个还有点说对了，但是我想问，看这篇文章的人有几个做过搜索引擎开发？有几个做个上亿PV的并发网站开发？有几个看过LINUX内核源码？如果没有，乖乖先把入门语言学会吧~
　　4自动化运维
　　Python能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的WEB界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来。
　　Python国内薪资高吗？
　　那么，既然Python这么牛，Python现在在国内的就业薪资高吗？
　　在职友集上搜索Python相关岗位，可以看到，北京python平均工资：¥ 20690/月，取自9391份样本。
　　
　　而相关的人工智能、机器学习等岗位，薪资更是高达3万元以上。
　　
　　随着国内各大互联网公司纷纷开始用Python做后台开发、大数据分析、运维测试、人工智能，Python的岗位在今年将更高。
　　不仅是在一线城市，二线城市如武汉、西安等地Python工程师的薪资也都超过11000元。
　　
　　所以，你准备好学Python了吗？
　　如果如果你担心自学学不会，希望能够学习完整的课程体系，快速的实现从0到入行，并且顺利高薪就业，欢迎你来到达内学习。
　　Python 课程0基础免费训练营已经开始报名了，8月23日-8月30日开课 共6天。全国45个城市129个校区就近试听，也可在线试听。扫描下方二维码即可报名！先到先得！

　　<p style="margin: 5px 8px;padding-right: 0em;padding-left: 0em;white-space: normal;letter-spacing: 0.544px;text-align: center;widows: 1;color: rgb(62, 62, 62);line-height: 1.75em;font-family: Optima-Regular, PingFangTC-light, 微软雅黑;">-THE END-
　　●动辄一两万学费的 IT 培训班值不值得报名？
　　●三字节跳动30K-60K，大数据岗位要求曝光！DT时代又一个风口来了？
　　●北大女生痛斥男友：996是给年轻人上升的机会！
　　●这是你想要的工作吗？灵隐寺招聘：没有KPI,佛系上班
　　<br />
　　<br />点击下方“阅读原文”抢26大互联网技术课免费试听机会。
　　点在看的人都升职加薪！</p> 查看全部

　　c#抓取网页数据 最火的 Python 到底牛在哪？就业薪资高吗？

　　
　　Python是什么呢？
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述,Python有哪些作用呢？
　　据我多年Python经验总结，Python主要有以下四大主要应用：
　　接下来和大家聊聊这几个方面：
　　1网络爬虫
　　什么叫网络爬虫？
　　网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。
　　爬虫有什么用？
　　做垂直搜索引擎（google,baidu等）.
　　科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。
　　偷窥，hacking，发垃圾邮件……
　　爬虫是搜索引擎的第一步也是最容易的一步。
　　用什么语言写爬虫？
　　C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长，例如：天网搜索源代码。
　　脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
　　C#？
　　为什么眼下最火的是Python？
　　个人用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的，于是便一发不可收拾。
　　Python优势很多，总结两个要点：
　　1）抓取网页本身的接口
　　相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
　　2）网页抓取后的处理
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
　　2二、网站开发
　　那开发网站需要用到哪些知识呢？
　　1、python基础，因为用python开发的，所以python指定要会，最起码你也得会条件判断，循环，函数，类这些知识；
　　2、html、css的基础知识，因为要开发网站，网页都html和css写的，最起码这些知识你得会，就算不会写前端，开发不出来特别漂亮的页面，网站，最起码要能看懂html标签是；
　　3、数据库基础知识，因为开发一个网站的话，数据存在哪里，就是在数据库里，那你最起码要会数据库的增删改查吧，要不然怎么存数据，取数据呢
　　上面这些知识会的话，开发一个简单的小站就没有问题了，如果想开发比较大型的网站，业务逻辑比较复杂的，那就得用到其他的知识了，比如说redis、MQ等等。
　　3人工智能
　　人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
　　人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
　　人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”，也可能超过人的智能。
　　Python正在成为机器学习的语言。大多数机器语言课程都是使用Python语言编写的，大量大公司使用的也是Python，让许多人认为它是未来的主要编程语言。
　　有些人觉得PYTHON效率底，说他不能支持多线程，好吧，这个还有点说对了，但是我想问，看这篇文章的人有几个做过搜索引擎开发？有几个做个上亿PV的并发网站开发？有几个看过LINUX内核源码？如果没有，乖乖先把入门语言学会吧~
　　4自动化运维
　　Python能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的WEB界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来。
　　Python国内薪资高吗？
　　那么，既然Python这么牛，Python现在在国内的就业薪资高吗？
　　在职友集上搜索Python相关岗位，可以看到，北京python平均工资：¥ 20690/月，取自9391份样本。
　　
　　而相关的人工智能、机器学习等岗位，薪资更是高达3万元以上。
　　
　　随着国内各大互联网公司纷纷开始用Python做后台开发、大数据分析、运维测试、人工智能，Python的岗位在今年将更高。
　　不仅是在一线城市，二线城市如武汉、西安等地Python工程师的薪资也都超过11000元。
　　
　　所以，你准备好学Python了吗？ 查看全部

　　用google..不要用百度请先找到你需要的电影豆瓣链接
　　c#抓取网页数据，这个好像有点难。因为抓取不同的网站，用的一些python库、甚至是git爬虫工具等有所不同。
　　豆瓣你要先找到你需要的电影的豆瓣链接。然后用maven构建项目，net了之后应该有一个.mk文件，
　　httpd-proxy多路复用。
　　你最好理解一下编程那套东西到底是个啥意思，
　　用google..不要用百度
　　请先参考quora用ie抓取国内网站。
　　https是大坑
　　可以试试aptap或者bsdp
　　可以试试@涛吴@涛吴有个网站提供了网页injectrequest库,直接抓在浏览器打开查看即可
　　很多时候没必要这么复杂，我们直接用软件来抓，可以随时google，随时问，还有ip可以发送过去。
　　对于我们一般web项目来说，目前最方便是爬虫。但是太占手机内存。加一个插件应该可以加个几十m甚至更多。有需要的朋友可以看看writelab看看怎么写。或者用ssh，可以扫描地址抓blog。fyi，下面是关于writelab技术细节部分的信息介绍，重点留在底部。另外，writelab的资料已经很多了，所以不再累述，文章中提到的例子已经都在writelab公开版本的示例程序中。
　　目前的版本.rep年份：3.8version：0.420.42是一个全新的flashversion，即使本地浏览器不支持这个版本也可以正常使用。0.42-1.0版本包含了一些手机端的新功能。package:audiodjavascript-writelabrepo:audiodjavascript-writelabdocumentprovider:projectadvisorpackage:writelabid:5907or.proversion:0.40incompatible:yesoryesimportspeechquerytoflashdatafromaudiodjavascript_writelab"""project:writelabengine:projectadvisor"""package:writelab"""github:-writelab/writelab"""dataset_image:(version:0.4)"""image_name:commentedtest'ascii_pages'"""file:"/path/to/your/writelab/video_name.jpg"""image_file:"/path/to/your/writelab/video_name.tiff"""test'short_name'short_name'===。 查看全部

　　c#抓取网页数据 学完Python后，都能干点什么？
　　
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述，Python有哪些作用呢？
　　
　　相比其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize。
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。
　　就目前Python发展而言，Python主要有以下五大主要应用：
　　接下来和大家一一聊聊学完python之后可以从事哪些方面的工作：
　　Python Web开发工程师：我们都知道Web网站开发一直都是所有互联网公司开发的重点之一，我们离不开互联网，离不开Web技术，利用Python的Web框架可以迅速开发Web应用。
　　Python爬虫开发工程师：在当前信息大爆炸时代，大量的信息都通过Web来展示，为了获取这些数据，网络爬虫工程师就应运而生，除了日常的抓取数据和解析数据的需求，还能够突破普通网站常见的反爬虫机制，以及更深层次的爬虫采集算法的编写。
　　Python大数据工程师：在大数据时代，数据是公司的核心资产，从杂乱无章的数据中提取有价值的信息或者规律，成为了数据分析师的首要任务，而Python的工具链为这项繁重的工作提供了极高的效率支持。
　　Python人工智能工程师：人工智能的迅速发展将深刻改变人类社会生活、改变世界。为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，当前人工智能发展进入新阶段。
　　
　　Python拥有强大的脚本处理功能，它在操作Linux系统方面具有先天的优势，许多云平台、运维监控管理工具都是使用Python开发的，Python自动化运维让运维工程师的工作量减少效率提高！
　　当然也不是说让所有人都去追逐新技术，什么流行学什么。工作或者学习之余，学些热门技术，可以让自己保持敏锐度和竞争力，因为说不好什么时候这些热门技术就成了你的饭碗。 查看全部

　　c#抓取网页数据 学完Python后，都能干点什么？
　　
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述，Python有哪些作用呢？
　　
　　相比其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize。
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。
　　就目前Python发展而言，Python主要有以下五大主要应用：
　　接下来和大家一一聊聊学完python之后可以从事哪些方面的工作：
　　Python Web开发工程师：我们都知道Web网站开发一直都是所有互联网公司开发的重点之一，我们离不开互联网，离不开Web技术，利用Python的Web框架可以迅速开发Web应用。
　　Python爬虫开发工程师：在当前信息大爆炸时代，大量的信息都通过Web来展示，为了获取这些数据，网络爬虫工程师就应运而生，除了日常的抓取数据和解析数据的需求，还能够突破普通网站常见的反爬虫机制，以及更深层次的爬虫采集算法的编写。
　　Python大数据工程师：在大数据时代，数据是公司的核心资产，从杂乱无章的数据中提取有价值的信息或者规律，成为了数据分析师的首要任务，而Python的工具链为这项繁重的工作提供了极高的效率支持。
　　Python人工智能工程师：人工智能的迅速发展将深刻改变人类社会生活、改变世界。为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，当前人工智能发展进入新阶段。
　　
　　Python拥有强大的脚本处理功能，它在操作Linux系统方面具有先天的优势，许多云平台、运维监控管理工具都是使用Python开发的，Python自动化运维让运维工程师的工作量减少效率提高！
　　当然也不是说让所有人都去追逐新技术，什么流行学什么。工作或者学习之余，学些热门技术，可以让自己保持敏锐度和竞争力，因为说不好什么时候这些热门技术就成了你的饭碗。 查看全部

　　c#抓取网页数据 最火的 Python 到底牛在哪？就业薪资高吗？
　　
　　
　　Python是什么呢？
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述,Python有哪些作用呢？
　　据我多年Python经验总结，Python主要有以下四大主要应用：
　　接下来和大家聊聊这几个方面：
　　1网络爬虫
　　什么叫网络爬虫？
　　网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。
　　爬虫有什么用？
　　做垂直搜索引擎（google,baidu等）.
　　科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。
　　偷窥，hacking，发垃圾邮件……
　　爬虫是搜索引擎的第一步也是最容易的一步。
　　用什么语言写爬虫？
　　C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长，例如：天网搜索源代码。
　　脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
　　C#？
　　为什么眼下最火的是Python？
　　个人用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的，于是便一发不可收拾。
　　Python优势很多，总结两个要点：
　　1）抓取网页本身的接口
　　相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
　　2）网页抓取后的处理
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
　　2二、网站开发
　　那开发网站需要用到哪些知识呢？
　　1、python基础，因为用python开发的，所以python指定要会，最起码你也得会条件判断，循环，函数，类这些知识；
　　2、html、css的基础知识，因为要开发网站，网页都html和css写的，最起码这些知识你得会，就算不会写前端，开发不出来特别漂亮的页面，网站，最起码要能看懂html标签是；
　　3、数据库基础知识，因为开发一个网站的话，数据存在哪里，就是在数据库里，那你最起码要会数据库的增删改查吧，要不然怎么存数据，取数据呢
　　上面这些知识会的话，开发一个简单的小站就没有问题了，如果想开发比较大型的网站，业务逻辑比较复杂的，那就得用到其他的知识了，比如说redis、MQ等等。
　　3人工智能
　　人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
　　人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
　　人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”，也可能超过人的智能。
　　Python正在成为机器学习的语言。大多数机器语言课程都是使用Python语言编写的，大量大公司使用的也是Python，让许多人认为它是未来的主要编程语言。
　　有些人觉得PYTHON效率底，说他不能支持多线程，好吧，这个还有点说对了，但是我想问，看这篇文章的人有几个做过搜索引擎开发？有几个做个上亿PV的并发网站开发？有几个看过LINUX内核源码？如果没有，乖乖先把入门语言学会吧~
　　4自动化运维
　　Python能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的WEB界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来。
　　Python国内薪资高吗？
　　那么，既然Python这么牛，Python现在在国内的就业薪资高吗？
　　在职友集上搜索Python相关岗位，可以看到，北京python平均工资：¥ 20690/月，取自9391份样本。
　　
　　而相关的人工智能、机器学习等岗位，薪资更是高达3万元以上。
　　
　　随着国内各大互联网公司纷纷开始用Python做后台开发、大数据分析、运维测试、人工智能，Python的岗位在今年将更高。
　　不仅是在一线城市，二线城市如武汉、西安等地Python工程师的薪资也都超过11000元。
　　
　　所以，你准备好学Python了吗？ 查看全部

　　【D】文本分析常用软件
　　
　　在信息化时代，迅速从海量文本中抽取出有价值的信息成为一项重要技能，文本分析技术逐渐彰显出其巨大的应用价值和发展空间，受到管理学等领域的广泛关注。但对于非技术人员而言，运用编程语言是一个门槛极高的过程，可以借助简单、易操作的文本分析软件进行文本挖掘与处理，从文本中捕获关键要素，下面分享几款常用的文本分析软件：
　　1NLPIR
　　
　　NLPIR为“自然语言处理与信息检索共享平台”的英文缩写，它是一个中文语义分析工具，针对大数据内容采编挖搜的综合需求，融合了网络精准采集、自然语言理解、文本挖掘和网络搜索技术等最新研究成果。
　　NLPIR的功能特点：包括网络抓取、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等功能，提供客户端工具、云服务、二次开发接口。所有功能模块全部备有对应的二次开发接口（动态链接库.dll，.so，及静态链接库等形式），平台的各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD，麒麟等不同操作系统，开发者还可使用Java，C/C++，C#, Python，Php, R等各类主流开发语言调用其所有功能。
　　官方网站：
　　平台需求：软件支持Windows/MAC系统，也可在线使用
　　2WORDij
　　
　　WORDij是一套数据科学程序，可自动、轻松处理自然语言，包括来自社交媒体、新闻、演讲、焦点小组、采访、电子邮件、网站等来源的非结构化文本，可以帮助分析词共现和网络分析。
　　WORDij的功能特点：运行速度快（包含10个或100个文档的小文件可以在几秒钟内运行），分析的文件格式为UTF-8（可以处理带有图形字符的语言，如汉语、日语、阿拉伯语或俄语），处理更精准，保留了字母组合中的单词顺序并嵌入语法效果等，在学术研究中应用是免费的，其他功能介绍可下载后在Documentation文件夹中的教程文件中进行学习。
　　官方网站：
　　平台需求：软件支持Windows/Mac系统
　　3Datamate Text Parser Lite
　　
　　Datamate Text Parser for Mac是一款在Mac上的文本分析器，这款软件功能强大且易于使用，它可以帮助你进行文本数据分析，支持从电脑文件、实时网页中提取数据信息，可以批量处理多个文件或网页，并将输入源数据粘贴至文本中使用，功能强大，易于使用。
　　Datamate Text Parser for Mac的功能特点：软件界面简洁、操作简单，从文件、网页或粘贴的文本中提取数据，批量处理多个文件或网页，保存和载入文件路径、网页的网址、解析规则，提供帮助文件，解决用户问题，解析规则可区分大小写，添加开头和结尾的文本、标签的输出以及添加自定义分隔符输出元素。
　　下载网站：
　　平台需求：软件支持Mac系统
　　4微词云
　　
　　“微词云”是一个非常实用并且操作简单的在线文字云图生成网站，不需要懂任何代码程序，只要把文本内容复制导入到“微词云”中就可以完成词频统计，而且可以帮助轻松制作高大上的文字云图片。
　　“微词云”的功能特点：不仅支持百万大文本分词（最高上传文本量20M）、多维度筛词（过滤未知词、根据不同词性进行过滤词）、自定义词典（分析更精准），还支持词频统计及分析（支持下载全部的分词词频统计结果），绘制词云图，通过智能排版、插图特效、画板个性编辑。但是“微词云”需要注册，免费的图片带有水印，而且对词汇数量有限制，不过满足大部分需求是没有问题的。
　　官方网站：
　　平台需求：支持在线使用
　　荐： 查看全部

　　c#抓取网页数据 最火的 Python 到底牛在哪？就业薪资高吗？
　　
　　
　　Python是什么呢？
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述,Python有哪些作用呢？
　　据我多年Python经验总结，Python主要有以下四大主要应用：
　　接下来和大家聊聊这几个方面：
　　1网络爬虫
　　什么叫网络爬虫？
　　网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。
　　爬虫有什么用？
　　做垂直搜索引擎（google,baidu等）.
　　科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。
　　偷窥，hacking，发垃圾邮件……
　　爬虫是搜索引擎的第一步也是最容易的一步。
　　用什么语言写爬虫？
　　C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长，例如：天网搜索源代码。
　　脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
　　C#？
　　为什么眼下最火的是Python？
　　个人用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的，于是便一发不可收拾。
　　Python优势很多，总结两个要点：
　　1）抓取网页本身的接口
　　相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
　　2）网页抓取后的处理
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
　　2二、网站开发
　　那开发网站需要用到哪些知识呢？
　　1、python基础，因为用python开发的，所以python指定要会，最起码你也得会条件判断，循环，函数，类这些知识；
　　2、html、css的基础知识，因为要开发网站，网页都html和css写的，最起码这些知识你得会，就算不会写前端，开发不出来特别漂亮的页面，网站，最起码要能看懂html标签是；
　　3、数据库基础知识，因为开发一个网站的话，数据存在哪里，就是在数据库里，那你最起码要会数据库的增删改查吧，要不然怎么存数据，取数据呢
　　上面这些知识会的话，开发一个简单的小站就没有问题了，如果想开发比较大型的网站，业务逻辑比较复杂的，那就得用到其他的知识了，比如说redis、MQ等等。
　　3人工智能
　　人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
　　人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
　　人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”，也可能超过人的智能。
　　Python正在成为机器学习的语言。大多数机器语言课程都是使用Python语言编写的，大量大公司使用的也是Python，让许多人认为它是未来的主要编程语言。
　　有些人觉得PYTHON效率底，说他不能支持多线程，好吧，这个还有点说对了，但是我想问，看这篇文章的人有几个做过搜索引擎开发？有几个做个上亿PV的并发网站开发？有几个看过LINUX内核源码？如果没有，乖乖先把入门语言学会吧~
　　4自动化运维
　　Python能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的WEB界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来。
　　Python国内薪资高吗？
　　那么，既然Python这么牛，Python现在在国内的就业薪资高吗？
　　在职友集上搜索Python相关岗位，可以看到，北京python平均工资：¥ 20690/月，取自9391份样本。
　　
　　而相关的人工智能、机器学习等岗位，薪资更是高达3万元以上。
　　
　　随着国内各大互联网公司纷纷开始用Python做后台开发、大数据分析、运维测试、人工智能，Python的岗位在今年将更高。
　　不仅是在一线城市，二线城市如武汉、西安等地Python工程师的薪资也都超过11000元。
　　
　　所以，你准备好学Python了吗？ 查看全部

　　c#抓取网页数据 学完Python后，都能干点什么？
　　
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述，Python有哪些作用呢？
　　
　　相比其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize。
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。
　　就目前Python发展而言，Python主要有以下五大主要应用：
　　接下来和大家一一聊聊学完python之后可以从事哪些方面的工作：
　　Python Web开发工程师：我们都知道Web网站开发一直都是所有互联网公司开发的重点之一，我们离不开互联网，离不开Web技术，利用Python的Web框架可以迅速开发Web应用。
　　Python爬虫开发工程师：在当前信息大爆炸时代，大量的信息都通过Web来展示，为了获取这些数据，网络爬虫工程师就应运而生，除了日常的抓取数据和解析数据的需求，还能够突破普通网站常见的反爬虫机制，以及更深层次的爬虫采集算法的编写。
　　Python大数据工程师：在大数据时代，数据是公司的核心资产，从杂乱无章的数据中提取有价值的信息或者规律，成为了数据分析师的首要任务，而Python的工具链为这项繁重的工作提供了极高的效率支持。
　　Python人工智能工程师：人工智能的迅速发展将深刻改变人类社会生活、改变世界。为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，当前人工智能发展进入新阶段。
　　
　　Python拥有强大的脚本处理功能，它在操作Linux系统方面具有先天的优势，许多云平台、运维监控管理工具都是使用Python开发的，Python自动化运维让运维工程师的工作量减少效率提高！
　　当然也不是说让所有人都去追逐新技术，什么流行学什么。工作或者学习之余，学些热门技术，可以让自己保持敏锐度和竞争力，因为说不好什么时候这些热门技术就成了你的饭碗。 查看全部

　　c#抓取网页数据 最火的 Python 到底牛在哪？就业薪资高吗？
　　
　　
　　Python是什么呢？
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述,Python有哪些作用呢？
　　据我多年Python经验总结，Python主要有以下四大主要应用：
　　接下来和大家聊聊这几个方面：
　　1网络爬虫
　　什么叫网络爬虫？
　　网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。
　　爬虫有什么用？
　　做垂直搜索引擎（google,baidu等）.
　　科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。
　　偷窥，hacking，发垃圾邮件……
　　爬虫是搜索引擎的第一步也是最容易的一步。
　　用什么语言写爬虫？
　　C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长，例如：天网搜索源代码。
　　脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
　　C#？
　　为什么眼下最火的是Python？
　　个人用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的，于是便一发不可收拾。
　　Python优势很多，总结两个要点：
　　1）抓取网页本身的接口
　　相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
　　2）网页抓取后的处理
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
　　2二、网站开发
　　那开发网站需要用到哪些知识呢？
　　1、python基础，因为用python开发的，所以python指定要会，最起码你也得会条件判断，循环，函数，类这些知识；
　　2、html、css的基础知识，因为要开发网站，网页都html和css写的，最起码这些知识你得会，就算不会写前端，开发不出来特别漂亮的页面，网站，最起码要能看懂html标签是；
　　3、数据库基础知识，因为开发一个网站的话，数据存在哪里，就是在数据库里，那你最起码要会数据库的增删改查吧，要不然怎么存数据，取数据呢
　　上面这些知识会的话，开发一个简单的小站就没有问题了，如果想开发比较大型的网站，业务逻辑比较复杂的，那就得用到其他的知识了，比如说redis、MQ等等。
　　3人工智能
　　人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
　　人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
　　人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”，也可能超过人的智能。
　　Python正在成为机器学习的语言。大多数机器语言课程都是使用Python语言编写的，大量大公司使用的也是Python，让许多人认为它是未来的主要编程语言。
　　有些人觉得PYTHON效率底，说他不能支持多线程，好吧，这个还有点说对了，但是我想问，看这篇文章的人有几个做过搜索引擎开发？有几个做个上亿PV的并发网站开发？有几个看过LINUX内核源码？如果没有，乖乖先把入门语言学会吧~
　　4自动化运维
　　Python能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的WEB界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来。
　　Python国内薪资高吗？
　　那么，既然Python这么牛，Python现在在国内的就业薪资高吗？
　　在职友集上搜索Python相关岗位，可以看到，北京python平均工资：¥ 20690/月，取自9391份样本。
　　
　　而相关的人工智能、机器学习等岗位，薪资更是高达3万元以上。
　　
　　随着国内各大互联网公司纷纷开始用Python做后台开发、大数据分析、运维测试、人工智能，Python的岗位在今年将更高。
　　不仅是在一线城市，二线城市如武汉、西安等地Python工程师的薪资也都超过11000元。
　　
　　所以，你准备好学Python了吗？ 查看全部

　　c#抓取网页数据 Python到底牛在哪？现在就业薪资高吗？
　　
　　
　　
　　Python是什么呢？
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述,Python有哪些作用呢？
　　据我多年Python经验总结，Python主要有以下四大主要应用：
　　接下来和大家聊聊这几个方面：
　　1网络爬虫
　　什么叫网络爬虫？
　　网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。
　　爬虫有什么用？
　　做垂直搜索引擎（google,baidu等）.
　　科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。
　　偷窥，hacking，发垃圾邮件……
　　爬虫是搜索引擎的第一步也是最容易的一步。
　　用什么语言写爬虫？
　　C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长，例如：天网搜索源代码。
　　脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
　　C#？
　　为什么眼下最火的是Python？
　　个人用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的，于是便一发不可收拾。
　　Python优势很多，总结两个要点：
　　1）抓取网页本身的接口
　　相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
　　2）网页抓取后的处理
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
　　2网站开发
　　那开发网站需要用到哪些知识呢？
　　1、python基础，因为用python开发的，所以python指定要会，最起码你也得会条件判断，循环，函数，类这些知识；
　　2、html、css的基础知识，因为要开发网站，网页都html和css写的，最起码这些知识你得会，就算不会写前端，开发不出来特别漂亮的页面，网站，最起码要能看懂html标签是；
　　3、数据库基础知识，因为开发一个网站的话，数据存在哪里，就是在数据库里，那你最起码要会数据库的增删改查吧，要不然怎么存数据，取数据呢
　　上面这些知识会的话，开发一个简单的小站就没有问题了，如果想开发比较大型的网站，业务逻辑比较复杂的，那就得用到其他的知识了，比如说redis、MQ等等。
　　3人工智能
　　人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
　　人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
　　人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”，也可能超过人的智能。
　　Python正在成为机器学习的语言。大多数机器语言课程都是使用Python语言编写的，大量大公司使用的也是Python，让许多人认为它是未来的主要编程语言。
　　有些人觉得PYTHON效率底，说他不能支持多线程，好吧，这个还有点说对了，但是我想问，看这篇文章的人有几个做过搜索引擎开发？有几个做个上亿PV的并发网站开发？有几个看过LINUX内核源码？如果没有，乖乖先把入门语言学会吧~
　　4自动化运维
　　Python能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的WEB界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来。
　　Python国内薪资高吗？
　　那么，既然Python这么牛，Python现在在国内的就业薪资高吗？
　　在职友集上搜索Python相关岗位，可以看到，北京python平均工资：¥ 20690/月，取自9391份样本。
　　
　　而相关的人工智能、机器学习等岗位，薪资更是高达3万元以上。
　　
　　随着国内各大互联网公司纷纷开始用Python做后台开发、大数据分析、运维测试、人工智能，Python的岗位在今年将更高。
　　不仅是在一线城市，二线城市如武汉、西安等地Python工程师的薪资也都超过11000元。
　　
　　所以，你准备好学Python了吗？
　　如果如果你担心自学学不会，希望能够学习完整的课程体系，快速的实现从0到入行，并且顺利高薪就业，欢迎你来到达内学习。
　　Python 课程0基础免费训练营已经开始报名了，8月23日-8月30日开课 共6天。全国45个城市129个校区就近试听，也可在线试听。扫描下方二维码即可报名！先到先得！
　　
　　<p style="margin: 5px 8px;padding-right: 0em;padding-left: 0em;white-space: normal;letter-spacing: 0.544px;text-align: center;widows: 1;color: rgb(62, 62, 62);line-height: 1.75em;font-family: Optima-Regular, PingFangTC-light, 微软雅黑;">-THE END-
　　●动辄一两万学费的 IT 培训班值不值得报名？
　　●三字节跳动30K-60K，大数据岗位要求曝光！DT时代又一个风口来了？
　　●北大女生痛斥男友：996是给年轻人上升的机会！
　　●这是你想要的工作吗？灵隐寺招聘：没有KPI,佛系上班
　　<br />
　　
　　<br />点击下方“阅读原文”抢26大互联网技术课免费试听机会。
　　点在看的人都升职加薪！</p> 查看全部

　　c#抓取网页数据 学完Python后，都能干点什么？
　　
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述，Python有哪些作用呢？
　　
　　相比其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize。
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。
　　就目前Python发展而言，Python主要有以下五大主要应用：
　　接下来和大家一一聊聊学完python之后可以从事哪些方面的工作：
　　Python Web开发工程师：我们都知道Web网站开发一直都是所有互联网公司开发的重点之一，我们离不开互联网，离不开Web技术，利用Python的Web框架可以迅速开发Web应用。
　　Python爬虫开发工程师：在当前信息大爆炸时代，大量的信息都通过Web来展示，为了获取这些数据，网络爬虫工程师就应运而生，除了日常的抓取数据和解析数据的需求，还能够突破普通网站常见的反爬虫机制，以及更深层次的爬虫采集算法的编写。
　　Python大数据工程师：在大数据时代，数据是公司的核心资产，从杂乱无章的数据中提取有价值的信息或者规律，成为了数据分析师的首要任务，而Python的工具链为这项繁重的工作提供了极高的效率支持。
　　Python人工智能工程师：人工智能的迅速发展将深刻改变人类社会生活、改变世界。为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，当前人工智能发展进入新阶段。
　　
　　Python拥有强大的脚本处理功能，它在操作Linux系统方面具有先天的优势，许多云平台、运维监控管理工具都是使用Python开发的，Python自动化运维让运维工程师的工作量减少效率提高！
　　当然也不是说让所有人都去追逐新技术，什么流行学什么。工作或者学习之余，学些热门技术，可以让自己保持敏锐度和竞争力，因为说不好什么时候这些热门技术就成了你的饭碗。 查看全部

　　文本分析常用软件
　　在信息化时代，迅速从海量文本中抽取出有价值的信息成为一项重要技能，文本分析技术逐渐彰显出其巨大的应用价值和发展空间，受到管理学等领域的广泛关注。但对于非技术人员而言，运用编程语言是一个门槛极高的过程，可以借助简单、易操作的文本分析软件进行文本挖掘与处理，从文本中捕获关键要素，下面分享几款常用的文本分析软件：
　　1NLPIR
　　
　　NLPIR为“自然语言处理与信息检索共享平台”的英文缩写，它是一个中文语义分析工具，针对大数据内容采编挖搜的综合需求，融合了网络精准采集、自然语言理解、文本挖掘和网络搜索技术等最新研究成果。
　　NLPIR的功能特点：包括网络抓取、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等功能，提供客户端工具、云服务、二次开发接口。所有功能模块全部备有对应的二次开发接口（动态链接库.dll，.so，及静态链接库等形式），平台的各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD，麒麟等不同操作系统，开发者还可使用Java，C/C++，C#, Python，Php, R等各类主流开发语言调用其所有功能。
　　官方网站：
　　平台需求：软件支持Windows/MAC系统，也可在线使用
　　2WORDij
　　
　　WORDij是一套数据科学程序，可自动、轻松处理自然语言，包括来自社交媒体、新闻、演讲、焦点小组、采访、电子邮件、网站等来源的非结构化文本，可以帮助分析词共现和网络分析。
　　WORDij的功能特点：运行速度快（包含10个或100个文档的小文件可以在几秒钟内运行），分析的文件格式为UTF-8（可以处理带有图形字符的语言，如汉语、日语、阿拉伯语或俄语），处理更精准，保留了字母组合中的单词顺序并嵌入语法效果等，在学术研究中应用是免费的，其他功能介绍可下载后在Documentation文件夹中的教程文件中进行学习。
　　官方网站：
　　平台需求：软件支持Windows/Mac系统
　　3Datamate Text Parser Lite
　　
　　Datamate Text Parser for Mac是一款在Mac上的文本分析器，这款软件功能强大且易于使用，它可以帮助你进行文本数据分析，支持从电脑文件、实时网页中提取数据信息，可以批量处理多个文件或网页，并将输入源数据粘贴至文本中使用，功能强大，易于使用。
　　Datamate Text Parser for Mac的功能特点：软件界面简洁、操作简单，从文件、网页或粘贴的文本中提取数据，批量处理多个文件或网页，保存和载入文件路径、网页的网址、解析规则，提供帮助文件，解决用户问题，解析规则可区分大小写，添加开头和结尾的文本、标签的输出以及添加自定义分隔符输出元素。
　　下载网站：
　　平台需求：软件支持Mac系统
　　4微词云
　　
　　“微词云”是一个非常实用并且操作简单的在线文字云图生成网站，不需要懂任何代码程序，只要把文本内容复制导入到“微词云”中就可以完成词频统计，而且可以帮助轻松制作高大上的文字云图片。
　　“微词云”的功能特点：不仅支持百万大文本分词（最高上传文本量20M）、多维度筛词（过滤未知词、根据不同词性进行过滤词）、自定义词典（分析更精准），还支持词频统计及分析（支持下载全部的分词词频统计结果），绘制词云图，通过智能排版、插图特效、画板个性编辑。但是“微词云”需要注册，免费的图片带有水印，而且对词汇数量有限制，不过满足大部分需求是没有问题的。
　　官方网站：
　　平台需求：支持在线使用 查看全部

　　c#抓取网页数据 学完Python后，都能干点什么？
　　
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述，Python有哪些作用呢？
　　
　　相比其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize。
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。
　　就目前Python发展而言，Python主要有以下五大主要应用：
　　接下来和大家一一聊聊学完python之后可以从事哪些方面的工作：
　　Python Web开发工程师：我们都知道Web网站开发一直都是所有互联网公司开发的重点之一，我们离不开互联网，离不开Web技术，利用Python的Web框架可以迅速开发Web应用。
　　Python爬虫开发工程师：在当前信息大爆炸时代，大量的信息都通过Web来展示，为了获取这些数据，网络爬虫工程师就应运而生，除了日常的抓取数据和解析数据的需求，还能够突破普通网站常见的反爬虫机制，以及更深层次的爬虫采集算法的编写。
　　Python大数据工程师：在大数据时代，数据是公司的核心资产，从杂乱无章的数据中提取有价值的信息或者规律，成为了数据分析师的首要任务，而Python的工具链为这项繁重的工作提供了极高的效率支持。
　　Python人工智能工程师：人工智能的迅速发展将深刻改变人类社会生活、改变世界。为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，当前人工智能发展进入新阶段。
　　
　　Python拥有强大的脚本处理功能，它在操作Linux系统方面具有先天的优势，许多云平台、运维监控管理工具都是使用Python开发的，Python自动化运维让运维工程师的工作量减少效率提高！
　　当然也不是说让所有人都去追逐新技术，什么流行学什么。工作或者学习之余，学些热门技术，可以让自己保持敏锐度和竞争力，因为说不好什么时候这些热门技术就成了你的饭碗。 查看全部

　　c#抓取网页数据 Python到底牛在哪？现在就业薪资高吗？
　　
　　
　　
　　Python是什么呢？
　　Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。
　　当下Python有多火我不再赘述,Python有哪些作用呢？
　　据我多年Python经验总结，Python主要有以下四大主要应用：
　　接下来和大家聊聊这几个方面：
　　1网络爬虫
　　什么叫网络爬虫？
　　网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。
　　爬虫有什么用？
　　做垂直搜索引擎（google,baidu等）.
　　科学研究：在线人类行为，在线社群演化，人类动力学研究，计量社会学，复杂网络，数据挖掘，等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。
　　偷窥，hacking，发垃圾邮件……
　　爬虫是搜索引擎的第一步也是最容易的一步。
　　用什么语言写爬虫？
　　C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长，例如：天网搜索源代码。
　　脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
　　C#？
　　为什么眼下最火的是Python？
　　个人用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的，于是便一发不可收拾。
　　Python优势很多，总结两个要点：
　　1）抓取网页本身的接口
　　相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
　　此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
　　2）网页抓取后的处理
　　抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
　　其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
　　2网站开发
　　那开发网站需要用到哪些知识呢？
　　1、python基础，因为用python开发的，所以python指定要会，最起码你也得会条件判断，循环，函数，类这些知识；
　　2、html、css的基础知识，因为要开发网站，网页都html和css写的，最起码这些知识你得会，就算不会写前端，开发不出来特别漂亮的页面，网站，最起码要能看懂html标签是；
　　3、数据库基础知识，因为开发一个网站的话，数据存在哪里，就是在数据库里，那你最起码要会数据库的增删改查吧，要不然怎么存数据，取数据呢
　　上面这些知识会的话，开发一个简单的小站就没有问题了，如果想开发比较大型的网站，业务逻辑比较复杂的，那就得用到其他的知识了，比如说redis、MQ等等。
　　3人工智能
　　人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
　　人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
　　人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”，也可能超过人的智能。
　　Python正在成为机器学习的语言。大多数机器语言课程都是使用Python语言编写的，大量大公司使用的也是Python，让许多人认为它是未来的主要编程语言。
　　有些人觉得PYTHON效率底，说他不能支持多线程，好吧，这个还有点说对了，但是我想问，看这篇文章的人有几个做过搜索引擎开发？有几个做个上亿PV的并发网站开发？有几个看过LINUX内核源码？如果没有，乖乖先把入门语言学会吧~
　　4自动化运维
　　Python能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的WEB界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来。
　　Python国内薪资高吗？
　　那么，既然Python这么牛，Python现在在国内的就业薪资高吗？
　　在职友集上搜索Python相关岗位，可以看到，北京python平均工资：¥ 20690/月，取自9391份样本。
　　
　　而相关的人工智能、机器学习等岗位，薪资更是高达3万元以上。
　　
　　随着国内各大互联网公司纷纷开始用Python做后台开发、大数据分析、运维测试、人工智能，Python的岗位在今年将更高。
　　不仅是在一线城市，二线城市如武汉、西安等地Python工程师的薪资也都超过11000元。
　　
　　所以，你准备好学Python了吗？
　　如果如果你担心自学学不会，希望能够学习完整的课程体系，快速的实现从0到入行，并且顺利高薪就业，欢迎你来到达内学习。
　　Python 课程0基础免费训练营已经开始报名了，8月23日-8月30日开课 共6天。全国45个城市129个校区就近试听，也可在线试听。扫描下方二维码即可报名！先到先得！
　　
　　<p style="margin: 5px 8px;padding-right: 0em;padding-left: 0em;white-space: normal;letter-spacing: 0.544px;text-align: center;widows: 1;color: rgb(62, 62, 62);line-height: 1.75em;font-family: Optima-Regular, PingFangTC-light, 微软雅黑;">-THE END-
　　●动辄一两万学费的 IT 培训班值不值得报名？
　　●三字节跳动30K-60K，大数据岗位要求曝光！DT时代又一个风口来了？
　　●北大女生痛斥男友：996是给年轻人上升的机会！
　　●这是你想要的工作吗？灵隐寺招聘：没有KPI,佛系上班
　　<br />
　　
　　<br />点击下方“阅读原文”抢26大互联网技术课免费试听机会。
　　点在看的人都升职加薪！</p> 查看全部

　　为什么阿里巴巴禁止使用存储过程？
　　正文
　　之所以有这个题目，我既不是故意吸引眼球，也不想在本文对存储过程进行教科书般论述。《阿里巴巴Java开发手册》是这样规定的：
　　
　　再结合我最近项目中遇到的存储过程问题，所以今天我打算来聊一聊这个问题。
　　这事儿要从去年在武汉出差时一位同事的发问说起，问题是这样的：
　　我觉得存储过程挺好用的，你为什么不建议用呢
　　当时我好似胸有万言，但终究没用一个实在的例子回答同事，只是从结论上大侃一通，代码相对于SQL，复用、扩展、通用性都要更强。想必同事并不信服。
　　现在想来，我最近正碰到的问题，算是一个可以回答同事的例子吧。
　　最近项目中有个新需求，需要校验一个用户是否有Job,Certification,Disclosure这三个业务数据。
　　翻看了代码发现，系统的用户个人页面的C#代码调用了三个存储过程，去抓取用户的Job,Certification,Disclosure数据。
　　我的新需求，自然需要复用这三个存储过程，否则:
　　若每一处都写一次抓取数据的业务逻辑代码，若业务逻辑发生变化，难以追查和维护所有读取Job,Certification,Disclosure的SQL。
　　如果我在C#代码中调用这已有的三个存储过程，事情本该非常快就能结束。我也是这么做的。但code reviewer认为，我的需求中，并不需要Job,Certification,Disclosure这三个业务对象的数据。我只是需要给定用户是否有Job,Certification,Disclosure而已。所以我应将是否有无Job,Certification,Disclosure的判断逻辑写在数据库，最终通过网络从数据库传到web服务器的仅是true或false，节省网络流量，这样最好不过了。也对。除开网络性能，从接口设计的角度讲，接口的传入和返回值，都应是你本身需要的数据，不应带有大量不需要或者需要caller去预处理的数据。从接口语义表达就可知调用的目的，这样代码可读性也会有大大提高。
　　那就动手改。但没想到的是问题来了。
　　为了讲述问题，我简化代码，假设系统现有的存储过程如下：
　　CREATEPROCEDURE[dbo].[GetJobs]
　　(
　　@PersonIdint,
　　@OrganizaitionIdint
　　)
　　AS
　　BEGIN
　　SELECTJobId,JobName,JobTypeFROMJobWHEREPersonId = @PersonIdANDOrganizaitionId = @OrganizaitionId
　　END
　　我在新的存储过程中调用它，我需要获得该person的jobs的数量，即GetJobs返回结果集的count。
　　为了实现这一目的，首先想到的是使用临时表，将返回结果集存入临时表，再对其进行count(*)的计数操作：
　　CREATEPROCEDURE[dbo].[MyProc]
　　(
　　@PersonIdint,
　　@OrganizaitionIdint,
　　)
　　AS
　　BEGIN
　　CREATETABLE#Temp(
　　PersonIdint,
　　OrganizaitionIdint
　　)
　　INSERTINTO#Temp EXEC dbo.GetJobs
　　@PersonId = @PersonId,
　　@ParentOrgId = @ParentOrgId
　　SELECTCOUNT(*)FROM#Temp
　　END
　　这种办法简单有效，但它存在严重的维护问题。未来如果被调用的存储过程的返回结果集字段有变动，那么MyProc中的临时表结构也需要随之变化。这是令人难以接受的。
　　那么将MyProc中的INSERT INTO换为SELECT INTO呢？很遗憾，答案是不行。SQL本身并不支持这种用法。
　　给现有存储过程GetJobs加output参数？本例中因为GetJobs已被其他多处代码或SQL scripts调用，所以对现有现有存储过程进行改动会有不小风险。
　　我搜遍网络，一位MS MVP的大神的文章几乎总结了所有存储过程之间传递数据的方法: How to Share Data between Stored Procedures。他在文章中也无可奈何地说道
　　Keep in mind that compared to languages such as C# and Java, Transact-SQL is poorly equipped for code reuse, why solutions in T‑SQL to reuse code are clumsier.
　　最终我没能找到一种满意的办法，无奈之下我在新写的存储过程中将查询Jobs的语句写一了次。
　　存储过程在很多场景时有其优势，比如性能。但对于业务逻辑的通用方法，非常不推荐将其写在存储过程中，代码复用、扩展与客户端语言比，相差甚远。也许终究能实现，但代价与风险比客户端语言要高，得不偿失。
　　天知道还有没有机会和那位前同事再讨论这一话题呢。
　　<p style="max-width: 100%;min-height: 1em;font-weight: bold;overflow-wrap: break-word !important;box-sizing: border-box !important;">end<br style="max-width: 100%;overflow-wrap: break-word !important;box-sizing: border-box !important;" />
　　<br />
　　● 后台回复【网页特效】，免费获取网页制作特效源码！
　　<br />推荐阅读 点击标题可跳转
　　<br />干货 | 绿色破解资源站分享<br />GitHub宣布已将所有代码永久封存于北极地底1000年！网友炸锅了：我写的bug终于能流传永世了！<br />JS实现滑动拖动验证码功能的代码<br />神了！竟然用一个脚本就把系统升级到https了，且永久免费<br />jQuery模仿百度登录滑动图片角度转正代码 
　　   
　　
　　<br /></p>
　　
　　
　　支持就点下在看并转发朋友圈吧 查看全部