解决方案:JM2022综述 | 黄金领域: 为营销研究(新洞察)采集网络数据
优采云 发布时间: 2022-12-07 20:21解决方案:JM2022综述 | 黄金领域: 为营销研究(新洞察)采集网络数据
Boegershausen、Johannes、Hannes Datta、Abhishek Borah 和 Andrew Stephen。“黄金领域：抓取网络数据以获得营销洞察力。” 市场营销杂志 (2022)。
本文是JM不可多得的技术流程回顾文章。它很难阅读，所以我们可能知道发生了什么。看看有没有你感兴趣的研究（方法）就可以了。本文作者专门为这篇综述开发了一个网站，截图如下
概括
市场营销学者越来越多地使用网络爬虫和 API 接口从互联网采集数据。尽管网络数据被广泛使用，但很少有学者关注采集过程中面临的各种挑战。研究人员如何确保 采集 的数据集有效？虽然现有资源强调提取网络数据的技术细节，但作者提出了一个新的方法框架，重点是提高其有效性。该框架特别强调，解决有效性问题需要在数据采集（选择数据源、设计数据采集和提取数据）的三个阶段共同考虑技术和法律/伦理问题。作者进一步审查了 300 篇营销 Top5 期刊中使用网络数据的论文，并总结了如何使用网络数据来促进营销研究。本文最后指出了未来研究的方向、高价值的网络数据源和新方法。
关键词：
- web scraping<br />- application programming interface, API<br />- crawling<br />- validity<br />- user-generated content<br />- social media<br />big data<br />
一、网络数据的魅力
社会和商业生活的加速数字化创造了前所未有的消费者和商业行为数字痕迹。每分钟，全球用户在 Google 上进行 570 万次搜索，进行 600 万次商业交易，并在 Instagram 上分享 65,000 张照片（Statista 2021）。由此产生的网络数据——规模大、形式多样，并且通常可以在互联网上公开访问——对于想要量化消费、深入了解企业行为以及跟踪难以或昂贵的社会活动的营销学者来说非常感兴趣。观察。这是一个潜在的金矿。网络数据对营销研究的重要性体现在越来越多的有影响力的出版物中，这些出版物涵盖消费者文化理论、消费者心理学、实证建模和营销策略等。
经过对营销领域排名前5的期刊（JM、JMR、JCR、JCP、MS）的313篇论文进行整理，绘制出图1（图1）后，使用网络数据的研究量呈快速上升趋势。使用在线数据的论文比例将从2010年的4%增加到2020年的15%。作者313篇论文，数据获取方式统计
使用在线数据的论文的平均引用次数为 7.55，远高于非网络数据的 3.90。
利用网络数据做新的研究，大致有4种实现路径
研究新现象、新场景繁荣生态价值促进方法学进步改进测量结果（快、准、好、全）
2.data采集的方法框架
在使用**网络爬虫和 API** 自动采集网络数据时，研究人员通常会在**研究有效性、技术可行性和法律/伦理风险**1 之间权衡利弊。研究人员如何解决这些问题？权衡通过增强或削弱统计结论有效性、内部有效性、结构有效性和外部有效性来塑造研究结果的可信度（Shadish、Cook 和 Campbell 2002）。
本文开发了一个方法框架，为使用网络爬虫和 API 自动采集网络数据提供了指导。图 2 涵盖三个关键阶段
执行数据 采集
研究人员通常从一组广泛的潜在数据源开始，然后根据三个关键考虑因素筛选出其中一些：有效性、技术可行性和法律/道德风险。这三个考虑因素出*敏*感*词*字塔的角落，底部的有效性强调了它们的重要性。鉴于在采集最终数据集之前难以预测最终数据集的确切特征，研究人员在设计、原型制作和改进数据采集时经常重新考虑这些因素。未能解决技术或法律/伦理问题可能意味着网络数据无法为研究问题提供有意义的信息。
2.1 数据源面临的挑战（解决方案） 探索潜在的网络数据源 考虑网络爬虫的替代方案 将数据与场景相结合
2.2 设计数据采集方案从页面中提取信息，从有效性、合法性、技术可行性三个方面进行论证。如何进行数据采样？数据采集多久一次（每天、每周、每月）
2.3 执行数据 采集 如何提高爬虫运行效率 如何监控数据质量 组织数据文件（记录）
一些参考资料
[1]Allard, Thomas, Lea H. Dunn, and Katherine White. "Negative reviews, positive impact: Consumer empathetic responding to unfair word of mouth." Journal of Marketing 84, no. 4 (2020): 86-108.<br />[2]Gao, Weihe, Li Ji, Yong Liu, and Qi Sun. "Branding cultural products in international markets: a study of hollywood movies in China." Journal of Marketing 84, no. 3 (2020): 86-105.<br />[3]Reich, Taly, and Sam J. Maglio. "Featuring mistakes: The persuasive impact of purchase mistakes in online reviews." Journal of Marketing 84, no. 1 (2020): 52-65.<br />[4]Lee, Jeffrey K., and Ann Kronrod. "The strength of weak-tie consensus language." Journal of Marketing Research 57, no. 2 (2020): 353-374.<br />[5]Matz, Sandra C., Cristina Segalin, David Stillwell, Sandrine R. Müller, and Maarten W. Bos. "Predicting the personal appeal of marketing images using computational methods." Journal of Consumer Psychology 29, no. 3 (2019): 370-390.<br />[6]Dai, Hengchen, and Dennis J. Zhang. "Prosocial goal pursuit in crowdfunding: Evidence from kickstarter." Journal of Marketing Research 56, no. 3 (2019): 498-517.<br />[7]Luffarelli, Jonathan, Mudra Mukesh, and Ammara Mahmood. "Let the logo do the talking: The influence of logo descriptiveness on brand equity." Journal of Marketing Research 56, no. 5 (2019): 862-878.<br />[8]Bond, Samuel D., Stephen X. He, and Wen Wen. "Speaking for “free”: Word of mouth in free-and paid-product settings." Journal of Marketing Research 56, no. 2 (2019): 276-290.<br />[9]Han, Kyuhong, Jihye Jung, Vikas Mittal, Jinyong Daniel Zyung, and Hajo Adam. "Political identity and financial risk taking: Insights from social dominance orientation." Journal of Marketing Research 56, no. 4 (2019): 581-601.<br />[10]Netzer, Oded, Alain Lemaire, and Michal Herzenstein. "When words sweat: Identifying signals for loan default in the text of loan applications." Journal of Marketing Research 56, no. 6 (2019): 960-980.<br />[11]Toubia, Olivier, Garud Iyengar, Renée Bunnell, and Alain Lemaire. "Extracting features of entertainment products: A guided latent dirichlet allocation approach informed by the psychology of media consumption." Journal of Marketing Research 56, no. 1 (2019): 18-36.<br />[12]Van Laer, Tom, Jennifer Edson Escalas, Stephan Ludwig, and Ellis A. Van Den Hende. "What happens in Vegas stays on TripAdvisor? A theory and technique to understand narrativity in consumer reviews." Journal of Consumer Research 46, no. 2 (2019): 267-285.<br />[13]Zhong, Ning, and David A. Schweidel. "Capturing changes in social media content: A multiple latent changepoint topic model." Marketing Science 39, no. 4 (2020): 827-846.<br />[14]Colicev, Anatoli, Ashwin Malshe, Koen Pauwels, and Peter O'Connor. "Improving consumer mindset metrics and shareholder value through social media: The different roles of owned and earned media." Journal of Marketing 82, no. 1 (2018): 37-56.<br />[15]Liu, Xuan, Savannah Wei Shi, Thales Teixeira, and Michel Wedel. "Video content marketing: The making of clips." Journal of Marketing 82, no. 4 (2018): 86-101.<br />[16]Liu, Jia, and Olivier Toubia. "A semantic approach for estimating consumer content preferences from online search queries." Marketing Science 37, no. 6 (2018): 930-952.<br />[17]Nam, Hyoryung, Yogesh V. Joshi, and P. K. Kannan. "Harvesting brand information from social tags." Journal of Marketing 81, no. 4 (2017): 88-108.<br />[18]Packard, Grant, and Jonah Berger. "How language shapes word of mouth's impact." Journal of Marketing Research 54, no. 4 (2017): 572-588.<br />
精选文章<p style="outline: 0px;color: rgb(63, 63, 63);font-size: 15px;letter-spacing: 0px;white-space: normal;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;line-height: normal;">管理世界 | 使用文本分析词构建并测量短视主义
推荐 | 社科(经管)文本分析快速指南<br style="outline: 0px;" />
转载 | 金融学文本大数据挖掘方法与研究进展<br style="outline: 0px;" />
FinBERT | 金融文本BERT模型，可情感分析、识别ESG和FLS类型</p>
<p style="outline: 0px;color: rgb(63, 63, 63);font-size: 15px;letter-spacing: 0px;white-space: normal;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;line-height: normal;">100min视频 | Python文本分析与会计
安装python包出现报错：Microsoft Visual 14.0 or greater is required. 怎么办？
Faker库 | 生成实验数据</p>
解决方案:小程序用户行为数据采集器讲解
小程序用户行为数据说明采集器
¥5会员免费观看
我有幸福的家庭
进入大数据时代后，很多企业都建立了自己的大数据分析平台。企业有能力通过海量数据分析用户行为，构建用户画像。这些数据很大一部分来自采集公司自己的应用客户端。现在小程序的兴起，给公司带来了大量的用户，我们也需要采集用户行为数据。作者开发的采集器已在网易产品中广泛使用，希望通过这次分享对大家有所帮助。
本期分享小程序用户行为采集器开发的实践经验，会涉及到以下几点：
用户行为设计思路采集器；自动采集小程序自带信息；用户分享跟进追踪信息采集设计；渠道推广设计；主要API设计；实现一套SDK兼容微信小程序、字节跳动小程序、支付宝小程序、百度小程序；采集器的编译和打包；开发文档*敏*感*词*Gitbook简介。
