我使用ChatGPT进行用户研究，以下是我学到的内容
今天，我将带您了解我尝试ChatGPT的经验，以及如何有效利用这个工具的建议，以及潜在的一些缺点。
生成型人工智能在科技界掀起波濤洶涌的浪潮，而且行業似乎正快速向著完全整合的人工智能體驗未來不斷前進。當我們了解到生成型人工智能對企業用戶的影響時，我卻在思考如何運用這項技術成為一位更出色、更強大的研究者。
许多人都在思考人工智能在理论上能否创建研究计划、撰写采访问题、构建调查问卷、分析数据并发现洞见的能力。人工智能整合的新颖性给我带来了希望，我们可以增强用户需求，解决产品策略问题，并当然构建有意义的事物。
在ChatGPT的吸引力背后，有一个有趣的问题，即生成式人工智能如何影响人类心理。生成式人工智能对我们的批判性思维、脑发育，甚至对我们记忆信息的保留方式产生了什么影响？人工智能如何影响我们的工作方式？研究人员的大脑可能是我们最强大的工具，它使我们能够获取洞见，产生影响并影响产品方向。那么生成式人工智能如何影响我们的研究方式呢？
我们如何使用ChatGPT进行用户研究？
ChatGPT从全网收集信息，为您提供一个您可以筛选的知识之源。然而，就像大多数魔咒一样，有效利用需要您的经验、智慧和魔法。
您可能会倾向于在刚接触到一个研究课题时使用ChatGPT。您的同事和导师是反馈和思路的宝贵资源。此外，您还可以利用ChatGPT所能访问的丰富信息。在您可能是唯一的研究人员，或者没有其他人与您一起进行头脑风暴的情况下，这非常有用。
我在12月完成的一个探索性项目后，将我们的思想实验进行了建模。对于本文，让我们重点关注其中一个研究问题，即探索用户对于开发软件应用中人工智能的期望。
为了看看ChatGPT在探索问题空间时如何作为讨论伙伴，我提出了一系列问题，从非常宽泛的提示和问题开始，例如：
我想了解关于[主题描述]的知识。
— 您会如何研究这个主题？
- 适用于此的用户研究方法有哪些？为什么？
以英文的HTML结构为基础，将以下英文文本翻译成简体中文： 一个很好的时机去使用ChatGPT是在你花一些时间研究问题领域之后。这将给你一个机会来挑战你的想法，比较不同的方法，探索你可能没有考虑到的好处和缺点。充分利用ChatGPT并提出问题。
— 为什么你将 [提供的选项列表] 识别为你的前三个方法？
- 你会建议以什么顺序进行这些方法？
- 我对你列出的一些未经审查的方法感兴趣，特别是[name of method]。你能否提供[name of method]如何对这项研究有用的详细描述呢？
— 如何将[method名称]和[method名称]进行配对有何益处呢？
ChatGPT应生成实际上是方法的教科书定义，以及它通常如何使用的高层描述。从这个过程中你可能学到，你可能需要改述或继续提示ChatGPT，直到它提供你所需的详细程度或回答你实际提出的问题。就像人们误解问题和语言一样，ChatGPT也无法免受此影响。
这就好像你在演示期间提问，当你得到一个答案时，你发现自己都不知道自己提了什么问题。
一旦聊天生成了似乎是我们思考实验的良好起点，我向聊天表示感谢，并要求它为这项研究生成一个研究计划。
撰写研究计划
可能是您可以创建的最重要的文件之一，研究计划充当您与利益相关者之间的沟通渠道。制作一份既详细又简洁的文件对于促进您的研究至关重要。
除了与资源有关的限制，如预算、时间表和可用性外，项目清晰度方面可能也存在障碍。您的利益相关者可能会有竞争性优先事项，您的研究问题可能未定义。ChatGPT能够提供我认为是一个很好的起点，但它没有我在项目工作中所寻求的细节和详尽程度。为了缓解这一问题，我戴上一个充满活力的研究者的帽子，对学术项目限制进行深入研究。
为了帮助塑造一个有意义的回答，你可以提出一系列问题，这些问题是你在方法头脑风暴期间所期望被问到的，比如：
- 由于预算限制，同时进行多个有大量参与者的调查研究可能行不通。您对如何替代用户访谈有什么建议？
— 我其实在考虑使用[第一种方法的名称]或者[第二种方法的名称]结合用户访谈，你能比较一下使用这两种方法的优缺点吗？
— 对于4周的完成时间来说，使用[name of method]是否实用？
— 我想使用[name of method]来探索[research question]，我可以用它来探索[second research question]吗？
从ChatGPT获得的回答，我相信这为您提供了起草研究计划的一个起点。我认为ChatGPT是一个很好的工具，可以讨论您可能考虑的解决问题的方法，特别是当您的社交资源有限时，例如您是团队中唯一的研究人员，或者您的同事目前无法为您提供反馈。
构建你的学习
在为ChatGPT提供模拟约束条件的情况下，建议的研究采用半结构化访谈和调查问卷。
以探索ChatGPT对我们的用途为目的，我要求ChatGPT生成调查问题。当然，这需要不断优化、补充提示和调整许多细节。最终，我将有用的部分选取出来，添加我认为缺失的内容，并调整问题类型和措辞以符合我的语气。最后，我们得到了一个包含开放式和封闭式回答类型的简短问卷调查。
在选择方法和撰写研究计划时，ChatGPT保持了通用性，当您要求其生成研究目标、调查问题或面试问题时，同样的情况也会发生。
重要的是您不要单纯地接受这些回答，因为它们缺乏人文关怀。当使用ChatGPT来补充您的工作时，请确保彻底审查和调整它们以适应您项目的需求。
定性研究是与用户进行接触的一个触点，它通过促进情感连结、建立融洽关系和使用户感到舒适而得以繁荣发展。定义了研究者的知识、技能和能力影响我们所产生的工作、我们所提出的问题，这一切都是非常重要的。
数据分析
数据隐私是用户研究工具和使用外部平台存储数据和分析时的重要考虑因素。由于涉及到公司专有信息的风险，许多公司对生成式人工智能和ChatGPT的使用有限制。部分原因是目前对数据模型建设的信息不足。研究人员应该注意如何存储我们的研究数据，以保护我们的数据安全。
因为这些原因，我无法上传我上个季度所进行的用户访谈的文字记录。对于我们的思维实验，我进行了模拟访谈，并将我们的简短调查投入到了Qualtrics中，该平台具有生成测试响应（如Likert量表响应）的功能。
为了理解ChatGPT的限制，我尝试了几个提示。从整个定量模拟数据集开始，我复制并粘贴了所有的模拟数据，没有添加任何提示。这导致出现错误，要求我重新生成或缩短提示。
然后，我在数据集中选择了我们的第一个调查问题，并复制了所有单元格，然后再次将它们粘贴到ChatGPT中，而无需提示。作为回应，ChatGPT意识到我发送的内容来自Likert量表问题，但要求我澄清我要求它做什么。
在要求ChatGPT分析数据时，回答感觉就像是在要求它从记忆中画出某些东西。ChatGPT需要直接的提示才能生成平均评分和回答的百分比。
实际上我遇到了一件有趣的事情，ChatGPT无法为每个评级生成百分比。它提供了Python代码，用于计算这些信息。尽管这不完全是我想要的，但它让我放心地知道生成型AI是如何进行这些计算的。
除了数量化数据之外，我想探索一下ChatGPT如何处理来自调查问卷的开放式回答、面试中的用户反馈或观察研究中的行为数据。
为了模拟与我们的简短调查问卷相配对的用户访谈，我对我的同行进行了访谈，并创建了一小部分定性反馈的数据集，可以输入到ChatGPT中。
对话总结了每个用户的回应，并为我提供了参与者之间的共同主题。然而，我发现这些共同主题和核心要点会根据我如何引导ChatGPT而发生变化。
按照我们之前学到的，重要的一点是要注意ChatGPT需要具体而明确的指导。在对话中提供所有上下文、细节和要求，以便能够为您提供有意义或有用的回答。例如：
请对这五位用户的回答进行主题分析。
使用情感分析来确定关于[话题]的用户的整体情感
- 这些参与者之间有哪些共同主题？
尽管ChatGPT能够识别出我根据数据概述的许多关键理念，但是ChatGPT的回答不一致使我觉得还有很长的路要走才能确保其回答的准确性。在利用工具简化流程时，请记住研究的力量在于产生有思考、准确和代表性的结果。
当谈到使用ChatGPT并找到合适的方法时，你可能会发现自己亲自去做所需的时间和精力更少。
生成行动项和下一步
我在研究过程中最喜欢的部分之一是为团队提供下一步和未来研究的机会。我所在的团队既在嵌入式（产品内部）工作，也在水平（内部咨询）参与模式中工作，为未来研究提供具体的下一步行动通常是提倡用户体验和研究的好办法。
好奇心驱使我不禁想询问ChatGPT：他们认为我们下一步的行动方案、接下来的步骤、后续研究应该怎么做，等等。
我收到的内容模糊不清，有些乏味无生气。它缺乏影响力，大部分生成的东西似乎都没有可执行性或相关性。这在一定程度上是因为我提供给聊天的信息有限。当为您的团队和利益相关者制定下一步计划时，您可以考虑以下任何因素:
- 产品路线图和即将发布或更新的信息
- 即将进行的和同时进行的研究
- 研究能力和可用性
- 预算和财务限制
并且还有许多其他内容。如果没有这个上下文，没有所有与业务和项目相关的信息，ChatGPT将无法为您提供有意义的回答。
反思
了解如何将人工智能利用于我们的利益是未来的方向，如果认为相反是错误的话，我会感到遗憾。当然，技术有其限制，以及它能为您实际做多少的限制，但这就是您个人的特色和我们人类智能的发挥之处。作为研究人员，我们拥有与用户进行互动的独特特权。我们可以观察他们与产品的互动，实际上看到他们面临的困难，并直接听取他们对什么能带给他们喜悦以及他们的痛点的看法。我们还可以深入思考问题，结合公司文化和组织需求的背景。
由于生成式人工智能的能力取决于您能够提供的上下文，我们必须认识到许多知识和背景很难与生成式人工智能聊天分享。ChatGPT并不能始终能够解决您的问题并得出您所寻求的所有见解。它在回答中缺乏细节并非是ChatGPT的错，而是源于我们在与聊天机器人分享信息时所允许的上下文不足。但这可能是一个重要的现实，因为许多公司限制可以公开与生成式人工智能和公司外部通道共享的数据。此外，作为研究人员，我们有责任保护参与者的隐私和保护数据的安全性。
一个我要问的问题是我们如何在关注数据隐私和避免偏见的同时利用这些工具？
我们一直被教导要认识到研究人员可能对他们的工作带有偏见。同样地，我们需要意识到偏见可能渗入算法和数据集中。当我们使用生成型人工智能时，我们无法看到这些数据的来源和来处。对于ChatGPT或生成型人工智能以及它所做的事情，我们对它消耗的数据量越多，我们对其所持有的不确定性将会增加。
随着更多的数据被投入到混合中，越来越难以辨别信息的来源并验证其生成的输出。当我们从同事或导师那里获得信息时，我们是选择无条件接受这些信息呢？还是询问问题、要求来源，并努力理解它的来源呢？
我想伦理数据建模是另一个时间的课题。
尽管技术存在一定局限性、潜在的偏见和不准确性，生成式人工智能是前进的道路。鉴于ChatGPT能够以光速获取信息的能力，我相信只要我们保持好奇心并提出问题，人工智能将增强我们对于以有意义、研究驱动和策略性商业决策影响产品的能力。
主要要点
- 生成提示 - 生成提示可能是您面临的主要障碍。您可能需要重新生成和重新表达ChatGPT提示，以获得您项目所需的内容。
- 准确性 — ChatGPT对研究方法和典型样本大小有很好的了解，但它可能无法根据您可能包括的时间轴、可行性以及数据隐私和法律后勤等细微差别生成准确的建议。当要求从“用户研究员”的视角来看待问题空间时，ChatGPT不会改变其相应方式。
- 了解技术的限制——例如，由于聊天的字符限制，它可能无法处理大型数据集。截至2024年1月26日，字符限制为4096个字符。
珍妮的推荐
- 人类智能中的重要性——保持好奇心，提出问题。利用身边的同行和其他人，像讨论没有人工智能的方法论一样，讨论人工智能的建议。你的观点、经验和知识都很有价值。在人工智能时代，给自己和他人灌输信心，展示你所带来的价值。
- 采用学习心态——拥抱变化，对生成式人工智能所提供的内容保持开放的心态。你可以轻松地学到一种全然不同于常规方法的解决问题的新方式。数据模型正像你一样在学习。你可以向ChatGPT提供一些新的信息，让其了解其他研究或与业务相关的考虑事项。
- 在人工智能方面保持适度的怀疑态度 — 对于人工智能的能力和所不能做的事情，我们有责任做到心知肚明。尊重人工智能所带来的价值，同时也要为自己的技能和能力发声。保持成长的心态，不断提升自己的技能。
特别感谢我的同事陈瑞秋、赵凡尼、弗兰克·比吉和丹娜·林对本文的创作提供宝贵的反馈意见。
简尼·陈是SAP的用户体验研究员和ERG领导者。凭借人机交互、设计、心理学和美术背景，她打造学习机会，并利用自己的平台倡导包容性研究实践。
