利用BERTweet和Transformer预测股票走势的研究，主要内容包括：
- 研究背景：深度学习和计算智能在金融领域的应用很热门，但金融数据的高波动性和非平稳性给机器学习模型带来挑战。已有研究结合社交媒体数据和历史价格数据提升模型表现，本文在此基础上，用BERTweet和Transformer架构进行股票走势预测。
- 相关工作：介绍了预测股票价格走势的相关研究，如Nguyen等人用主题情感模型，Selvin等人应用多种网络架构，还有学者通过添加词嵌入、辅助目标等方式提升模型性能。同时提到Transformer和BERTweet在其他领域表现出色，但未应用于Stocknet数据集。
- 问题设定：采用StockNet数据集，通过前5天的社交媒体推文和历史价格，预测特定股票在目标交易日的价格涨跌。样本按价格变动百分比标注，用二元交叉熵作为目标函数。
- 研究方法：改进开源Stocknet代码，将双向GRU替换为基于BERTweet的深度双向变换器，用变换器编码器架构处理历史价格数据。在PyTorch中，用BERTweet嵌入推文并与价格数据拼接，进行超参数调整，解决了代码升级、数据加载等问题。
- 模型架构：评估了多种模型架构，包括简单前馈网络、用变换器替代变分运动解码器的模型、BERTweet变换器、交叉注意力变换器，以及添加辅助目标的变换器和交叉注意力变换器。
- 实验结果：使用Stocknet评估框架，用准确率和马修斯相关系数评估模型。交叉注意力变换器在不使用外部数据的情况下，马修斯相关系数达到0.1114，超过部分已有研究，但仍未达到一些先进模型的性能。
- 研究结论：证明了BERTweet和Transformer架构在股票市场价格预测中的有效性，为无外部数据的Stocknet数据集设定了新基准。未来可结合多种技术进一步提升模型性能。