分类目录归档:Cases-案例

mongosync-实现单节点 MongoDB A 到单节点 B 的数据同步-Cases


以下是通过 mongosync 实现单节点 MongoDB A 到单节点 B 的数据同步的具体步骤,结合核心操作和注意事项整理:


🔧 一、同步场景与命令示例

根据需求选择以下模式: 1. 全量同步(首次迁移)
复制 A 节点所有数据到 B(不包含实时变更):
bash mongosync -h A_IP:27017 --to B_IP:27020 适用场景:初始数据迁移,无需同步后续变更。

  1. 增量同步(追加变更)
    仅同步指定时间点后的数据(需先获取起始时间戳 t_start):
    bash mongosync -h A_IP:27017 --to B_IP...

Read more

MongoShake同步两个MongoDB单实例的完整指南


使用MongoShake同步两个MongoDB单实例的完整指南

针对两个MongoDB单实例(非副本集)的同步场景,我将提供详细的配置和操作步骤。由于单实例默认不启用oplog,需要进行特殊配置。

前提条件

  1. 两个MongoDB单实例(假设IP分别为192.168.1.101192.168.1.102
  2. 确保两个实例的网络互通
  3. 每个实例需创建具有读写权限的用户

步骤1:配置源MongoDB实例启用oplog

  1. 编辑源MongoDB配置文件(通常位于/etc/mongod.conf):
storage:
  journal:
    enabled: true

systemLog:...

Read more

MongoDB单实例(A → B)之间实现自动同步方案-Cases


如果你需要在两个MongoDB单实例(A → B)之间实现自动同步,使用MongoShake是最成熟且灵活的开源方案。它通过抓取源库的Oplog实现数据复制,支持全量+增量同步。以下是完整操作指南:


🔧 一、工具选型:MongoShake核心优势

  • 适用场景:单实例→单实例、副本集→副本集、混合云同步。
  • 原理:读取源库(A)的Oplog,重放到目标库(B)。
  • 支持同步模式
  • all:全量+增量同步(推荐初次使用)。
  • incr:仅增量同步(适用于持续备份)。
  • full:仅全量同步。

⚙️ 二、同步前准备

1. 环境要求

  • 源库(A)与目标库(B)
  • 启用Oplog:单实例需初始化为副...

Read more

Alpha Vantage-获取股票行情数据-cases


密钥: TBY633J8Z9VROWSB

Alpha Vantage是一个提供金融市场数据的API服务平台,以下是使用Alpha Vantage API获取A股实时行情数据的步骤:

注册获取API密钥

  • 访问Alpha Vantage官方网站https://www.alphavantage.co/
  • 点击“Sign up for Free API Key”按钮进行注册。
  • 填写相关信息,包括邮箱、密码等,完成注册后,会收到一封包含API密钥的邮件。

选择合适的编程语言和HTTP库

  • 可以使用Python语言,并使用requests库来发送HTTP请求获取数据。如果没有安装requests...

Read more

docker-mongodb-run


docker run --name mongo --restart=always -p 27017:27017  -v E:/SData/mongodb/data:/data/db -v E:/SData/mongodb/backup:/data/backup  -v E:/SData/mongodb/logs:/data/log -v E:/SData/mongodb/conf:/data/conf  -d mongodb/mongodb-community-server:latest

docker run --name mongo --restart=always -p 2701...

Read more

基于 Python 的分布式并发写入方案


以下是基于Python、Redis队列和MongoDB的分布式并发写入方案,适用于5000个接口数据处理:

方案架构

  1. 技术栈

• 任务队列:Redis(List结构实现FIFO队列,支持分布式消费)。

• 并发处理:Python多进程/线程(或异步框架如FastAPI+协程)。

• 存储层:MongoDB(分片集群或副本集,支持高并发写入)。

核心步骤

  1. 数据入队

• 接口请求:

◦ 用Python遍历5000个接口,将每个接口URL/参数作为任务存入Redis队列(如task_queue)。

◦ 示例代码: import redis r = redis.Redis(host='l...

Read more

Dockerfile-中设置环境变量-配置pip代理-Cases


在 Dockerfile 中设置 pip 使用国内代理可以通过设置环境变量来实现。常用的国内镜像源有阿里云、清华大学等。以下是一个示例 Dockerfile,展示了如何设置 pip 使用国内代理:

# 使用官方 Python 镜像作为基础镜像
FROM python:3.9-slim

# 设置环境变量,使用阿里云的 pip 镜像源
ENV PIP_INDEX_URL=https://mirrors.aliyun.com/pypi/simple/

# 或者使用清华大学的 pip 镜像源
# ENV PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu...

Read more

基于人脸识别的Web登录界面-FastAPI-Vue


要实现一个基于人脸识别的Web登录界面,使用Python的FastAPI作为后端,Vue作为前端,以下是实现步骤和代码示例。

1. 后端 (FastAPI)

首先,安装所需的依赖:

pip install fastapi uvicorn face_recognition numpy

然后,创建一个FastAPI应用来处理人脸识别和登录逻辑。

from fastapi import FastAPI, File, UploadFile, HTTPException
import face_recognition
import numpy as np
import os

app = Fa...

Read more

自动备份博客系统-Cases


外网博客数据备份与传输到内网自动化方案

一、方案概述

本方案旨在实现外网博客系统数据的定期自动备份,并将备份文件安全传输至内网环境,同时清理外网过期备份文件以节省空间,确保数据的安全性和完整性。

二、具体步骤

(一)准备工作

  1. 确定外网博客数据目录,例如 /var/www/html/blog(根据实际情况修改)。
  2. 在外网服务器上创建备份文件存储目录,如 /backup,并确保运行脚本的用户具有该目录的读写权限。
  3. 在内网服务器上创建接收备份文件的目录,如 /backup,并配置好相应的权限,以允许外网服务器的用户写入文件。
  4. 确保外网服务器已安装 tarscp 命令,且内外网之间网络配...

Read more