SOONet多视频批量处理Shell脚本自动化定位CSV结果汇总分析1. 项目概述SOONet是一个基于自然语言输入的长视频时序片段定位系统它能够通过一次网络前向计算就精确定位视频中的相关片段。这个系统在处理小时级别的长视频时表现出色不仅推理速度快而且定位精度高。但在实际工作中我们经常需要处理大量的视频文件而不是单个视频。手动一个个上传视频、输入查询文本、等待结果然后记录数据这样的流程效率太低而且容易出错。这就是为什么我们需要自动化批量处理方案。本文将介绍如何使用Shell脚本实现SOONet的批量视频处理并通过CSV文件进行结果汇总和分析让你能够一次性处理成百上千个视频文件大大提高工作效率。2. 环境准备与基础配置2.1 确保SOONet正常运行在开始批量处理之前首先需要确认你的SOONet环境已经正确安装并可以正常运行# 检查工作目录 cd /root/multi-modal_soonet_video-temporal-grounding # 启动SOONet服务如果尚未启动 python app.py # 检查服务是否正常启动 curl -I http://localhost:78602.2 准备批量处理所需的工具确保系统中安装了处理CSV文件所需的工具# 安装csvkit可选用于CSV文件处理 pip install csvkit # 检查必要的系统工具 which curl jq sed awk # 这些应该是系统自带的3. 批量处理Shell脚本实现3.1 基础批量处理脚本创建一个名为soonet_batch_process.sh的Shell脚本#!/bin/bash # SOONet批量处理脚本 # 用法./soonet_batch_process.sh 查询文本 视频目录 输出CSV文件 QUERY_TEXT$1 VIDEO_DIR$2 OUTPUT_CSV$3 SOONET_URLhttp://localhost:7860 # 检查参数 if [ $# -ne 3 ]; then echo 用法: $0 查询文本 视频目录 输出CSV文件 exit 1 fi # 检查视频目录是否存在 if [ ! -d $VIDEO_DIR ]; then echo 错误: 视频目录不存在: $VIDEO_DIR exit 1 fi # 创建输出CSV文件并写入表头 echo filename,start_time,end_time,confidence,processing_time $OUTPUT_CSV # 计数器 processed0 total$(find $VIDEO_DIR -name *.mp4 -o -name *.avi -o -name *.mov | wc -l) echo 开始处理 $total 个视频文件... echo 查询文本: $QUERY_TEXT # 遍历视频目录中的所有视频文件 find $VIDEO_DIR -name *.mp4 -o -name *.avi -o -name *.mov | while read video_file; do filename$(basename $video_file) echo 正在处理: $filename ($((processed1))/$total) # 调用SOONet API进行处理 start_time$(date %s) # 使用curl调用SOONet API response$(curl -s -F text$QUERY_TEXT -F video$video_file $SOONET_URL/api/predict) end_time$(date %s) processing_time$((end_time - start_time)) # 解析JSON响应假设响应包含scores和timestamps字段 confidence$(echo $response | jq -r .scores[0] // N/A) start_timestamp$(echo $response | jq -r .timestamps[0][0] // N/A) end_timestamp$(echo $response | jq -r .timestamps[0][1] // N/A) # 将结果写入CSV echo $filename,$start_timestamp,$end_timestamp,$confidence,$processing_time $OUTPUT_CSV processed$((processed1)) echo 已完成: $processed/$total done echo 批量处理完成结果已保存到: $OUTPUT_CSV3.2 带错误处理的增强版脚本为了处理可能出现的各种错误情况我们可以创建一个更健壮的版本#!/bin/bash # 增强版SOONet批量处理脚本 # 包含错误处理和重试机制 # 配置参数 MAX_RETRIES3 RETRY_DELAY2 TIMEOUT300 # 5分钟超时 process_video() { local video_file$1 local query_text$2 local output_csv$3 local retry_count0 while [ $retry_count -lt $MAX_RETRIES ]; do echo 尝试 $((retry_count1))/$MAX_RETRIES: $(basename $video_file) # 使用超时机制防止长时间挂起 if timeout $TIMEOUT curl -s -F text$query_text -F video$video_file http://localhost:7860/api/predict /tmp/soonet_response.json 2/tmp/curl_error.log; then # 检查响应是否有效 if [ -s /tmp/soonet_response.json ] jq -e . /tmp/soonet_response.json /dev/null 21; then # 解析成功响应 process_success_response $video_file /tmp/soonet_response.json $output_csv return 0 else echo 无效的JSON响应 fi else echo 请求超时或失败 fi retry_count$((retry_count1)) sleep $RETRY_DELAY done # 所有重试都失败 echo 处理失败: $(basename $video_file) | tee -a /tmp/soonet_errors.log echo $(basename $video_file),ERROR,ERROR,ERROR,ERROR $output_csv return 1 } process_success_response() { local video_file$1 local response_file$2 local output_csv$3 local filename$(basename $video_file) # 解析响应数据 local confidence$(jq -r .scores[0] // N/A $response_file) local start_timestamp$(jq -r .timestamps[0][0] // N/A $response_file) local end_timestamp$(jq -r .timestamps[0][1] // N/A $response_file) # 写入CSV echo $filename,$start_timestamp,$end_timestamp,$confidence,$processing_time $output_csv }4. CSV结果分析与可视化4.1 基础结果分析脚本处理完成后我们可以使用以下脚本对CSV结果进行初步分析#!/bin/bash # SOONet结果分析脚本 # 用法: ./analyze_results.sh 结果CSV文件 RESULTS_CSV$1 if [ ! -f $RESULTS_CSV ]; then echo 错误: CSV文件不存在: $RESULTS_CSV exit 1 fi echo SOONet批量处理结果分析 echo 分析文件: $RESULTS_CSV echo # 统计处理总数 total_count$(wc -l $RESULTS_CSV | awk {print $1-1}) # 减去表头行 echo 总处理视频数: $total_count # 统计成功处理数 success_count$(awk -F, NR1 $2 ! ERROR $2 ! N/A {count} END {print count} $RESULTS_CSV) echo 成功处理数: $success_count echo 失败数: $((total_count - success_count)) echo # 置信度统计 echo 置信度统计: awk -F, NR1 $4 ! ERROR $4 ! N/A $4 ~ /^[0-9.]$/ { sum$4; count; if($4 max) max$4; if(NR2 || $4 min) min$4 } END { if(count 0) { print 平均值: sum/count; print 最大值: max; print 最小值: min; } else { print 无有效置信度数据; } } $RESULTS_CSV echo # 处理时间统计 echo 处理时间统计(秒): awk -F, NR1 $5 ! ERROR $5 ! N/A $5 ~ /^[0-9]$/ { sum$5; count; if($5 max) max$5; if(NR2 || $5 min) min$5 } END { if(count 0) { print 总时间: sum 秒; print 平均时间: sum/count 秒/视频; print 最长时间: max 秒; print 最短时间: min 秒; } else { print 无有效处理时间数据; } } $RESULTS_CSV4.2 生成可视化报告我们可以使用Python生成更详细的可视化报告#!/usr/bin/env python3 SOONet结果可视化脚本 生成HTML格式的详细分析报告 import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import sys from datetime import datetime def generate_html_report(csv_file, output_html): # 读取CSV数据 df pd.read_csv(csv_file) # 基本统计 total_count len(df) success_count len(df[df[confidence] ! ERROR]) success_rate success_count / total_count * 100 # 创建HTML报告 html_content f !DOCTYPE html html head titleSOONet批量处理分析报告/title style body {{ font-family: Arial, sans-serif; margin: 40px; }} .header {{ background: #f4f4f4; padding: 20px; border-radius: 5px; }} .stats {{ margin: 20px 0; }} .stat-item {{ margin: 10px 0; }} .chart {{ margin: 30px 0; }} /style /head body div classheader h1SOONet批量处理分析报告/h1 p生成时间: {datetime.now().strftime(%Y-%m-%d %H:%M:%S)}/p p数据文件: {csv_file}/p /div div classstats h2总体统计/h2 div classstat-item总处理视频数: {total_count}/div div classstat-item成功处理数: {success_count}/div div classstat-item成功率: {success_rate:.2f}%/div /div /body /html with open(output_html, w) as f: f.write(html_content) print(fHTML报告已生成: {output_html}) if __name__ __main__: if len(sys.argv) ! 3: print(用法: python visualize_results.py 输入CSV 输出HTML) sys.exit(1) generate_html_report(sys.argv[1], sys.argv[2])5. 高级批量处理技巧5.1 并行处理优化对于大量视频处理我们可以使用GNU Parallel来加速处理#!/bin/bash # 使用Parallel进行并行处理 # 安装: sudo apt-get install parallel NUM_JOBS4 # 同时处理4个视频 process_single_video() { local video_file$1 local query_text$2 local output_csv$3 filename$(basename $video_file) echo 处理: $filename # 调用SOONet API response$(curl -s -F text$query_text -F video$video_file http://localhost:7860/api/predict) # 解析并写入CSV confidence$(echo $response | jq -r .scores[0] // N/A) start_timestamp$(echo $response | jq -r .timestamps[0][0] // N/A) end_timestamp$(echo $response | jq -r .timestamps[0][1] // N/A) # 使用文件锁确保并发写入安全 flock -x 200 echo $filename,$start_timestamp,$end_timestamp,$confidence,$SECONDS $output_csv flock -u 200 } 200/tmp/soonet.lock export -f process_single_video # 使用Parallel并行处理 find $VIDEO_DIR -name *.mp4 -o -name *.avi -o -name *.mov | \ parallel -j $NUM_JOBS --progress \ process_single_video {} $QUERY_TEXT $OUTPUT_CSV5.2 结果数据库存储对于长期的结果跟踪我们可以将结果存储到SQLite数据库中#!/bin/bash # 将CSV结果导入SQLite数据库 DB_FILEsoonet_results.db CSV_FILE$1 # 创建数据库和表 sqlite3 $DB_FILE EOF CREATE TABLE IF NOT EXISTS soonet_results ( id INTEGER PRIMARY KEY AUTOINCREMENT, filename TEXT NOT NULL, start_time REAL, end_time REAL, confidence REAL, processing_time INTEGER, processed_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, query_text TEXT ); EOF # 导入CSV数据 { echo .mode csv echo .import $CSV_FILE soonet_results_tmp echo INSERT INTO soonet_results (filename, start_time, end_time, confidence, processing_time) SELECT filename, start_time, end_time, confidence, processing_time FROM soonet_results_tmp; echo DROP TABLE soonet_results_tmp; } | sqlite3 $DB_FILE echo 结果已导入数据库: $DB_FILE6. 实际应用案例6.1 监控视频分析案例假设我们有一个监控摄像头系统需要分析每天的视频录像#!/bin/bash # 每日监控视频分析脚本 # 配置参数 QUERY_TEXTperson entering the building VIDEO_DIR/mnt/security_cameras/daily/$(date %Y-%m-%d) OUTPUT_CSV/var/log/soonet/analysis_$(date %Y%m%d).csv LOG_FILE/var/log/soonet/process_$(date %Y%m%d).log # 创建输出目录 mkdir -p $(dirname $OUTPUT_CSV) mkdir -p $(dirname $LOG_FILE) # 执行批量处理 echo 开始处理每日监控视频: $(date) | tee -a $LOG_FILE ./soonet_batch_process.sh $QUERY_TEXT $VIDEO_DIR $OUTPUT_CSV 21 | tee -a $LOG_FILE # 生成分析报告 ./analyze_results.sh $OUTPUT_CSV | tee -a $LOG_FILE # 发送邮件通知可选 # echo 每日视频分析完成 | mail -s SOONet分析报告 $(date %Y-%m-%d) adminexample.com echo 处理完成: $(date) | tee -a $LOG_FILE6.2 媒体素材管理案例对于媒体制作公司可以使用SOONet来自动标记视频素材#!/bin/bash # 视频素材自动标记脚本 # 定义多个查询词 QUERIES( outdoor scenery interview scene product demonstration action sequence emotional moment ) VIDEO_DIR/media/video_assets OUTPUT_DIR/media/processed_assets for query in ${QUERIES[]}; do # 创建安全的文件名 safe_query$(echo $query | tr _ | tr -cd [:alnum:]_) output_csv$OUTPUT_DIR/results_${safe_query}.csv echo 处理查询: $query ./soonet_batch_process.sh $query $VIDEO_DIR $output_csv # 生成分类报告 ./analyze_results.sh $output_csv $OUTPUT_DIR/report_${safe_query}.txt done # 合并所有结果 echo filename,query,start_time,end_time,confidence $OUTPUT_DIR/combined_results.csv for csv_file in $OUTPUT_DIR/results_*.csv; do query$(basename $csv_file | sed s/results_// | sed s/\.csv// | tr _ ) awk -v q$query -F, NR1 {print $1 , \ q \ , $2 , $3 , $4} $csv_file done $OUTPUT_DIR/combined_results.csv echo 所有查询处理完成7. 总结通过本文介绍的Shell脚本自动化方案你可以轻松实现SOONet的多视频批量处理大大提高了视频分析的效率。无论是安全监控、媒体管理还是学术研究这种自动化方法都能为你节省大量时间和精力。主要优势高效批量处理一次性处理大量视频文件自动化流程减少人工干预降低错误率结构化结果CSV格式便于后续分析和处理灵活可扩展可以根据需求定制不同的处理流程实践建议先从少量视频开始测试确保脚本正常工作根据实际硬件性能调整并行处理数量定期检查日志文件监控处理状态根据需要调整查询文本获得更精确的结果通过这种自动化方法你可以将更多精力放在结果分析和业务应用上而不是繁琐的手动操作中。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。