在生产环境中使用 Keras、Redis、Flask 和 Apache 进行深度学习
今天我们演示如何在生产环境中使用Keras、Redis、Flask 和 Apache 进行深度学习
项目结构
├── helpers.py
├── jemma.png
├── keras_rest_api_app.wsgi
├── run_model_server.py
├── run_web_server.py
├── settings.py
├── simple_request.py
└── stress_test.py
文件解释:
- run_web_server.py 包含我们所有的 Flask Web 服务器代码——Apache 将在启动我们的深度学习 Web 应用程序时加载它。
- run_model_server.py 将:
- 从磁盘加载我们的 Keras 模型
- 不断轮询Redis寻找新图像进行分类
- 对图像进行分类(批量处理以提高效率)
- 将推理结果写回 Redis,以便它们可以通过 Flask 返回给客户端。
- settings.py 包含我们深度学习生产服务的所有基于 Python 的设置,例如 Redis 主机/端口信息、图像分类设置、图像队列名称等。
- helpers.py 包含 run_web_server.py 和 run_model_server.py 都将使用的实用函数(即 base64 编码)。
- keras_rest_api_app.wsgi 包含我们的 WSGI 设置,因此我们可以从我们的 Apache 服务器为 Flask 应用程序提供服务。
- simple_request.py 可用于以编程方式使用我们的深度学习 API 服务的结果。
- jemma.png 是我家小猎犬的照片。在调用 REST API 以验证它确实有效时,我们将使用她作为示例图像。
- 最后,我们将使用 stress_test.py 来给我们的服务器施加压力并在整个过程中测量图像分类。
我们在 Flask 服务器上有一个端点 /predict 。此方法位于 run_web_server.py 中,将根据需要计算输入图像的分类。图像预处理也在 run_web_server.py 中处理。
为了使我们的服务器做好生产准备,我从上周的单个脚本中取出了分类过程函数并将其放置在 run_model_server.py 中。这个脚本非常重要,因为它将加载我们的 Keras 模型并从 Redis 中的图像队列中抓取图像进行分类。结果被写回 Redis(/predict 端点和 run_web_server.py 中的相应函数监视 Redis 以将结果发送回客户端)。
但是除非我们知道深度学习 REST API 服务器的功能和局限性,否则它有什么好处呢?
在 stress_test.py 中,我们测试我们的服务器。我们将通过启动 500 个并发线程来实现这一点,这些线程将我们的图像发送到服务器进行并行分类。我建议在服务器 localhost 上运行它以启动,然后从异地客户端运行它。
构建我们的深度学习网络应用
图 1:使用 Python、Keras、Redis 和 Flask 构建的深度学习 REST API 服务器的数据流图。
这个项目中使用的几乎每一行代码都来自我们之前关于构建可扩展深度学习 REST API 的文章——唯一的变化是我们将一些代码移动到单独的文件中,以促进生产环境中的可扩展性。
设置和配置
# initialize Redis connection settings
REDIS_HOST = "localhost"
REDIS_PORT = 6379
REDIS_DB = 0
# initialize constants used to control image spatial dimensions and
# data type
IMAGE_WIDTH = 224
IMAGE_HEIGHT = 224
IMAGE_CHANS = 3
IMAGE_DTYPE = "float32"
# initialize constants used for server queuing
IMAGE_QUEUE = "image_queue"
BATCH_SIZE = 32
SERVER_SLEEP = 0.25
CLIENT_SLEEP = 0.25
在 settings.py 中,您将能够更改服务器连接、图像尺寸 + 数据类型和服务器队列的参数。
# import the necessary packages
import numpy as np
import base64
import sys
def base64_encode_image(a):# base64 encode the input NumPy arrayreturn base64.b64encode(a).decode("utf-8")
def base64_decode_image(a, dtype, shape):# if this is Python 3, we need the extra step of encoding the# serialized NumPy string as a byte objectif sys.version_info.major == 3:a = bytes(a, encoding="utf-8")# convert the string to a NumPy array using the supplied data# type and target shapea = np.frombuffer(base64.decodestring(a), dtype=dtype)a = a.reshape(shape)# return the decoded imagereturn a
helpers.py 文件包含两个函数——一个用于 base64 编码,另一个用于解码。
编码是必要的,以便我们可以在 Redis 中序列化 + 存储我们的图像。 同样,解码是必要的,以便我们可以在预处理之前将图像反序列化为 NumPy 数组格式。
深度学习网络服务器
# import the necessary packages
from tensorflow.keras.preprocessing.image import img_to_array
from tensorflow.keras.applications.resnet50 import preprocess_input
from PIL import Image
import numpy as np
import settings
import helpers
import flask
import redis
import uuid
import time
import json
import io
# initialize our Flask application and Redis server
app = flask.Flask(__name__)
db = redis.StrictRedis(host=settings.REDIS_HOST,port=settings.REDIS_PORT, db=settings.REDIS_DB)
def prepare_image(image, target):# if the image mode is not RGB, convert itif image.mode != "RGB":image = image.convert("RGB")# resize the input image and preprocess itimage = image.resize(target)image = img_to_array(image)image = np.expand_dims(image, axis=0)image = preprocess_input(image)# return the processed imagereturn image
@app.route("/")
def homepage():return "Welcome to the PyImageSearch Keras REST API!"
@app.route("/predict", methods=["POST"])
def predict():# initialize the data dictionary that will be returned from the# viewdata = {"success": False}# ensure an image was properly uploaded to our endpointif flask.request.method == "POST":if flask.request.files.get("image"):# read the image in PIL format and prepare it for# classificationimage = flask.request.files["image"].read()image = Image.open(io.BytesIO(image))image = prepare_image(image,(settings.IMAGE_WIDTH, settings.IMAGE_HEIGHT))# ensure our NumPy array is C-contiguous as well,# otherwise we won't be able to serialize itimage = image.copy(order="C")# generate an ID for the classification then add the# classification ID + image to the queuek = str(uuid.uuid4())image = helpers.base64_encode_image(image)d = {"id": k, "image": image}db.rpush(settings.IMAGE_QUEUE, json.dumps(d))# keep looping until our model server returns the output# predictionswhile True:# attempt to grab the output predictionsoutput = db.get(k)# check to see if our model has classified the input# imageif output is not None:# add the output predictions to our data# dictionary so we can return it to the clientoutput = output.decode("utf-8")data["predictions"] = json.loads(output)# delete the result from the database and break# from the polling loopdb.delete(k)break# sleep for a small amount to give the model a chance# to classify the input imagetime.sleep(settings.CLIENT_SLEEP)# indicate that the request was a successdata["success"] = True# return the data dictionary as a JSON responsereturn flask.jsonify(data)
# for debugging purposes, it's helpful to start the Flask testing
# server (don't use this for production
if __name__ == "__main__":print("* Starting web service...")app.run()
在 run_web_server.py 中,您将看到 predict ,该函数与我们的 REST API /predict 端点相关联。
predict 函数将编码的图像推送到 Redis 队列中,然后不断循环/轮询,直到它从模型服务器获取预测数据。 然后我们对数据进行 JSON 编码并指示 Flask 将数据发送回客户端。
深度学习模型服务器
# import the necessary packages
from tensorflow.keras.applications import ResNet50
from tensorflow.keras.applications.resnet50 import decode_predictions
import numpy as np
import settings
import helpers
import redis
import time
import json
# connect to Redis server
db = redis.StrictRedis(host=settings.REDIS_HOST,port=settings.REDIS_PORT, db=settings.REDIS_DB)
def classify_process():# load the pre-trained Keras model (here we are using a model# pre-trained on ImageNet and provided by Keras, but you can# substitute in your own networks just as easily)print("* Loading model...")model = ResNet50(weights="imagenet")print("* Model loaded")# continually pool for new images to classifywhile True:# attempt to grab a batch of images from the database, then# initialize the image IDs and batch of images themselvesqueue = db.lrange(settings.IMAGE_QUEUE, 0,settings.BATCH_SIZE - 1)imageIDs = []batch = None# loop over the queuefor q in queue:# deserialize the object and obtain the input imageq = json.loads(q.decode("utf-8"))image = helpers.base64_decode_image(q["image"],settings.IMAGE_DTYPE,(1, settings.IMAGE_HEIGHT, settings.IMAGE_WIDTH,settings.IMAGE_CHANS))# check to see if the batch list is Noneif batch is None:batch = image# otherwise, stack the dataelse:batch = np.vstack([batch, image])# update the list of image IDsimageIDs.append(q["id"])# check to see if we need to process the batchif len(imageIDs) > 0:# classify the batchprint("* Batch size: {}".format(batch.shape))preds = model.predict(batch)results = decode_predictions(preds)# loop over the image IDs and their corresponding set of# results from our modelfor (imageID, resultSet) in zip(imageIDs, results):# initialize the list of output predictionsoutput = []# loop over the results and add them to the list of# output predictionsfor (imagenetID, label, prob) in resultSet:r = {"label": label, "probability": float(prob)}output.append(r)# store the output predictions in the database, using# the image ID as the key so we can fetch the resultsdb.set(imageID, json.dumps(output))# remove the set of images from our queuedb.ltrim(settings.IMAGE_QUEUE, len(imageIDs), -1)# sleep for a small amounttime.sleep(settings.SERVER_SLEEP)
# if this is the main thread of execution start the model server
# process
if __name__ == "__main__":classify_process()
run_model_server.py 文件包含我们的classify_process 函数。 这个函数加载我们的模型,然后对一批图像运行预测。 这个过程最好在 GPU 上执行,但也可以使用 CPU。
在这个例子中,为了简单起见,我们将使用在 ImageNet 数据集上预训练的 ResNet50。 您可以修改classify_process 以利用您自己的深度学习模型。
WSGI 配置
# add our app to the system path
import sys
sys.path.insert(0, "/var/www/html/keras-complete-rest-api")
# import the application and away we go...
from run_web_server import app as application
文件 keras_rest_api_app.wsgi 是我们深度学习 REST API 的一个新组件。 这个 WSGI 配置文件将我们的服务器目录添加到系统路径并导入 Web 应用程序以启动所有操作。 我们在 Apache 服务器设置文件 /etc/apache2/sites-available/000-default.conf 中指向此文件,稍后将在本博文中介绍。
压力测试
# import the necessary packages
from threading import Thread
import requests
import time
# initialize the Keras REST API endpoint URL along with the input
# image path
KERAS_REST_API_URL = "http://localhost/predict"
IMAGE_PATH = "jemma.png"
# initialize the number of requests for the stress test along with
# the sleep amount between requests
NUM_REQUESTS = 500
SLEEP_COUNT = 0.05
def call_predict_endpoint(n):# load the input image and construct the payload for the requestimage = open(IMAGE_PATH, "rb").read()payload = {"image": image}# submit the requestr = requests.post(KERAS_REST_API_URL, files=payload).json()# ensure the request was sucessfulif r["success"]:print("[INFO] thread {} OK".format(n))# otherwise, the request failedelse:print("[INFO] thread {} FAILED".format(n))
# loop over the number of threads
for i in range(0, NUM_REQUESTS):# start a new thread to call the APIt = Thread(target=call_predict_endpoint, args=(i,))t.daemon = Truet.start()time.sleep(SLEEP_COUNT)
# insert a long sleep so we can wait until the server is finished
# processing the images
time.sleep(300)
我们的 stress_test.py 脚本将帮助我们测试服务器并确定其限制。 我总是建议对您的深度学习 REST API 服务器进行压力测试,以便您知道是否(更重要的是,何时)需要添加额外的 GPU、CPU 或 RAM。 此脚本启动 NUM_REQUESTS 线程和 POST 到 /predict 端点。 这取决于我们的 Flask 网络应用程序。
编译安装Redis
Redis 是一种高效的内存数据库,它将充当我们的队列/消息代理。 获取和安装Redis非常简单:
$ wget http://download.redis.io/redis-stable.tar.gz
$ tar xvzf redis-stable.tar.gz
$ cd redis-stable
$ make
$ sudo make install
创建您的深度学习 Python 虚拟环境
安装附加包:
$ workon dl4cv
$ pip install flask
$ pip install gevent
$ pip install requests
$ pip install redis
安装 Apache Web 服务器
可以使用其他 Web 服务器,例如 nginx,但由于我对 Apache 有更多的经验(因此通常更熟悉 Apache),因此我将在此示例中使用 Apache。 Apache 可以通过以下方式安装:
$ sudo apt-get install apache2
如果您使用 Python 3 创建了一个虚拟环境,您将需要安装 Python 3 WSGI + Apache 模块:
$ sudo apt-get install libapache2-mod-wsgi-py3
$ sudo a2enmod wsgi
要验证是否安装了 Apache,请打开浏览器并输入 Web 服务器的 IP 地址。 如果您看不到服务器启动画面,请确保打开端口 80 和端口 5000。 就我而言,我服务器的 IP 地址是 54.187.46.215(你的会有所不同)。 在浏览器中输入这个,我看到:
Sym-link链接您的 Flask + 深度学习应用程序
默认情况下,Apache 提供来自 /var/www/html 的内容。 我建议创建一个从 /var/www/html 到 Flask Web 应用程序的符号链接。 我已将我的深度学习 + Flask 应用程序上传到名为 keras-complete-rest-api 的目录中的主目录:
$ ls ~
keras-complete-rest-api
我可以通过以下方式将其符号链接到 /var/www/html:
$ cd /var/www/html/
$ sudo ln -s ~/keras-complete-rest-api keras-complete-rest-api
更新您的 Apache 配置以指向 Flask 应用程序
为了将 Apache 配置为指向我们的 Flask 应用程序,我们需要编辑 /etc/apache2/sites-available/000-default.conf 。 在你最喜欢的文本编辑器中打开(这里我将使用 vi ):
$ sudo vi /etc/apache2/sites-available/000-default.conf
在文件的顶部提供您的 WSGIPythonHome(Python bin 目录的路径)和 WSGIPythonPath(Python 站点包目录的路径)配置:
WSGIPythonHome /home/ubuntu/.virtualenvs/keras_flask/bin
WSGIPythonPath /home/ubuntu/.virtualenvs/keras_flask/lib/python3.5/site-packages
<VirtualHost *:80>...
</VirtualHost>
在 Ubuntu 18.04 上,您可能需要将第一行更改为:
WSGIPythonHome /home/ubuntu/.virtualenvs/keras_flask
由于我们在本示例中使用 Python 虚拟环境(我将我的虚拟环境命名为 keras_flask ),因此我们为 Python 虚拟环境提供 bin 和 site-packages 目录的路径。 然后在 的正文中,在 ServerAdmin 和 DocumentRoot 之后,添加:
<VirtualHost *:80>...WSGIDaemonProcess keras_rest_api_app threads=10WSGIScriptAlias / /var/www/html/keras-complete-rest-api/keras_rest_api_app.wsgi<Directory /var/www/html/keras-complete-rest-api>WSGIProcessGroup keras_rest_api_appWSGIApplicationGroup %{GLOBAL}Order deny,allowAllow from all</Directory>...
</VirtualHost>
符号链接 CUDA 库(可选,仅限 GPU)
如果您将 GPU 用于深度学习并希望利用 CUDA(您为什么不这样做),不幸的是,Apache 不了解 /usr/local/cuda/lib64 中的 CUDA 的 *.so 库。
我不确定什么是“最正确”的方式向 Apache 指示这些 CUDA 库所在的位置,但“完全破解”解决方案是将所有文件从 /usr/local/cuda/lib64 符号链接到 /usr/lib :
$ cd /usr/lib
$ sudo ln -s /usr/local/cuda/lib64/* ./
重新启动 Apache Web 服务器
编辑完 Apache 配置文件并可选择符号链接 CUDA 深度学习库后,请务必通过以下方式重新启动 Apache 服务器:
$ sudo service apache2 restart
测试您的 Apache Web 服务器 + 深度学习端点
要测试 Apache 是否已正确配置以提供 Flask + 深度学习应用程序,请刷新您的 Web 浏览器:
您现在应该看到文本“欢迎使用 PyImageSearch Keras REST API!” 在您的浏览器中。 一旦你达到这个阶段,你的 Flask 深度学习应用程序就应该准备好了。 综上所述,如果您遇到任何问题,请确保参考下一节……
提示:如果遇到问题,请监控 Apache 错误日志
多年来,我一直在使用 Python + Web 框架,例如 Flask 和 Django,但在正确配置环境时仍然会出错。 虽然我希望有一种防弹的方法来确保一切顺利,但事实是,在此过程中可能会出现一些问题。 好消息是 WSGI 将 Python 事件(包括失败)记录到服务器日志中。 在 Ubuntu 上,Apache 服务器日志位于 /var/log/apache2/ :
$ ls /var/log/apache2
access.log error.log other_vhosts_access.log
调试时,我经常打开一个运行的终端:
$ tail -f /var/log/apache2/error.log
…所以我可以看到第二个错误滚滚而来。 使用错误日志帮助您在服务器上启动和运行 Flask。
启动您的深度学习模型服务器
您的 Apache 服务器应该已经在运行。 如果没有,您可以通过以下方式启动它:
$ sudo service apache2 start
然后,您将要启动 Redis 存储:
$ redis-server
并在单独的终端中启动 Keras 模型服务器:
$ python run_model_server.py
* Loading model...
...
* Model loaded
从那里尝试向您的深度学习 API 服务提交示例图像:
$ curl -X POST -F image=@jemma.png 'http://localhost/predict'
{"predictions": [{"label": "beagle", "probability": 0.9461532831192017}, {"label": "bluetick", "probability": 0.031958963721990585}, {"label": "redbone", "probability": 0.0066171870566904545}, {"label": "Walker_hound", "probability": 0.003387963864952326}, {"label": "Greater_Swiss_Mountain_dog", "probability": 0.0025766845792531967}], "success": true
}
如果一切正常,您应该会收到来自深度学习 API 模型服务器的格式化 JSON 输出,其中包含类别预测 + 概率。
对您的深度学习 REST API 进行压力测试
当然,这只是一个例子。 让我们对深度学习 REST API 进行压力测试。 打开另一个终端并执行以下命令:
$ python stress_test.py
[INFO] thread 3 OK
[INFO] thread 0 OK
[INFO] thread 1 OK
...
[INFO] thread 497 OK
[INFO] thread 499 OK
[INFO] thread 498 OK
在 run_model_server.py 输出中,您将开始看到记录到终端的以下行:
* Batch size: (4, 224, 224, 3)
* Batch size: (9, 224, 224, 3)
* Batch size: (9, 224, 224, 3)
* Batch size: (8, 224, 224, 3)
...
* Batch size: (2, 224, 224, 3)
* Batch size: (10, 224, 224, 3)
* Batch size: (7, 224, 224, 3)
即使每 0.05 秒有一个新请求,我们的批次大小也不会超过每批次约 10-12 张图像。 我们的模型服务器可以轻松处理负载而不会出汗,并且可以轻松扩展到此之外。 如果您确实使服务器超载(可能是您的批大小太大并且 GPU 内存不足并显示错误消息),您应该停止服务器,并使用 Redis CLI 清除队列:
$ redis-cli
> FLUSHALL
从那里您可以调整 settings.py 和 /etc/apache2/sites-available/000-default.conf 中的设置。 然后您可以重新启动服务器。
将您自己的深度学习模型部署到生产环境的建议
我能给出的最好建议之一是将您的数据,尤其是 Redis 服务器,靠近 GPU。 您可能想启动一个具有数百 GB RAM 的巨型 Redis 服务器来处理多个图像队列并为多个 GPU 机器提供服务。 这里的问题将是 I/O 延迟和网络开销。
假设 224 x 224 x 3 图像表示为 float32 数组,32 张图像的批量大小将是 ~19MB 的数据。 这意味着对于来自模型服务器的每个批处理请求,Redis 将需要提取 19MB 的数据并将其发送到服务器。 在快速切换上,这没什么大不了的,但您应该考虑在同一台服务器上同时运行模型服务器和 Redis,以使数据靠近 GPU。
总结
在今天的博文中,我们学习了如何使用 Keras、Redis、Flask 和 Apache 将深度学习模型部署到生产环境中。 我们在这里使用的大多数工具都是可以互换的。您可以将 TensorFlow 或 PyTorch 换成 Keras。可以使用 Django 代替 Flask。 Nginx 可以换成 Apache。
我不建议换掉的唯一工具是 Redis。 Redis 可以说是内存数据存储的最佳解决方案。除非您有不使用 Redis 的特定原因,否则我建议您使用 Redis 进行排队操作。 最后,我们对深度学习 REST API 进行了压力测试。
我们向我们的服务器提交了总共 500 个图像分类请求,每个请求之间有 0.05 秒的延迟——我们的服务器没有分阶段(CNN 的批量大小从未超过约 37%)。
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
相关文章
- Vue3.x 关于组件的那些变化(前端开发必读)
一、组件内的 data 为什么总是函数形式? 我们试着先做一个计数器案例,把 data 的返回形式修改成一个对象。具体的代码如下: <template><div><button click"num"></button>{{num}}<button click"…...
2024/4/15 5:08:18 - 整合SSM框架、快速开发CRUD项目——修改
整合SSM框架、快速开发CRUD项目 本文学习内容来自尚硅谷的视频 尚硅谷SSM实战演练丨ssm整合快速开发CRUD_哔哩哔哩_bilibili 修改 修改员工,要求是点击修改按钮,回显当前的员工信息,点击更新再进行修改 点击按钮,回显员工信息 我…...
2024/4/15 5:08:13 - 同步调制参考论文集
sahoo2016 2013...
2024/4/15 5:08:18 - 【攻防世界_web_2】robots
robots 题目 X老师上课讲了Robots协议,小宁同学却上课打了瞌睡,赶紧来教教小宁Robots协议是什么吧。 不知道什么是robots?(点这里) 解题 题目的名称是robots,那么就不难想到这题和robots有关 打开环境…...
2024/4/15 5:08:33 - 如何查看chrome浏览器插件位置
文章目录一、文章参考二、问题描述三、解决办法一、文章参考 如何查看chrome浏览器插件位置 二、问题描述 最近在学习Vue3的语法知识,其中需要安装chrome开发调试插件,由于网络的原因,无法访问chrome商店,也无法从github中下载…...
2024/4/20 2:52:20 - 双十一的浪漫,快去表白
酷炫相册,手把手教你 前面总结了2D/3D转换的是知识点,就想着来一点小练习。准备写一个好看的相册。如下图效果。 1.分析并实现 我们来分析一下。这张图的结构。我们要知道x,y,z每条轴旋转的效果。关于2D/3D平移的知识看上一篇博客CSS3 2D/3D转换手把手教…...
2024/4/15 5:08:38 - Python入门经典
# Python入门 ## 编码格式声明 python #encoding:格式 # utf-8//gbk ## print函数 py print() //输出 字符串(“”) 运行计算不需要“” 如果要实现不换行需要在变量末尾加上 end"" python 字符串类型和数值类型连接,需要转换…...
2024/4/18 9:03:44 - git创建本地仓库最简单的一种方式
首先下载一个它 创建文件夹在文件夹里面右击打开,点击Git Bash Here 打开 打开之后输入创建仓库的指令 创建的文件夹里面出现.git就代表成功了...
2024/4/19 23:41:48 - RocketMQ的消息重试(消息重投)
详细介绍了RocketMQ的消息重试机制,RocketMQ的消息重试可以分为生产者重试和消费者重试两个部分。 文章目录1 生产者重试2 消费者重试2.1 异常重试2.2 超时重试1 生产者重试 生产者在发送消息时,同步消息失败会重投,异步消息有重试ÿ…...
2024/4/19 8:10:30 - 线缆认证和网络测试如何完美集成
作为一线的网络管理人员,经常会碰到既要检测物理层不要有任何问题,同时还要检测网络层的配置,从而消除潜在的网络问题,确保整个网络在健康的环境下运行。那么有没有这样的工具或者手段,让线缆认证和网络测试完美集合在…...
2024/4/15 5:08:13 - Ubuntu openjdk相关操作
卸载openjdk sudo apt-get purge openjdk*...
2024/4/15 5:09:19 - ElasticSearch基础
1.1 简介 Elasticsearch是一个高度可伸缩的开源全文搜索引擎。Elasticsearch让你可以快速、实时地存储、搜索和分析大量数据,它通常作为互联网应用的内部搜索引擎,为需要复杂搜索功能的应用提供支持。ElasticSearch是一个基于 Lucene 的搜索服务器。它提…...
2024/4/17 3:47:19 - 多机器人协同运行
多机器人协同运行 在实际环境中,通常会有多个移动机器人完成一个或多个任务。为了实现这个目标,可以使用多机路径规划加上一个多机器人协同运行控制器。在多机路径规划完成后,就会得到所有机器人运行的路径,且这些路径点都有相对时…...
2024/4/19 8:42:11 - 『NLP打卡营』实践课6:机器阅读理解
基于预训练模型的机器阅读理解 阅读理解是检索问答系统中的重要组成部分,最常见的数据集是单篇章、抽取式阅读理解数据集。 该示例展示了如何使用PaddleNLP快速实现基于预训练模型的机器阅读理解任务。 本示例使用的数据集是Dureaderrobust数据集。对于一个给定的…...
2024/4/15 5:09:24 - 中国丹参市场经营模式与盈利预测报告(新版)2021-2026年
中国丹参市场经营模式与盈利预测报告(新版)2021-2026年 ************************************** 【报告编号】: BG545792 【出版时间】: 2021年11月 【出版机构】: 中智正业研究院 免费售后服务一年,具体订购内容及流程欢迎咨询客服专员。 …...
2024/4/7 0:45:13 - 『NLP打卡营』实践课5:文本情感分析
『NLP直播课』Day 5:情感分析预训练模型SKEP 本项目将详细全面介绍情感分析任务的两种子任务,句子级情感分析和目标级情感分析。 同时演示如何使用情感分析预训练模型SKEP完成以上两种任务,详细介绍预训练模型SKEP及其在 PaddleNLP 的使用方…...
2024/4/15 5:09:14 - oracle 和 mysql 日期格式化
oracle 和 mysql 日期格式化 oracle to_char(字段名, yyyy-mm-dd hh24:mi:ss) 返回字段mysql DATE_FORMAT(字段名, %Y-%m-%d %H:%i:%s) 返回字段...
2024/4/15 5:09:04 - jsp1173RBAC权限管理系统
权限管理系统即基于角色的访问控制方法(RBAC)的显著的两大特征是:1.由于角色/权限之间的变化比角色/用户关系之间的变化相对要慢得多,减小了授权管理的复杂性,降低管理开销。2.灵活地支持企业的安全策略,并…...
2024/4/17 20:17:39 - .NET 生态系统的蜕变之 .NET 6
.NET 6 是自.NET 4 框架以来生态系统看到的最大版本更新,虽然.NET Core 是2014年开始非常大的一项重大战略举措,但是.NET 6是真正的具有强大动力的非常重要的版本。 微软MVP实验室研究员 2021年11月9日即将正式发布的.NET 6, 也许你认为.NET 5才刚刚发布…...
2024/4/19 15:41:58 - 零基础java自学流程-Java语言进阶117
想要系统学习JAVA推荐JAVA300集Java300集零基础适合初学者视频教程 ArrayList 底层是Object数组,所以ArrayList具有数组的查询速度快的优点以及增删速度慢的缺点。 而在LinkedList的底层是一种双向循环链表。在此链表上每一个数据节点都由三部分组成:前…...
2024/4/15 5:09:14
最新文章
- LLM理解v1
答疑 什么是知识库? LLM(Large Language Models,大型语言模型)如GPT系列,通常是基于海量的文本数据进行训练的。它们通过分析和理解这些数据来生成回答、撰写文章、解决问题等。当我们提到LLM的“本地知识库”时&…...
2024/4/20 3:26:51 - 梯度消失和梯度爆炸的一些处理方法
在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言,在此感激不尽。 权重和梯度的更新公式如下: w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...
2024/3/20 10:50:27 - 持续交付工具Argo CD的部署使用
Background CI/CD(Continuous Integration/Continuous Deployment)是一种软件开发流程,旨在通过自动化和持续集成的方式提高软件交付的效率和质量。它包括持续集成(CI)和持续部署(CD)两个主要阶…...
2024/4/12 14:25:48 - [flink 实时流基础] flink组件栈以及任务执行与资源划分
文章目录 7. Flink组件栈1. 部署层(1)Local模式(2)Cluster模式(3)Cloud模式 2.运行时3.API层4. 上层工具 8. 任务执行与资源划分1. 再谈逻辑视图到物理执行图2. 任务、算子子任务与算子链3. Slot与计算资源…...
2024/4/18 5:24:15 - 机器学习就这?机器学习的本质------数学应用题?
机器学习是人工智能领域的一个重要分支,它利用计算机算法从数据中学习和建立模型,以便进行预测或决策,而无需进行明确的编程。机器学习的应用范围非常广泛,从图像识别、自然语言处理到推荐系统等。 概念 机器学习的核心概念是&am…...
2024/4/12 17:09:59 - 【外汇早评】美通胀数据走低,美元调整
原标题:【外汇早评】美通胀数据走低,美元调整昨日美国方面公布了新一期的核心PCE物价指数数据,同比增长1.6%,低于前值和预期值的1.7%,距离美联储的通胀目标2%继续走低,通胀压力较低,且此前美国一季度GDP初值中的消费部分下滑明显,因此市场对美联储后续更可能降息的政策…...
2024/4/19 14:24:02 - 【原油贵金属周评】原油多头拥挤,价格调整
原标题:【原油贵金属周评】原油多头拥挤,价格调整本周国际劳动节,我们喜迎四天假期,但是整个金融市场确实流动性充沛,大事频发,各个商品波动剧烈。美国方面,在本周四凌晨公布5月份的利率决议和新闻发布会,维持联邦基金利率在2.25%-2.50%不变,符合市场预期。同时美联储…...
2024/4/19 18:20:22 - 【外汇周评】靓丽非农不及疲软通胀影响
原标题:【外汇周评】靓丽非农不及疲软通胀影响在刚结束的周五,美国方面公布了新一期的非农就业数据,大幅好于前值和预期,新增就业重新回到20万以上。具体数据: 美国4月非农就业人口变动 26.3万人,预期 19万人,前值 19.6万人。 美国4月失业率 3.6%,预期 3.8%,前值 3…...
2024/4/19 11:57:31 - 【原油贵金属早评】库存继续增加,油价收跌
原标题:【原油贵金属早评】库存继续增加,油价收跌周三清晨公布美国当周API原油库存数据,上周原油库存增加281万桶至4.692亿桶,增幅超过预期的74.4万桶。且有消息人士称,沙特阿美据悉将于6月向亚洲炼油厂额外出售更多原油,印度炼油商预计将每日获得至多20万桶的额外原油供…...
2024/4/19 11:57:31 - 【外汇早评】日本央行会议纪要不改日元强势
原标题:【外汇早评】日本央行会议纪要不改日元强势近两日日元大幅走强与近期市场风险情绪上升,避险资金回流日元有关,也与前一段时间的美日贸易谈判给日本缓冲期,日本方面对汇率问题也避免继续贬值有关。虽然今日早间日本央行公布的利率会议纪要仍然是支持宽松政策,但这符…...
2024/4/19 11:57:52 - 【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响
原标题:【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响近日伊朗局势升温,导致市场担忧影响原油供给,油价试图反弹。此时OPEC表态稳定市场。据消息人士透露,沙特6月石油出口料将低于700万桶/日,沙特已经收到石油消费国提出的6月份扩大出口的“适度要求”,沙特将满…...
2024/4/19 11:57:53 - 【外汇早评】美欲与伊朗重谈协议
原标题:【外汇早评】美欲与伊朗重谈协议美国对伊朗的制裁遭到伊朗的抗议,昨日伊朗方面提出将部分退出伊核协议。而此行为又遭到欧洲方面对伊朗的谴责和警告,伊朗外长昨日回应称,欧洲国家履行它们的义务,伊核协议就能保证存续。据传闻伊朗的导弹已经对准了以色列和美国的航…...
2024/4/19 11:58:14 - 【原油贵金属早评】波动率飙升,市场情绪动荡
原标题:【原油贵金属早评】波动率飙升,市场情绪动荡因中美贸易谈判不安情绪影响,金融市场各资产品种出现明显的波动。随着美国与中方开启第十一轮谈判之际,美国按照既定计划向中国2000亿商品征收25%的关税,市场情绪有所平复,已经开始接受这一事实。虽然波动率-恐慌指数VI…...
2024/4/19 11:58:20 - 【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试
原标题:【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试美国和伊朗的局势继续升温,市场风险情绪上升,避险黄金有向上突破阻力的迹象。原油方面稍显平稳,近期美国和OPEC加大供给及市场需求回落的影响,伊朗局势并未推升油价走强。近期中美贸易谈判摩擦再度升级,美国对中…...
2024/4/19 23:45:49 - 【原油贵金属早评】市场情绪继续恶化,黄金上破
原标题:【原油贵金属早评】市场情绪继续恶化,黄金上破周初中国针对于美国加征关税的进行的反制措施引发市场情绪的大幅波动,人民币汇率出现大幅的贬值动能,金融市场受到非常明显的冲击。尤其是波动率起来之后,对于股市的表现尤其不安。隔夜美国股市出现明显的下行走势,这…...
2024/4/19 11:58:39 - 【外汇早评】美伊僵持,风险情绪继续升温
原标题:【外汇早评】美伊僵持,风险情绪继续升温昨日沙特两艘油轮再次发生爆炸事件,导致波斯湾局势进一步恶化,市场担忧美伊可能会出现摩擦生火,避险品种获得支撑,黄金和日元大幅走强。美指受中美贸易问题影响而在低位震荡。继5月12日,四艘商船在阿联酋领海附近的阿曼湾、…...
2024/4/19 11:58:51 - 【原油贵金属早评】贸易冲突导致需求低迷,油价弱势
原标题:【原油贵金属早评】贸易冲突导致需求低迷,油价弱势近日虽然伊朗局势升温,中东地区几起油船被袭击事件影响,但油价并未走高,而是出于调整结构中。由于市场预期局势失控的可能性较低,而中美贸易问题导致的全球经济衰退风险更大,需求会持续低迷,因此油价调整压力较…...
2024/4/20 3:12:02 - 氧生福地 玩美北湖(上)——为时光守候两千年
原标题:氧生福地 玩美北湖(上)——为时光守候两千年一次说走就走的旅行,只有一张高铁票的距离~ 所以,湖南郴州,我来了~ 从广州南站出发,一个半小时就到达郴州西站了。在动车上,同时改票的南风兄和我居然被分到了一个车厢,所以一路非常愉快地聊了过来。 挺好,最起…...
2024/4/19 11:59:15 - 氧生福地 玩美北湖(中)——永春梯田里的美与鲜
原标题:氧生福地 玩美北湖(中)——永春梯田里的美与鲜一觉醒来,因为大家太爱“美”照,在柳毅山庄去寻找龙女而错过了早餐时间。近十点,向导坏坏还是带着饥肠辘辘的我们去吃郴州最富有盛名的“鱼头粉”。说这是“十二分推荐”,到郴州必吃的美食之一。 哇塞!那个味美香甜…...
2024/4/19 11:59:23 - 氧生福地 玩美北湖(下)——奔跑吧骚年!
原标题:氧生福地 玩美北湖(下)——奔跑吧骚年!让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 啊……啊……啊 两…...
2024/4/19 11:59:44 - 扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!
原标题:扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!扒开伪装医用面膜,翻六倍价格宰客!当行业里的某一品项火爆了,就会有很多商家蹭热度,装逼忽悠,最近火爆朋友圈的医用面膜,被沾上了污点,到底怎么回事呢? “比普通面膜安全、效果好!痘痘、痘印、敏感肌都能用…...
2024/4/19 11:59:48 - 「发现」铁皮石斛仙草之神奇功效用于医用面膜
原标题:「发现」铁皮石斛仙草之神奇功效用于医用面膜丽彦妆铁皮石斛医用面膜|石斛多糖无菌修护补水贴19大优势: 1、铁皮石斛:自唐宋以来,一直被列为皇室贡品,铁皮石斛生于海拔1600米的悬崖峭壁之上,繁殖力差,产量极低,所以古代仅供皇室、贵族享用 2、铁皮石斛自古民间…...
2024/4/19 12:00:06 - 丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者
原标题:丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者【公司简介】 广州华彬企业隶属香港华彬集团有限公司,专注美业21年,其旗下品牌: 「圣茵美」私密荷尔蒙抗衰,产后修复 「圣仪轩」私密荷尔蒙抗衰,产后修复 「花茵莳」私密荷尔蒙抗衰,产后修复 「丽彦妆」专注医学护…...
2024/4/19 16:57:22 - 广州械字号面膜生产厂家OEM/ODM4项须知!
原标题:广州械字号面膜生产厂家OEM/ODM4项须知!广州械字号面膜生产厂家OEM/ODM流程及注意事项解读: 械字号医用面膜,其实在我国并没有严格的定义,通常我们说的医美面膜指的应该是一种「医用敷料」,也就是说,医用面膜其实算作「医疗器械」的一种,又称「医用冷敷贴」。 …...
2024/4/19 12:00:25 - 械字号医用眼膜缓解用眼过度到底有无作用?
原标题:械字号医用眼膜缓解用眼过度到底有无作用?医用眼膜/械字号眼膜/医用冷敷眼贴 凝胶层为亲水高分子材料,含70%以上的水分。体表皮肤温度传导到本产品的凝胶层,热量被凝胶内水分子吸收,通过水分的蒸发带走大量的热量,可迅速地降低体表皮肤局部温度,减轻局部皮肤的灼…...
2024/4/19 12:00:40 - 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...
解析如下:1、长按电脑电源键直至关机,然后再按一次电源健重启电脑,按F8健进入安全模式2、安全模式下进入Windows系统桌面后,按住“winR”打开运行窗口,输入“services.msc”打开服务设置3、在服务界面,选中…...
2022/11/19 21:17:18 - 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。
%读入6幅图像(每一幅图像的大小是564*564) f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...
2022/11/19 21:17:16 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...
win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面,在等待界面中我们需要等待操作结束才能关机,虽然这比较麻烦,但是对系统进行配置和升级…...
2022/11/19 21:17:15 - 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...
有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows,请勿关闭计算机”的提示,要过很久才能进入系统,有的用户甚至几个小时也无法进入,下面就教大家这个问题的解决方法。第一种方法:我们首先在左下角的“开始…...
2022/11/19 21:17:14 - win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...
置信有很多用户都跟小编一样遇到过这样的问题,电脑时发现开机屏幕显现“正在配置Windows Update,请勿关机”(如下图所示),而且还需求等大约5分钟才干进入系统。这是怎样回事呢?一切都是正常操作的,为什么开时机呈现“正…...
2022/11/19 21:17:13 - 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...
Win7系统开机启动时总是出现“配置Windows请勿关机”的提示,没过几秒后电脑自动重启,每次开机都这样无法进入系统,此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一:开机按下F8,在出现的Windows高级启动选…...
2022/11/19 21:17:12 - 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...
有不少windows10系统用户反映说碰到这样一个情况,就是电脑提示正在准备windows请勿关闭计算机,碰到这样的问题该怎么解决呢,现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法:1、2、依次…...
2022/11/19 21:17:11 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...
今天和大家分享一下win7系统重装了Win7旗舰版系统后,每次关机的时候桌面上都会显示一个“配置Windows Update的界面,提示请勿关闭计算机”,每次停留好几分钟才能正常关机,导致什么情况引起的呢?出现配置Windows Update…...
2022/11/19 21:17:10 - 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...
只能是等着,别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚,只能是考虑备份数据后重装系统了。解决来方案一:管理员运行cmd:net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...
2022/11/19 21:17:09 - 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?
原标题:电脑提示“配置Windows Update请勿关闭计算机”怎么办?win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢?一般的方…...
2022/11/19 21:17:08 - 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...
关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!关机提示 windows7 正在配…...
2022/11/19 21:17:05 - 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...
钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...
2022/11/19 21:17:05 - 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...
前几天班里有位学生电脑(windows 7系统)出问题了,具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面,长时间没反应,无法进入系统。这个问题原来帮其他同学也解决过,网上搜了不少资料&#x…...
2022/11/19 21:17:04 - 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...
本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法,并在最后教给你1种保护系统安全的好方法,一起来看看!电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中,添加了1个新功能在“磁…...
2022/11/19 21:17:03 - 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...
许多用户在长期不使用电脑的时候,开启电脑发现电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机。。.这要怎么办呢?下面小编就带着大家一起看看吧!如果能够正常进入系统,建议您暂时移…...
2022/11/19 21:17:02 - 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...
配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!配置windows update失败 还原更改 请勿关闭计算机&#x…...
2022/11/19 21:17:01 - 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...
不知道大家有没有遇到过这样的一个问题,就是我们的win7系统在关机的时候,总是喜欢显示“准备配置windows,请勿关机”这样的一个页面,没有什么大碍,但是如果一直等着的话就要两个小时甚至更久都关不了机,非常…...
2022/11/19 21:17:00 - 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...
当电脑出现正在准备配置windows请勿关闭计算机时,一般是您正对windows进行升级,但是这个要是长时间没有反应,我们不能再傻等下去了。可能是电脑出了别的问题了,来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...
2022/11/19 21:16:59 - 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...
我们使用电脑的过程中有时会遇到这种情况,当我们打开电脑之后,发现一直停留在一个界面:“配置Windows Update失败,还原更改请勿关闭计算机”,等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢࿰…...
2022/11/19 21:16:58 - 如何在iPhone上关闭“请勿打扰”
Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...
2022/11/19 21:16:57