WO2011027557A1 - 位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラム - Google Patents

位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラム Download PDF

Info

Publication number
WO2011027557A1
WO2011027557A1 PCT/JP2010/005397 JP2010005397W WO2011027557A1 WO 2011027557 A1 WO2011027557 A1 WO 2011027557A1 JP 2010005397 W JP2010005397 W JP 2010005397W WO 2011027557 A1 WO2011027557 A1 WO 2011027557A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
entrance
exit
detected
information
Prior art date
Application number
PCT/JP2010/005397
Other languages
English (en)
French (fr)
Inventor
谷川 徹
山上 勝義
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/122,477 priority Critical patent/US8504317B2/en
Priority to CN201080003736.4A priority patent/CN102265112B/zh
Priority to JP2010543326A priority patent/JP4677060B1/ja
Publication of WO2011027557A1 publication Critical patent/WO2011027557A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • G01S2205/02Indoor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • G01S2205/09Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications for tracking people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Definitions

  • the present invention relates to a position calibration information collection apparatus, a position calibration information collection method, and a position calibration information collection program that can perform calibration related to the position of an observation apparatus without using a marker prepared in advance.
  • a camera or, recently, an ultra-wideband wireless [UWB (Ultra Wide Band)] tag may be used as an observation device for monitoring a person.
  • UWB Ultra Wide Band
  • a tag reader marker is a position tag that stores position information.
  • An example of a camera marker is a two-dimensional barcode in which position information is stored.
  • Patent Document 1 there is a technique for estimating the self-position of a robot using a known object existing in the environment without using an artificial marker.
  • Patent Document 1 requires the robot to learn the three-dimensional shape of a known object in advance, and substitutes a known object that is not an artificial object as a marker. Moreover, the technique of patent document 1 is a technique which cannot be applied to a UWB tag that cannot identify a three-dimensional shape.
  • an object of the present invention is to provide a position calibration information collecting apparatus, a position calibration information collecting method, and a position calibration information collecting program capable of performing calibration related to the position of an observation apparatus that monitors a person without using a marker. There is to do.
  • the present invention is configured as follows.
  • an observation device for acquiring each as observation information
  • First detection position estimation means for estimating a position where the person is first detected in the local coordinate space, based on the feature information of the person, the local coordinates, and the time observed by the observation device
  • An entrance / exit position estimation unit that estimates local coordinates of an entrance / exit position of the entrance / exit in the local coordinate space based on the position of the person detected for the first time in the local coordinate space, estimated by the initial detection position estimation unit
  • Position calibration information for calibrating the position of the observation device based on the global coordinates of the entrance / exit position of the entrance / exit in the global space of the environment and the local coordinates of the entrance / exit position estimated by the entrance / exit position estimation means
  • Position calibration information calculating means for calculating A position calibration information collecting device is provided.
  • the position calibration information collecting device Based on the position calibration information calculated based on the global coordinates of the entrance / exit position of the entrance / exit and the local coordinates of the entrance / exit position installed in the global space by the position calibration information calculating device of the position calibration information collecting apparatus.
  • the feature information of the person existing in the environment having the doorway, the local coordinates of the position where the person is detected in the local coordinate space of the environment, and the time when the person is detected And an observation device for acquiring each as observation information, Based on the feature information of the person, the local coordinates, and the time observed by the observation device, a last detected position estimation unit that estimates a position where the person was last detected in the local coordinate space; Entry / exit position estimation means for estimating local coordinates of the entrance / exit position of the entrance / exit in the local coordinate space based on the position where the person was last detected in the local coordinate space, estimated by the end detection position estimation means
  • Position calibration information for calibrating the position of the observation device based on the global coordinates of the entrance / exit position of the entrance / exit in the global space of the environment and the local coordinates of the entrance / exit position estimated by the entrance / exit position estimation means
  • Position calibration information calculating means for calculating A position calibration information collecting device is provided.
  • characteristic information of a person existing in an environment having an entrance / exit local coordinates of a position where the person is detected in the local coordinate space of the environment, and a time when the person is detected are obtained as observation information by the observation device, Based on the feature information of the person, the local coordinates, and the time observed by the observation device, a position at which the person is first detected in the local coordinate space is estimated by an initial detection position estimation unit, Based on the position where the person is first detected in the local coordinate space estimated by the initial detection position estimating means, the local coordinates of the entrance / exit position of the entrance / exit in the local coordinate space are estimated by the entrance / exit position estimating means, Position calibration information for calibrating the position of the observation device based on the global coordinates of the entrance / exit position of the entrance / exit in the global space of the environment and the local coordinates of the entrance / exit position estimated by the entrance / exit position estimation means Is calculated by the position calibration information calculation means, A position calibration information collecting method is
  • a computer The observation device acquires characteristic information of a person existing in an environment having an entrance, local coordinates of the position where the person is detected in the local coordinate space of the environment, and time when the person is detected as observation information. Function to Based on the feature information of the person, the local coordinates, and the time observed by the observation device, a function of estimating a position at which the person is first detected in the local coordinate space by an initial detection position estimating unit; A function for estimating the local coordinates of the entrance / exit position of the entrance / exit in the local coordinate space by the entrance / exit position estimation unit based on the position where the person is first detected in the local coordinate space, estimated by the initial detection position estimation unit.
  • Position calibration information for calibrating the position of the observation device based on the global coordinates of the entrance / exit position of the entrance / exit in the global space of the environment and the local coordinates of the entrance / exit position estimated by the entrance / exit position estimation means
  • a function for calculating the position calibration information calculation means A position calibration information collection program for realizing the above is provided.
  • the position at which a person is detected for the first time or the position at which a person is last detected can be estimated as the position of an entrance to a closed environment, and the absolute position in the global coordinate system is specified. be able to. Therefore, it becomes possible to calculate calibration information related to the position of the observation apparatus by detecting a person without using a marker.
  • FIG. 1 is a block diagram showing a configuration of a position calibration information collecting apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a room as a living space that is an observation target in the position calibration information collection device according to the first embodiment of the present invention
  • FIG. 3A is a diagram showing an example of human detection history information by a camera stored in the human detection history database of the position calibration information collecting apparatus according to the first embodiment of the present invention
  • FIG. 3B is a diagram showing an example of human detection history information by the Ultra Wide Band tag reader stored in the human detection history database of the position calibration information collecting apparatus according to the first embodiment of the present invention
  • FIG. 4A is a diagram illustrating an example of information of a person's first detection history by a camera stored in a first detection position history database of the position calibration information collecting apparatus according to the first embodiment of the present invention
  • FIG. 4B is a diagram illustrating an example of information on the first detection history of the person by the Ultra Wide Band tag reader stored in the first detection position history database of the position calibration information collecting apparatus according to the first embodiment of the present invention
  • FIG. 5 is a diagram showing an example of an environment map of the position calibration information collecting apparatus according to the first embodiment of the present invention.
  • FIG. 6A is a diagram showing an example of information of a person's initial detection history by a camera stored in the initial detection position history database of the position calibration information collecting apparatus according to the first embodiment of the present invention
  • FIG. 6B is a diagram showing an example of clustering information on the first detection history of a person by a camera stored in the first detection position history database of the position calibration information collecting apparatus according to the first embodiment of the present invention
  • FIG. 6C is a diagram illustrating an estimation example of the entrance / exit position estimation unit of the position calibration information collection device according to the first embodiment of the present invention
  • FIG. 7A is a diagram showing an example of human detection history information by a camera stored in the human detection history database of the position calibration information collecting apparatus according to the first embodiment of the present invention
  • FIG. 7B is a diagram showing an example of fattening a human detection position by a camera stored in the human detection history database of the position calibration information collection device according to the first embodiment of the present invention
  • FIG. 8 is a flowchart showing the overall processing of the position calibration information collecting apparatus according to the first embodiment of the present invention
  • FIG. 9 is a diagram showing an example of a tag reader position detection method in the position calibration information collecting apparatus according to the first embodiment of the present invention
  • FIG. 10 is a block diagram showing a configuration of the position calibration information collecting apparatus according to the first embodiment of the present invention
  • FIG. 11 is a flowchart showing a calibration parameter acquisition process using a person's stay position and an inaccessible position of the position calibration information collection apparatus according to the first embodiment of the present invention
  • FIG. 12 is a flowchart showing the initial detection position extraction process of the position calibration information collection device according to the first embodiment of the present invention
  • FIG. 13 is a block diagram showing a configuration of a position calibration information collecting apparatus according to a modification of the first embodiment of the present invention.
  • FIG. 14 is a block diagram showing a configuration of a position calibration information collecting apparatus according to another modification of the first embodiment of the present invention
  • FIG. 15 is a block diagram showing the configuration of the position calibration information collecting apparatus according to the second embodiment of the present invention
  • FIG. 16A is a diagram showing an example of a last detected position history database when the camera last detected a person in the position calibration information collecting apparatus according to the second embodiment of the present invention;
  • FIG. 16B is a diagram showing an example of the last detected position history database when the tag reader last detects a person in the position calibration information collecting apparatus according to the second embodiment of the present invention
  • FIG. 17 is a flowchart showing the last detected position acquisition process of the position calibration information collecting apparatus according to the second embodiment of the present invention.
  • an observation device for acquiring each as observation information
  • First detection position estimation means for estimating a position where the person is first detected in the local coordinate space, based on the feature information of the person, the local coordinates, and the time observed by the observation device
  • An entrance / exit position estimation unit that estimates local coordinates of an entrance / exit position of the entrance / exit in the local coordinate space based on the position of the person detected for the first time in the local coordinate space, estimated by the initial detection position estimation unit
  • Position calibration information for calibrating the position of the observation device based on the global coordinates of the entrance / exit position of the entrance / exit in the global space of the environment and the local coordinates of the entrance / exit position estimated by the entrance / exit position estimation means
  • Position calibration information calculating means for calculating A position calibration information collecting device is provided.
  • a person detection history storing the feature information of the person, the local coordinates of the person, and the time when the person is detected in the observation information respectively acquired by the observation device. Based on the information stored in the database and the person detection history database, the position where the person was first detected in the local coordinate space by the first detection position estimation means was detected as the first detection position information, and the person was detected.
  • a first detection position history database that stores the time along with the time, The first detection position estimation means refers to the person detection history database for each of the observation information acquired by the observation device and the person is detected, from the time when the person of the observation information is detected.
  • the position calibration information collection device Before another predetermined time, it is determined whether other observation information in which the same feature information as the observation information is stored is stored in the human detection history database, and the same feature information is stored.
  • the position where the person is detected in the observation information is estimated as the position where the person is detected for the first time, and the first detection position history
  • the position calibration information collection device according to the first aspect, which is stored in a database, is provided.
  • the entrance / exit position estimation means refers to the automatic door identification information of the entrance / exit in the vicinity of the position where the person is first detected in the local coordinate space, and
  • the position calibration information collecting apparatus according to the first or second aspect is provided, which estimates the local coordinates of the entrance / exit position at.
  • the fourth aspect of the present invention further comprises an environment map storage means for storing global coordinates of the entrance / exit position of the entrance / exit in the global space of the environment,
  • the position calibration information calculation means uses the global coordinates of the entrance / exit positions of the entrance / exit in the global space stored in the environment map storage means, and uses the global coordinates of the entrance / exit positions and the local coordinates of the entrance / exit positions.
  • the position calibration information collection device according to any one of the first to third aspects is provided that calculates the position calibration information for performing calibration related to the position of the observation device based on the above.
  • the environment map storage means includes an automatic door identification that identifies whether the door of the entrance / exit in the global space is an entrance / exit that opens automatically or whether the door is an entrance / exit that opens manually.
  • the position calibration information calculating unit associates the door of the entrance / exit in the local coordinates with the door of the entrance / exit in the global coordinates based on the automatic door identification information stored in the environment map storage unit, and calculates the position calibration information.
  • a position calibration information collecting apparatus according to any one of the first to fourth aspects to be calculated is provided.
  • the initial detection position estimating means includes When there are a plurality of local coordinates of the entrance / exit position of the entrance / exit where the door of the entrance / exit is determined to be an entrance / exit automatically opened based on the automatic door identification information, the person is selected for the first time. While determining the position at the coordinate farthest from the center coordinate of the environment among the plurality of detected positions as the local coordinates of the entrance position of the entrance, When there are a plurality of local coordinates of the entrance / exit position of the entrance / exit where the door of the entrance / exit is determined to be an entrance / exit that is manually opened based on the automatic door identification information, the person is selected for the first time.
  • a position calibration information collecting device is provided, wherein the center-of-gravity positions of a plurality of detected positions are determined as local coordinates of the entrance / exit position of the entrance / exit.
  • a person detection history storing the feature information of the person, the local coordinates of the person, and the time at which the person is detected of the observation information respectively acquired by the observation device. Based on the information stored in the database and the person detection history database, the position where the person was first detected in the local coordinate space by the first detection position estimation means was detected as the first detection position information, and the person was detected.
  • a first detection position history database that stores the time along with the time
  • the environment map storage means stores information on the position within the global space where the person is likely to stay
  • the entrance / exit position estimation means is further configured to determine whether the person is within the local coordinate space based on the person characteristic information stored in the person detection history database, the person's local coordinates, and the time when the person is detected.
  • the initial detection position history database stores the position where the person is likely to stay in the local coordinate space by the initial detection position estimation means together with the time when the person was detected
  • the entrance / exit position estimation means calculates the local coordinates of the position where the person is likely to stay in the local coordinate space based on the position where the person is likely to stay in the local coordinate space stored in the initial detection position history database.
  • the position calibration information calculation means relates to the position of the observation device based on the global coordinates of the position where the person is likely to stay and the local coordinates of the position where the person is likely to stay estimated by the entrance position estimation means.
  • a position calibration information collecting apparatus according to a fourth aspect is provided, wherein the position calibration information for performing calibration is calculated.
  • the person detection history storing the feature information of the person, the local coordinates of the person, and the time at which the person is detected, of the observation information respectively acquired by the observation device.
  • the position where the person was first detected in the local coordinate space by the first detection position estimation means was detected as the first detection position information, and the person was detected.
  • a first detection position history database that stores the time along with the time
  • the environment map storage means stores information about the position where the person cannot enter
  • the entrance / exit position estimation means is further configured to determine whether the person is within the local coordinate space based on the person characteristic information stored in the person detection history database, the person's local coordinates, and the time when the person is detected.
  • the initial detection position history database stores the position where the person cannot enter in the local coordinate space by the initial detection position estimation means together with the time when the person was detected
  • the entrance / exit position estimation means estimates local coordinates of a position in the local coordinate space where the person cannot enter based on a position where the person cannot enter in the local coordinate space stored in the initial detection position history database.
  • the position calibration information calculation means is a calibration related to the position of the observation device based on the global coordinates of the position where the person is likely to stay and the local coordinates of the position where the person cannot enter estimated by the entrance position estimation means.
  • the position calibration information collecting device Based on the position calibration information calculated based on the global coordinates of the entrance / exit position of the entrance / exit and the local coordinates of the entrance / exit position installed in the global space by the position calibration information calculating device of the position calibration information collecting apparatus.
  • the feature information of the person existing in the environment having the doorway, the local coordinates of the position where the person is detected in the local coordinate space of the environment, and the time when the person is detected And an observation device for acquiring each as observation information, Based on the feature information of the person, the local coordinates, and the time observed by the observation device, a last detected position estimation unit that estimates a position where the person was last detected in the local coordinate space; Entry / exit position estimation means for estimating local coordinates of the entrance / exit position of the entrance / exit in the local coordinate space based on the position where the person was last detected in the local coordinate space, estimated by the end detection position estimation means
  • Output position calibration information for calibrating the position of the observation device based on the global coordinates of the entrance / exit position of the entrance / exit in the global space of the environment and the local coordinates of the entrance / exit position estimated by the entrance / exit position estimation means
  • Position calibration information calculation means for A position calibration information collecting device is provided.
  • characteristic information of a person existing in an environment having an entrance / exit local coordinates of a position where the person is detected in the local coordinate space of the environment, and a time when the person is detected are obtained as observation information by the observation device, Based on the feature information of the person, the local coordinates, and the time observed by the observation device, a position at which the person is first detected in the local coordinate space is estimated by an initial detection position estimation unit, Based on the position where the person is first detected in the local coordinate space estimated by the initial detection position estimating means, the local coordinates of the entrance / exit position of the entrance / exit in the local coordinate space are estimated by the entrance / exit position estimating means, Position calibration information for calibrating the position of the observation device based on the global coordinates of the entrance / exit position of the entrance / exit in the global space of the environment and the local coordinates of the entrance / exit position estimated by the entrance / exit position estimation means Output by calibration information calculation means, A position calibration information collecting method is provided.
  • a computer The observation device acquires characteristic information of a person existing in an environment having an entrance, local coordinates of the position where the person is detected in the local coordinate space of the environment, and time when the person is detected as observation information. Function to Based on the feature information of the person, the local coordinates, and the time observed by the observation device, a function of estimating a position at which the person is first detected in the local coordinate space by an initial detection position estimating unit; A function for estimating the local coordinates of the entrance / exit position of the entrance / exit in the local coordinate space by the entrance / exit position estimation unit based on the position where the person is first detected in the local coordinate space, estimated by the initial detection position estimation unit.
  • Position calibration information for calibrating the position of the observation device based on the global coordinates of the entrance / exit position of the entrance / exit in the global space of the environment and the local coordinates of the entrance / exit position estimated by the entrance / exit position estimation means
  • a position calibration information collection program for realizing the above is provided.
  • FIG. 1 is a diagram showing a configuration of a position calibration information collecting apparatus according to the first embodiment of the present invention.
  • the position calibration information collection device includes an observation device 101, a human detection history database 102 as an example of a human detection history storage unit, and an initial detection position estimation unit (initial detection position estimation unit) 103.
  • An initial detection position history database 104 as an example of an initial detection position history storage unit, an entrance / exit position estimation unit (entrance / entrance position estimation unit) 105, and a calibration parameter as an example of a position calibration information calculation unit that calculates position calibration information
  • An acquisition unit (calibration parameter acquisition unit) 106 and an environment map database 107 as an example of an environment map storage unit are provided.
  • the entrance / exit position estimation unit 105 and the calibration parameter acquisition unit 106 include configuration information reference units 105a and 106a for reading information from the environment map database 107, respectively.
  • FIG. 2 shows a room 201 as a specific example of the living environment.
  • the room 201 includes a camera 202 and a UWB (Ultra Wide Band) tag reader system 203 (hereinafter referred to as a tag reader 203).
  • the camera 202 and the UWB tag reader system 203 are an example of an observation apparatus 101 that is a component of the position calibration information collection apparatus according to the first embodiment of the present invention.
  • a camera 202 and a tag reader 203 are installed near the center of the rectangular ceiling 201d of the rectangular parallelepiped room 201.
  • a person 204 exists in the room 201 and enters and leaves the room 201.
  • a chair 206 on which the person 204 sits and a desk 207 on which the person 204 cannot enter the arrangement area exist on the floor 201f.
  • a door 205A, a door 205B, and a door 205C are installed as an example of an entrance to the room 201 which is a closed environment.
  • an arbitrary door among the doors 205A, 205B, and 205C in the room 201 will be representatively described as the door 205.
  • a pair of opposing walls 201v and 201w of the room 201 The door 205A and the door 205C are respectively disposed, and the door 205B is disposed on the wall 201b connecting the pair of walls 201a and 201c.
  • observation devices two types, the camera 202 and the tag reader 203, are installed in the room 201.
  • the present invention can be applied even when only one of the observation devices 101 is installed. .
  • FIG. 8 is a flowchart showing an overall process (position calibration information collection process) of the position calibration information collection apparatus.
  • the observation apparatus 101 observes the inside of the room 201 and detects a person 204 existing in the room 201 at every predetermined observation period (for example, an arbitrary time of 1 second to 2 seconds or 100 ms).
  • the observation apparatus 101 stores the detection result in the human detection history database 102.
  • the observation apparatus 101 detects the person 204
  • the observation apparatus 101 acquires feature information of the detected person 204 (information indicating characteristics (feature amount) indicating that the person is a person) and local coordinates.
  • the observation apparatus 101 stores the detected feature information and local coordinates of the person 204 in the person detection history database 102 together with the time when the person 204 is detected.
  • the person 204 and the time when the person 204 is detected are associated with each other and stored in the person detection history database 102.
  • the local coordinates are position coordinates (for example, XY coordinates) that are detected by the observation apparatus 101 and indicate the position of the person 204 in the room 201. Therefore, the local coordinates include an arrangement position error of the observation apparatus 101 with respect to global coordinates that are absolute coordinates of the room 201, which will be described later, depending on the installation position of the observation apparatus 101. Therefore, as will be described later, position calibration is required.
  • the origin position of the local coordinates can be the pixel at the upper left corner of the image captured by the camera 202.
  • the origin position of the local coordinates can be the position of any one of a plurality of base stations connected to the tag reader 203.
  • the camera 202 includes an imaging unit 202a that detects a person 204 and an image processing unit 202b that performs image processing on image data.
  • an image processing unit 202b provided in the camera 202.
  • an image processing method for example, a background subtraction method can be used.
  • the image processing unit 202b compares the background image data of the room 201 when the person 204 does not exist and the current image data captured by the camera 202, which have been previously captured by the camera 202 and prepared. Thereafter, an area with different pixel values is extracted as a difference area by the image processing unit 202b.
  • the image processing unit 202b can determine that the difference area is sufficiently small with respect to the person 204, the image processing unit 202b It may be determined that the difference area is not the person 204.
  • the case where the difference area is sufficiently small with respect to the person 204 may be a case where the number of pixels in the difference area is equal to or less than a threshold set in advance based on the minimum number of pixels that can be recognized as the person 204.
  • the detected local coordinates of the person 204 can be set, for example, as the barycentric position of the difference area by the image processing unit 202b.
  • step S801 in the flowchart of FIG. That is, in step S801, if the image processing unit 202b determines that the person 204 has been detected using the camera 202, the process proceeds to the next step S802. On the other hand, if the image processing unit 202b determines that the person 204 has not been detected using the camera 202, the processing in step S801 is repeated until the image processing unit 202b determines that the person 204 has been detected. In some cases, although not specifically shown, if the image processing unit 202b determines that the person 204 is not detected, the position calibration information collection process may be terminated. .
  • the feature information of the detected person 204 can be, for example, the color distribution of the difference area.
  • this is referred to as color feature information.
  • the image processing unit 202b determines that the person 204 has been detected using the camera 202. Thereafter, in step S802, the image processing unit 202b extracts the color distribution of the difference area recognized as the person 204 as an example of the feature information of the person 204. Thereafter, the process proceeds to step S803.
  • the tag reader 203 includes a tag detection unit 203a that detects a tag, and an information processing unit 203b that calculates the position of the tag based on information detected by the tag detection unit 203a.
  • the person 204 In order to detect the person 204 using the tag reader 203, the person 204 is provided with a tag 902 that indicates that the person 204 is present and also has information (tag ID) indicating the person's characteristic information as ID data (identification information). It is necessary to have it in advance.
  • tag ID information indicating the person's characteristic information as ID data (identification information). It is necessary to have it in advance.
  • FIG. 9 shows an example of detecting the position of the tag 902 by three-point surveying.
  • a base station 901A, a base station 901B, and a base station 901C as a tag detection unit 203a connected to the information processing unit 203b are arranged.
  • the information processing unit 203b knows local coordinates where the three base stations 901A, 901B, and 901C are arranged.
  • the information processing unit 203b has a storage unit in which the local coordinates of the three base stations 901A, 901B, and 901C are stored.
  • Each base station 901A, 901B, 901C can calculate the distance to the tag 902 by measuring the time when the radio waves emitted from the base stations 901A, 901B, 901C return from the tag 902. .
  • the base station 901A has the tag 902 on an arc whose center is the position of the base station 901A and whose radius is 223.61 cm.
  • the base station 901B has the tag 902 on an arc having a radius of 316.23 cm centered on the position of the base station 901B.
  • the base station 901C has the tag 902 on an arc having a radius of 141.42 cm centered on the position of the base station 901C.
  • the information processing unit 203b can determine that the position where all the three arcs overlap is the position where the tag 902 exists.
  • FIG. 9 the tag position detection in the two-dimensional space has been described.
  • the arc in FIG. 9 is only a spherical surface, and there is no change in other processes. The above corresponds to the processing in step S801 in the flowchart of FIG.
  • step S801 when the tag reader 203 is used and the information processing unit 203b of the tag reader 203 determines that the person 204 is detected (tag ID is detected), the process proceeds to the next step S802.
  • the information processing unit 203b of the tag reader 203 detects the person 204.
  • the process in step S801 is repeated until it is determined that it has been detected. In some cases, although not specifically shown, if the information processing unit 203b of the tag reader 203 determines that the person 204 is not detected, the position calibration information collection process is terminated. Also good.
  • the characteristic information of the detected person 204 can be, for example, ID data (tag ID) stored in the tag 902.
  • ID data tag ID
  • the process of extracting the feature information that is the tag ID corresponds to the process of step S802 in the flowchart of FIG. Thereafter, the process proceeds to step S803.
  • the observation apparatus 101 includes a timer for acquiring information about the time when the person 204 (or the tag ID of the tag 902) is detected.
  • observation period between the camera 202 and the tag reader 203 is assumed to be 1 second as an example.
  • FIG. 3A shows an example of the human detection history database 102 when the camera 202 detects the human 204.
  • FIG. 3B shows an example of the person detection history database 102 when the tag reader 203 detects the person 204.
  • the first detection position estimation means 103 estimates the observation ID at which the person 204 is first detected by the observation apparatus 101 from the detection history information of the person 204 stored in the person detection history database 102. Details of the estimation method will be described using the following first detection position history database 104.
  • the first detection position history database 104 At least a position where the person 204 is detected for the first time is stored by the first detection position estimation means 103.
  • FIG. 4A shows an example of the initial detection position history database 104 when the camera 202 detects the person 204 for the first time
  • FIG. 4B shows the case where the tag reader 203 detects the person 204 for the first time.
  • the initial detection position estimation unit 103 can store the time when the camera 202 detects the person 204 for the first time, the local coordinates, the color feature information, and the observation ID. It is like that.
  • the data of the initial detection position history database 104 in FIG. 4A is created by the initial detection position estimation unit 103 based on the detection history information of the person 204 stored in the human detection history database 102 in FIG. 3A.
  • a method of acquiring the first detection position using the data of the first detection position history database 104 of FIG. 4A will be described with reference to the flowchart of FIG.
  • step S1201 the first detection position estimation means 103 determines whether or not there is unread data in the human detection history database 102. If the first detection position estimation means 103 determines that there is no unread data, the first detection position acquisition process ends. A method for determining whether or not there is unread data in the first detection position estimation means 103 will be described later.
  • Step S1202 is processing when the initial detection position estimation unit 103 determines that unread data exists in step S1201.
  • One piece of unread data stored in the person detection history database 102 is read by the initial detection position estimation means 103.
  • step S1203 the following processing is performed on the data read in step S1202. That is, the first detection position estimation means 103 determines whether or not data in which the same feature information is stored in the human detection history database 102 between the stored time and N times before is stored. . If it is determined by the first detection position estimation means 103 that the same feature information is stored in the human detection history database 102, the first detection position estimation means 103 is the first detected person Judged not. Then, the process returns to step S1201.
  • N can be an observation period of the observation apparatus 101 (for example, an arbitrary time of 1 to 2 seconds or 100 ms). Considering the possibility of the observation apparatus 101 making a detection error of the person 204, a value obtained by multiplying the observation period of the observation apparatus 101 by a constant may be used for N.
  • Step S1204 is processing in the case where the initial detection position estimation unit 103 determines that there is data storing the same feature information between the stored time and N times before in step S1203. is there.
  • the first detection position estimation means 103 stores the data read in step S1202 in the first detection position history database 104. Thereafter, the process returns to step S1201.
  • observation ID CAM_001
  • observation ID CAM_005
  • a field indicating whether or not the person 204 has been detected for the first time may be provided in the human detection history database 102.
  • observation ID CAM_001 is stored because the person whose color feature information is red is detected for the first time.
  • a person whose color feature information is red is considered to have left the room 201 at time 2008/09 / 02_12: 00: 08 and entered the room 201 at time 2008/09 / 02_12: 00: 10. It is.
  • the observation apparatus 101 here, the camera 202
  • the value of N is set to 1 second, which is an example of the observation period of the observation apparatus 101.
  • the first detection position estimation unit 103 determines that the person 204 is present in the room 201 when the person 204 having the same color feature information can continuously observe in the observations continuously for each observation period. This is because it is determined that the person 204 has left the room 201 when the person 204 having the same color characteristic information cannot be observed in the continuous observation.
  • the camera 202 makes a detection error of the person 204 even though the person 204 exists in the room 201.
  • the camera 202 cannot detect the person 204 M times (however, M is an integer greater than 0), even if the initial detection position estimation unit 103 determines that the person 204 has left the room 201. good. That is, when the observation period of the camera 202 is 1 second, if the initial detection position estimation unit 103 determines that the person 204 is not detected for (N ⁇ M) seconds, the initial detection position estimation is that the person 204 has left the room. The determination is made by means 103.
  • the red person will not be detected at the time 2008/09 / 02_12: 00: 08, and the red person will be detected the next time after 2 seconds. : 00: 10.
  • the first detection position estimation means 103 determines that the person has left the room 201.
  • observation ID CAM_001
  • observation ID CAM_005
  • observation ID CAM_001 and CAM_005 are stored in the first detection position history database 104.
  • the first detection position history database 104 of FIG. 4B the time when the tag reader 203 first detects the person 204, the local coordinates, the tag ID, and the observation ID can be stored by the first detection position estimation means 103. It has become. Note that the initial detection position history database 104 in FIG. 4B is created by the initial detection position estimation unit 103 based on the detection history information of the person 204 stored in the human detection history database 102 in FIG. 3B.
  • step S1201 the initial detection position estimation means 103 determines whether there is unread data in the human detection history database 102 or not. If the first detection position estimation means 103 determines that there is no unread data, the first detection position acquisition process ends.
  • observation ID numbers are assigned to observation IDs in ascending order in the order recorded in the human detection history database 102.
  • the first detection position estimation unit 103 stores the read observation ID in the internal memory of the first detection position estimation unit 103 or the like when reading the data recorded in the human detection history database 102. Thereby, the first detection position estimation means 103 can determine that the data next to the observation ID stored in the internal memory is to be read, and if the data does not exist, determine that there is no unread data. Can do.
  • Step S1202 is processing when the first detection position estimation unit 103 determines that unread data exists in step S1201, and the first detection position estimation unit 103 reads one piece of unread data stored in the human detection history database 102. .
  • step S1203 the following processing is performed on the read data. That is, the first detection position estimation means 103 determines whether or not data in which the same tag ID (feature information) is stored in the human detection history database 102 between the stored time and N times before. Deciding. If the first detection position estimation unit 103 determines that data storing the same tag ID is stored in the person detection history database 102, the first detection position estimation unit 103 is not the first person detected. Determination is made, and the process returns to step S1201.
  • N can be an observation period of the observation apparatus 101 (for example, an arbitrary time of 1 to 2 seconds or 100 ms). Considering the possibility of the observation apparatus 101 making a detection error of the person 204, a value obtained by multiplying the observation period of the observation apparatus 101 by a constant may be used for N.
  • Step S1204 is processing when the first detection position estimation unit 103 determines in step S1203 that there is no data storing the same tag ID between the stored time and N times before.
  • the data read in step S1202 is stored in the first detection position history database 104 by the first detection position estimation means 103 as first detection position information. Thereafter, the process returns to step S1201.
  • observation ID TAG_001
  • observation ID TAG_005
  • observation ID TAG_016 are stored by the first detection position estimation means 103 as observation IDs when the person 204 is detected for the first time. Yes.
  • a field indicating whether or not the person 204 is detected for the first time may be provided in the human detection history database 102 without using the initial detection position history database 104.
  • observation ID CAM_001 is stored because it is information that a person with a tag ID (feature information) “001” is detected for the first time.
  • observation ID CAM_005 is stored because it is information that a person with a tag ID (feature information) “002” is detected for the first time.
  • observation ID CAM — 016 is stored because it is information that a person with a tag ID (feature information) “003” is detected for the first time.
  • the processing related to the detection error of the observation apparatus 101 is the same as that of the camera 202. Therefore, when it is assumed that the observation apparatus 101 (here, the tag reader 203) does not make a detection error of the person 204, the value of N may be set to 1 second, which is an example of the observation period of the observation apparatus 101. . That is, the first detection position estimation unit 103 determines that the person 204 is present in the room 201 when the person 204 having the same tag ID can continuously observe in the observations continuously for each observation period. This is because it is determined that the person 204 has left the room 201 when the person 204 having the same tag ID cannot be observed in the continuous observation.
  • the tag reader 203 makes a detection error of the person 204 even though the person 204 exists in the room 201.
  • the initial detection position estimation unit 103 determines that the person 204 has left the room 201. good. That is, when the observation period of the tag reader 203 is 1 second, if the first detection position estimation unit 103 determines that the person 204 is not detected for (N ⁇ M) seconds, the first detection position estimation unit 103 determines that the person 204 It will be judged that it went out of.
  • the process of extracting the history information (for example, local coordinates) when the person 204 is detected for the first time by the initial detection position estimation unit 103 is as follows. This corresponds to the process of step S804 in the flowchart of FIG. Thereafter, the process proceeds to step S805.
  • step S805 it is determined whether or not the initial detection position estimation means 103 has extracted (existed) the information (for example, local coordinates) of the history of detecting the person 204.
  • step S805 when the first detection position estimation unit 103 determines that the history information (for example, local coordinates) from the detection of the person 204 has been extracted, the first detection position estimation unit 103 extracts the history.
  • the process of storing the information (for example, local coordinates) in the first detection position history database 104 corresponds to the process of step S806 in the flowchart of FIG. Thereafter, the process proceeds to step S807.
  • step S805 if it is determined in step S805 that the initial detection position estimation unit 103 has not extracted the history information (for example, local coordinates) that the person 204 has been detected, the entire process of the position calibration information collection apparatus is terminated. To do.
  • the global coordinates are the absolute coordinates of the room 201, unlike the local coordinates, and mean, for example, three-dimensional coordinates with one corner of the floor of the room 201 as the origin.
  • the environment map database 107 may be stored in advance in the position calibration information collection device as shown in FIG. Further, instead of storing in advance, as shown in FIG. 14, the same information as the information stored in the environment map database 107 via the Internet 1401 is acquired online by the entrance / exit position estimation unit 105 and the calibration parameter acquisition unit 106, respectively. Also good.
  • the environment map database 107 and the Internet 1401 are arranged to be connectable, and necessary information is acquired in advance using the Internet 1401 and stored in the environment map database 107. .
  • the updated information may be acquired using the Internet 1401 and stored in the environment map database 107.
  • FIG. 5 shows an example of the environment map database 107.
  • the environment map database 107 in FIG. 5 stores an environment ID, global coordinates in the furniture room 201 indicated by the environment ID, furniture attributes indicated by the environment ID, and actions that the furniture indicated by the environment ID can take. ing.
  • the first one indicates the entrance to the room 201 and corresponds to the door 205.
  • they are DOOR_001, DOOR_002, and DOOR_003.
  • the second one indicates a position where the person 204 can easily stay in the room 201 (stay position) (for example, it is possible to sit on the furniture), and the chair 206 corresponds to the position.
  • environment ID it is CHAIR_004.
  • the third one indicates a position where the person 204 cannot enter the room 201 (intrusion is impossible) (for example, the person 204 cannot enter the furniture arrangement area), and the desk 207 corresponds to the third.
  • it becomes DESK_005.
  • the operation that the furniture indicated by the environment ID can take is stored in advance.
  • the door 205 is an automatic door, and it is not necessary for the person 204 to manually open and close the door 205 (the person does not need to manually stop and open / close the door 205C once. ).
  • the description will be made with the configuration of the door 205 as described above, the present invention can be operated even when the door 205 is all manually opened or closed.
  • a door 205 exists at the entrance and that a person 204 enters and exits the room 202 when the door 205 opens and closes.
  • the entrance / exit position estimation means 105 estimates the position of the door 205 (three doors 205A, 205B, 205C) of the room 201 in the local coordinates of the camera 202 and the local coordinates of the tag reader 203, respectively.
  • FIG. 6A is an example in which the initial detection position of the person 204 detected by the camera 202 is visualized by the entrance / exit position estimation means 105, and there are 12 positions where the person 204 is detected for the first time. Here, these twelve detection positions (detection position data) need not be positions where the same person is detected.
  • the history information of the first detection position in FIG. 6A is a diagram in which the first detection position stored in the first detection position history database 104 is visualized by the entrance / exit position estimation means 105.
  • FIG. 6B shows a result of clustering the 12 detection positions in FIG. 6A by the entrance / exit position estimation means 105. It is divided into three clusters of circles (detection position data), triangles (detection position data), and squares (detection position data).
  • a cluster classified as a triangle (detection position data) is a cluster 601A
  • a cluster classified as a square (detection position data) is a cluster 601B
  • a cluster classified as a circle (detection position data) is a cluster 601C.
  • an arbitrary cluster among the clusters 601A, 601B, and 601C will be representatively described as the cluster 601.
  • a clustering method for example, a k-means method can be used.
  • 3 representative positions are randomly selected from 12 positions.
  • the three locations represent the number of “entrance / exit” attributes stored in the environment map database 107.
  • the data stored in the environment map database 107 is acquired by the configuration information reference unit 105 a included in the entrance / exit position estimation unit 105.
  • the distance to each representative position is calculated by the entrance / exit position estimation means 105. Then, the entrance / exit position estimation means 105 determines that the representative position with the shortest distance is the cluster 601 to which the position belongs (assigned).
  • each cluster 601 When the assignment of positions to all is completed, the center of gravity of each cluster 601 is set as a new representative point, and the distance to each representative position is calculated by the entrance / exit position estimation means 105 for all positions.
  • the entrance / exit position estimation means 105 determines that the representative position with the shortest distance is the cluster 601 to which the position belongs (assigned).
  • the creation and assignment of representative points are repeated, and the process ends when there is no change in the cluster 601 to which each position belongs.
  • the clustering method is not limited to this.
  • the person 204 is first detected by the camera 202 and the tag reader 203 immediately after the door 205 is opened and the room 201 is entered. From this, the position of the door 205 in the local coordinates can be determined by the center-of-gravity position of each position where the initial detection positions of the person 204 are clustered and the entrance / exit position estimation means 105.
  • step S808 The process of estimating the local coordinates of the door 205 by the entrance / exit position estimation means 105 based on the information of the initial detection position history of the person 204 stored in the initial detection position history database 104 is the step in the flowchart of FIG. This corresponds to the processing of S807. Thereafter, the process proceeds to step S808.
  • the calibration parameter acquisition means 106 as an example of the position calibration information calculation means for calculating the position calibration information includes the position of the door 205 in the local coordinates estimated by the entrance / exit position estimation means 105 and the door 205 stored in the environment map database 107. Based on the position in the global coordinates, parameters as an example of position calibration information necessary for calibration relating to the position of the camera 202 and the position of the tag reader 203 are respectively acquired.
  • any of the following five types of parameters can be used as a parameter necessary for position calibration.
  • Equation 1 shows the equation for coordinate conversion corresponding to the magnification, parallel movement amount, and rotation angle.
  • the environment map database 107 of FIG. 5 there is an item of “operation” for storing the operation of the furniture indicated by the environment ID.
  • the environment ID DOOR_003 (door 205C) is “automatic opening / closing” as the information of “operation” that is automatic door identification information, it can be seen that it is an automatic door.
  • the door 205 is a manual door, an operation that the person 204 closes the door 205 immediately after the person 204 enters the room 201 occurs.
  • the camera 202 and the tag reader 203 detect the person 204 while the person 204 closes the door 205.
  • the door 205 is an automatic door
  • the person 204 does not need to close the door 205 and continues walking. That is, depending on the observation timing of the camera 202 and the tag reader 203, the person 204 may be detected at the position of the door 205, or may be detected at a position slightly moved from the door 205 to the inside of the room 201. .
  • the variation in the detection position at which the initial detection is performed by the automatic door is relatively larger than the variation in the detection position at which the first detection is performed by the manual door (the five circles on the right side of FIG. reference).
  • the standard deviation regarding the position of the cluster 601 is obtained by the entrance / exit position estimation means 105, and the standard deviation is the largest.
  • the entrance / exit position estimation means 105 may determine that the cluster 601 is the detection position where the initial detection is performed by the automatic door.
  • the entrance / exit position estimation means 105 can determine that the cluster 601C is a cluster of the detection position detected for the first time by the door 205C which is an automatic door. If no inversion has occurred in the local coordinates, the cluster 601A has the door 205A based on the positional relationship between the doors 205A and 205B stored in the environment map database 107 and the positional relationship between the clusters 601A and 601B.
  • the entrance / exit position estimation unit 105 can determine that the cluster is the detection position detected for the first time in FIG. 5, and the entrance / exit position estimation unit 105 can determine that the cluster 601B is the cluster of the detection position detected for the first time by the door 205B.
  • the entrance / exit position estimation means 105 uses the center of gravity of the cluster 601 as the door position.
  • the position where the person 204 is detected for the first time varies as described above. Therefore, when the door 205 is an automatic door, the detection position detected at the extreme end in each detection position belonging to the cluster 601C may be determined by the door position 602 and the entrance / exit position estimation means 105 ( (See FIG. 6C).
  • the “endmost” here refers to a position at a coordinate farthest from the center coordinate of the room 201 for detecting the position of the entrance / exit arranged on the extension of the walls 201a, 201b, 201c of the room 201. That is.
  • the center coordinates of the room 201 in local coordinates are not known before calibration.
  • the position of the center of gravity of the positions of all the persons 204 stored in the person detection history database 102 is obtained by the entrance / exit position estimation means 105.
  • the detection position that is farthest from the barycentric position among the detection positions belonging to each cluster is determined by the endmost detection position among the detection positions belonging to the cluster and the entrance / exit position estimation means 105.
  • the data stored in the environment map database 107 is acquired by the configuration information reference unit 106 a included in the calibration parameter acquisition unit 106.
  • the processing for obtaining the parameters necessary for calibration by the calibration parameter acquisition means 106 based on the position of the door 205 in the local coordinates and the position of the door 205 in the global coordinates stored in the environment map database 107 is as described above. This corresponds to the processing in step S808 in the flowchart. Thereafter, the entire processing of the position calibration information collecting apparatus is terminated.
  • the observation device 101 always observes the environment
  • the initial detection position estimation means 103 always checks the new person detection history in the human detection history database
  • the entrance / exit position estimation means 105 newly detects the first initial detection position history database. You may always check your location history.
  • the entire position calibration information collecting process is connected to the observation apparatus 101, the human detection history database 102, the initial detection position estimation means 103, the initial detection position history database 104, the entrance / exit position estimation means 105, and the calibration parameter acquisition means 106.
  • a control device 1301 for controlling the above may be separately provided. A configuration example to which the control device 1301 is added is shown in FIGS.
  • the control device 1301 controls the observation device 101 to observe the environment. Next, when the control device 1301 confirms the presence of new person detection history information in the human detection history database 102, the control device 1301 controls the initial detection position estimation unit 103 to estimate the initial detection position. When the control device 1301 confirms the presence of new initial detection position history information in the initial detection position history database 104, the control device 1301 controls the entrance / exit position estimation means 105 to estimate the entrance / exit position in the local coordinate system. Note that the timing at which the control device 1301 controls the observation device 101 may be determined by an input from the user.
  • the number of new person detection history information recorded in the person detection history database 102 necessary for the control device 1301 to start control of the initial detection position estimating means 103 is determined in advance by input from the user. You can keep it.
  • the number of pieces of new initial detection position history information recorded in the initial detection position history database 104 necessary for the control device 1301 to start control of the entrance / exit position estimation means 105 is determined in advance by input from the user. You can keep it.
  • the global coordinates and the local coordinates of the person staying position are required.
  • the person staying position in the global coordinates may be stored in the environment map database 107 in advance.
  • environment ID CHAIR_004 is stored as the position where the person 204 stays. This means that, in the furniture in the room 201, a position where the person 204 is likely to stay is determined in advance, and such a position is stored as a position where the person 204 stays in the environment map database 107. To do.
  • the person staying position in the local coordinates can be estimated by the entrance / exit position estimation means 105 based on the detection history information of the person 204 stored in the person detection history database 102. This will be described with reference to FIG. 3A.
  • the entrance / exit position estimation means 105 may set the coordinates (750, 350) as the person staying position in the local coordinates.
  • the determination by the entrance / exit position estimation unit 105 as to whether or not the person 204 is staying is, for example, when the camera 202 detects the person 204 N times at the same position, the entrance / exit position is that the person 204 is staying.
  • the estimation unit 105 may make the determination.
  • the entrance / exit position estimation means 105 determines that the person 204 is staying. Judgment will be made. Note that the camera 202 or the tag reader 203 may detect the person 204 at a slightly different position every time depending on the observation noise. Therefore, the entrance / exit position estimation unit 105 may determine that the positions detected within ⁇ ⁇ (cm) from the previous detection position are the same position. ⁇ may be, for example, a standard deviation regarding the position error of the camera 202 or the tag reader 203.
  • step S1101 the processing in the entrance / exit position estimation means 105 in step S1101 of FIG. Thereafter, the process proceeds to step S1102.
  • the global coordinates and the local coordinates of the position where the person cannot enter are required.
  • the position where no human intrusion in global coordinates can be stored in the environmental map database 107 in advance.
  • environment ID DESK_005 is stored as a position where the person 204 cannot enter. This means that, in the furniture in the room 201, a position where the person 204 cannot enter is determined in advance, and such a position is stored in the environment map database 107 as a position where the person 204 cannot enter. .
  • FIG. 7A is an example of history information of the detection position of the person 204 detected by the camera 202.
  • the detection position of the person 204 in FIG. 7A is stored as a point having no range.
  • the actual person 204 has a certain width (such as a shoulder width). Therefore, the entrance / exit position estimation means 105 performs a process of thickening the detection position of the person 204 in FIG.
  • the value of A may match the actual shoulder width of the person 204, or may be set in consideration of the sensor noise level of the observation apparatus 101.
  • FIG. 7B is a diagram in which the detection position of the person 204 in FIG. 7A is further thickened by 1 m in each of the XY directions. 7B, it can be seen that an area where no person 204 is detected, an unexplored area 701 is obtained near the center of the floor 201f of the room 201.
  • FIG. The position of the center of gravity of the unstepped area 701 may be handled by the entrance / exit position estimation means 105 as a position where a person cannot enter in local coordinates.
  • the entrance / exit position estimation means 105 can accurately obtain the position where the person cannot enter in the local coordinates. I can't.
  • step S1102 by the entrance / exit position estimation means 105. Thereafter, the process proceeds to step S1103.
  • the entrance / exit position estimation means 105 shall perform the calculation of a person stay position and an inaccessible position, respectively.
  • step S1103 the calibration parameter acquisition unit 106 acquires the calibration parameters of the camera 202 and / or the tag reader 203 based on (Equation 1).
  • the calibration parameter as the calibration information to be obtained is only one combination, and the calculation time in the calibration parameter acquisition unit 106 is shortened to 1/6 of the time required for the previous six combinations.
  • step S1103 is the processing of step S1103 by the calibration parameter acquisition means 106.
  • the configuration and operation of the position calibration information collection device 110 are as described above.
  • the following describes the position calibration apparatus 111 according to the first embodiment of the present invention, which includes the position calibration information collection apparatus 110 and further includes calibration means (calibration unit) 108.
  • the configuration and operation of the position calibration information collecting apparatus 110 are the same as those of the position calibration information collecting apparatus 110, and therefore only the calibration means 108 will be described below.
  • the position calibration device 111 further includes calibration means 108 in addition to the position calibration information collection device 110, and the calibration of the camera 202 and / or the tag reader 203 using the calibration parameters acquired by the calibration parameter acquisition means 106. Is performed by the calibration means 108.
  • the calibration parameter is +5 cm in the X coordinate
  • the actual position of the camera 202 or / and the tag reader 203 may be moved by 5 cm in the + X axis direction, or the data acquired by the camera 202 or / and the tag reader 203 may be + X axis. It may be moved 5 cm in the direction.
  • FIG. 10 shows a configuration diagram of a position calibration information collecting apparatus provided with the calibration means 108.
  • the position where the person 204 is detected for the first time is the position of the door 205 as an entrance to the room 201 which is a closed environment. This makes it possible to automatically collect information necessary for calibration related to the position of the observation apparatus 101 without using a marker or the like prepared in advance in the environment.
  • the calibration unit 108 can calibrate the position of the observation apparatus 101 based on the collected calibration information.
  • FIG. 15 is a diagram showing a configuration of a position calibration information collecting apparatus according to the second embodiment of the present invention.
  • the position calibration information collection device includes an observation device 101, a human detection history database 102 as an example of a human detection history storage unit, and a last detection position estimation unit (last detection position estimation unit). ) 1303, an end detection position history database 1304 as an example of an end detection position history storage unit, an entrance / exit position estimation unit (entrance / entrance position estimation unit) 105, and an example of a position calibration information calculation unit that calculates position calibration information Calibration parameter acquisition means (calibration parameter acquisition unit) 106 and an environment map database 107 as an example of an environment map storage means.
  • the means and database other than the last detection position estimation means 1303 and the last detection position history database 1304 are the same as those described in the first embodiment. Further, the last detection position is used instead of the initial detection position for the processing of the entrance / exit position estimation means 105 in the second embodiment.
  • the last detection position estimation means 1303 estimates the observation ID at which the person 204 was last detected by the observation apparatus 101 from the detection history information of the person 204 stored in the person detection history database 102. Details of the estimation method will be described using the following last detected position history database 1304.
  • FIGS. 16A and 16B show examples of the last detected position history database 1304 when the camera 202 detects the person 204 last and when the tag reader 203 detects the person 204 last.
  • the last detection position estimation means 1303 stores the time when the camera 202 last detected the person 204, the local coordinates, the color feature information, and the observation ID. It can be done. Note that the last detection position history database 1304 in FIG. 16A is created by the last detection position estimation means 1303 based on the detection history information of the person 204 stored in the person detection history database 102 in FIG. 3A.
  • step S1501 the last detection position estimation means 1303 determines whether or not there is unread data in the human detection history database 102 before the N time from the current time (when the last detection position is acquired). Yes. If the last detection position estimation unit 1303 determines that there is no unread data, the last detection position acquisition process is terminated.
  • N can be an observation period of the observation apparatus 101 (for example, an arbitrary time of 1 to 2 seconds or 100 ms). In consideration of the possibility that the observation apparatus 101 makes a detection error of the person 204, a value obtained by multiplying the observation period of the observation apparatus 101 by a constant may be used as N. Further, it is assumed that the last detection position estimation unit 1303 includes a timer.
  • Step S1502 is processing when the undetected position estimation unit 1303 determines that unread data exists in step S1501, and one of the unread data stored in the human detection history database 102 is detected once. It is read by the position estimation means 1303.
  • step S1503 data in which the same tag ID (feature information) is stored in the data read in step S1502 from the stored time until N times later is stored in the human detection history database 102. It is determined by the last detection position estimation means 1303 whether or not there is. If the last detection position estimation unit 103 determines that the data in which the same tag ID is stored is stored in the person detection history database 102, the last detection position estimation unit 1303 determines that it is not the last detected person. Determination is made, and the process returns to step S1501.
  • Step S1504 is processing performed when the last detection position estimation unit 1303 determines in step S1503 that there is no data storing the same tag ID between the stored time and N times later. Yes, the data read in step S1502 is stored in the last detected position history database 1304 by the last detected position estimating means 1303 as last detected position information. Thereafter, the process returns to step S1501.
  • the entrance / exit position is estimated by the entrance / exit position estimation means 105.
  • the first detection position is used in the first embodiment
  • the last detection position is used instead of the first detection position in the second embodiment. Since only the first detection position is replaced with the last detection position and other processes are not changed, a new description is omitted here.
  • the position where the person 204 was last detected is the position of the door 205 as an entrance to the room 201 which is a closed environment.
  • the calibration unit 108 can calibrate the position of the observation apparatus 101 based on the collected calibration information.
  • all of the first detection position and the last detection position may be used as detection positions used by the entrance / exit position estimation means 105.
  • the position calibration information collecting apparatus, the position calibration information collecting method, and the position calibration information collecting program according to the present invention can calibrate the position of the observation apparatus without using a marker for position calibration. Therefore, it is particularly useful for a position calibration information collection device including an observation device used in a security system in an office, factory, or home, and a position calibration information collection method and a position calibration information collection program using the observation device. It is.

Abstract

 人204を観測装置101で検出し、人の検出履歴を人検出履歴データベース102に記憶し、人が初めて検出された位置を初回検出位置推定手段103で推定して初回検出位置履歴データベース104に記憶し、部屋201のドア205のローカル座標での位置を出入口位置推定手段105で推定し、ローカル座標とグローバル座標とでのドア位置に基づいて、観測装置の位置の校正情報を位置校正情報算出手段106で算出する。

Description

位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラム
 予め用意したマーカを使用することなく、観測装置の位置に関する校正を行うことができる、位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラムに関する。
 人を監視する観測装置として、カメラ、又は、最近では超広帯域無線[UWB(Ultra Wide Band)]タグなどが用いられることがある。通常、これらの観測装置を利用する場合には、観測装置の位置の校正を予め行っておく必要がある。観測装置の位置の校正には、人工的に作成したマーカを使用することが一般的である。タグリーダのマーカの例としては、位置情報を記憶した位置タグがある。また、カメラのマーカの例としては、位置情報が記憶された二次元バーコードなどがある。タグリーダとカメラとの何れのマーカを使用する場合にも、位置情報を記憶し、その位置にマーカを設置するといった労力が発生する。
 これに対して、人工的なマーカを用いずに、環境に存在する既知物体を用いて、ロボットの自己位置を推定する技術がある(特許文献1)。
特開2004-30445号公報
 しかしながら、特許文献1の技術は、既知の物体の三次元形状をロボットに予め学習させておく必要があり、人工的ではないが既知の物体を、マーカとして代用していることになる。また、特許文献1の技術は、三次元形状を識別できないUWBタグには、適用できない技術である。
 そこで、本発明の目的は、人を監視する観測装置の位置に関する校正を、マーカを用いずに行うことのできる、位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラムを提供することにある。
 前記目的を達成するために、本発明は以下のように構成する。
 本発明の第1態様によれば、出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報としてそれぞれ取得する観測装置と、
 前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を初めて検出した位置を推定する初回検出位置推定手段と、
 前記初回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を初めて検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を推定する出入口位置推定手段と、
 前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づいて、前記観測装置の位置に関して校正を行うための位置校正情報を算出する位置校正情報算出手段と、
 を備えたことを特徴とする位置校正情報収集装置を提供する。
 本発明の第9態様によれば、第1~8のいずれか1つの態様に記載の前記位置校正情報収集装置と、
 前記位置校正情報収集装置の前記位置校正情報算出装置により前記グローバル空間に設置されている前記出入口の出入口位置のグローバル座標と前記出入口位置のローカル座標とに基づいて算出された前記位置校正情報に基づいて、前記観測装置の位置に関する校正を行う校正手段と、
 を備えることを特徴とする位置校正装置を提供する。
 本発明の第10態様によれば、出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報としてそれぞれ取得する観測装置と、
 前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を最後に検出した位置を推定する終回検出位置推定手段と、
 前記終回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を最後に検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を推定する出入口位置推定手段と、
 前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づいて、前記観測装置の位置に関して校正を行うための位置校正情報を算出する位置校正情報算出手段と、
 を備える位置校正情報収集装置を提供する。
 本発明の第11態様によれば、出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報として観測装置でそれぞれ取得し、
 前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を初めて検出した位置を初回検出位置推定手段で推定し、
 前記初回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を初めて検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を出入口位置推定手段で推定し、
 前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づいて、前記観測装置の位置に関して校正を行うための位置校正情報を位置校正情報算出手段で算出する、
 ことを特徴とする位置校正情報収集方法を提供する。
 本発明の第12態様によれば、コンピュータに、
 出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報として観測装置でそれぞれ取得する機能と、
 前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を初めて検出した位置を初回検出位置推定手段で推定する機能と、
 前記初回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を初めて検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を出入口位置推定手段で推定する機能と、
 前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づいて、前記観測装置の位置に関して校正を行うための位置校正情報を位置校正情報算出手段で算出する機能と、
 を実現させるための位置校正情報収集プログラムを提供する。
 本発明によれば、人を初めて検出した位置又は人を最後に検出した位置を、閉じた環境への出入口の位置であると推定することができて、グローバル座標系での絶対位置を特定することができる。そのため、マーカを用いることなく、人を検出することによって観測装置の位置に関する校正情報を算出することができるようになる。
 本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。この図面においては、
図1は、本発明の第一実施形態に係る位置校正情報収集装置の構成を示すブロック図であり、 図2は、本発明の前記第一実施形態に係る前記位置校正情報収集装置での観測対象である生活空間としての部屋を説明する図であり、 図3Aは、本発明の第一実施形態に係る位置校正情報収集装置の人検出履歴データベースに記憶されたカメラによる人の検出履歴の情報の例を示す図であり、 図3Bは、本発明の第一実施形態に係る位置校正情報収集装置の人検出履歴データベースに記憶されたUltra Wide Bandタグリーダによる人の検出履歴の情報の例を示す図であり、 図4Aは、本発明の第一実施形態に係る位置校正情報収集装置の初回検出位置履歴データベースに記憶されたカメラによる人の初回検出履歴の情報の例を示す図であり、 図4Bは、本発明の第一実施形態に係る位置校正情報収集装置の初回検出位置履歴データベースに記憶されたUltra Wide Bandタグリーダによる人の初回検出履歴の情報の例を示す図であり、 図5は、本発明の第一実施形態に係る位置校正情報収集装置の環境マップの例を示す図であり、 図6Aは、本発明の第一実施形態に係る位置校正情報収集装置の初回検出位置履歴データベースに記憶されたカメラによる人の初回検出履歴の情報の例を示す図であり、 図6Bは、本発明の第一実施形態に係る位置校正情報収集装置の初回検出位置履歴データベースに記憶されたカメラによる人の初回検出履歴の情報をクラスタリングした例を示す図であり、 図6Cは、本発明の第一実施形態に係る位置校正情報収集装置の出入口位置推定手段の推定例を示す図であり、 図7Aは、本発明の第一実施形態に係る位置校正情報収集装置の人検出履歴データベースに記憶されたカメラによる人の検出履歴の情報の例を示す図であり、 図7Bは、本発明の第一実施形態に係る位置校正情報収集装置の人検出履歴データベースに記憶されたカメラによる人の検出位置を太らせた例を示す図であり、 図8は、本発明の第一実施形態に係る位置校正情報収集装置の全体処理を示すフローチャートであり、 図9は、本発明の第一実施形態に係る位置校正情報収集装置におけるタグリーダの位置検出方法の例を示す図であり、 図10は、本発明の第一実施形態に係る位置校正情報収集装置の構成を示すブロック図であり、 図11は、本発明の第一実施形態に係る位置校正情報収集装置の人の滞在位置と侵入不可位置を利用した校正パラメータ取得処理を示すフローチャートであり、 図12は、本発明の第一実施形態に係る位置校正情報収集装置の初回検出位置抽出処理を示すフローチャートであり、 図13は、本発明の第一実施形態の変形例に係る位置校正情報収集装置の構成を示すブロック図であり、 図14は、本発明の第一実施形態の別の変形例に係る位置校正情報収集装置の構成を示すブロック図であり、 図15は、本発明の第二実施形態に係る位置校正情報収集装置の構成を示すブロック図であり、 図16Aは、本発明の第二実施形態に係る位置校正情報収集装置において、カメラが人を最後に検出したときの終回検出位置履歴データベースの一例を示す図であり、 図16Bは、本発明の第二実施形態に係る位置校正情報収集装置において、タグリーダが人を最後に検出したときの終回検出位置履歴データベースの一例を示す図であり、 図17は、本発明の第二実施形態に係る位置校正情報収集装置の終回検出位置取得処理を示すフローチャートである。
 以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。
 以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。
 本発明の第1態様によれば、出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報としてそれぞれ取得する観測装置と、
 前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を初めて検出した位置を推定する初回検出位置推定手段と、
 前記初回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を初めて検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を推定する出入口位置推定手段と、
 前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づいて、前記観測装置の位置に関して校正を行うための位置校正情報を算出する位置校正情報算出手段と、
 を備えたことを特徴とする位置校正情報収集装置を提供する。
 本発明の第2態様によれば、前記観測装置でそれぞれ取得された前記観測情報の前記人の前記特徴情報と前記人の前記ローカル座標と前記人を検出した前記時刻とを記憶する人検出履歴データベースと
 前記人検出履歴データベースに記憶されている情報を基に、前記初回検出位置推定手段により前記ローカル座標空間内で前記人を初めて検出した位置を、初回検出位置情報として、前記人を検出した時刻と共に記憶する初回検出位置履歴データベースとをさらに備え、
 前記初回検出位置推定手段は、前記観測装置で取得されかつ前記人が検出された前記観測情報のそれぞれについて、前記人検出履歴データベースを参照して、前記観測情報の前記人が検出された時刻から所定時刻前までの間に、前記観測情報と同じ特徴情報が記憶されている他の観測情報が、前記人検出履歴データベースに記憶されているか否かを判断し、同じ特徴情報が記憶されている他の観測情報が前記人検出履歴データベースに記憶されていなかった場合には、当該観測情報の前記人が検出された位置を、前記人を初めて検出した位置と推定して、前記初回検出位置履歴データベースに記憶する、第1の態様に記載の位置校正情報収集装置を提供する。
 本発明の第3態様によれば、前記出入口位置推定手段は、前記ローカル座標空間内で前記人を初めて検出した位置の近傍において、前記出入口の自動ドア識別情報を参照して、前記ローカル座標空間における出入口位置のローカル座標として推定する、第1又は2の態様に記載の位置校正情報収集装置を提供する。
 本発明の第4態様によれば、前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標が記憶されている環境マップ記憶手段をさらに備えて、
 前記位置校正情報算出手段は、前記環境マップ記憶手段に記憶されている前記グローバル空間における前記出入口の前記出入口位置のグローバル座標を利用して、前記出入口位置のグローバル座標と前記出入口位置のローカル座標とに基づいて、前記観測装置の位置に関する校正を行うための前記位置校正情報を算出する、第1~3のいずれか1つの態様に記載の位置校正情報収集装置を提供する。
 本発明の第5態様によれば、前記環境マップ記憶手段には、前記グローバル空間における前記出入口のドアが自動で開く出入口か、又は、ドアが手動で開く出入口であるかを識別する自動ドア識別情報を記憶しており、
 前記位置校正情報算出手段は、前記環境マップ記憶手段に記憶された前記自動ドア識別情報に基づき、前記ローカル座標における出入口のドアと前記グローバル座標における出入口のドアとを対応付けて前記位置校正情報を算出する第1~4のいずれか1つの態様に記載の位置校正情報収集装置を提供する。
 本発明の第6態様によれば、前記初回検出位置推定手段は、
  前記自動ドア識別情報に基づき前記出入口の前記ドアが自動で開く出入口であると判断された前記出入口の前記出入口位置のローカル座標が、前記人を初めて検出した位置として複数あるときには、前記人を初めて検出した複数の位置の中で前記環境の中心座標から最も離れた座標にある位置を、前記出入口の前記出入口位置のローカル座標と決定する一方、
  前記自動ドア識別情報に基づき前記出入口の前記ドアが手動で開く出入口であると判断された前記出入口の前記出入口位置のローカル座標が、前記人を初めて検出した位置として複数あるときには、前記人を初めて検出した複数の位置の重心位置を、前記出入口の前記出入口位置のローカル座標と決定する、第5の態様に記載の位置校正情報収集装置を提供する。
 本発明の第7態様によれば、前記観測装置でそれぞれ取得された前記観測情報の前記人の前記特徴情報と前記人の前記ローカル座標と前記人を検出した前記時刻とを記憶する人検出履歴データベースと
 前記人検出履歴データベースに記憶されている情報を基に、前記初回検出位置推定手段により前記ローカル座標空間内で前記人を初めて検出した位置を、初回検出位置情報として、前記人を検出した時刻と共に記憶する初回検出位置履歴データベースとをさらに備え、
 更に前記環境マップ記憶手段には、前記グローバル空間内であってかつ前記人が滞在しやすい位置に関する情報が記憶されており、
 前記出入口位置推定手段は、さらに、前記人検出履歴データベースに記憶されている前記人の特徴情報と前記人のローカル座標と前記人を検出した時刻とに基づき、前記ローカル座標空間内で前記人が滞在しやすい位置を推定し、
 前記初回検出位置履歴データベースは、前記初回検出位置推定手段により前記ローカル座標空間内で前記人が滞在しやすい位置を、前記人を検出した時刻と共に記憶し、
 前記出入口位置推定手段は、前記初回検出位置履歴データベースに記憶された前記ローカル座標空間内で前記人が滞在しやすい位置に基づいて、前記ローカル座標空間における前記人が滞在しやすい位置のローカル座標を推定し、
 前記位置校正情報算出手段は、前記人が滞在しやすい位置のグローバル座標と、前記出入口位置推定手段により推定された前記人が滞在しやすい位置のローカル座標とに基づいて、前記観測装置の位置に関する校正を行うための前記位置校正情報を算出することを特徴とする第4の態様に記載の位置校正情報収集装置を提供する。
 本発明の第8態様によれば、前記観測装置でそれぞれ取得された前記観測情報の前記人の前記特徴情報と前記人の前記ローカル座標と前記人を検出した前記時刻とを記憶する人検出履歴データベースと
 前記人検出履歴データベースに記憶されている情報を基に、前記初回検出位置推定手段により前記ローカル座標空間内で前記人を初めて検出した位置を、初回検出位置情報として、前記人を検出した時刻と共に記憶する初回検出位置履歴データベースとをさらに備え、
 更に前記環境マップ記憶手段には、前記人が侵入できない位置に関する情報が記憶されており、
 前記出入口位置推定手段は、さらに、前記人検出履歴データベースに記憶されている前記人の特徴情報と前記人のローカル座標と前記人を検出した時刻とに基づき、前記ローカル座標空間内で前記人が侵入できない位置を推定し、
 前記初回検出位置履歴データベースは、前記初回検出位置推定手段により前記ローカル座標空間内で前記人が侵入できない位置を、前記人を検出した時刻と共に記憶し、
 前記出入口位置推定手段は、前記初回検出位置履歴データベースに記憶された前記ローカル座標空間内で前記人が侵入できない位置に基づいて、前記ローカル座標空間における前記人が侵入できない位置のローカル座標を推定し、
 前記位置校正情報算出手段は、前記人が滞在しやすい位置のグローバル座標と、前記出入口位置推定手段により推定された前記人が侵入できない位置のローカル座標とに基づいて、前記観測装置の位置に関する校正を行うための前記位置校正情報を算出することを特徴とする第4の態様に記載の位置校正情報収集装置を提供する。
 本発明の第9態様によれば、第1~8のいずれか1つの態様に記載の前記位置校正情報収集装置と、
 前記位置校正情報収集装置の前記位置校正情報算出装置により前記グローバル空間に設置されている前記出入口の出入口位置のグローバル座標と前記出入口位置のローカル座標とに基づいて算出された前記位置校正情報に基づいて、前記観測装置の位置に関する校正を行う校正手段と、
 を備えることを特徴とする位置校正装置を提供する。
 本発明の第10態様によれば、出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報としてそれぞれ取得する観測装置と、
 前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を最後に検出した位置を推定する終回検出位置推定手段と、
 前記終回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を最後に検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を推定する出入口位置推定手段と、
 前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づく、前記観測装置の位置の校正のための位置校正情報を出力する位置校正情報算出手段と、
 を備える位置校正情報収集装置を提供する。
 本発明の第11態様によれば、出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報として観測装置でそれぞれ取得し、
 前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を初めて検出した位置を初回検出位置推定手段で推定し、
 前記初回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を初めて検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を出入口位置推定手段で推定し、
 前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づく、前記観測装置の位置の校正のための位置校正情報を位置校正情報算出手段で出力する、
 ことを特徴とする位置校正情報収集方法を提供する。
 本発明の第12態様によれば、コンピュータに、
 出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報として観測装置でそれぞれ取得する機能と、
 前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を初めて検出した位置を初回検出位置推定手段で推定する機能と、
 前記初回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を初めて検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を出入口位置推定手段で推定する機能と、
 前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づく、前記観測装置の位置の校正のための位置校正情報を位置校正情報算出手段で出力する機能と、
 を実現させるための位置校正情報収集プログラムを提供する。
 以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の記述を続ける前に、添付図面において同じ部品については同じ参照符号を付している。
 (第一実施形態)
 <位置校正情報収集装置の構成の説明>
 図1は、本発明の第一実施形態に係る位置校正情報収集装置の構成を示した図である。
 本発明の第一実施形態に係る位置校正情報収集装置は、観測装置101と、人検出履歴記憶手段の一例としての人検出履歴データベース102と、初回検出位置推定手段(初回検出位置推定部)103と、初回検出位置履歴記憶手段の一例としての初回検出位置履歴データベース104と、出入口位置推定手段(出入口位置推定部)105と、位置校正情報を算出する位置校正情報算出手段の一例としての校正パラメータ取得手段(校正パラメータ取得部)106と、環境マップ記憶手段の一例としての環境マップデータベース107と、を備える。
 尚、出入口位置推定手段105と校正パラメータ取得手段106とは、それぞれ、環境マップデータベース107から情報を読み込むための構成情報参照手段105a,106aを備えているものとする。
 また、図2に、生活環境の具体的な例としての部屋201を示す。部屋201は、カメラ202とUWB(Ultra Wide Band)(超広帯域無線)タグリーダシステム203(以後、タグリーダ203と記述する)とを備えている。このカメラ202とUWBタグリーダシステム203は、本発明の第一実施形態に係る前記位置校正情報収集装置の構成要素である観測装置101の一例である。直方体の部屋201の四角形の天井201dの中央付近には、真下に向けられたカメラ202とタグリーダ203とが設置されている。部屋201内には、人204が存在して部屋201に出入りしている。尚、部屋201に出入りする人の数に制限は無く、任意の一人を、代表的に人204として説明を行っている。更に、人204が座る椅子206と、人204がその配置領域内に侵入することができない机207とが床201f上に存在している。また、閉じた環境である部屋201内への出入口の例として、ドア205Aと、ドア205Bと、ドア205Cとが設置されている。以後、部屋201内のドア205Aとドア205Bとドア205Cとのうちの任意のドアを、ドア205として代表的に説明する。一例として、部屋201の対向する一対の壁201v,201w
にそれぞれドア205Aとドア205Cとが配置され、一対の壁201a,201cをつなぐ壁201bにドア205Bが配置されている。
 尚、部屋201内には、カメラ202とタグリーダ203との2種類の観測装置が設置されているが、どちらか片方の観測装置101のみが設置されている場合でも、本発明は適用可能である。
 以下、図8のフローチャートに対応させながら、図1と図2とを用いて、各構成要素について説明する。なお、図8は、前記位置校正情報収集装置の全体処理(位置校正情報収集処理)を示すフローチャートである。
 <観測装置の説明>
 観測装置101は、所定の観測周期(例えば1秒~2秒の任意の時間又は100ms)毎に、部屋201内を観測し、部屋201内に存在する人204の検出を行う。観測装置101は、検出結果を人検出履歴データベース102に記憶する。観測装置101で人204を検出すると、観測装置101は、検出した人204の特徴情報(人であることを示す特徴(特徴量)を表す情報)とローカル座標とを取得する。そして、観測装置101が、検出した人204の特徴情報とローカル座標を、人204を検出した時刻と共に人検出履歴データベース102に記憶する。これによって、人204と、人204を検出した時刻とが対応付けされて、人検出履歴データベース102に記憶されている。ここで、ローカル座標とは、観測装置101で検出される、部屋201内での人204の位置を示す位置座標(例えば、XY座標)である。従って、ローカル座標には、観測装置101の設置位置に依存し、後述する部屋201の絶対座標であるグローバル座標に対する観測装置101の配置位置誤差が含まれている。そのため、後述するように、位置の校正が必要となる。
 観測装置101にカメラ202を用いた場合、ローカル座標の原点位置は、カメラ202で撮像された画像の左上隅の画素とすることができる。
 また、観測装置101にタグリーダ203を用いた場合、ローカル座標の原点位置は、タグリーダ203に接続された複数の基地局のうちの何れかの基地局の位置とすることができる。
 まず、観測装置101の一例として、観測装置101にカメラ202を用いた場合について説明する。カメラ202は、人204を検出する撮像部202aと、画像データを画像処理する画像処理部202bとを備えている。
 カメラ202を用いて人204を検出するには、カメラ202が取得した画像データを、カメラ202内に備えた画像処理部202bで画像処理する必要がある。そのような画像処理の方法として、例えば、背景差分法を用いることができる。カメラ202で予め撮像して用意しておいた、人204が存在していないときの部屋201の背景画像データと、カメラ202で撮像した現在の画像データとを画像処理部202bで比較する。その後、画素値が異なる領域を差分領域として画像処理部202bで取り出す。ただし、画像データにはノイズが混じっている可能性があるため、画像処理部202bで、前記差分領域が人204に対して十分に小さいということが判断できる場合には、画像処理部202bで、前記差分領域は人204ではないと判断しても良い。ここで、差分領域が人204に対して十分に小さい場合とは、前記差分領域の画素数が、人204と認識可能な最低画素数を基に予め設定した閾値以下である場合が考えられる。尚、検出した人204のローカル座標は、画像処理部202bで、例えば前記差分領域の重心位置とすることができる。
 以上が、図8のフローチャートにおけるステップS801の処理である。すなわち、ステップS801では、カメラ202を用いて、人204を検出したと画像処理部202bで判断した場合には、次のステップS802の処理に進む。一方、カメラ202を用いて、人204を検出していないと画像処理部202bで判断した場合には、人204を検出したと画像処理部202bで判断するまで、ステップS801の処理を繰り返す。なお、場合によっては、具体的には図示していないが、画像処理部202bで、人204を検出していないと判断した場合には、前記位置校正情報収集処理を終了するようにしてもよい。
 検出した人204の特徴情報は、例えば、前記差分領域の色の分布とすることができる。以下、これを色特徴情報と称する。ステップS801で、カメラ202を用いて人204を検出したことが、画像処理部202bで判断される。その後、ステップS802において、画像処理部202bで、人204の特徴情報の一例として、人204であると認識された前記差分領域の色の分布を抽出する。その後、ステップS803の処理に進む。
 一方、観測装置101の別の例として、観測装置101にタグリーダ203を用いた場合について説明する。タグリーダ203は、タグを検出するタグ検出部203aと、タグ検出部203aが検出した情報を基に前記タグの位置を算出する情報処理部203bとを備えている。
 タグリーダ203を用いて人204を検出するためには、人204である事を示し、かつその人の特徴情報を示す情報(タグID)をIDデータ(識別情報)として有するタグ902を、人204に予め所持させておく必要がある。
 タグリーダ203により、人204が所持していたタグ902(タグ902のタグID)を検出すると、検出した人204のローカル座標は、例えば、三点測量の原理を用いて決定することができる。図9に三点測量によるタグ902の位置を検出する例を示す。図9に示される環境内には、情報処理部203bと接続されたタグ検出部203aとしての基地局901Aと基地局901Bと基地局901Cが配置されている。基地局901Aは、ローカル座標(x,y)=(500,600)に配置され、基地局901Bは、ローカル座標(x,y)=(700,300)に配置され、基地局901Cは、ローカル座標(x,y)=(300,300)に配置されている。ここで、情報処理部203bは、3つの基地局901A,901B,901Cが配置されているローカル座標を知っているものとする。具体的には、情報処理部203bは、3つの基地局901A,901B,901Cのローカル座標が記憶された記憶部を有している。そして、各基地局901A,901B,901Cは、各基地局901A,901B,901Cから射出した電波がタグ902から返ってくる時間を計測することによって、前記タグ902までの距離を算出することができる。このような状況において、タグ902がローカル座標(x,y)=(400,400)に存在したとする。基地局901Aは、基地局901Aの位置を中心とし、半径を223.61cmとした円弧上にタグ902が存在することが分かる。同様に、基地局901Bは、基地局901Bの位置を中心とする半径316.23cmの円弧上にタグ902が存在することが分かる。基地局901Cは、基地局901Cの位置を中心とする半径141.42cmの円弧上にタグ902が存在することが分かる。以上の3つの円弧が全て重なり合う位置がタグ902の存在する位置であると情報処理部203bで判断することができる。図9では、二次元空間におけるタグ位置検出の説明を行った。実空間(三次元空間)におけるタグ位置検出を行う場合には、図9の円弧が球面となるだけであり、他の処理に変化は無い。以上が、図8のフローチャートにおけるステップS801の処理にあたる。すなわち、ステップS801では、タグリーダ203を用いて、人204を検出した(タグIDを検出した)とタグリーダ203の情報処理部203bで判断した場合には、次のステップS802に進む。一方、タグリーダ203を用いて、タグリーダ203の情報処理部203bが人204を検出していない(タグIDを検出していない)と判断した場合には、タグリーダ203の情報処理部203bが人204を検出したと判断するまで、ステップS801の処理を繰り返す。なお、場合によっては、具体的には図示していないが、人204を検出していないとタグリーダ203の情報処理部203bで判断した場合には、前記位置校正情報収集処理を終了するようにしてもよい。
 検出した人204(実際には、人204が所持している前記タグ902)の特徴情報は、例えば前記タグ902に記憶されているIDデータ(タグID)とすることができる。このように、前記タグIDである特徴情報を抽出する処理が、図8のフローチャートにおけるステップS802の処理にあたる。その後、ステップS803の処理に進む。
 尚、観測装置101は、人204(又はタグ902のタグID)を検出した時刻の情報を取得するためのタイマを備えているものとする。
 また、以後、カメラ202とタグリーダ203との観測周期は、それぞれ一例として1秒であるとして説明する。
 <人検出履歴データベースの説明>
 人検出履歴データベース102には、観測装置101により人204が検出された時刻と、観測装置101により検出された人204の特徴情報と、人204が観測装置101により検出されたローカル座標とが、観測装置101により記憶される。
 図3Aに、カメラ202が人204を検出したときの人検出履歴データベース102の一例を示す。図3Bに、タグリーダ203が人204を検出したときの人検出履歴データベース102の一例を示す。
 図3Aの人検出履歴データベース102には、カメラ202が人204を検出したときの時刻とローカル座標と色特徴情報と、そして観測ID(時刻とローカル座標と色特徴情報とを含む観測情報同士を識別するための情報)とを記憶できる。例えば、時刻2008/09/02_12:00:01では、ローカル座標(x,y)=(50,550)にて色特徴情報が赤の人が検出され、観測ID=CAM_001として人検出履歴データベース102に記憶されている。また、時刻2008/09/02_12:00:04では、ローカル座標(1050,350)にて色特徴情報が白の人が検出され、観測ID=CAM_005として人検出履歴データベース102に記憶されている。ここで、観測ID=CAM_001と観測ID=CAM_005にそれぞれ記憶されている色特徴情報が異なっている事を、初回検出位置推定手段103で判断することができる。このことから、観測ID=CAM_001で検出した人と観測ID=CAM_005で検出した人が異なる人物であるということを、初回検出位置推定手段103で推定することができる。
 一方、図3Bの人検出履歴データベース102には、タグリーダ203が人204を検出したときの時刻とローカル座標とタグIDと、そして観測ID(時刻とローカル座標とタグIDとを含む観測情報同士を識別するための情報)とを記憶できる。例えば、時刻2008/09/02_12:00:01では、ローカル座標(0,-600)にてタグID=001の人が検出され、観測ID=TAG_001として人検出履歴データベース102に記憶されている。また、時刻2008/09/02_12:00:04では、ローカル座標(1000,-400)にてタグID=002の人が検出され、観測ID=TAG_005として人検出履歴データベース102に記憶されている。ここで、観測ID=TAG_001と観測ID=TAG_005に記憶されているタグIDが異なっていると初回検出位置推定手段103で判断することができる。このことから、観測ID=TAG_001で検出した人と観測ID=TAG_005で検出した人が異なる人物であるということを、初回検出位置推定手段103で推定することができる。
 以上、カメラ202又はタグリーダ203が抽出した特徴情報とローカル座標とを、カメラ202又はタグリーダ203で人検出履歴データベース102に記憶する処理が、図8のフローチャートにおけるステップS803の処理にあたる。その後、ステップS804の処理に進む。
 <初回検出位置推定手段の説明>
 初回検出位置推定手段103は、人検出履歴データベース102に記憶されている人204の検出履歴の情報から、人204が観測装置101で初めて検出された観測IDを推定する。推定方法の詳細は、以下の初回検出位置履歴データベース104を用いて説明する。
 <初回検出位置履歴データベースの説明>
 初回検出位置履歴データベース104には、少なくとも、人204が初めて検出された位置が初回検出位置推定手段103により記憶される。
 図4Aに、カメラ202が人204を初めて検出したときの初回検出位置履歴データベース104の一例を示し、図4Bに、タグリーダ203が人204を初めて検出したときのそれぞれ示す。
 図4Aの初回検出位置履歴データベース104のデータには、カメラ202が人204を初めて検出したときの時刻とローカル座標と色特徴情報と、そして観測IDとが、初回検出位置推定手段103により記憶できるようになっている。尚、図4Aの初回検出位置履歴データベース104のデータは、図3Aの人検出履歴データベース102に記憶されている人204の検出履歴の情報を基に初回検出位置推定手段103により作成されている。
 図4Aの初回検出位置履歴データベース104のデータを使用して初回検出位置を取得する方法を図12のフローチャートを用いて説明する。
 ステップS1201では、人検出履歴データベース102に未読のデータがあるか否かを初回検出位置推定手段103で判断している。未読データが存在しないと初回検出位置推定手段103が判断すれば、初回検出位置の取得処理を終了する。未読のデータがあるか否かの初回検出位置推定手段103での判断方法については後述する。
 ステップS1202は、ステップS1201において未読データが存在するという事を、初回検出位置推定手段103が判断した場合の処理である。人検出履歴データベース102に記憶されている未読データは、初回検出位置推定手段103により1つ読み込まれる。
 次いで、ステップS1203では、ステップS1202で読み込んだデータに対して以下の処理を行っている。すなわち、初回検出位置推定手段103が、記憶されている時刻からN時刻前までの間に同じ特徴情報が記憶されているデータが人検出履歴データベース102に記憶されているか否かを判断している。初回検出位置推定手段103により、同じ特徴情報が記憶されているデータが人検出履歴データベース102に記憶されているという事が判断された場合は、初回検出位置推定手段103により、初めて検出した人ではないと判断される。そして、ステップS1201の処理へ戻る。ここで、Nは観測装置101の観測周期(例えば1秒~2秒の任意の時間又は100ms)などとすることができる。観測装置101が人204の検出ミスをする可能性を考慮し、Nに観測装置101の観測周期を定数倍した値を用いても構わない。
 ステップS1204は、ステップS1203において、記憶されている時刻からN時刻前までの間に同じ特徴情報が記憶されているデータが存在していると初回検出位置推定手段103により判断された場合の処理である。この処理により、ステップS1202において読み込んだデータを初回検出位置履歴データベース104に初回検出位置推定手段103が記憶する。その後、ステップS1201の処理に戻る。
 以下に、図3Aと図4Aを用いて具体的に説明する。
 図4Aの初回検出位置履歴データベース104には、人204が初めて検出された観測IDとして、観測ID=CAM_001と観測ID=CAM_005と観測ID=CAM_016とがそれぞれ初回検出位置推定手段103により記憶されている。尚、初回検出位置履歴データベース104を用いずに、人検出履歴データベース102に、人204を初めて検出したか否かを示すフィールドを設けておいても良い。
 観測ID=CAM_001は、色特徴情報が赤色の人が初めて検出されたため記憶されている。同様に、観測ID=CAM_005は、色特徴情報が白色の人が初めて検出されたため記憶されている。さらに、観測ID=CAM_016の色特徴情報は赤色であるが記憶されている。これは、観測ID=CAM_016の観測(時刻2008/09/02_12:00:10)より前の前回の観測(時刻2008/09/02_12:00:09)において、色特徴情報が赤色の人が検出されていないためである。つまり、色特徴情報が赤色の人は、一度、時刻2008/09/02_12:00:08に部屋201を退室し、時刻2008/09/02_12:00:10に部屋201に入室したと考えられるためである。これは、観測装置101(ここでは、カメラ202。)が人204の検出ミスをしないことを想定し、Nの値を観測装置101の観測周期の一例である1秒に設定していることを示す。すなわち、初回検出位置推定手段103は、観測周期毎に連続した観測において、同じ色特徴情報を有する人204が連続して観測できている場合は、人204が部屋201に存在すると判断する一方、前記連続した観測において、同じ色特徴情報を有する人204が観測できなかった場合は、人204が部屋201から出たと判断するためである。
 ここで、人204が部屋201内に存在するにも関わらず、カメラ202が人204の検出ミスをする場合のことを考える。この場合、例えば、カメラ202が人204をM回検出できなければ(ただし、Mは0より大きな整数。)、人204は部屋201から出て行ったと初回検出位置推定手段103で判断しても良い。つまり、カメラ202の観測周期が1秒の場合、(N×M)秒間、人204が検出されないと初回検出位置推定手段103で判断すれば、人204は部屋から出て行ったと初回検出位置推定手段103で判断することとなる。
 図3Aの例に戻って説明すると、赤色の人が時刻2008/09/02_12:00:08で検出されなくなって、赤色の人が次回検出されたのが2秒後の時刻2008/09/02_12:00:10である。人204が一度でも検出されなければ部屋201から出たと初回検出位置推定手段103で判断する。この場合、初回検出位置履歴データベース104には、観測ID=CAM_001と観測ID=CAM_005と観測ID=CAM_016とが初回検出位置推定手段103により記憶されることとなる。しかし、例えば、人204が連続で5回以上(すなわち、M=5)検出されなかった場合には人204が部屋201から出たと初回検出位置推定手段10で判断する。この場合には、初回検出位置履歴データベース104には、観測ID=CAM_001とCAM_005が記憶されることとなる。この場合は、観測ID=CAM_014の時刻2008/09/02_12:00:09でカメラ202が人204の検出ミスをした、と初回検出位置推定手段10で判断させることを意味する。
 一方、図4Bの初回検出位置履歴データベース104には、タグリーダ203が人204を初めて検出したときの時刻とローカル座標とタグIDと、そして、観測IDとが初回検出位置推定手段103により記憶できるようになっている。尚、図4Bの初回検出位置履歴データベース104は、図3Bの人検出履歴データベース102に記憶されている人204の検出履歴の情報を基に、初回検出位置推定手段103により作成されている。
 図4Bの初回検出位置履歴データベース104を使用して初回検出位置を取得する方法を図12のフローチャートを用いて説明する。
 ステップS1201では、初回検出位置推定手段103が、人検出履歴データベース102に未読のデータがあるか否かを判断している。初回検出位置推定手段103が、未読データが存在しないと判断すれば、初回検出位置の取得処理を終了する。
 未読データがあるか否かの判断方法として、初回検出位置推定手段103で観測IDを使用する方法が考えられる。例えば、観測IDには、人検出履歴データベース102に記録された順に、観測ID番号が昇順で付与されるようにしておく。初回検出位置推定手段103は、人検出履歴データベース102に記録されたデータを読み出すときに、読み出した観測IDを初回検出位置推定手段103の内部メモリ等に記憶しておく。これにより、初回検出位置推定手段103は、内部メモリに記憶された観測IDの次のデータを読み込むべきデータと判断することができ、前記データが存在しない場合、未読データが存在しないと判断することができる。
 ステップS1202は、ステップS1201において未読データが存在すると初回検出位置推定手段103が判断した場合の処理であり、人検出履歴データベース102に記憶されている未読データを初回検出位置推定手段103で1つ読み込む。
 次いで、ステップS1203では、読み込んだデータに対して以下の処理を行っている。すなわち、初回検出位置推定手段103が、記憶されている時刻からN時刻前までの間に同じタグID(特徴情報)が記憶されているデータが人検出履歴データベース102に記憶されているか否かを判断している。初回検出位置推定手段103にが、同じタグIDが記憶されているデータが人検出履歴データベース102に記憶されていると判断した場合は、初回検出位置推定手段103が、初めて検出した人ではないと判断し、ステップS1201の処理へ戻る。ここで、Nは観測装置101の観測周期(例えば1秒~2秒の任意の時間又は100ms)などとすることができる。観測装置101が人204の検出ミスをする可能性を考慮し、Nに観測装置101の観測周期を定数倍した値を用いても構わない。
 ステップS1204は、ステップS1203において、記憶されている時刻からN時刻前までの間に同じタグIDが記憶されているデータが存在していないと初回検出位置推定手段103により判断した場合の処理であり、ステップS1202において読み込んだデータを、初回検出位置情報として、初回検出位置推定手段103により初回検出位置履歴データベース104に記憶する。その後、ステップS1201の処理に戻る。
 以下に、図3Bと図4Bを用いて具体的に説明する。
 図4Bの初回検出位置履歴データベース104には、人204が初めて検出された観測IDとして、観測ID=TAG_001と観測ID=TAG_005と観測ID=TAG_016とがそれぞれ初回検出位置推定手段103により記憶されている。
 尚、初回検出位置履歴データベース104を用いずに、人検出履歴データベース102に、人204を初めて検出したか否かを示すフィールドを設けておいても良い。
 観測ID=CAM_001は、タグID(特徴情報)が「001」の人が初めて検出された情報であるため記憶されている。同様に、観測ID=CAM_005は、タグID(特徴情報)が「002」の人が初めて検出された情報であるため記憶されている。同様に、観測ID=CAM_016は、タグID(特徴情報)が「003」の人が初めて検出された情報であるため記憶されている。
 なお、観測装置101の検出ミスに関する処理は、前記カメラ202の場合と同様である。よって、観測装置101(ここでは、タグリーダ203。)が人204の検出ミスをしないことを想定する場合には、Nの値を観測装置101の観測周期の一例である1秒に設定すればよい。すなわち、初回検出位置推定手段103は、観測周期毎に連続した観測において、同じタグIDを有する人204が連続して観測できている場合は、人204が部屋201に存在すると判断する一方、前記連続した観測において、同じタグIDを有する人204が観測できなかった場合は、人204が部屋201から出たと判断するためである。
 ここで、人204が部屋201内に存在するにも関わらず、タグリーダ203が人204の検出ミスをする場合のことを考える。この場合、例えば、タグリーダ203が人204をM回検出できなければ(ただし、Mは0より大きな整数。)、人204は部屋201から出て行ったと初回検出位置推定手段103で判断しても良い。つまり、タグリーダ203の観測周期が1秒の場合、初回検出位置推定手段103が、(N×M)秒間、人204が検出されないと判断すれば、初回検出位置推定手段103が、人204は部屋から出て行ったと判断することとなる。
 以上、人物履歴データベース102に記憶されている人204の検出履歴の情報を基に、人204を初めて検出した履歴の情報(例えば、ローカル座標)を初回検出位置推定手段103で抽出する処理が、図8のフローチャートにおけるステップS804の処理にあたる。その後、ステップS805の処理に進む。
 次いで、ステップS805で、初回検出位置推定手段103が、人204を検出した履歴の情報(例えば、ローカル座標)を抽出できたか(存在したか)否かの判断を行っている。また、ステップS805で、初回検出位置推定手段103が、人204を検出した履歴の情報(例えば、ローカル座標)を抽出できたと判断した場合には、初回検出位置推定手段103が、抽出した前記履歴の情報(例えば、ローカル座標)を初回検出位置履歴データベース104に記憶する処理が、図8のフローチャートにおけるステップS806の処理にあたる。その後、ステップS807の処理に進む。一方、ステップS805で、初回検出位置推定手段103が、人204を検出した履歴の情報(例えば、ローカル座標)を抽出できなかったと判断した場合には、前記位置校正情報収集装置の全体処理を終了する。
 <環境マップデータベースの説明>
 環境マップデータベース107には、少なくとも、部屋201への出入口となるドア205のグローバル座標が予め記憶されている。ここで、グローバル座標とは、ローカル座標とは異なり、部屋201の絶対座標であり、一例として、部屋201の床の1つの隅を原点とする三次元座標を意味する。
 環境マップデータベース107は、図1に示した通り、位置校正情報収集装置に予め格納しておいてもよい。また、予め格納する代わりに、図14に示す通り、インターネット1401を通じて環境マップデータベース107に記憶する情報と同じ情報を、オンラインで、出入口位置推定手段105と校正パラメータ取得手段106とがそれぞれ取得してもよい。
 また、図13に一点鎖線で示すように、環境マップデータベース107とインターネット1401とを接続可能に配置し、インターネット1401を使用して予め必要な情報を取得して環境マップデータベース107に記憶させておく。その後、情報を更新する必要が生じたとき(例えば、観測装置101を新たに設置した場合、又は、観測装置101のタイプを変更した場合、又は、改装してドアを新たに作った場合などに新たな情報を取得する必要が生じたとき)に、インターネット1401を使用して更新された情報を取得して環境マップデータベース107に記憶させるようにしてもよい。
 図5に環境マップデータベース107の一例を示す。
 図5の環境マップデータベース107には、環境IDと、前記環境IDが示す家具の部屋201におけるグローバル座標と、環境IDが示す家具の属性と、環境IDが示す家具の取り得る動作とが記憶されている。
 属性は3種類存在する。1つ目は、部屋201への出入口を示すもので、ドア205が該当する。環境IDでいうと、DOOR_001と、DOOR_002と、DOOR_003となる。2つ目は、人204が部屋201内で滞在しやすい位置(滞在位置)(例えば、その家具の上に座ることが可能であることなど)を示すもので、椅子206が該当する。環境IDでいうと、CHAIR_004となる。3つ目は、人204が部屋201内において侵入できない位置(侵入不可)(例えば、人204が家具の配置領域内に入れないことなど)を示すもので、机207が該当する。環境IDでいうと、DESK_005となる。
 動作には、自動ドア識別情報として、環境IDが示す家具が取り得る動作について予め記憶されている。図5の環境マップデータベース107によると、環境ID=DOOR_001(ドア205A)と環境ID=DOOR_002(ドア205B)の動作には、「手動開閉」と予め記憶されている。これは、人204が手動でドア205(205A,205B)の開閉を行う必要があること(人が、一旦、ドア205A,205Bの前で停止して開閉動作を手動で行うこと)を意味している。また、環境ID=DOOR_003(ドア205C)には、「自動開閉」と予め記憶されている。これは、ドア205が自動ドアであり、人204が手動でドア205の開閉を行う必要がないこと(人が、一旦、ドア205Cの前で停止して開閉動作を手動で行う必要がないこと)を意味している。以上のようなドア205の構成で説明を行うが、本発明は、ドア205が全て手動開閉又は自動開閉であっても、動作可能である。ここでは、一例として、出入口にはドア205が存在し、ドア205が開閉することにより、人204が部屋202を出入りすることを前提としている。
 <出入口位置推定手段の説明>
 出入口位置推定手段105は、カメラ202のローカル座標とタグリーダ203のローカル座標とにおける部屋201のドア205(3つのドア205A,205B,205C)の位置をそれぞれ推定する。
 図6Aと図6Bを用いて、出入口位置推定手段105の詳細な説明を行う。
 図6Aは、カメラ202が検出した人204の初回検出位置を出入口位置推定手段105により視覚化した一例であり、人204が初めて検出された位置として12箇所存在する。ここで、これらの12箇所の検出位置(検出位置データ)は、同一人物を検出した位置である必要は無い。尚、図6Aの初回検出位置の履歴の情報は、初回検出位置履歴データベース104に記憶されている初回検出位置を出入口位置推定手段105により視覚化した図である。
 図6Bは、図6Aの12箇所の検出位置を出入口位置推定手段105によりクラスタリングした結果を示している。丸(の検出位置データ)と、三角(の検出位置データ)と、四角(の検出位置データ)との3つのクラスタに分別されている。三角(の検出位置データ)に分類されたクラスタをクラスタ601Aとし、四角(の検出位置データ)に分類されたクラスタをクラスタ601Bとし、丸(の検出位置データ)に分類されたクラスタをクラスタ601Cとする。以後、クラスタ601Aとクラスタ601Bとクラスタ601Cとのうちの任意のクラスタを、クラスタ601として代表的に説明する。
 クラスタリングの手法としては、例えばk-means法などを用いることができる。
 そのk-means法の手法として、先ず12箇所の位置から3箇所の代表位置をランダムで選択する。ここで、3箇所とは、環境マップデータベース107に記憶されている「出入口」の属性数を表している。尚、環境マップデータベース107に記憶されているデータは、出入口位置推定手段105に含まれる構成情報参照手段105aが取得する。
 次に、代表位置以外の各位置について、各代表位置までの距離を出入口位置推定手段105で算出する。そして、最も距離の短くなる代表位置が、その位置が属する(配属される)クラスタ601であると出入口位置推定手段105で判断する。
 全てに位置の配属が完了すると、次に、各クラスタ601の重心を新たな代表点とし、全ての位置について各代表位置までの距離を出入口位置推定手段105で算出する。
 そして、最も距離の短くなる代表位置が、その位置が属する(配属される)クラスタ601であると出入口位置推定手段105で判断する。
 以下、代表点の作成と配属を繰り返し、各位置が属するクラスタ601に変化が生じなくなれば処理を終える。尚、クラスタリングの手法はこれに限るものではない。
 ここで、人204がカメラ202とタグリーダ203で初めて検出されるのは、ドア205を開けて部屋201内に入室した直後であると考えることができる。このことから、ドア205のローカル座標における位置は、人204の初回検出位置がクラスタリングされた各位置の重心位置と出入口位置推定手段105で判断することができる。
 以上、初回検出位置履歴データベース104に記憶されている人204の初回検出位置履歴の情報を基に、出入口位置推定手段105により、ドア205のローカル座標を推定する処理が、図8のフローチャートにおけるステップS807の処理にあたる。その後、ステップS808の処理に進む。
 <校正パラメータ取得手段の説明>
 位置校正情報を算出する位置校正情報算出手段の一例としての校正パラメータ取得手段106は、出入口位置推定手段105で推定されたドア205のローカル座標における位置と、環境マップデータベース107に記憶されたドア205のグローバル座標における位置とに基づいて、カメラ202の位置とタグリーダ203の位置とに関する校正に必要となる、位置校正情報の一例としての、パラメータをそれぞれ取得する。
 位置校正情報の例として、位置に関する校正に必要となるパラメータとしては、以下の5種類のパラメータのうちのいずれかを使用することが可能である。尚、
Figure JPOXMLDOC01-appb-M000001
は、ローカル座標における位置を示し、
Figure JPOXMLDOC01-appb-M000002
は、グローバル座標における位置を表すこととする。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 式1に倍率、平行移動量、回転角に対応した座標変換の式を示す。
Figure JPOXMLDOC01-appb-M000008
                         .....(式1)
 ドア205は3箇所存在するため、グローバル座標のドア205の位置とローカル座標のドア205の位置の組み合わせは6通り存在する。その6通り全てにおいて、(式1)により展開される連立方程式を解き、上述した5種類のパラメータをそれぞれ求める。ここで、カメラ202とタグリーダ203とは、部屋201の天井201dから床201fを真下に見下ろすように設置されている。つまり、
Figure JPOXMLDOC01-appb-M000009
の比率は、
Figure JPOXMLDOC01-appb-M000010
の比率と同じであると考えることができる。このことから、最も
Figure JPOXMLDOC01-appb-M000011
に近くなるグローバル座標のドア205の位置とローカル座標のドア205の位置との組み合わせが、求めるべきパラメータの組み合わせであると判断できる。
 ここで、環境マップデータベース107とクラスタリング後の初回検出位置履歴の情報とに基づいて、グローバル座標のドア205の位置とローカル座標のドア205の位置との組み合わせを求める方法について説明する。
 図5の環境マップデータベース107には、環境IDが示す家具の動作について記憶する「動作」の項目が存在する。これによると、環境ID=DOOR_001(ドア205A)と環境ID=DOOR_002(ドア205B)は、自動ドア識別情報である「動作」の情報として「手動開閉」となっているため、手動ドアであり、環境ID=DOOR_003(ドア205C)は、自動ドア識別情報である「動作」の情報として「自動開閉」となっているため、自動ドアであることがそれぞれ分かる。ドア205が手動ドアの場合、人204が部屋201内に入室した直後、人204がドア205を閉めるという動作が発生する。つまり、人204がドア205を閉めている期間に、カメラ202とタグリーダ203が人204を検出する可能性が高い。それに対して、ドア205が自動ドアの場合、人204が部屋201内に入室した後、人204は、ドア205を閉める必要はなく、歩行を続ける。つまり、カメラ202とタグリーダ203との観測のタイミング次第で、人204がドア205の位置で検出される場合、又は、ドア205から部屋201の内部へ少し移動した位置で検出される場合もあり得る。つまり、自動ドアで初回検出が行われた検出位置のばらつきは、手動ドアで初回検出が行われた検出位置のばらつきに比べて、相対的に大きくなる(図6Aの右側の5個の丸を参照)。
 グローバル座標のドア205の位置とローカル座標のドア205の位置との組み合わせを求める具体的な方法としては、クラスタ601の位置に関する標準偏差を出入口位置推定手段105で求め、前記標準偏差が最も大きかったクラスタ601を自動ドアで初回検出が行われた検出位置であると出入口位置推定手段105で判断すれば良い。
 以上の処理によって、クラスタ601Cが自動ドアであるドア205Cで初回検出された検出位置のクラスタであると出入口位置推定手段105で判定できる。また、ローカル座標に反転が起こっていないとすると、環境マップデータベース107に記憶されているドア205Aとドア205Bの位置関係と、そして、クラスタ601Aとクラスタ601Bの位置関係とから、クラスタ601Aがドア205Aで初回検出された検出位置のクラスタであると出入口位置推定手段105で判定でき、クラスタ601Bがドア205Bで初回検出された検出位置のクラスタであると出入口位置推定手段105で判定できる。
 ここで、出入口位置推定手段105は、クラスタ601の重心位置をドア位置とする、と説明した。しかし、ドア205が自動ドアであった場合、上述したように、人204が初めて検出される位置にばらつきが生じてしまう。そこで、ドア205が自動ドアである場合には、クラスタ601Cに属する各検出位置において、最端で検出された検出位置をドア位置602と、出入口位置推定手段105で判断するようにしても良い(図6C参照)。ここで言う「最端」とは、部屋201の壁201a,201b,201cの延長上に配置されている出入口の位置を検出するための、部屋201の中心座標から最も離れた座標にある位置のことである。ただし、校正前では、ローカル座標における部屋201の中心座標は分からない。
 そこで、人検出履歴に基づいた出入口位置推定手段105による「最端」の検出位置の求め方について説明する。
 まず、人検出履歴データベース102に記憶されている全ての人204の位置の重心位置を出入口位置推定手段105で求める。各クラスタに属する検出位置の中で前記重心位置から最も離れた位置にある検出位置を、前記クラスタに属する検出位置の中での最端の検出位置と出入口位置推定手段105で判断する。
 ここで、環境マップデータベース107に記憶されているデータは、校正パラメータ取得手段106に含まれる構成情報参照手段106aが取得する。
 以上、ローカル座標におけるドア205の位置と環境マップデータベース107に記憶されているグローバル座標におけるドア205の位置に基づいて、校正に必要となるパラメータを校正パラメータ取得手段106で求める処理が、図8のフローチャートにおけるステップS808の処理にあたる。その後、前記位置校正情報収集装置の全体処理を終了する。
 ここで、観測装置101が前記環境を常に観測し、初回検出位置推定手段103が人検出履歴データベースの新規人検出履歴を常にチェックし、出入口位置推定手段105が初回検出位置履歴データベースの新規初回検出位置履歴を常にチェックしても良い。また、観測装置101と人検出履歴データベース102と初回検出位置推定手段103と初回検出位置履歴データベース104と出入口位置推定手段105と校正パラメータ取得手段106とに接続されて、全体の位置校正情報収集処理を制御する制御装置1301を別途備えても良い。制御装置1301を加えた構成例を図13及び図14に示す。
 制御装置1301は、観測装置101を制御し環境の観測を行わせる。次に、制御装置1301は、人検出履歴データベース102に新規の人の検出履歴の情報の存在を確認すると、初回検出位置推定手段103を制御し初回検出位置の推定を行わせる。そして、制御装置1301は、初回検出位置履歴データベース104に新規の初回検出位置の履歴の情報の存在を確認すると、出入口位置推定手段105を制御しローカル座標系における出入口位置の推定を行わせる。尚、制御装置1301が観測装置101を制御するタイミングは、ユーザからの入力によって決定されても良い。更に、制御装置1301が初回検出位置推定手段103の制御を開始するために必要な人検出履歴データベース102に記録されている新規の人の検出履歴の情報の数を、ユーザからの入力によって予め決定しておいても良い。同じく、制御装置1301が出入口位置推定手段105の制御を開始するために必要な初回検出位置履歴データベース104に記録されている新規初回検出位置の履歴の情報の数を、ユーザからの入力によって予め決定しておいても良い。
 <人滞在位置と侵入不可位置の利用方法の説明>
 仮に部屋201内にドア205が1箇所しか存在しない場合、連立方程式が作成できずに前記パラメータが校正パラメータ取得手段106で求められないことになる。このような場合には、人204が滞在しやすい位置(人滞在位置)又は侵入することができない位置に関する情報を出入口位置推定手段105で求めて、校正パラメータ取得手段106で利用することができる。
 図11のフローチャートを参照しながら前記位置に関する情報の利用方法を説明する。
 ステップS1101における、人204の滞在位置(人滞在位置)について説明する。
 人滞在位置の情報を利用してカメラ202の位置とタグリーダ203の位置とに関する校正に必要となる校正情報を取得するためには、人滞在位置のグローバル座標とローカル座標とが必要となる。
 グローバル座標における人滞在位置は、環境マップデータベース107に予め記憶しておけば良い。図5の環境マップデータベース107には、人204が滞在する位置として環境ID=CHAIR_004が記憶されている。これは、部屋201内にある家具のうち、人204が滞在しやすい位置を予め決めておき、環境マップデータベース107に、そのような位置を人204が滞在する位置として記憶させておくことを意味する。
 ローカル座標における人滞在位置は、人検出履歴データベース102に記憶されている人204の検出履歴の情報に基づいて出入口位置推定手段105で推定できる。これについて、図3Aを用いて説明を行う。色特徴情報が白色の人に注目すると、観測ID=CAM_005の時刻2008/09/02_12:00:04で初めて検出されてから、観測ID=CAM_011の時刻2008/09/02_12:00:07に至るまで、ローカル座標上を移動していることが分かる。しかし、観測ID=CAM_011の時刻2008/09/02_12:00:07以降、色特徴情報が白色の人は、ローカル座標(750,350)上から移動せずに停滞(滞在)していることが出入口位置推定手段105で分かる。このような場合、出入口位置推定手段105により、座標(750,350)をローカル座標における人滞在位置として良い。尚、人204が滞在しているか否かの出入口位置推定手段105での判断は、例えば、カメラ202が、人204を同じ位置でN回検出した場合、人204は滞在していると出入口位置推定手段105で判断しても良い。つまり、カメラ202の観測周期が1秒の場合、N秒(=N回×1秒)間、人204が同じ位置で検出されれば、人204は滞在していると出入口位置推定手段105で判断することとなる。尚、カメラ202又はタグリーダ203は、観測ノイズによって毎回微妙に異なる位置に人204を検出することが考えられる。そのため、前回検出位置から±α(cm)以内で検出された位置については、同一の位置であると出入口位置推定手段105で判断しても良い。αは、例えば、カメラ202又はタグリーダ203の位置誤差に関する標準偏差などとすることができる。
 以上が、図11のステップS1101の出入口位置推定手段105での処理となる。その後、ステップS1102の処理に進む。
 次に、出入口位置推定手段105によるステップS1102の処理における、人204の侵入不可位置について説明する。
 人侵入不可位置の情報を利用してカメラ202の位置とタグリーダ203の位置とに関する校正に必要となる校正情報を取得するためには、人侵入不可位置のグローバル座標とローカル座標とが必要となる。
 グローバル座標における人侵入不可位置は、環境マップデータベース107に予め記憶しておけば良い。図5の環境マップデータベース107には、人204が侵入できない位置として環境ID=DESK_005が記憶されている。これは、部屋201内にある家具のうち、人204が侵入できない位置を予め決めておき、環境マップデータベース107に、そのような位置を人204が侵入できない位置として記憶させておくことを意味する。
 図7Aと図7Bを用いて、ローカル座標における人侵入不可位置について説明する。
 図7Aは、カメラ202が検出した人204の検出位置の履歴の情報の一例である。図7Aにおける人204の検出位置は、範囲を持たない点として記憶されている。しかし、実際の人204は、ある一定の幅(肩幅など)を持っている。そこで、図7Aの人204の検出位置をXY方向にそれぞれAcmずつ太らせる処理を出入口位置推定手段105で施して黒い丸印として表すこととする。Aの値は、実際の人204の肩幅に合わせても良いし、観測装置101のセンサノイズの大きさを考慮して設定しても構わない。
 図7Bは、図7Aの人204の検出位置を、XY方向にそれぞれ1mずつさらに太らせた図である。図7Bを見ると、人204が検出されていない領域、未踏領域701が部屋201の床201fの中央付近に得られることが分かる。この未踏領域701の重心位置を、ローカル座標における人侵入不可位置として出入口位置推定手段105で取り扱うようにしても良い。尚、人204の検出履歴の情報が少ない場合、未踏領域701が複数得られる、又は/且つ、広く得られることになり、ローカル座標における人侵入不可位置を出入口位置推定手段105で精度良く求めることはできない。
 以上が、出入口位置推定手段105によるステップS1102の処理となる。その後、ステップS1103の処理に進む。
 尚、人滞在位置と侵入不可位置の算出は、出入口位置推定手段105がそれぞれ行うものとする。
 ステップS1101とステップS1102の結果を受けて、ステップS1103において、校正パラメータ取得手段106は、(式1)に基づき、カメラ202又は/且つタグリーダ203の校正パラメータを取得する。
 ドア205が3箇所存在する場合は、ローカル座標におけるドア位置とグローバル座標におけるドア位置との組み合わせが6通り存在し、前記6通りについて校正パラメータを校正パラメータ取得手段106で計算する必要がある。
 しかし、ドア205の位置と、滞在位置と、侵入不可位置とが1箇所ずつしか存在しない場合、ドア205の位置と、滞在位置と、侵入不可位置との各位置のローカル座標とグローバル座標との組み合わせはそれぞれ1通りしか存在しないことになる。よって、求めるべき校正情報としての校正パラメータは1つの組み合わせのみとなり、校正パラメータ取得手段106での計算時間は、先の6つの組み合わせの場合にかかる時間の1/6に短縮される。
 以上が、校正パラメータ取得手段106によるステップS1103の処理となる。
 前記位置校正情報収集装置110としての構成及び作用については、以上のとおりである。
 <位置校正装置の構成の説明>
 以下は、前記位置校正情報収集装置110を備えるとともに、さらに、校正手段(校正部)108も備えた、本発明の第一実施形態に係る位置校正装置111について説明する。なお、前記位置校正情報収集装置110の構成及び作用については、前記位置校正情報収集装置110と同一であるため、以下では、校正手段108についてのみ、説明する。
 <校正手段の説明>
 前記位置校正装置111は、前記位置校正情報収集装置110に加えて、更に、校正手段108を備えており、校正パラメータ取得手段106が取得した校正パラメータを用いてカメラ202又は/且つタグリーダ203の校正を校正手段108で行うものである。校正パラメータがX座標に+5cmであった場合、実際のカメラ202又は/且つタグリーダ203の位置を+X軸方向に5cm移動させても良いし、カメラ202又は/且つタグリーダ203が取得したデータを+X軸方向に5cm移動させても良い。
 図10に校正手段108を備えた位置校正情報収集装置の構成図を示す。
 以上のような構成により、人204を初めて検出した位置を閉環境である部屋201内への出入口としてのドア205の位置であると推定できる。これによって、環境内に予め用意したマーカ等を使用することなく、自動で、観測装置101の位置に関する校正に必要な情報収集を行うことができる。また、収集された校正の情報を基に、観測装置101の位置の校正を校正手段108で行うことができる。
 (第二実施形態)
 <位置校正情報収集装置の構成の説明>
 図15は、本発明の第二実施形態に係る位置校正情報収集装置の構成を示した図である。
 本発明の第二実施形態に係る位置校正情報収集装置は、観測装置101と、人検出履歴記憶手段の一例としての人検出履歴データベース102と、終回検出位置推定手段(終回検出位置推定部)1303と、終回検出位置履歴記憶手段の一例としての終回検出位置履歴データベース1304と、出入口位置推定手段(出入口位置推定部)105と、位置校正情報を算出する位置校正情報算出手段の一例としての校正パラメータ取得手段(校正パラメータ取得部)106と、環境マップ記憶手段の一例としての環境マップデータベース107と、を備えるように構成されている。
 尚、終回検出位置推定手段1303と終回検出位置履歴データベース1304以外の各手段及びデータベースは第一実施形態で説明したものと同じである。また、第二実施形態における出入口位置推定手段105の処理には、初回検出位置の代わりに終回検出位置を用いる。
 <終回検出位置推定手段の説明>
 終回検出位置推定手段1303は、人検出履歴データベース102に記憶されている人204の検出履歴の情報から、人204が観測装置101で最後に検出された観測IDを推定する。推定方法の詳細は、以下の終回検出位置履歴データベース1304を用いて説明する。
 <終回検出位置履歴データベースの説明>
 終回検出位置履歴データベース1304には、少なくとも、人204が最後に検出された位置が終回検出位置推定手段1303により記憶される。
 図16A及び図16Bに、カメラ202が人204を最後に検出したとき及びタグリーダ203が人204を最後に検出したときの終回検出位置履歴データベース1304の一例をそれぞれ示す。
 図16Aの終回検出位置履歴データベース1304には、カメラ202が人204を最後に検出したときの時刻とローカル座標と色特徴情報と、そして観測IDとが、終回検出位置推定手段1303により記憶できるようになっている。尚、図16Aの終回検出位置履歴データベース1304は、図3Aの人検出履歴データベース102に記憶されている人204の検出履歴の情報を基に終回検出位置推定手段1303により作成されている。
 図16Aの終回検出位置履歴データベース1304を使用して終回検出位置を取得する方法を図17のフローチャートを用いて説明する。
 ステップS1501では、人検出履歴データベース102に、現時刻(終回検出位置を取得する時点)よりN時刻以前、且つ、未読のデータがあるか否かを終回検出位置推定手段1303で判断している。未読データが存在しないと終回検出位置推定手段1303で判断すれば、終回検出位置の取得処理を終了する。ここで、Nは、観測装置101の観測周期(例えば1秒~2秒の任意の時間又は100ms)などとすることができる。観測装置101が人204の検出ミスをする可能性を考慮し、Nとして、観測装置101の観測周期を定数倍した値を用いても構わない。
また、終回検出位置推定手段1303は、タイマを備えているものとする。
 ステップS1502は、ステップS1501において未読データが存在すると終回検出位置推定手段1303で判断した場合の処理であり、人検出履歴データベース102に記憶されている未読データのうちの1つを、終回検出位置推定手段1303で読み込む。
 次いで、ステップS1503では、ステップS1502で読み込んだデータに、記憶されている時刻からN時刻後までの間に同じタグID(特徴情報)が記憶されているデータが人検出履歴データベース102に記憶されているか否かを、終回検出位置推定手段1303により判断している。同じタグIDが記憶されているデータが人検出履歴データベース102に記憶されていると終回検出位置推定手段103により判断した場合は、最後に検出した人ではないと終回検出位置推定手段1303により判断し、ステップS1501の処理へ戻る。
 ステップS1504は、ステップS1503において、記憶されている時刻からN時刻後までの間に同じタグIDが記憶されているデータが存在していないと終回検出位置推定手段1303により判断した場合の処理であり、ステップS1502において読み込んだデータを、終回検出位置情報として、終回検出位置推定手段1303により終回検出位置履歴データベース1304に記憶する。その後、ステップS1501の処理に戻る。
 このようにして終回検出位置が求まると、出入口位置推定手段105によって出入口位置の推定を行う。第一実施形態では初回検出位置を使用したが、第二実施形態では、初回検出位置の代わりに、終回検出位置を使用する。初回検出位置を終回検出位置に置き換えるのみで他の処理に変更は無いため、ここでの新たな説明は省略する。
 以上のような第二実施形態の構成により、人204を最後に検出した位置を閉環境である部屋201内への出入口としてのドア205の位置であると推定できる。これによって、環境内に予め用意したマーカ等を使用することなく、自動で、観測装置101の位置に関する校正に必要な情報収集を行うことができる。また、収集された校正の情報を基に、観測装置101の位置の校正を校正手段108で行うことができる。
 なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。例えば、出入口位置推定手段105にて使用する検出位置として、初回検出位置と終回検出位置との全てを使用しても良い。
 本発明に係る位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラムは、位置校正のためのマーカを使用することなく観測装置の位置に関する校正を行うことができる。よって、オフィス、工場、又は、家庭内等のセキュリティシステムに用いられる観測装置を備える位置校正情報収集装置、並びに、観測装置を利用する位置校正情報収集方法及び位置校正情報収集プログラムに対して特に有用である。
 本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。

Claims (12)

  1.  出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報としてそれぞれ取得する観測装置と、
     前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を初めて検出した位置を推定する初回検出位置推定手段と、
     前記初回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を初めて検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を推定する出入口位置推定手段と、
     前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づく、前記観測装置の位置の校正のための位置校正情報を出力する位置校正情報算出手段と、
     を備える位置校正情報収集装置。
  2.  前記観測装置でそれぞれ取得された前記観測情報の前記人の前記特徴情報と前記人の前記ローカル座標と前記人を検出した前記時刻とを記憶する人検出履歴データベースと
     前記人検出履歴データベースに記憶されている情報を基に、前記初回検出位置推定手段により前記ローカル座標空間内で前記人を初めて検出した位置を、初回検出位置情報として、前記人を検出した時刻と共に記憶する初回検出位置履歴データベースとをさらに備え、
     前記初回検出位置推定手段は、前記観測装置で取得されかつ前記人が検出された前記観測情報のそれぞれについて、前記人検出履歴データベースを参照して、前記観測情報の前記人が検出された時刻から所定時刻前までの間に、前記観測情報と同じ特徴情報が記憶されている他の観測情報が、前記人検出履歴データベースに記憶されているか否かを判断し、同じ特徴情報が記憶されている他の観測情報が前記人検出履歴データベースに記憶されていなかった場合には、当該観測情報の前記人が検出された位置を、前記人を初めて検出した位置と推定して、前記初回検出位置履歴データベースに記憶する、請求項1に記載の位置校正情報収集装置。
  3.  前記出入口位置推定手段は、前記ローカル座標空間内で前記人を初めて検出した位置の近傍において、前記出入口の自動ドア識別情報を参照して、前記ローカル座標空間における出入口位置のローカル座標として推定する、請求項1又は2に記載の位置校正情報収集装置。
  4.  前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標が記憶されている環境マップ記憶手段をさらに備えて、
     前記位置校正情報算出手段は、前記環境マップ記憶手段に記憶されている前記グローバル空間における前記出入口の前記出入口位置のグローバル座標を利用して、前記出入口位置のグローバル座標と前記出入口位置のローカル座標とに基づいて、前記観測装置の位置に関する校正を行うための前記位置校正情報を算出する、請求項1又は2に記載の位置校正情報収集装置。
  5.  前記環境マップ記憶手段には、前記グローバル空間における前記出入口のドアが自動で開く出入口か、又は、ドアが手動で開く出入口であるかを識別する自動ドア識別情報を記憶しており、
     前記位置校正情報算出手段は、前記環境マップ記憶手段に記憶された前記自動ドア識別情報に基づき、前記ローカル座標における出入口のドアと前記グローバル座標における出入口のドアとを対応付けて前記位置校正情報を算出する請求項1又は2に記載の位置校正情報収集装置。
  6.  前記初回検出位置推定手段は、
      前記自動ドア識別情報に基づき前記出入口の前記ドアが自動で開く出入口であると判断された前記出入口の前記出入口位置のローカル座標が、前記人を初めて検出した位置として複数あるときには、前記人を初めて検出した複数の位置の中で前記環境の中心座標から最も離れた座標にある位置を、前記出入口の前記出入口位置のローカル座標と決定する一方、
      前記自動ドア識別情報に基づき前記出入口の前記ドアが手動で開く出入口であると判断された前記出入口の前記出入口位置のローカル座標が、前記人を初めて検出した位置として複数あるときには、前記人を初めて検出した複数の位置の重心位置を、前記出入口の前記出入口位置のローカル座標と決定する、請求項5に記載の位置校正情報収集装置。
  7.  前記観測装置でそれぞれ取得された前記観測情報の前記人の前記特徴情報と前記人の前記ローカル座標と前記人を検出した前記時刻とを記憶する人検出履歴データベースと
     前記人検出履歴データベースに記憶されている情報を基に、前記初回検出位置推定手段により前記ローカル座標空間内で前記人を初めて検出した位置を、初回検出位置情報として、前記人を検出した時刻と共に記憶する初回検出位置履歴データベースとをさらに備え、
     更に前記環境マップ記憶手段には、前記グローバル空間内であってかつ前記人が滞在しやすい位置に関する情報が記憶されており、
     前記出入口位置推定手段は、さらに、前記人検出履歴データベースに記憶されている前記人の特徴情報と前記人のローカル座標と前記人を検出した時刻とに基づき、前記ローカル座標空間内で前記人が滞在しやすい位置を推定し、
     前記初回検出位置履歴データベースは、前記初回検出位置推定手段により前記ローカル座標空間内で前記人が滞在しやすい位置を、前記人を検出した時刻と共に記憶し、
     前記出入口位置推定手段は、前記初回検出位置履歴データベースに記憶された前記ローカル座標空間内で前記人が滞在しやすい位置に基づいて、前記ローカル座標空間における前記人が滞在しやすい位置のローカル座標を推定し、
     前記位置校正情報算出手段は、前記人が滞在しやすい位置のグローバル座標と、前記出入口位置推定手段により推定された前記人が滞在しやすい位置のローカル座標とに基づいて、前記観測装置の位置に関する校正を行うための前記位置校正情報を算出する請求項4に記載の位置校正情報収集装置。
  8.  前記観測装置でそれぞれ取得された前記観測情報の前記人の前記特徴情報と前記人の前記ローカル座標と前記人を検出した前記時刻とを記憶する人検出履歴データベースと
     前記人検出履歴データベースに記憶されている情報を基に、前記初回検出位置推定手段により前記ローカル座標空間内で前記人を初めて検出した位置を、初回検出位置情報として、前記人を検出した時刻と共に記憶する初回検出位置履歴データベースとをさらに備え、
     更に前記環境マップ記憶手段には、前記人が侵入できない位置に関する情報が記憶されており、
     前記出入口位置推定手段は、さらに、前記人検出履歴データベースに記憶されている前記人の特徴情報と前記人のローカル座標と前記人を検出した時刻とに基づき、前記ローカル座標空間内で前記人が侵入できない位置を推定し、
     前記初回検出位置履歴データベースは、前記初回検出位置推定手段により前記ローカル座標空間内で前記人が侵入できない位置を、前記人を検出した時刻と共に記憶し、
     前記出入口位置推定手段は、前記初回検出位置履歴データベースに記憶された前記ローカル座標空間内で前記人が侵入できない位置に基づいて、前記ローカル座標空間における前記人が侵入できない位置のローカル座標を推定し、
     前記位置校正情報算出手段は、前記人が滞在しやすい位置のグローバル座標と、前記出入口位置推定手段により推定された前記人が侵入できない位置のローカル座標とに基づいて、前記観測装置の位置に関する校正を行うための前記位置校正情報を算出する請求項4に記載の位置校正情報収集装置。
  9.  請求項1又は2に記載の前記位置校正情報収集装置と、
     前記位置校正情報収集装置の前記位置校正情報算出装置により前記グローバル空間に設置されている前記出入口の出入口位置のグローバル座標と前記出入口位置のローカル座標とに基づいて算出された前記位置校正情報に基づいて、前記観測装置の位置に関する校正を行う校正手段と、
     を備える位置校正装置。
  10.  出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報としてそれぞれ取得する観測装置と、
     前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を最後に検出した位置を推定する終回検出位置推定手段と、
     前記終回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を最後に検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を推定する出入口位置推定手段と、
     前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づく、前記観測装置の位置の校正のための位置校正情報を出力する位置校正情報算出手段と、
     を備える位置校正情報収集装置。
  11.  出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報として観測装置でそれぞれ取得し、
     前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を初めて検出した位置を初回検出位置推定手段で推定し、
     前記初回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を初めて検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を出入口位置推定手段で推定し、
     前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づく、前記観測装置の位置の校正のための位置校正情報を位置校正情報算出手段で出力する、
    位置校正情報収集方法。
  12.  コンピュータに、
     出入口を有する環境内に存在する人の特徴情報と、前記環境のローカル座標空間において前記人が検出された位置のローカル座標と、前記人が検出された時刻とを観測情報として観測装置でそれぞれ取得する機能と、
     前記観測装置で観測された、前記人の前記特徴情報と前記ローカル座標と前記時刻とに基づき、前記ローカル座標空間内で前記人を初めて検出した位置を初回検出位置推定手段で推定する機能と、
     前記初回検出位置推定手段で推定された、前記ローカル座標空間内で前記人を初めて検出した位置に基づいて、前記ローカル座標空間における前記出入口の出入口位置のローカル座標を出入口位置推定手段で推定する機能と、
     前記環境のグローバル空間における前記出入口の出入口位置のグローバル座標と前記出入口位置推定手段により推定された前記出入口位置の前記ローカル座標とに基づいて、前記観測装置の位置に関して校正を行うための位置校正情報を位置校正情報算出手段で算出する機能と、
     を実現させるための位置校正情報収集プログラム。
PCT/JP2010/005397 2009-09-04 2010-09-02 位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラム WO2011027557A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/122,477 US8504317B2 (en) 2009-09-04 2010-09-02 Position calibration information collecting apparatus, position calibration information collecting method, and position calibration information collecting program
CN201080003736.4A CN102265112B (zh) 2009-09-04 2010-09-02 位置矫正信息收集装置以及位置矫正装置
JP2010543326A JP4677060B1 (ja) 2009-09-04 2010-09-02 位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-204385 2009-09-04
JP2009204385 2009-09-04

Publications (1)

Publication Number Publication Date
WO2011027557A1 true WO2011027557A1 (ja) 2011-03-10

Family

ID=43649112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/005397 WO2011027557A1 (ja) 2009-09-04 2010-09-02 位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラム

Country Status (4)

Country Link
US (1) US8504317B2 (ja)
JP (1) JP4677060B1 (ja)
CN (1) CN102265112B (ja)
WO (1) WO2011027557A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016021091A (ja) * 2014-07-11 2016-02-04 オムロン株式会社 部屋情報推定装置、部屋情報推定方法、および空気調和装置
JP6041944B1 (ja) * 2015-08-18 2016-12-14 佐藤 創一 対象者監視システム
JP6084742B1 (ja) * 2016-07-01 2017-02-22 佐藤 創一 対象者監視システム
WO2020026480A1 (ja) * 2018-07-31 2020-02-06 清水建設株式会社 位置検出システム及び位置検出方法
JP7390604B2 (ja) 2018-12-28 2023-12-04 パナソニックIpマネジメント株式会社 推定方法、推定装置、及び、プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7046506B2 (ja) * 2017-06-12 2022-04-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR20210030279A (ko) * 2018-07-04 2021-03-17 소니 주식회사 정보 처리 장치 및 방법, 그리고 프로그램
CN111381231A (zh) * 2018-12-28 2020-07-07 松下知识产权经营株式会社 估计方法、估计装置以及记录介质
CN109996182B (zh) * 2019-04-19 2021-01-19 无锡艾森汇智科技有限公司 一种基于uwb定位与监控结合的定位方法、装置及系统
US20210304577A1 (en) * 2020-03-30 2021-09-30 Wiser Systems, Inc. Integrated Camera and Ultra-Wideband Location Devices and Related Systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10113343A (ja) * 1996-07-03 1998-05-06 Hitachi Ltd 動作及び行動の認識方法及び装置及びシステム
JP2005024540A (ja) * 2003-06-30 2005-01-27 Microsoft Corp 携帯型コンピュータデバイスの所在と動態を割り出すシステムおよび方法
JP2005257644A (ja) * 2004-03-15 2005-09-22 Intelligent Cosmos Research Institute 位置検出装置、位置検出方法および位置検出プログラム
JP2007333998A (ja) * 2006-06-15 2007-12-27 Hitachi Ltd 地図の自動生成装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69736622T2 (de) 1996-07-03 2007-09-13 Hitachi, Ltd. System zur Bewegungserkennung
JP3657116B2 (ja) 1997-05-14 2005-06-08 株式会社日立国際電気 物体追跡方法及び物体追跡装置
JP2001004330A (ja) 1999-04-23 2001-01-12 Matsushita Electric Works Ltd 画像処理装置及びその画像処理方法
US7433493B1 (en) 2000-09-06 2008-10-07 Hitachi, Ltd. Abnormal behavior detector
JP4224260B2 (ja) * 2002-02-18 2009-02-12 株式会社トプコン キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
JP2003284059A (ja) 2002-03-27 2003-10-03 Toshiba Lighting & Technology Corp カメラ画像による移動物体追跡装置およびカメラパラメータのキャリブレーション方法並びに装置
JP2004030445A (ja) 2002-06-27 2004-01-29 National Institute Of Advanced Industrial & Technology 移動ロボットの自己位置推定方法及びシステム、並びにプログラム
US6925403B2 (en) * 2003-09-15 2005-08-02 Eaton Corporation Method and system for calibrating a sensor
US7312752B2 (en) * 2003-10-22 2007-12-25 Awarepoint Corporation Wireless position location and tracking system
CN100430686C (zh) * 2004-05-14 2008-11-05 佳能株式会社 信息处理方法和设备
JP4034812B2 (ja) * 2004-10-14 2008-01-16 松下電器産業株式会社 移動先予測装置および移動先予測方法
JP2006311111A (ja) * 2005-04-27 2006-11-09 Daikin Ind Ltd 位置検知システムおよび位置検知方法
WO2007015548A1 (ja) * 2005-08-04 2007-02-08 Matsushita Electric Industrial Co., Ltd. 検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ
JP4743538B2 (ja) 2006-11-17 2011-08-10 アイシン精機株式会社 カメラ校正装置
JP4822280B2 (ja) 2007-03-12 2011-11-24 三菱電機株式会社 移動体行動解析装置
AU2008283845A1 (en) * 2007-08-06 2009-02-12 Trx Systems, Inc. Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors
JP4675368B2 (ja) 2007-11-21 2011-04-20 日本電信電話株式会社 物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10113343A (ja) * 1996-07-03 1998-05-06 Hitachi Ltd 動作及び行動の認識方法及び装置及びシステム
JP2005024540A (ja) * 2003-06-30 2005-01-27 Microsoft Corp 携帯型コンピュータデバイスの所在と動態を割り出すシステムおよび方法
JP2005257644A (ja) * 2004-03-15 2005-09-22 Intelligent Cosmos Research Institute 位置検出装置、位置検出方法および位置検出プログラム
JP2007333998A (ja) * 2006-06-15 2007-12-27 Hitachi Ltd 地図の自動生成装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016021091A (ja) * 2014-07-11 2016-02-04 オムロン株式会社 部屋情報推定装置、部屋情報推定方法、および空気調和装置
JP6041944B1 (ja) * 2015-08-18 2016-12-14 佐藤 創一 対象者監視システム
JP6084742B1 (ja) * 2016-07-01 2017-02-22 佐藤 創一 対象者監視システム
JP2018004458A (ja) * 2016-07-01 2018-01-11 佐藤 創一 対象者監視システム
WO2020026480A1 (ja) * 2018-07-31 2020-02-06 清水建設株式会社 位置検出システム及び位置検出方法
JP2020020645A (ja) * 2018-07-31 2020-02-06 清水建設株式会社 位置検出システム及び位置検出方法
JP7257752B2 (ja) 2018-07-31 2023-04-14 清水建設株式会社 位置検出システム
US11898847B2 (en) 2018-07-31 2024-02-13 Shimizu Corporation Position detecting system and position detecting method
JP7390604B2 (ja) 2018-12-28 2023-12-04 パナソニックIpマネジメント株式会社 推定方法、推定装置、及び、プログラム

Also Published As

Publication number Publication date
JPWO2011027557A1 (ja) 2013-02-04
CN102265112A (zh) 2011-11-30
CN102265112B (zh) 2014-07-02
JP4677060B1 (ja) 2011-04-27
US20110184685A1 (en) 2011-07-28
US8504317B2 (en) 2013-08-06

Similar Documents

Publication Publication Date Title
JP4677060B1 (ja) 位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラム
US20160379074A1 (en) System and a method for tracking mobile objects using cameras and tag devices
US20160377698A1 (en) System and a method for tracking mobile objects using cameras and tag devices
US20180137369A1 (en) Method and system for automatically managing space related resources
KR101292870B1 (ko) 이동 장치의 로케이션 역학을 결정하는 시스템 및 방법, 이동 장치를 추적하는 것을 용이하게 하는 머신 구현 시스템, 무선 장치 로케이션 시스템, 및 컴퓨터 판독가능 기록 매체
JP5147036B2 (ja) 位置推定装置、位置推定方法及び位置推定プログラム
JP4709943B2 (ja) 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム
CA2934102A1 (en) A system and a method for tracking mobile objects using cameras and tag devices
Chen et al. A fall detection system based on infrared array sensors with tracking capability for the elderly at home
CA2974031A1 (en) Method of tracking one or more mobile objects in a site and a system employing same
CN102576064A (zh) 用于标识预定义区域内的兴趣点的方法和装置
CN105528571A (zh) 区域信息估计装置、区域信息估计方法以及空调装置
Qiu et al. iFrame: Dynamic indoor map construction through automatic mobile sensing
Ye et al. 6-DOF pose estimation of a robotic navigation aid by tracking visual and geometric features
US20170339528A1 (en) Method and system for calculating a position of a mobile communication device within an environment
Hosseinzadeh et al. Modal identification of building structures using vision-based measurements from multiple interior surveillance cameras
US11445107B2 (en) Supervised setup for control device with imager
KR20090113746A (ko) 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법
US11281899B2 (en) Method and system for determining occupancy from images
US20190362517A1 (en) Image database creation device, location and inclination estimation device, and image database creation method
Braun et al. Low-cost indoor localization using cameras–evaluating ambitrack and its applications in ambient assisted living
JP6830561B1 (ja) 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム
Miyazaki et al. Estimation of the number of humans and their movement paths in a room using binary infrared sensors
Braun et al. Marker-free indoor localization and tracking of multiple users in smart environments using a camera-based approach
CN116385489B (zh) 基于rgbd相机的目标跟随方法及系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080003736.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010543326

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13122477

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10813508

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10813508

Country of ref document: EP

Kind code of ref document: A1